snvoronkov Опубликовано 16 ноября, 2017 · Жалоба 1 минуту назад, snik_1900 сказал: А где ознакомится с результатами более подробно? На сайте РКН ссылок на конференцию не нашел. Или это местное? +1 Ни ссылок, ни драфтов, ни изменений в рекомендации. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 16 ноября, 2017 (изменено) · Жалоба Нас пригласили в связьнадзор письмом. Наш представитель пришёл, запустили видеоконференцию. Из операторов нашего города как то странно оказался только наш представитель и группа сотрудников надзора. По его словам видео конференция была всероссийская. Остальные местные операторы вообще получается не в курсе. Вот и задался я вопросом не подписал ли нас надзор на всякую хрень. Изменено 16 ноября, 2017 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
saaremaa Опубликовано 16 ноября, 2017 · Жалоба 11 минут назад, Стич сказал: Остальные местные операторы вообще получается не в курсе. официальных писем не было...обычно задалбывают ими если им надо.... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Галушко Дмитрий Опубликовано 16 ноября, 2017 · Жалоба 1 час назад, Стич сказал: Сегодня Роскомнадзором проводилось совещание типа всероссийское в формате видеоконференции с операторами связи. Что говорили: 1. Вводится получение реестра в виде дельт. 2. Хотят что бы проверяли дельты каждую минуту. 3. Хотят что бы блокировали в течении 10 мин. 4. Хотят ввести до конца года или в течении месяца, а старую систему отключить. Большая пятёрка-семерка типа тесты провела. Теперь дело дошло до крупных местечковых. При этом говорят что система блокировок полностью измениться в 2018 пока в Статье 15.1. закона "Об информации... " Цитата 10. В течение суток с момента включения в реестр сетевого адреса, позволяющего идентифицировать сайт в сети "Интернет", содержащий информацию, распространение которой в Российской Федерации запрещено, оператор связи, оказывающий услуги по предоставлению доступа к информационно-телекоммуникационной сети "Интернет", обязан ограничить доступ к такому сайту в сети "Интернет". наказывать по не экстремистским сайтам не законно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
TES2 Опубликовано 17 ноября, 2017 · Жалоба Тоже прислали такое уведомление, особенно порадовало требование забирать дельту 1 раз в минуту. И сразу на следующий день стали требовать реализации, но мы пока ничего не планируем, т.к. основания для этого нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ligverd Опубликовано 17 ноября, 2017 (изменено) · Жалоба Как сказал главный спикер конференции, старая система забора единого реестра будет поддерживаться до тех пор пока на новую систему не перейдут все провайдеры, а перейти они должны до конца года, но это еще не утверждено. Так или иначе в скором времени всех принудят выполнить переход, по крайней мере не раньше чем все сторонние разработки, которыми некоторые провайдеры пользуются, будут переведены на новый протокол. Даже после перехода на новый протокол время реагирования (до наступления санкций), по словам спикера, останется в приделах часа, дальше эта планка будет снижаться по мере статистики основанной на тестовых ревизорах. Время 1 минута "рекомендованное" (ага...) и это время предназначено для забора дельт а не для применения фильтрации. Изменено 17 ноября, 2017 пользователем ligverd Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sl_omsk2 Опубликовано 17 ноября, 2017 · Жалоба Спойлер Описание механизма формирования и получения операторами связи выгрузки из Единого реестра запрещенных ресурсов, в форме «дельт». С целью повышения эффективности и оперативности принятия мер операторами связи по ограничению доступа к ресурсам в сети «Интернет», содержащим информацию, распространение которой на территории Российской Федерации запрещено Роскомнадзором разработан принципиально новый механизм формирования и получения операторами связи выгрузки из Единого реестра запрещенных ресурсов, в форме «дельт», через личный кабинет оператора связи. Роскомнадзор обеспечивает параллельную работу двух механизмов выгрузки Единого реестра: а) существующий механизм выгрузки из Единого реестра с использованием ЭЦП; б) новый механизм выгрузки из Единого реестра без использования ЭЦП с авторизацией через личный кабинет путем ввода логина и пароля. В этом случае повышается оперативность за счет отсутствия необходимости направления запросов на скачивание выгрузки, подписание выгрузки ЭЦП, постановки в очередь на скачивание, ожидания завершения скачивания выгрузки и т.д. Новый механизм выгрузки из Единого реестра в форме «дельт» разработан с учетом следующих принципов: - Роскомнадзор формирует так называемую «дельту» - изменения, которые внесены Роскомнадзором в данную выгрузку по сравнению с предыдущей выгрузкой. - «дельта» формируется не ежечасно, а по мере внесения новых записей в выгрузку или изменению существующих записей в выгрузке. - сформированная «дельта» оперативно размещается Роскомнадзором на соответствующем ресурсе и становится доступной для загрузки операторами связи. - операторы связи загружают «дельту» и анонсируют ее на свои системы блокирования. - учитывая малый объем «дельты» (порядка 200-300 ресурсов), время необходимое для скачивания «дельты» существенно меньше времени скачивания всей выгрузки. - общая ежечасная выгрузка загружается операторами связи по существующим в настоящее время правилам. Реализация механизма оперативной загрузки «дельт», а не целиком выгрузки, позволит увеличить скорость реагирования операторов связи на требование блокирования новых ресурсов или ресурсов, изменивших свои сетевые адреса. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 17 ноября, 2017 · Жалоба Чувствую, что грядут факапы. Если первый вариант работы с выгрузкой разрабатывали люди, имеющие более-менее адекватное представление о том, как это все делается, то второй вариант делали люди, далекие от всего. Из приведенного описания понятно, что они где-то что-то услышали, изобрели понятие «дельта», а что это такое и как оно будет работать еще не продумали. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
karpa13a Опубликовано 17 ноября, 2017 · Жалоба git? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 17 ноября, 2017 · Жалоба 1 час назад, sl_omsk2 сказал: Новый механизм выгрузки из Единого реестра в форме «дельт» разработан с учетом следующих принципов: - Роскомнадзор формирует так называемую «дельту» - изменения, которые внесены Роскомнадзором в данную выгрузку по сравнению с предыдущей выгрузкой. - «дельта» формируется не ежечасно, а по мере внесения новых записей в выгрузку или изменению существующих записей в выгрузке. - сформированная «дельта» оперативно размещается Роскомнадзором на соответствующем ресурсе и становится доступной для загрузки операторами связи. - операторы связи загружают «дельту» и анонсируют ее на свои системы блокирования. - учитывая малый объем «дельты» (порядка 200-300 ресурсов), время необходимое для скачивания «дельты» существенно меньше времени скачивания всей выгрузки. - общая ежечасная выгрузка загружается операторами связи по существующим в настоящее время правилам. Ничего непонятно. Старт - где? Дельта по сравнению с последней ежечасной выгрузкой? По сравнению с прошлой версией реестра? А начальная, к которой все применять надо последовательно где лежит? А ежечасная нафига? 4 минуты назад, karpa13a сказал: git? Пародия. Даже на CVS не тянет. Чекаут, судя по описанию, не делается. Только диффы. Обратная связь утеряна. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snik_1900 Опубликовано 17 ноября, 2017 · Жалоба Нам пока не пришло. Может кто-то выгрузить сами рекомендации в полном объёме? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ligverd Опубликовано 17 ноября, 2017 (изменено) · Жалоба 1) Отсутствует метод sendRequest, ЭЦП теперь не нужна, авторизация по логину и паролю 2) формат дельт такой же как и полный список. Все записи "прошиты" id, если мы на своей стороне не имеем такую запись значит это insert, если такая запись есть значит это update 3) появилась новая запись <delete id="..."/> соответственно нужно удалить имеющуюся запись с таким же id 4) Новый метод запроса дельт в котором возвращается список дельт относительно переданного таймштампа, если глубина дельт большая и дельты были удалены, то придет код -1 который говорит о том что надо забрать полный список. В двух словах так. Изменено 17 ноября, 2017 пользователем ligverd Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 17 ноября, 2017 · Жалоба Да, похоже кто-то изобретает свою CVS, вместо того, чтобы изучить чужой опыт. Еще мне любопытно, считал ли кто нагрузку? Одно дело, когда 30к операторов раз в час забирают статичный дамп. А другое дело, когда эти 30к операторов будут каждую минуту запрашивать диффы и для каждого запроса нужно будет сформировать индивидуальный ответ. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ligverd Опубликовано 17 ноября, 2017 (изменено) · Жалоба Дельта не будет индивидуальна. Т.е. все добавленные записи "почикают" пачками с каким-то промежутком времени и сформируют дельты. У каждой дельты будет время создания, которое мы и должны хранить как последнюю актуальную версию и в дальнейшем запрашивать список дельт по этому таймштампу. в принципе те же комиты в git`е при git pull забираются все комиты от последнего известного комита, тут как раз все норм. Другое дело что сервак их будут насиловать 30К операторов раз в минуту и это может оказаться фатальным, хотя налогоплательщики оплатят очередной сервер. Изменено 17 ноября, 2017 пользователем ligverd Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 17 ноября, 2017 · Жалоба Если в описании говорится, что проверять их нужно ежеминутно, значит квантом времени для дельты будет минута и таких дельт будет 60. И пусть даже на каждый запрос не нужно формировать дельту, но определять нужную (заранее сформированную) дельту придется для каждого запроса. Так что сервис от статики переходит к динамике, что на производительности скажется не лучшим образом. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ligverd Опубликовано 17 ноября, 2017 (изменено) · Жалоба Не совсем так. Занесение в реестр производит команда "обученных" заносильщиков, при чем только в рабочее время. В дальнейшем они постигнут и темную сторону, т.е. будут заносить и ночью. Заносят раз в час, но есть случаи когда ресурс надо заблокировать немедленно, тогда будет внеочередная дельта. Кстати у дельт есть такой атрибут как empty, т.е. дельты штампуются без разницы есть изменения или нет. Изменено 17 ноября, 2017 пользователем ligverd Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ayf Опубликовано 17 ноября, 2017 · Жалоба Я не программист, сразу говорю. Но мне пока непонятно, как DPI будет ходить: Цитата новый механизм выгрузки из Единого реестра без использования ЭЦП с авторизацией через личный кабинет путем ввода логина и пароля В личный кабинет для авторизации. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ligverd Опубликовано 17 ноября, 2017 (изменено) · Жалоба "Личный кабинет" написали деятели далекие от технических вопросов. На самом деле будет все тоже самое, только с бейсик (или что-то подобное, дока это умалчивает) авторизацией. Логины и пароли будут выдаваться в ручную, по запросу ISP в соответствующие органы. Также все организационные вопросы решаются там же. Для примера можно попросить тестовый ревизор, и оговорить временное окно на период проведения теста, в котором штрафовать не будут. (в чем я сильно сомневаюсь) Изменено 17 ноября, 2017 пользователем ligverd Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pety Опубликовано 17 ноября, 2017 · Жалоба 4 минуты назад, ayf сказал: Я не программист, сразу говорю. Но мне пока непонятно, как DPI будет ходить: В личный кабинет для авторизации. Я вот хотел автоматически генерировать запросы и получать отчёты, но там какой-то чудак капчу придумал. Чтоб ему при чтении почты по imap/pop3 раз в минуту капчу вводить. ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snik_1900 Опубликовано 17 ноября, 2017 (изменено) · Жалоба Мне не совсем понятен смысл этого действа. Чего хотят добиться? Организация получит дельту. Надо её обработать. Даже при 200-300 записей это займет более 1 минуты. Тем более судя по описанию дельта будет от момента последнего запроса полного реестра. И соответственно для каждого оператора формироваться своя. У них появились квантовые компьютеры? Изменено 17 ноября, 2017 пользователем snik_1900 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 17 ноября, 2017 · Жалоба 16 минут назад, ligverd сказал: "Личный кабинет" написали деятели далекие от технических вопросов. Видимо всех более-менее толковых поувольняли за вольности с зарплатой. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ligverd Опубликовано 17 ноября, 2017 (изменено) · Жалоба Нет дельты общие, время сохраняется не когда была забрана дельта , а то время которое указанно в дельте. дельта 1 deltaInfo/deltaId=1 дельта 2 deltaInfo/deltaId=2 дельта 3 deltaInfo/deltaId=3 дельта 4 deltaInfo/deltaId=4 isp1 getDumpDeltaList actualDate=2 ему вернется в списке дельта 3 и дельта 4, провайдер сохраняет у себя deltaId:4 isp2 getDumpDeltaList actualDate=1 ему вернется в списке дельта 2, дельта 3 и дельта 4, провайдер сохраняет у себя deltaId:4 isp3 getDumpDeltaList actualDate=3 ему вернется в списке дельта 4, провайдер сохраняет у себя deltaId:4 т.е. если вы пропустили формирование нескольких дельт вам вернуться все дельты начиная с следующей которая у вас есть. Повторюсь, такой же алгоритм в GIT, только отсутствует слияние так как синхронизация однонаправленная. Изменено 17 ноября, 2017 пользователем ligverd Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pety Опубликовано 17 ноября, 2017 · Жалоба А операторов, которые не захотят сильно заморачиваться и будут запрашивать реестр только целиком, будут штрафовать? Ведь как-то не хорошо давать ограничение (например) - полный реестр только раз в сутки, остальное дельта. Потеряете полный вариант - Ваши проблемы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 17 ноября, 2017 · Жалоба 8 минут назад, snik_1900 сказал: Даже при 200-300 записей это займет более 1 минуты. Ну это только если использовать алгоритм Шлемеля. У каждой записи есть свой числовой идентификатор (если хеш не подходит). Если использовать СУБД, в которой ключи записей проиндексированы, то на обработку 300 записей потребуется пара секунд. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snik_1900 Опубликовано 17 ноября, 2017 (изменено) · Жалоба 4 минуты назад, ligverd сказал: Нет! дельты общие, время сохраняется не когда была забрана дельта , а то время которое указанно в дельте. дельта 1 deltaInfo/deltaId=1 дельта 2 deltaInfo/deltaId=2 дельта 3 tdeltaInfo/deltaId=3 дельта 4 deltaInfo/deltaId=4 isp1 getDumpDeltaList actualDate=2 ему вернется в списке дельта 3 и дельта 4, провайдер сохраняет у себя deltaId:4 isp2 getDumpDeltaList actualDate=1 ему вернется в списке дельта 2, дельта 3 и дельта 4, провайдер сохраняет у себя deltaId:4 isp3 getDumpDeltaList actualDate=3 ему вернется в списке дельта 4, провайдер сохраняет у себя deltaId:4 т.е. если вы пропустили формирование нескольких дельт вам вернуться все дельты начиная с следующей которая у вас есть. т.е. если были пропущены несколько "дельт" и вместо очередной "дельты" скачен полный реестр при следующем запросе все равно оператор получит все дельты? 2 минуты назад, alibek сказал: Ну это только если использовать алгоритм Шлемеля. У каждой записи есть свой числовой идентификатор (если хеш не подходит). Если использовать СУБД, в которой ключи записей проиндексированы, то на обработку 300 записей потребуется пара секунд. Это при условии что не проводить опрос DNS-серверов. Изменено 17 ноября, 2017 пользователем snik_1900 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...