Кошачии ловец Опубликовано 27 января, 2022 (изменено) · Жалоба Статья подготовлена при поддержке LightBilling, бесплатный облачный Биллинг для операторов связи (https://lightbilling.cloud). РКН требует от операторов связи каждый день выполнять выгрузки реестра запрещенных сайтов (с недавнего времени еще и социальных), в независимости от того блокируете вы их или нет. Данная статья поможет выполнять эту процедуру прямо на МикроТике (MikroTik). Без необходимости разворачивания дополнительный серверов или виртуальных машин. Допустим это может быть актуально, если блокировкой занимается вышестоящий провайдер. Оглавление: Описание Выгрузка запрещенных ресурсов Выгрузка социально значимых ресурсов НОВОЕ! Все началось с того, что решение данного вопроса не нашлось в Интернете. Как мне кажется вопрос актуальный. Для выполнения выгрузок оператору связи по новому протоколу «дельты» необходима пара логин и пароль. Единственная, при том хорошая, инструкция выложена в базе знаний карбона https://docs.carbonsoft.ru/pages/viewpage.action?pageId=180322305 .Здесь описана процедура получения логин/пароля, а так же следуя инструкции не забываем добавить IP адрес нашего сервера (микротика) в web панели управления оператора. Настройка выгрузки запрещенных сайтов на Микротик: Добавляем скрипт в микротик (назовем rkn-vigruzki): /tool fetch url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" user="LOGIN" password="PASSWORD" http-method="post" http-data="<\?xml version=\"1.0\" encoding=\"UTF-8\"\?><soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"><soap:Body><tns:getResult><code xsi:type=\"xsd:string\"></code></tns:getResult></soap:Body></soap:Envelope>" output="file" dst-path="dump.no-clear-base64" duration="15m" Подробно останавливаться на нем не буду, параметры изучите самостоятельно. Поменяйте LOGIN и PASSWORD на соответствующие значения. В планировщике (Scheduler) запуск скрипта я установил раз в 4 часа. Этого достаточно для выполнения требований РКН. Скрипт создает файл dump.no-clear-base64. Каждый последующий раз скрипт обновляет файл, за местом на диске можно не следить. Для просмотра файла, на Linux машине можно выполнить: grep -oP "<registerZipArchive>.*</registerZipArchive>" dump.no-clear-base64|cut -d ">" -f 2 | cut -d "<" -f 1|base64 -d > dump.zip unzip -o ./dump.zip -d ./ Помните, что еще и необходимо блокировать запрещенные сайты =). Настройка выгрузки социально значимых ресурсов на Микротик: Добавляем скрипт в микротик (назовем rkn-social): /tool fetch url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" user="LOGIN" password="PASSWORD" http-method="post" http-data="<\?xml version=\"1.0\" encoding=\"UTF-8\"\?><soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"><soap:Body><tns:getResultSocResources><code xsi:type=\"xsd:string\"></code></tns:getResultSocResources></soap:Body></soap:Envelope>" output="file" dst-path="dump.no-clear-base64" duration="15m" Меняем LOGIN и PASSWORD на свои, как в предыдущем описании и выполняем все те же действия. Можно использовать один планировщик такого вида: /sys scr run rkn-vigruzki; delay 5; /sys scr run rkn-social; Сначала грузим дамп запрещенных ресурсов, а через 5 секунд социальных. Изменено 8 февраля, 2022 пользователем Кошачии ловец Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bike Опубликовано 27 января, 2022 · Жалоба В 27.01.2022 в 13:23, Кошачии ловец сказал: Помните, что еще и необходимо блокировать запрещенные сайты =). Всё можно сделать веселей - за нас готовят облачный список блокировок, не буду упоминать вендора, дабы не было названо рекламой - он же занимается выгрузкой реестра. Точнее, у нас есть офф бумага от вендора и РКН, что выгрузкой занимается облако и РКН не имеет к этому вопросов. П.С. Через какое время скрипт протрёт дырку во флеше, вопрос не праздный. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Кошачии ловец Опубликовано 28 января, 2022 · Жалоба В 27.01.2022 в 21:10, bike сказал: Всё можно сделать веселей - за нас готовят облачный список блокировок, не буду упоминать вендора, дабы не было названо рекламой - он же занимается выгрузкой реестра. Точнее, у нас есть офф бумага от вендора и РКН, что выгрузкой занимается облако и РКН не имеет к этому вопросов. П.С. Через какое время скрипт протрёт дырку во флеше, вопрос не праздный. Можно писать в память ОЗУ. Да и за 6 записей в сутки флешке ничего не будет. Про бумагу не знал. Почему то этот вендор нигде не заявляет про нее, а это маленький плюс к удобству для бедующих заказчиков. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Andrei Опубликовано 28 января, 2022 · Жалоба В 28.01.2022 в 08:05, Кошачии ловец сказал: Про бумагу не знал. Что за вендор с бумагой (можно в личку, чтобы не сочли за рекламу)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 28 января, 2022 · Жалоба Есть список рекомендуемых dpi от ркн, это и есть бумага. В случае наезда ни эта бумага ни договор о фильтрации вышестояшим в суде не прокатит, как и от наезда о том что ваш рекомендуемый dpi из облацей все берет. Положено забирать, полным с эцп или дельтой - вот это они контроллят на автомате. Куда пойдет результат - им неважно, дев-нулл самое место. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Andrei Опубликовано 28 января, 2022 · Жалоба В 28.01.2022 в 19:29, YuryD сказал: Есть список рекомендуемых dpi от ркн, это и есть бумага. У нас в суде ссылка на этот список и допустимый %, указанный в нем, не проканали. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 28 января, 2022 · Жалоба В 28.01.2022 в 19:39, Andrei сказал: У нас в суде ссылка на этот список и допустимый %, указанный в нем, не проканали. Доканайте производителя на сертификат. Но и это не проканает, как и договор на вышестоящую фильтрацию. Ревизор сказал - вы каки и не фильтруете, далее можно любую бамагу в сортир, кроме лицензии - она жесткая :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Andrei Опубликовано 28 января, 2022 · Жалоба В 28.01.2022 в 19:47, YuryD сказал: далее можно любую бамагу в сортир, кроме лицензии О какой лицензии речь? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 28 января, 2022 · Жалоба У Вас их много? обычно пд и тм, остальные умерли. Хотя есть и хотящие окучить свой мир всеми возможными видами связи, у некоторых псевдополучается. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Andrei Опубликовано 28 января, 2022 · Жалоба В 28.01.2022 в 19:47, YuryD сказал: Доканайте производителя на сертификат. В 28.01.2022 в 19:47, YuryD сказал: любую бамагу в сортир, кроме лицензии Я не улавливаю связи между этими двумя фразами. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Кошачии ловец Опубликовано 8 февраля, 2022 · Жалоба НОВОЕ! Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Timax Опубликовано 11 февраля, 2022 · Жалоба В 08.02.2022 в 10:18, Кошачии ловец сказал: НОВОЕ! Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности. Добрый день! Что то не работает: failure: closing connection: <403 Forbidden> 81.177.103.92:443 (4) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Timax Опубликовано 11 февраля, 2022 · Жалоба 23 минуты назад, Timax сказал: Добрый день! Что то не работает: failure: closing connection: <403 Forbidden> 81.177.103.92:443 (4) А всё, разобрался Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Andrei Опубликовано 11 февраля, 2022 · Жалоба В 08.02.2022 в 07:18, Кошачии ловец сказал: НОВОЕ! Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности. А есть такая обязанность? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alegor Опубликовано 4 марта, 2022 (изменено) · Жалоба Добрый день! Подскажите как это реализовать на centos и cisco asr-bras Изменено 10 марта, 2022 пользователем alegor Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
smartomsk Опубликовано 4 марта, 2022 (изменено) · Жалоба Можно как-то прикрутить авторизацию через пароль-логин вот в этот проект https://github.com/Prototype-X/blacklist-rkn-tool ? Кто-то умеет в Python, можете подсказать, что править в файле запроса zapret.nfo.py? И возможно ли выгружать ТОЛЬКО социально значимые сайты? Почему не предусмотрели выгрузку только их? Ведь так бы нагрузка была меньше на сервера РКН. Изменено 4 марта, 2022 пользователем smartomsk добавил вопрос Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nphs Опубликовано 4 марта, 2022 · Жалоба В 04.03.2022 в 16:31, smartomsk сказал: Можно как-то прикрутить авторизацию через пароль-логин вот в этот проект https://github.com/Prototype-X/blacklist-rkn-tool ? Кто-то умеет в Python, можете подсказать, что править в файле запроса zapret.nfo.py? И возможно ли выгружать ТОЛЬКО социально значимые сайты? Почему не предусмотрели выгрузку только их? Ведь так бы нагрузка была меньше на сервера РКН. Все по аналогии как указал ТС. Во втором случае идет выгрузка только! социально. значимых ресурсов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
smartomsk Опубликовано 4 марта, 2022 · Жалоба В 04.03.2022 в 16:46, nphs сказал: Все по аналогии как указал ТС. Во втором случае идет выгрузка только! социально. значимых ресурсов. У меня cURL в Ubuntu 20.04... Микротикам доверия нет. Делаю вот такой запрос: curl -v -u "USER:PASSWORD" --request POST --header "Content-Type: text/xml;charset=UTF-8" \ --data '<?xml version="1.0" encoding="UTF-8"?>\ <soap:Envelope \ soap:encodingStyle="http://schemas.xmlsoap.org/soap/encoding/ (http://schemas.xmlsoap.org/soap/encoding/)" \ xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/ (http://schemas.xmlsoap.org/soap/envelope/)" \ xmlns:wsdl="http://schemas.xmlsoap.org/wsdl/ (http://schemas.xmlsoap.org/wsdl/)" \ xmlns:soapenc="http://schemas.xmlsoap.org/soap/encoding/ (http://schemas.xmlsoap.org/soap/encoding/)" \ xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance (http://www.w3.org/2001/XMLSchema-instance/)" \ xmlns:xsd="http://www.w3.org/2001/XMLSchema (http://www.w3.org/2001/XMLSchema/)" \ xmlns:tns="http://vigruzki.rkn.gov.ru/OperatorRequest/ (http://vigruzki.rkn.gov.ru/OperatorRequest/)"\ >\ <soap:Body><tns:getResultSocResources><code xsi:type="xsd:string"></code></tns:getResultSocResources></soap:Body>\ </soap:Envelope>' \ --max-time 90 https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/ Но... не катит. Пишет требуется авторизация. ЧЯДНТ? P.S. РКН может написала бы правильные скрипты готовые, чтобы не велосипедить всем локально. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nphs Опубликовано 4 марта, 2022 · Жалоба Вот тут скрипт от Кошечьего ловца на PHP: Вот тут скрипт от taf_321 на bash: Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
smartomsk Опубликовано 10 марта, 2022 · Жалоба curl -s --user LOGIN:PASSWORD -X POST \ -d "<?xml version=\"1.0\" encoding=\"UTF-8\"?> \ <soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" \ xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" \ xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" \ xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" \ xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" \ xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" \ xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"> \ <soap:Body> <tns:getResultSocResources> \ <code xsi:type=\"xsd:string\"></code> \ </tns:getResultSocResources> \ </soap:Body></soap:Envelope>" \ "https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" 2>&1 \ | grep -oP "<registerZipArchive>.*<\/registerZipArchive>" \ | cut -d ">" -f 2 | cut -d "<" -f 1 \ | base64 -d \ > dump-soc.$(date +%Y%m%d%H%M).zip тааак... выгрузил я dump-soc.zip, как его теперь в микротик отправлять? Что-то не вижу в теме такого. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nphs Опубликовано 11 марта, 2022 · Жалоба В 10.03.2022 в 11:48, smartomsk сказал: тааак... выгрузил я dump-soc.zip, как его теперь в микротик отправлять? Что-то не вижу в теме такого. В теме нет. Как вариант может вот это подойдет https://forum.nag.ru/index.php?/topic/166429-dostup-k-socialnym-saytam-na-mikrotike-odin-iz-variantov-realizacii/ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
StalkerRU Опубликовано 30 марта, 2022 · Жалоба Добрый день, прошу помочь разобраться в вопросе Метод выгрузки должен выгрузить реестр в файл dump.no-clear-base64 на микротике ?... хотя пока у меня не получилось Сначало было идет подключение Status: connecting но потом вылетает: status: failed failure: connection timeout Если получить выгрузить файл, можете подсказать как в дальнейшем работать с данным файлом на микротике? Можно ли добавить адреса из файла в фильтры/Address_Lists микротика? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Кошачии ловец Опубликовано 30 марта, 2022 · Жалоба В 30.03.2022 в 17:49, StalkerRU сказал: Добрый день, прошу помочь разобраться в вопросе Метод выгрузки должен выгрузить реестр в файл dump.no-clear-base64 на микротике ?... хотя пока у меня не получилось Сначало было идет подключение Status: connecting но потом вылетает: status: failed failure: connection timeout Если получить выгрузить файл, можете подсказать как в дальнейшем работать с данным файлом на микротике? Можно ли добавить адреса из файла в фильтры/Address_Lists микротика? Добрый день, Речь идет про социальные сайты или запрещенные? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
StalkerRU Опубликовано 30 марта, 2022 (изменено) · Жалоба Про запрещенные, как владельцам AS приходится задумываться над этим вопросом( Выгрузил файл на ПК при помощи curl -s --user LOGIN:PASSWORD -X POST ... размер в архиве - 36МБ, размер без архива т.е dump.xml - 236МБ у меня большие сомнения, что микротик справится с таким размером… хотя может я ошибаюсь. Изменено 30 марта, 2022 пользователем StalkerRU Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Кошачии ловец Опубликовано 31 марта, 2022 · Жалоба В 31.03.2022 в 01:24, StalkerRU сказал: Про запрещенные, как владельцам AS приходится задумываться над этим вопросом( Выгрузил файл на ПК при помощи curl -s --user LOGIN:PASSWORD -X POST ... размер в архиве - 36МБ, размер без архива т.е dump.xml - 236МБ у меня большие сомнения, что микротик справится с таким размером… хотя может я ошибаюсь. Смотрите, данная статья написана для выполнения галочки (отслеживается РЧЦ) по выгрузкам. После загрузки dump.no-clear-base64 на диск, штатными средствами микротик не сможет распаковать .zip. Даже если бы и мог, как вы заметили микротик ничего не сможет сделать с этими списками. На данный момент на микротике не возможно выполнить 100% фильтрацию. Можно загружать готовые и актуальные списки IP адресов в миротик с сайта https://antifilter.download/ Но как подмечено ранее с ними мало, что можно сделать. Для Социальных сайтов (СЗР), совсем другая история, описана здесь https://forum.nag.ru/index.php?/topic/166429-dostup-k-socialnym-saytam-na-mikrotike-odin-iz-variantov-realizacii/ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...