[Кошачии ловец]

Статья подготовлена при поддержке LightBilling, бесплатный облачный Биллинг для операторов связи (https://lightbilling.cloud).

 

РКН требует от операторов связи каждый день выполнять выгрузки реестра запрещенных сайтов (с недавнего времени еще и социальных), в независимости от того блокируете вы их или нет. Данная статья поможет выполнять эту процедуру прямо на МикроТике (MikroTik). Без необходимости разворачивания дополнительный серверов или виртуальных машин. Допустим это может быть актуально, если блокировкой занимается вышестоящий провайдер.

 

Оглавление:

• Описание
• Выгрузка запрещенных ресурсов
• Выгрузка социально значимых ресурсов НОВОЕ!

 

Все началось с того, что решение данного вопроса не нашлось в Интернете. Как мне кажется вопрос актуальный.

Для выполнения выгрузок оператору связи по новому протоколу «дельты» необходима пара логин и пароль. Единственная, при том хорошая, инструкция выложена в базе знаний карбона https://docs.carbonsoft.ru/pages/viewpage.action?pageId=180322305 .Здесь описана процедура получения логин/пароля, а так же следуя инструкции не забываем добавить IP адрес нашего сервера (микротика) в web панели управления оператора.

 

 

Настройка выгрузки запрещенных сайтов на Микротик:

 

Добавляем скрипт в микротик (назовем rkn-vigruzki):

/tool fetch url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" user="LOGIN" password="PASSWORD" http-method="post" http-data="<\?xml version=\"1.0\" encoding=\"UTF-8\"\?><soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"><soap:Body><tns:getResult><code xsi:type=\"xsd:string\"></code></tns:getResult></soap:Body></soap:Envelope>" output="file" dst-path="dump.no-clear-base64" duration="15m"

Подробно останавливаться на нем не буду, параметры изучите самостоятельно. Поменяйте LOGIN и PASSWORD на соответствующие значения.

 

В планировщике (Scheduler) запуск скрипта я установил раз в 4 часа. Этого достаточно для выполнения требований РКН.

 

Скрипт создает файл dump.no-clear-base64. Каждый последующий раз скрипт обновляет файл, за местом на диске можно не следить.

Для просмотра файла, на Linux машине можно выполнить:

grep -oP "<registerZipArchive>.*</registerZipArchive>" dump.no-clear-base64|cut -d ">" -f 2 | cut -d "<" -f 1|base64 -d > dump.zip

unzip -o ./dump.zip -d ./

 

Помните, что еще и необходимо блокировать запрещенные сайты =).

 

 

Настройка выгрузки социально значимых ресурсов на Микротик:

 

Добавляем скрипт в микротик (назовем rkn-social):

/tool fetch url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" user="LOGIN" password="PASSWORD" http-method="post" http-data="<\?xml version=\"1.0\" encoding=\"UTF-8\"\?><soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"><soap:Body><tns:getResultSocResources><code xsi:type=\"xsd:string\"></code></tns:getResultSocResources></soap:Body></soap:Envelope>" output="file" dst-path="dump.no-clear-base64" duration="15m"

Меняем LOGIN и PASSWORD на свои, как в предыдущем описании и выполняем все те же действия. Можно использовать один планировщик такого вида:

/sys scr run rkn-vigruzki;
delay 5;
/sys scr run rkn-social;

Сначала грузим дамп запрещенных ресурсов, а через 5 секунд социальных.

Edited February 8, 2022 by Кошачии ловец

[bike]

В 27.01.2022 в 13:23, Кошачии ловец сказал:

Помните, что еще и необходимо блокировать запрещенные сайты =).

Всё можно сделать веселей - за нас готовят облачный список блокировок, не буду упоминать вендора, дабы не было названо рекламой - он же занимается выгрузкой реестра.

Точнее, у нас есть офф бумага от вендора и РКН, что выгрузкой занимается облако и РКН не имеет к этому вопросов.

 

П.С. Через какое время скрипт протрёт дырку во флеше, вопрос не праздный.

[Кошачии ловец]

В 27.01.2022 в 21:10, bike сказал:

Всё можно сделать веселей - за нас готовят облачный список блокировок, не буду упоминать вендора, дабы не было названо рекламой - он же занимается выгрузкой реестра.

Точнее, у нас есть офф бумага от вендора и РКН, что выгрузкой занимается облако и РКН не имеет к этому вопросов.

 

П.С. Через какое время скрипт протрёт дырку во флеше, вопрос не праздный.

Можно писать в память ОЗУ. Да и за 6 записей в сутки флешке ничего не будет.

Про бумагу не знал. Почему то этот вендор нигде не заявляет про нее, а это маленький плюс к удобству для бедующих заказчиков.

 

[Andrei]

В 28.01.2022 в 08:05, Кошачии ловец сказал:

Про бумагу не знал.

Что за вендор с бумагой (можно в личку, чтобы не сочли за рекламу)?

[YuryD]

 Есть список рекомендуемых dpi от ркн, это и есть бумага. В случае наезда ни эта бумага ни договор о фильтрации вышестояшим в суде не прокатит, как и от наезда о том что ваш рекомендуемый dpi из облацей все берет. Положено забирать, полным с эцп или дельтой - вот это они контроллят на автомате. Куда пойдет результат - им неважно, дев-нулл самое место.

[Andrei]

В 28.01.2022 в 19:29, YuryD сказал:

 Есть список рекомендуемых dpi от ркн, это и есть бумага.

У нас в суде ссылка на этот список и  допустимый %, указанный в нем, не проканали.

[YuryD]

В 28.01.2022 в 19:39, Andrei сказал:

У нас в суде ссылка на этот список и  допустимый %, указанный в нем, не проканали.

 Доканайте производителя на сертификат. Но и это не проканает, как и договор на вышестоящую фильтрацию. Ревизор сказал - вы каки и не фильтруете, далее можно любую бамагу в сортир, кроме лицензии - она жесткая :)

[Andrei]

В 28.01.2022 в 19:47, YuryD сказал:

далее можно любую бамагу в сортир, кроме лицензии

О какой лицензии речь?

[YuryD]

 У Вас их  много?  обычно пд и тм, остальные умерли. Хотя есть и хотящие окучить свой мир всеми возможными видами связи, у некоторых псевдополучается.

[Andrei]

В 28.01.2022 в 19:47, YuryD сказал:

Доканайте производителя на сертификат.

 

В 28.01.2022 в 19:47, YuryD сказал:

любую бамагу в сортир, кроме лицензии

Я не улавливаю связи между этими двумя фразами.

[Кошачии ловец]

НОВОЕ!

 

Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности.

[Timax]

В 08.02.2022 в 10:18, Кошачии ловец сказал:

НОВОЕ!

 

Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности.

Добрый день!

Что то не работает: failure: closing connection: <403 Forbidden> 81.177.103.92:443 (4)

[Timax]

23 минуты назад, Timax сказал:

Добрый день!

Что то не работает: failure: closing connection: <403 Forbidden> 81.177.103.92:443 (4)

А всё, разобрался

[Andrei]

В 08.02.2022 в 07:18, Кошачии ловец сказал:

НОВОЕ!

 

Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности.

А есть такая обязанность?

[alegor]

Добрый день! Подскажите как это реализовать на centos и cisco asr-bras

Edited March 10, 2022 by alegor

[smartomsk]

Можно как-то прикрутить авторизацию через пароль-логин вот в этот проект https://github.com/Prototype-X/blacklist-rkn-tool ?
Кто-то умеет в Python, можете подсказать, что править в файле запроса zapret.nfo.py?
И возможно ли выгружать ТОЛЬКО социально значимые сайты? Почему не предусмотрели выгрузку только их? Ведь так бы нагрузка была меньше на сервера РКН.

 

 

Edited March 4, 2022 by smartomsk
добавил вопрос

[nphs]

В 04.03.2022 в 16:31, smartomsk сказал:

Можно как-то прикрутить авторизацию через пароль-логин вот в этот проект https://github.com/Prototype-X/blacklist-rkn-tool ?
Кто-то умеет в Python, можете подсказать, что править в файле запроса zapret.nfo.py?
И возможно ли выгружать ТОЛЬКО социально значимые сайты? Почему не предусмотрели выгрузку только их? Ведь так бы нагрузка была меньше на сервера РКН.

 

 

 

Все по аналогии как указал ТС.

Во втором случае идет выгрузка только! социально. значимых ресурсов.

[smartomsk]

В 04.03.2022 в 16:46, nphs сказал:

Все по аналогии как указал ТС.

Во втором случае идет выгрузка только! социально. значимых ресурсов.

У меня cURL в Ubuntu 20.04...  Микротикам доверия нет.
Делаю вот такой запрос:

curl -v -u "USER:PASSWORD" --request POST --header "Content-Type: text/xml;charset=UTF-8" \
--data '<?xml version="1.0" encoding="UTF-8"?>\
<soap:Envelope \
soap:encodingStyle="http://schemas.xmlsoap.org/soap/encoding/ (http://schemas.xmlsoap.org/soap/encoding/)" \
xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/ (http://schemas.xmlsoap.org/soap/envelope/)" \
xmlns:wsdl="http://schemas.xmlsoap.org/wsdl/ (http://schemas.xmlsoap.org/wsdl/)" \
xmlns:soapenc="http://schemas.xmlsoap.org/soap/encoding/ (http://schemas.xmlsoap.org/soap/encoding/)" \
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance (http://www.w3.org/2001/XMLSchema-instance/)" \
xmlns:xsd="http://www.w3.org/2001/XMLSchema (http://www.w3.org/2001/XMLSchema/)" \
xmlns:tns="http://vigruzki.rkn.gov.ru/OperatorRequest/ (http://vigruzki.rkn.gov.ru/OperatorRequest/)"\
>\
<soap:Body><tns:getResultSocResources><code xsi:type="xsd:string"></code></tns:getResultSocResources></soap:Body>\
</soap:Envelope>' \
--max-time 90 https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/

Но... не катит. Пишет требуется авторизация. ЧЯДНТ?

P.S. РКН может написала бы правильные скрипты готовые, чтобы не велосипедить всем локально.

[nphs]

Вот тут скрипт от Кошечьего ловца на PHP:

 

Вот тут скрипт от taf_321 на bash:

 

 

 

[smartomsk]

curl -s --user LOGIN:PASSWORD -X POST  \
    -d "<?xml version=\"1.0\" encoding=\"UTF-8\"?> \
       <soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" \
       xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" \
       xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" \
       xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" \
       xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" \
       xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" \
       xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"> \
       <soap:Body> <tns:getResultSocResources> \
       <code xsi:type=\"xsd:string\"></code> \
       </tns:getResultSocResources> \
       </soap:Body></soap:Envelope>" \
"https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" 2>&1 \
| grep -oP "<registerZipArchive>.*<\/registerZipArchive>" \
| cut -d ">" -f 2 | cut -d "<" -f 1 \
| base64 -d \
> dump-soc.$(date +%Y%m%d%H%M).zip

тааак... выгрузил я dump-soc.zip, как его теперь в микротик отправлять? Что-то не вижу в теме такого.

[nphs]

В 10.03.2022 в 11:48, smartomsk сказал:

тааак... выгрузил я dump-soc.zip, как его теперь в микротик отправлять? Что-то не вижу в теме такого.

В теме нет.

Как вариант может вот это подойдет https://forum.nag.ru/index.php?/topic/166429-dostup-k-socialnym-saytam-na-mikrotike-odin-iz-variantov-realizacii/

[StalkerRU]

Добрый день, прошу помочь разобраться в вопросе
 

Метод выгрузки должен выгрузить реестр в файл dump.no-clear-base64 на микротике ?...   хотя пока у меня не получилось
Сначало было идет подключение Status: connecting
но потом вылетает: 
status: failed

failure: connection timeout

Если получить выгрузить файл, можете подсказать как в дальнейшем работать с данным файлом на микротике? Можно ли добавить адреса из файла в фильтры/Address_Lists микротика?

[Кошачии ловец]

В 30.03.2022 в 17:49, StalkerRU сказал:

Добрый день, прошу помочь разобраться в вопросе
 

Метод выгрузки должен выгрузить реестр в файл dump.no-clear-base64 на микротике ?...   хотя пока у меня не получилось
Сначало было идет подключение Status: connecting
но потом вылетает: 
status: failed

failure: connection timeout

Если получить выгрузить файл, можете подсказать как в дальнейшем работать с данным файлом на микротике? Можно ли добавить адреса из файла в фильтры/Address_Lists микротика?

Добрый день,

 

Речь идет про социальные сайты или запрещенные?

[StalkerRU]

Про запрещенные, как владельцам AS приходится задумываться над этим вопросом(

Выгрузил файл на ПК при помощи   curl -s --user LOGIN:PASSWORD -X POST  ...
размер в архиве - 36МБ, размер без архива т.е dump.xml  - 236МБ
у меня большие сомнения, что микротик справится с таким размером… 
хотя может я ошибаюсь.
 

Edited March 30, 2022 by StalkerRU

[Кошачии ловец]

В 31.03.2022 в 01:24, StalkerRU сказал:

Про запрещенные, как владельцам AS приходится задумываться над этим вопросом(

Выгрузил файл на ПК при помощи   curl -s --user LOGIN:PASSWORD -X POST  ...
размер в архиве - 36МБ, размер без архива т.е dump.xml  - 236МБ
у меня большие сомнения, что микротик справится с таким размером… 
хотя может я ошибаюсь.
 

 

Смотрите, данная статья написана для выполнения галочки (отслеживается РЧЦ) по выгрузкам.

После загрузки dump.no-clear-base64 на диск, штатными средствами микротик не сможет распаковать .zip.

Даже если бы и мог, как вы заметили микротик ничего не сможет сделать с этими списками. На данный момент на микротике не возможно выполнить 100% фильтрацию.

 

Можно загружать готовые и актуальные списки IP адресов в миротик с сайта https://antifilter.download/

Но как подмечено ранее с ними мало, что можно сделать.

 

Для Социальных сайтов (СЗР), совсем другая история, описана здесь https://forum.nag.ru/index.php?/topic/166429-dostup-k-socialnym-saytam-na-mikrotike-odin-iz-variantov-realizacii/