Jump to content

Выгрузка реестра СОЦИАЛЬНЫХ и запрещенных сайтов РКН на MikroTik

Статья подготовлена при поддержке LightBilling, бесплатный облачный Биллинг для операторов связи (https://lightbilling.cloud).

 

РКН требует от операторов связи каждый день выполнять выгрузки реестра запрещенных сайтов (с недавнего времени еще и социальных), в независимости от того блокируете вы их или нет. Данная статья поможет выполнять эту процедуру прямо на МикроТике (MikroTik). Без необходимости разворачивания дополнительный серверов или виртуальных машин. Допустим это может быть актуально, если блокировкой занимается вышестоящий провайдер.

 

Оглавление:

  • Описание
  • Выгрузка запрещенных ресурсов
  • Выгрузка социально значимых ресурсов НОВОЕ!

 

Все началось с того, что решение данного вопроса не нашлось в Интернете. Как мне кажется вопрос актуальный.

Для выполнения выгрузок оператору связи по новому протоколу «дельты» необходима пара логин и пароль. Единственная, при том хорошая, инструкция выложена в базе знаний карбона https://docs.carbonsoft.ru/pages/viewpage.action?pageId=180322305 .Здесь описана процедура получения логин/пароля, а так же следуя инструкции не забываем добавить IP адрес нашего сервера (микротика) в web панели управления оператора.

 

 

Настройка выгрузки запрещенных сайтов на Микротик:

 

Добавляем скрипт в микротик (назовем rkn-vigruzki):

/tool fetch url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" user="LOGIN" password="PASSWORD" http-method="post" http-data="<\?xml version=\"1.0\" encoding=\"UTF-8\"\?><soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"><soap:Body><tns:getResult><code xsi:type=\"xsd:string\"></code></tns:getResult></soap:Body></soap:Envelope>" output="file" dst-path="dump.no-clear-base64" duration="15m"

Подробно останавливаться на нем не буду, параметры изучите самостоятельно. Поменяйте LOGIN и PASSWORD на соответствующие значения.

 

В планировщике (Scheduler) запуск скрипта я установил раз в 4 часа. Этого достаточно для выполнения требований РКН.

 

Скрипт создает файл dump.no-clear-base64. Каждый последующий раз скрипт обновляет файл, за местом на диске можно не следить.

Для просмотра файла, на Linux машине можно выполнить:

grep -oP "<registerZipArchive>.*</registerZipArchive>" dump.no-clear-base64|cut -d ">" -f 2 | cut -d "<" -f 1|base64 -d > dump.zip
unzip -o ./dump.zip -d ./

 

Помните, что еще и необходимо блокировать запрещенные сайты =).

 

 

Настройка выгрузки социально значимых ресурсов на Микротик:

 

Добавляем скрипт в микротик (назовем rkn-social):

/tool fetch url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" user="LOGIN" password="PASSWORD" http-method="post" http-data="<\?xml version=\"1.0\" encoding=\"UTF-8\"\?><soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"><soap:Body><tns:getResultSocResources><code xsi:type=\"xsd:string\"></code></tns:getResultSocResources></soap:Body></soap:Envelope>" output="file" dst-path="dump.no-clear-base64" duration="15m"

Меняем LOGIN и PASSWORD на свои, как в предыдущем описании и выполняем все те же действия. Можно использовать один планировщик такого вида:

/sys scr run rkn-vigruzki;
delay 5;
/sys scr run rkn-social;

Сначала грузим дамп запрещенных ресурсов, а через 5 секунд социальных.

Edited by Кошачии ловец

Share this post


Link to post
Share on other sites

В 27.01.2022 в 13:23, Кошачии ловец сказал:

Помните, что еще и необходимо блокировать запрещенные сайты =).

Всё можно сделать веселей - за нас готовят облачный список блокировок, не буду упоминать вендора, дабы не было названо рекламой - он же занимается выгрузкой реестра.

Точнее, у нас есть офф бумага от вендора и РКН, что выгрузкой занимается облако и РКН не имеет к этому вопросов.

 

П.С. Через какое время скрипт протрёт дырку во флеше, вопрос не праздный.

Share this post


Link to post
Share on other sites

В 27.01.2022 в 21:10, bike сказал:

Всё можно сделать веселей - за нас готовят облачный список блокировок, не буду упоминать вендора, дабы не было названо рекламой - он же занимается выгрузкой реестра.

Точнее, у нас есть офф бумага от вендора и РКН, что выгрузкой занимается облако и РКН не имеет к этому вопросов.

 

П.С. Через какое время скрипт протрёт дырку во флеше, вопрос не праздный.

Можно писать в память ОЗУ. Да и за 6 записей в сутки флешке ничего не будет.

Про бумагу не знал. Почему то этот вендор нигде не заявляет про нее, а это маленький плюс к удобству для бедующих заказчиков.

 

Share this post


Link to post
Share on other sites

 Есть список рекомендуемых dpi от ркн, это и есть бумага. В случае наезда ни эта бумага ни договор о фильтрации вышестояшим в суде не прокатит, как и от наезда о том что ваш рекомендуемый dpi из облацей все берет. Положено забирать, полным с эцп или дельтой - вот это они контроллят на автомате. Куда пойдет результат - им неважно, дев-нулл самое место.

Share this post


Link to post
Share on other sites

В 28.01.2022 в 19:29, YuryD сказал:

 Есть список рекомендуемых dpi от ркн, это и есть бумага.

У нас в суде ссылка на этот список и  допустимый %, указанный в нем, не проканали.

Share this post


Link to post
Share on other sites

В 28.01.2022 в 19:39, Andrei сказал:

У нас в суде ссылка на этот список и  допустимый %, указанный в нем, не проканали.

 Доканайте производителя на сертификат. Но и это не проканает, как и договор на вышестоящую фильтрацию. Ревизор сказал - вы каки и не фильтруете, далее можно любую бамагу в сортир, кроме лицензии - она жесткая :)

Share this post


Link to post
Share on other sites

 У Вас их  много?  обычно пд и тм, остальные умерли. Хотя есть и хотящие окучить свой мир всеми возможными видами связи, у некоторых псевдополучается.

Share this post


Link to post
Share on other sites

В 28.01.2022 в 19:47, YuryD сказал:

Доканайте производителя на сертификат.

 

В 28.01.2022 в 19:47, YuryD сказал:

любую бамагу в сортир, кроме лицензии

Я не улавливаю связи между этими двумя фразами.

Share this post


Link to post
Share on other sites

НОВОЕ!

 

Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности.

Share this post


Link to post
Share on other sites

В 08.02.2022 в 10:18, Кошачии ловец сказал:

НОВОЕ!

 

Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности.

Добрый день!

Что то не работает: failure: closing connection: <403 Forbidden> 81.177.103.92:443 (4)

Share this post


Link to post
Share on other sites

23 минуты назад, Timax сказал:

Добрый день!

Что то не работает: failure: closing connection: <403 Forbidden> 81.177.103.92:443 (4)

А всё, разобрался

Share this post


Link to post
Share on other sites

В 08.02.2022 в 07:18, Кошачии ловец сказал:

НОВОЕ!

 

Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности.

А есть такая обязанность?

Share this post


Link to post
Share on other sites

Можно как-то прикрутить авторизацию через пароль-логин вот в этот проект https://github.com/Prototype-X/blacklist-rkn-tool ?
Кто-то умеет в Python, можете подсказать, что править в файле запроса zapret.nfo.py?
И возможно ли выгружать ТОЛЬКО социально значимые сайты? Почему не предусмотрели выгрузку только их? Ведь так бы нагрузка была меньше на сервера РКН.

 

 

Edited by smartomsk
добавил вопрос

Share this post


Link to post
Share on other sites

В 04.03.2022 в 16:31, smartomsk сказал:

Можно как-то прикрутить авторизацию через пароль-логин вот в этот проект https://github.com/Prototype-X/blacklist-rkn-tool ?
Кто-то умеет в Python, можете подсказать, что править в файле запроса zapret.nfo.py?
И возможно ли выгружать ТОЛЬКО социально значимые сайты? Почему не предусмотрели выгрузку только их? Ведь так бы нагрузка была меньше на сервера РКН.

 

 

 

Все по аналогии как указал ТС.

Во втором случае идет выгрузка только! социально. значимых ресурсов.

Share this post


Link to post
Share on other sites

В 04.03.2022 в 16:46, nphs сказал:

Все по аналогии как указал ТС.

Во втором случае идет выгрузка только! социально. значимых ресурсов.

У меня cURL в Ubuntu 20.04...  Микротикам доверия нет.
Делаю вот такой запрос:

curl -v -u "USER:PASSWORD" --request POST --header "Content-Type: text/xml;charset=UTF-8" \
--data '<?xml version="1.0" encoding="UTF-8"?>\
<soap:Envelope \
soap:encodingStyle="http://schemas.xmlsoap.org/soap/encoding/ (http://schemas.xmlsoap.org/soap/encoding/)" \
xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/ (http://schemas.xmlsoap.org/soap/envelope/)" \
xmlns:wsdl="http://schemas.xmlsoap.org/wsdl/ (http://schemas.xmlsoap.org/wsdl/)" \
xmlns:soapenc="http://schemas.xmlsoap.org/soap/encoding/ (http://schemas.xmlsoap.org/soap/encoding/)" \
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance (http://www.w3.org/2001/XMLSchema-instance/)" \
xmlns:xsd="http://www.w3.org/2001/XMLSchema (http://www.w3.org/2001/XMLSchema/)" \
xmlns:tns="http://vigruzki.rkn.gov.ru/OperatorRequest/ (http://vigruzki.rkn.gov.ru/OperatorRequest/)"\
>\
<soap:Body><tns:getResultSocResources><code xsi:type="xsd:string"></code></tns:getResultSocResources></soap:Body>\
</soap:Envelope>' \
--max-time 90 https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/


Но... не катит. Пишет требуется авторизация. ЧЯДНТ?


P.S. РКН может написала бы правильные скрипты готовые, чтобы не велосипедить всем локально.

Share this post


Link to post
Share on other sites

curl -s --user LOGIN:PASSWORD -X POST  \
    -d "<?xml version=\"1.0\" encoding=\"UTF-8\"?> \
       <soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" \
       xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" \
       xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" \
       xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" \
       xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" \
       xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" \
       xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"> \
       <soap:Body> <tns:getResultSocResources> \
       <code xsi:type=\"xsd:string\"></code> \
       </tns:getResultSocResources> \
       </soap:Body></soap:Envelope>" \
"https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" 2>&1 \
| grep -oP "<registerZipArchive>.*<\/registerZipArchive>" \
| cut -d ">" -f 2 | cut -d "<" -f 1 \
| base64 -d \
> dump-soc.$(date +%Y%m%d%H%M).zip

тааак... выгрузил я dump-soc.zip, как его теперь в микротик отправлять? Что-то не вижу в теме такого.

Share this post


Link to post
Share on other sites

В 10.03.2022 в 11:48, smartomsk сказал:
 

тааак... выгрузил я dump-soc.zip, как его теперь в микротик отправлять? Что-то не вижу в теме такого.

В теме нет.

Как вариант может вот это подойдет https://forum.nag.ru/index.php?/topic/166429-dostup-k-socialnym-saytam-na-mikrotike-odin-iz-variantov-realizacii/

Share this post


Link to post
Share on other sites

Добрый день, прошу помочь разобраться в вопросе
 

Метод выгрузки должен выгрузить реестр в файл dump.no-clear-base64 на микротике ?...   хотя пока у меня не получилось
Сначало было идет подключение Status: connecting
но потом вылетает: 
status: failed

failure: connection timeout


Если получить выгрузить файл, можете подсказать как в дальнейшем работать с данным файлом на микротике? Можно ли добавить адреса из файла в фильтры/Address_Lists микротика?

Share this post


Link to post
Share on other sites

В 30.03.2022 в 17:49, StalkerRU сказал:

Добрый день, прошу помочь разобраться в вопросе
 

Метод выгрузки должен выгрузить реестр в файл dump.no-clear-base64 на микротике ?...   хотя пока у меня не получилось
Сначало было идет подключение Status: connecting
но потом вылетает: 
status: failed

failure: connection timeout


Если получить выгрузить файл, можете подсказать как в дальнейшем работать с данным файлом на микротике? Можно ли добавить адреса из файла в фильтры/Address_Lists микротика?

Добрый день,

 

Речь идет про социальные сайты или запрещенные?

Share this post


Link to post
Share on other sites

Про запрещенные, как владельцам AS приходится задумываться над этим вопросом(

Выгрузил файл на ПК при помощи   curl -s --user LOGIN:PASSWORD -X POST  ...
размер в архиве - 36МБ, размер без архива т.е dump.xml  - 236МБ
у меня большие сомнения, что микротик справится с таким размером… 
хотя может я ошибаюсь.
 

Edited by StalkerRU

Share this post


Link to post
Share on other sites

В 31.03.2022 в 01:24, StalkerRU сказал:

Про запрещенные, как владельцам AS приходится задумываться над этим вопросом(

Выгрузил файл на ПК при помощи   curl -s --user LOGIN:PASSWORD -X POST  ...
размер в архиве - 36МБ, размер без архива т.е dump.xml  - 236МБ
у меня большие сомнения, что микротик справится с таким размером… 
хотя может я ошибаюсь.
 

 

Смотрите, данная статья написана для выполнения галочки (отслеживается РЧЦ) по выгрузкам.

После загрузки dump.no-clear-base64 на диск, штатными средствами микротик не сможет распаковать .zip.

Даже если бы и мог, как вы заметили микротик ничего не сможет сделать с этими списками. На данный момент на микротике не возможно выполнить 100% фильтрацию.

 

Можно загружать готовые и актуальные списки IP адресов в миротик с сайта https://antifilter.download/

Но как подмечено ранее с ними мало, что можно сделать.

 

Для Социальных сайтов (СЗР), совсем другая история, описана здесь https://forum.nag.ru/index.php?/topic/166429-dostup-k-socialnym-saytam-na-mikrotike-odin-iz-variantov-realizacii/

 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.