Перейти к содержимому
Калькуляторы

Выгрузка реестра СОЦИАЛЬНЫХ и запрещенных сайтов РКН на MikroTik

Статья подготовлена при поддержке LightBilling, бесплатный облачный Биллинг для операторов связи (https://lightbilling.cloud).

 

РКН требует от операторов связи каждый день выполнять выгрузки реестра запрещенных сайтов (с недавнего времени еще и социальных), в независимости от того блокируете вы их или нет. Данная статья поможет выполнять эту процедуру прямо на МикроТике (MikroTik). Без необходимости разворачивания дополнительный серверов или виртуальных машин. Допустим это может быть актуально, если блокировкой занимается вышестоящий провайдер.

 

Оглавление:

  • Описание
  • Выгрузка запрещенных ресурсов
  • Выгрузка социально значимых ресурсов НОВОЕ!

 

Все началось с того, что решение данного вопроса не нашлось в Интернете. Как мне кажется вопрос актуальный.

Для выполнения выгрузок оператору связи по новому протоколу «дельты» необходима пара логин и пароль. Единственная, при том хорошая, инструкция выложена в базе знаний карбона https://docs.carbonsoft.ru/pages/viewpage.action?pageId=180322305 .Здесь описана процедура получения логин/пароля, а так же следуя инструкции не забываем добавить IP адрес нашего сервера (микротика) в web панели управления оператора.

 

 

Настройка выгрузки запрещенных сайтов на Микротик:

 

Добавляем скрипт в микротик (назовем rkn-vigruzki):

/tool fetch url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" user="LOGIN" password="PASSWORD" http-method="post" http-data="<\?xml version=\"1.0\" encoding=\"UTF-8\"\?><soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"><soap:Body><tns:getResult><code xsi:type=\"xsd:string\"></code></tns:getResult></soap:Body></soap:Envelope>" output="file" dst-path="dump.no-clear-base64" duration="15m"

Подробно останавливаться на нем не буду, параметры изучите самостоятельно. Поменяйте LOGIN и PASSWORD на соответствующие значения.

 

В планировщике (Scheduler) запуск скрипта я установил раз в 4 часа. Этого достаточно для выполнения требований РКН.

 

Скрипт создает файл dump.no-clear-base64. Каждый последующий раз скрипт обновляет файл, за местом на диске можно не следить.

Для просмотра файла, на Linux машине можно выполнить:

grep -oP "<registerZipArchive>.*</registerZipArchive>" dump.no-clear-base64|cut -d ">" -f 2 | cut -d "<" -f 1|base64 -d > dump.zip
unzip -o ./dump.zip -d ./

 

Помните, что еще и необходимо блокировать запрещенные сайты =).

 

 

Настройка выгрузки социально значимых ресурсов на Микротик:

 

Добавляем скрипт в микротик (назовем rkn-social):

/tool fetch url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" user="LOGIN" password="PASSWORD" http-method="post" http-data="<\?xml version=\"1.0\" encoding=\"UTF-8\"\?><soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"><soap:Body><tns:getResultSocResources><code xsi:type=\"xsd:string\"></code></tns:getResultSocResources></soap:Body></soap:Envelope>" output="file" dst-path="dump.no-clear-base64" duration="15m"

Меняем LOGIN и PASSWORD на свои, как в предыдущем описании и выполняем все те же действия. Можно использовать один планировщик такого вида:

/sys scr run rkn-vigruzki;
delay 5;
/sys scr run rkn-social;

Сначала грузим дамп запрещенных ресурсов, а через 5 секунд социальных.

Изменено пользователем Кошачии ловец

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 27.01.2022 в 13:23, Кошачии ловец сказал:

Помните, что еще и необходимо блокировать запрещенные сайты =).

Всё можно сделать веселей - за нас готовят облачный список блокировок, не буду упоминать вендора, дабы не было названо рекламой - он же занимается выгрузкой реестра.

Точнее, у нас есть офф бумага от вендора и РКН, что выгрузкой занимается облако и РКН не имеет к этому вопросов.

 

П.С. Через какое время скрипт протрёт дырку во флеше, вопрос не праздный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 27.01.2022 в 21:10, bike сказал:

Всё можно сделать веселей - за нас готовят облачный список блокировок, не буду упоминать вендора, дабы не было названо рекламой - он же занимается выгрузкой реестра.

Точнее, у нас есть офф бумага от вендора и РКН, что выгрузкой занимается облако и РКН не имеет к этому вопросов.

 

П.С. Через какое время скрипт протрёт дырку во флеше, вопрос не праздный.

Можно писать в память ОЗУ. Да и за 6 записей в сутки флешке ничего не будет.

Про бумагу не знал. Почему то этот вендор нигде не заявляет про нее, а это маленький плюс к удобству для бедующих заказчиков.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 28.01.2022 в 08:05, Кошачии ловец сказал:

Про бумагу не знал.

Что за вендор с бумагой (можно в личку, чтобы не сочли за рекламу)?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 Есть список рекомендуемых dpi от ркн, это и есть бумага. В случае наезда ни эта бумага ни договор о фильтрации вышестояшим в суде не прокатит, как и от наезда о том что ваш рекомендуемый dpi из облацей все берет. Положено забирать, полным с эцп или дельтой - вот это они контроллят на автомате. Куда пойдет результат - им неважно, дев-нулл самое место.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 28.01.2022 в 19:29, YuryD сказал:

 Есть список рекомендуемых dpi от ркн, это и есть бумага.

У нас в суде ссылка на этот список и  допустимый %, указанный в нем, не проканали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 28.01.2022 в 19:39, Andrei сказал:

У нас в суде ссылка на этот список и  допустимый %, указанный в нем, не проканали.

 Доканайте производителя на сертификат. Но и это не проканает, как и договор на вышестоящую фильтрацию. Ревизор сказал - вы каки и не фильтруете, далее можно любую бамагу в сортир, кроме лицензии - она жесткая :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 28.01.2022 в 19:47, YuryD сказал:

далее можно любую бамагу в сортир, кроме лицензии

О какой лицензии речь?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 У Вас их  много?  обычно пд и тм, остальные умерли. Хотя есть и хотящие окучить свой мир всеми возможными видами связи, у некоторых псевдополучается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 28.01.2022 в 19:47, YuryD сказал:

Доканайте производителя на сертификат.

 

В 28.01.2022 в 19:47, YuryD сказал:

любую бамагу в сортир, кроме лицензии

Я не улавливаю связи между этими двумя фразами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

НОВОЕ!

 

Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 08.02.2022 в 10:18, Кошачии ловец сказал:

НОВОЕ!

 

Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности.

Добрый день!

Что то не работает: failure: closing connection: <403 Forbidden> 81.177.103.92:443 (4)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

23 минуты назад, Timax сказал:

Добрый день!

Что то не работает: failure: closing connection: <403 Forbidden> 81.177.103.92:443 (4)

А всё, разобрался

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 08.02.2022 в 07:18, Кошачии ловец сказал:

НОВОЕ!

 

Добавил выгрузку социально значимых ресурсов, т.к. это входит в новые обязанности.

А есть такая обязанность?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день! Подскажите как это реализовать на centos и cisco asr-bras

Изменено пользователем alegor

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Можно как-то прикрутить авторизацию через пароль-логин вот в этот проект https://github.com/Prototype-X/blacklist-rkn-tool ?
Кто-то умеет в Python, можете подсказать, что править в файле запроса zapret.nfo.py?
И возможно ли выгружать ТОЛЬКО социально значимые сайты? Почему не предусмотрели выгрузку только их? Ведь так бы нагрузка была меньше на сервера РКН.

 

 

Изменено пользователем smartomsk
добавил вопрос

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 04.03.2022 в 16:31, smartomsk сказал:

Можно как-то прикрутить авторизацию через пароль-логин вот в этот проект https://github.com/Prototype-X/blacklist-rkn-tool ?
Кто-то умеет в Python, можете подсказать, что править в файле запроса zapret.nfo.py?
И возможно ли выгружать ТОЛЬКО социально значимые сайты? Почему не предусмотрели выгрузку только их? Ведь так бы нагрузка была меньше на сервера РКН.

 

 

 

Все по аналогии как указал ТС.

Во втором случае идет выгрузка только! социально. значимых ресурсов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 04.03.2022 в 16:46, nphs сказал:

Все по аналогии как указал ТС.

Во втором случае идет выгрузка только! социально. значимых ресурсов.

У меня cURL в Ubuntu 20.04...  Микротикам доверия нет.
Делаю вот такой запрос:

curl -v -u "USER:PASSWORD" --request POST --header "Content-Type: text/xml;charset=UTF-8" \
--data '<?xml version="1.0" encoding="UTF-8"?>\
<soap:Envelope \
soap:encodingStyle="http://schemas.xmlsoap.org/soap/encoding/ (http://schemas.xmlsoap.org/soap/encoding/)" \
xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/ (http://schemas.xmlsoap.org/soap/envelope/)" \
xmlns:wsdl="http://schemas.xmlsoap.org/wsdl/ (http://schemas.xmlsoap.org/wsdl/)" \
xmlns:soapenc="http://schemas.xmlsoap.org/soap/encoding/ (http://schemas.xmlsoap.org/soap/encoding/)" \
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance (http://www.w3.org/2001/XMLSchema-instance/)" \
xmlns:xsd="http://www.w3.org/2001/XMLSchema (http://www.w3.org/2001/XMLSchema/)" \
xmlns:tns="http://vigruzki.rkn.gov.ru/OperatorRequest/ (http://vigruzki.rkn.gov.ru/OperatorRequest/)"\
>\
<soap:Body><tns:getResultSocResources><code xsi:type="xsd:string"></code></tns:getResultSocResources></soap:Body>\
</soap:Envelope>' \
--max-time 90 https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/


Но... не катит. Пишет требуется авторизация. ЧЯДНТ?


P.S. РКН может написала бы правильные скрипты готовые, чтобы не велосипедить всем локально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вот тут скрипт от Кошечьего ловца на PHP:

 

Вот тут скрипт от taf_321 на bash:

 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

curl -s --user LOGIN:PASSWORD -X POST  \
    -d "<?xml version=\"1.0\" encoding=\"UTF-8\"?> \
       <soap:Envelope soap:encodingStyle=\"http://schemas.xmlsoap.org/soap/encoding/\" \
       xmlns:soap=\"http://schemas.xmlsoap.org/soap/envelope/\" \
       xmlns:wsdl=\"http://schemas.xmlsoap.org/wsdl/\" \
       xmlns:soapenc=\"http://schemas.xmlsoap.org/soap/encoding/\" \
       xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" \
       xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" \
       xmlns:tns=\"http://vigruzki.rkn.gov.ru/OperatorRequest/\"> \
       <soap:Body> <tns:getResultSocResources> \
       <code xsi:type=\"xsd:string\"></code> \
       </tns:getResultSocResources> \
       </soap:Body></soap:Envelope>" \
"https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/" 2>&1 \
| grep -oP "<registerZipArchive>.*<\/registerZipArchive>" \
| cut -d ">" -f 2 | cut -d "<" -f 1 \
| base64 -d \
> dump-soc.$(date +%Y%m%d%H%M).zip

тааак... выгрузил я dump-soc.zip, как его теперь в микротик отправлять? Что-то не вижу в теме такого.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 10.03.2022 в 11:48, smartomsk сказал:
 

тааак... выгрузил я dump-soc.zip, как его теперь в микротик отправлять? Что-то не вижу в теме такого.

В теме нет.

Как вариант может вот это подойдет https://forum.nag.ru/index.php?/topic/166429-dostup-k-socialnym-saytam-na-mikrotike-odin-iz-variantov-realizacii/

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день, прошу помочь разобраться в вопросе
 

Метод выгрузки должен выгрузить реестр в файл dump.no-clear-base64 на микротике ?...   хотя пока у меня не получилось
Сначало было идет подключение Status: connecting
но потом вылетает: 
status: failed

failure: connection timeout


Если получить выгрузить файл, можете подсказать как в дальнейшем работать с данным файлом на микротике? Можно ли добавить адреса из файла в фильтры/Address_Lists микротика?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 30.03.2022 в 17:49, StalkerRU сказал:

Добрый день, прошу помочь разобраться в вопросе
 

Метод выгрузки должен выгрузить реестр в файл dump.no-clear-base64 на микротике ?...   хотя пока у меня не получилось
Сначало было идет подключение Status: connecting
но потом вылетает: 
status: failed

failure: connection timeout


Если получить выгрузить файл, можете подсказать как в дальнейшем работать с данным файлом на микротике? Можно ли добавить адреса из файла в фильтры/Address_Lists микротика?

Добрый день,

 

Речь идет про социальные сайты или запрещенные?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Про запрещенные, как владельцам AS приходится задумываться над этим вопросом(

Выгрузил файл на ПК при помощи   curl -s --user LOGIN:PASSWORD -X POST  ...
размер в архиве - 36МБ, размер без архива т.е dump.xml  - 236МБ
у меня большие сомнения, что микротик справится с таким размером… 
хотя может я ошибаюсь.
 

Изменено пользователем StalkerRU

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 31.03.2022 в 01:24, StalkerRU сказал:

Про запрещенные, как владельцам AS приходится задумываться над этим вопросом(

Выгрузил файл на ПК при помощи   curl -s --user LOGIN:PASSWORD -X POST  ...
размер в архиве - 36МБ, размер без архива т.е dump.xml  - 236МБ
у меня большие сомнения, что микротик справится с таким размером… 
хотя может я ошибаюсь.
 

 

Смотрите, данная статья написана для выполнения галочки (отслеживается РЧЦ) по выгрузкам.

После загрузки dump.no-clear-base64 на диск, штатными средствами микротик не сможет распаковать .zip.

Даже если бы и мог, как вы заметили микротик ничего не сможет сделать с этими списками. На данный момент на микротике не возможно выполнить 100% фильтрацию.

 

Можно загружать готовые и актуальные списки IP адресов в миротик с сайта https://antifilter.download/

Но как подмечено ранее с ними мало, что можно сделать.

 

Для Социальных сайтов (СЗР), совсем другая история, описана здесь https://forum.nag.ru/index.php?/topic/166429-dostup-k-socialnym-saytam-na-mikrotike-odin-iz-variantov-realizacii/

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.