[morf]

С использованием WebProxy Mikrotik.

Что делает:
       1. Выгружает все IP-адреса из реестра в address-list микротика.
       2. Выгружает все domain/url в IP->WebProxy->Access с указанием domain и path. 
       3. Все указатели доменов и url корректно парсятся с дальнейшим занесением в proxy access.
       4. Все киррилические имена доменов корректно переводятся в Punycode-имена.

Что нужно:
1. CCR1016/32 или x86 с RouterOS с минимум !!! --->2 GB <-- !!! памяти
       2. XML-дамп реестра запрещенных сайтов. dump.xml кладем в папку со скриптом.
       3. Библиотека IDN.
	Если PHP >= 5.4 
               sudo apt-get install php5-idn
               Если PHP <= 5.3 
               pecl install idn-0.2.0
       4. Proxy-сервер и шлюз микротике:
	- /ip firewall nat add chain=dstnat action=redirect to-ports=3128 protocol=tcp dst-address-list=REESTR_REDIRECT dst-port=80,443
5. Proxy-сервер на отдельном микротике, шлюз на другом микротике (В качестве примера представлен микротик. Как роутить на linux/BSD/BRAS и прочих решениях, ищите в интернет.):
	на шлюзе микротика
	- /ip firewall mangle add chain=prerouting action=mark-routing new-routing-mark=reestr_routing passthrough=yes protocol=tcp dst-address-list=REESTR_REDIRECT dst-port=80,443
	- /ip route add dst-address=0.0.0.0/0 gateway=1.1.1.1 routing-mark=reestr_routing
	на proxy микротика
	- /ip firewall nat add chain=dstnat action=redirect to-ports=3128
Как работает:
       1. В sync.php настроить подключения к микротикам.
       2. /usr/bin/php /var/www/sync.php
       3. Лог пишется в папку со скриптом. Лимит 1 мбайт, с дальнейшей перезаписью.

reestr.zip

Изменено 28 января, 2016 пользователем morf

[ke1evra]

Люди добрые помогите)

Использую perl. Эта зараза виснет на первом же коннекте

$soap = SOAP::Lite->service('http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl');

Couldn't load from 'http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl'

Из 10ти попыток 1-2 раза получаю ответ, и то не всегда. У всех так?

[YuryD]

Люди добрые помогите)

Использую perl. Эта зараза виснет на первом же коннекте

$soap = SOAP::Lite->service('http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl');

Couldn't load from 'http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl'

Из 10ти попыток 1-2 раза получаю ответ, и то не всегда. У всех так?

Нет конечно. Но я бы убедился, что ваша ip-сеть у них в файерволле прописана.

[alexdirty]

Кто что решил с блокировкой по URL HTTPS ресурсов, точнее какую позицию приняли по данному типу блокировок ?

 

На данный момент вижу два варианта, но оба не подходят:

1. Успешная блокировка URL HTTPS ресурсов, но с подменой сертификата, чревато последствиями и считаю неприемлемо.

2. Без подмены сертификата, но блокировка всего HTTPS Ресурса, что также не айс по понятным причинам.

Изменено 2 февраля, 2016 пользователем alexdirty

[alibek]

Других нет.

[Sergey Gilfanov]

Идеологически правильно - блокировать целиком. Незачем людей приучать игнорировать сообщения о неправильных сертификатах. Впрочем, и браузеры/современная мода на настройку https все меньше возможности это сделать оставляют.

[morf]

Кто что решил с блокировкой по URL HTTPS ресурсов, точнее какую позицию приняли по данному типу блокировок ?

 

На данный момент вижу два варианта, но оба не подходят:

1. Успешная блокировка URL HTTPS ресурсов, но с подменой сертификата, чревато последствиями и считаю неприемлемо.

2. Без подмены сертификата, но блокировка всего HTTPS Ресурса, что также не айс по понятным причинам.

 

К этому добавляется еще 3-й вариант, который вытекает из 2-го. Squid научили пропускать https-трафик без подмены сертификаты. Но после изучения тем на habrahabr, понял, что этот вариант еще сильно не обкатан и имеет много глюковатостей. Плюс к тому же, крайне геморойно поднимается.

Немного почитать:

http://habrahabr.ru/post/272733/

http://habrahabr.ru/post/267851/

[alibek]

Немного почитать:

Заголовок, конечно, в стиле желтой прессы.

То что сквид научился работать с информацией из серверного сертификата, это хорошо.

Но тогда тут есть другая проблема.

Допустим есть сайт https://www.dm1.ru. Но серверный сертификат у него выписан на www.test.ru.

При открытии такого сайта браузер пользователя конечно будет выводить предупреждение, но тем не менее подключиться разрешит.

А вот заблокировать узел www.dm1.ru с помощью прокси-сервера не получится, поскольку прокси-сервер будет считать, что пользователь зашел на сайт www.test.ru.

 

То есть можно сделать какой-нибудь сертификат на домен kremlin.ru, раздать его сайтам и этот способ станет неработоспособен.

[stas_k]

Допустим есть сайт https://www.dm1.ru. Но серверный сертификат у него выписан на www.test.ru.

Он выпущен для локалхоста и просрочен в 2014. Киберсквоттеры не дремлют. Срочно оплатите продление!

[a6j]

Существует ли на данный момент рабочий инструмент проверки блокировки ресурсов?

То что было ранее выложено:

МОНИТОРИНГ_САЙТОВ_v3.exe

КОНВЕРТЕР_ВЫГРУЗКИ_-_URL_v3.exe

не работает, точнее не работает конвертер. На выходе пустой файл Адреса_v3.txt получается.

[alexdirty]

не работает, точнее не работает конвертер. На выходе пустой файл Адреса_v3.txt получается.

Этот пробовали - http://forum.nag.ru/forum/index.php?showtopic=79886&view=findpost&p=1232191 ?

[a6j]

Этот пробовали - http://forum.nag.ru/forum/index.php?showtopic=79886&view=findpost&p=1232191

Спасибо. С этим конвертером все заработало.

Изменено 4 февраля, 2016 пользователем a6j

[a6j]

По результату проверки редирктило на заглушку 16414 страниц.

Плюс частично блокирует вышестоящий провайдер 1152.

Итого 17566 блокировано из 20730, 108 не блокировано. Остальные домены не существуют или иные причины.

Такой результат 0.5% устроит проверяющего? А то что-то уже полгода писулек не было.

 

Изменено 4 февраля, 2016 пользователем a6j

[Negator]

Поделитесь пожалуйста софтиной для проверки блокировок.

Попробовал поискать по теме - все ссылки мертвые.

Спасибо.

[Antares]

Поделитесь пожалуйста софтиной для проверки блокировок.

Попробовал поискать по теме - все ссылки мертвые.

Спасибо.

Присоединяюсь

[Tem]

Версия 1.9, вроде новее не было.

http://файлообменник.рф/rve7p01udowc.html

[Negator]

запустили блокировку реестра.

Проверил программой:

 

Всего доступно URL: 198 (0,89%). Реестровых записей: 198 (0,90%)

Осталось понять хорошо это или плохо и не сделают ли атата проверяющие за такой результат.

[Tem]

Там еще отчет можно сгенерить и посмотреть скрины доступных, очень часто бывает, что пишет сайт доступен,а на скрине заглушка.

Плюс еще непонятно как решать проблему с редиректом, когда заблоченный сайт, делает редирект на другой, которого в списке нет.

[YuryD]

А нафига вам это видеть ? Вы провайдер или пионер? Мне - в общем наплевать, что не увидел ревизор, встретимся в суде.

[YuryD]

Мое мнение, при хорошем адвокате - средство ревизор не может быть принятым средством измерения чего-то, хотя бы доступности. Контрольное измерение на месте докажет, что это врёт. Кто бы еще в суд с этим пошел, наши управляющие - боятся :) Но щеки - наддуывают.

[Wingman]

Там еще отчет можно сгенерить и посмотреть скрины доступных, очень часто бывает, что пишет сайт доступен,а на скрине заглушка.

Плюс еще непонятно как решать проблему с редиректом, когда заблоченный сайт, делает редирект на другой, которого в списке нет.

Блокировка же сработать должна раньше редиректа, который находится на заблокиоованном сайте, не?

[Tem]

Блокировка же сработать должна раньше редиректа, который находится на заблокиоованном сайте, не?

 

В Карбоне , вроде не срабатывает и редирект проходит, хотя может уже и поправили.

[a6j]

Сделал проверку версией 1.9 результат:

Всего доступно IP: 0 (0,00%). Реестровых записей: 0 (0,00%)

Не докопаться прям.

Обязательное условие при проверке нужно брать последний дамп той выгрузки который был применен в фильтре.

[Negator]

Вот вам повезло.

В реале насколько я понял все равно что либо не блокируется.

Вопрос в том что будет если при проверке Роскомнадзор увидит что 1% не блокируется? Штраф?

Или даже всего одна ссылка из реестра не блокируется?

 

Все таки 99% блокируется, блокировка осуществляется.

[yKpon]

Версия 1.9, вроде новее не было.

http://файлообменник.рф/rve7p01udowc.html

"Файл с данными" откуда брать?

я так понимаю это должен быть парсенный dump.xml

Изменено 9 февраля, 2016 пользователем yKpon