[yegorov-p]

 

30.03.2015 18:19:39 | Данные XML преобразованы в массив. URL: 7764 (из них доменов без URL: 7). HTTPS: 674.
30.03.2015 18:19:39 | Произведена выборка уникальных URL. Количество URL после выборки: 7256.
30.03.2015 18:19:54 | Произведено удаление URL для которых уже есть заблокированный домен или вышестоящий URL. Количество URL после удаления: 5059.

 

Последняя версия оптимизатора уменьшает реестр на 2705 URL 8-|

 

opensource it! =)

[Pritorius]

 

30.03.2015 18:19:39 | Данные XML преобразованы в массив. URL: 7764 (из них доменов без URL: 7). HTTPS: 674.
30.03.2015 18:19:39 | Произведена выборка уникальных URL. Количество URL после выборки: 7256.
30.03.2015 18:19:54 | Произведено удаление URL для которых уже есть заблокированный домен или вышестоящий URL. Количество URL после удаления: 5059.

 

Последняя версия оптимизатора уменьшает реестр на 2705 URL 8-|

 

opensource it! =)

 

Да легко, только надо его сделать автономным :) что треба некоторое время.

[Ansy]

 

30.03.2015 18:19:39 | Данные XML преобразованы в массив. URL: 7764 (из них доменов без URL: 7). HTTPS: 674.
30.03.2015 18:19:39 | Произведена выборка уникальных URL. Количество URL после выборки: 7256.
30.03.2015 18:19:54 | Произведено удаление URL для которых уже есть заблокированный домен или вышестоящий URL. Количество URL после удаления: 5059.

 

Последняя версия оптимизатора уменьшает реестр на 2705 URL 8-|

 

opensource it! =)

 

Ну вот например мой вариант скрипта-обертки. Драконьте на здоровье :)

#!/bin/bash
cd /где/там/у/вас/это/всё/лежит

rm mt_zapret*.rsc

# Будем качать выгрузку -- параметр get. Иногда хотелось обработать БЕЗ скачивания, для отладки той же.
if [ "$1" == "get" ]
then
 ./zapret_checker.py -r req.xml -s req.xml.p7s
fi

# Заготовка автоскрипта для маршрутизатора Mikrotik, обновление списка zapretip IP-адресов для фаервола
echo -e "/ip firewall address-list remove numbers=[find list=zapretip]\r" > mt_zapretip.rsc
echo -e "/ip firewall address-list\r" >> mt_zapretip.rsc

# Формируем СОРТИРОВАННЫЙ список НЕПОВТОРЯЮЩИХСЯ IP-адресов из выгрузки и дополняем кодом команд Mikrotik RouterOS
xmlstarlet pyx dump.xml | sort | uniq | grep ^- | sed 's,-,add list=zapretip address=,g;s,$,\r,g' >> mt_zapretip.rsc

# Заготовка автоскрипта для маршрутизатора Mikrotik, обновление списка доменов из URL для блокирования на http-прокси
echo -e "/ip proxy access remove numbers=[find redirect-to=zapret-info.gov.ru]\r" > mt_zapreturl.rsc
echo -e "/ip proxy access\r" >> mt_zapreturl.rsc

# Выделяем доменные имена в СОРТИРОВАННЫЙ НЕПОВТОРЯЮЩИЙСЯ список и формируем команды Mikrotik RouterOS для добавления в акцесс-лист http-прокси 
# Кому надо другие команды для ВАШИХ устройств -- на ключик -o обратите внимание.
xmlstarlet sel -T -t -m "//content" -o "add action=deny dst-host=" -v "domain" -o " redirect-to=zapret-info.gov.ru" -n dump.xml | sort | uniq | sed 's,$,\r,g' >> mt_zapreturl.rsc

# Всё КИРИЛЛИЧЕСКОЕ безобразие выпиливаем нафинг. ХЗ в какой оно кодировке и насколь криво записано. Ибо девайс иногда не прожевывает, давится.
sed -i '/[абвгдеёжзийклмнопрстуфхцчшщъыьэюяАБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ]/d' mt_zapreturl.rsc

# Сливаем команды в один файлик, если имя скрипта оканчивается на .auto.rsc, то после заливки в Mikrotik скрипт исполняется автоматически
cat mt_zapretip.rsc mt_zapreturl.rsc > mt_zapret.auto.rsc

# Собственно, заливка обновленных списков в устройство. Команды фаервола там уже есть, и прокси настроен
lftp -u admin,ПарольMikrotik -e "put mt_zapret.auto.rsc ; bye" IP_маршрутизатора_Mikrotik

Изменено 1 апреля, 2015 пользователем Ansy

[Pritorius]

Что-то я не понял... вы по IP или по URL блочите? и какая модель Microtik?

[Ansy]

Что-то я не понял... вы по IP или по URL блочите? и какая модель Microtik?

В настоящий момент блокируется по IP, ибо аплинк делает именно так -- нет смысла упираться.

 

Но вообще делал правило заворачивать все http-запросы на IP из списка на прозрачный прокси, и там блочить конкретно реестровые домены. Пропуская таким образом невинно страдающие сайты того же хостинга.

Другое правило, вслед за первым, блокирует https-запросы на IP из списка, при этом остальные порты-сервисы не запрещены.

 

Но сейчас походу удобнее тупо все IP дропать. Сетка маленькая, клиенты юрики. Я вообще не наблюдаю активности этих правил в реальной работе. "Неуловимый Джо" ;)

 

Mikrotik не важно какой, RB/750 был, RB/751U-2HnD. Радиосеть любая младшая модель потянет.

Изменено 1 апреля, 2015 пользователем Ansy

[Pritorius]

Аплинк, сколько?

Изменено 1 апреля, 2015 пользователем Pritorius

[Ansy]

Аплинк, сколько?

5Мбит/с с прокси была незаметная нагрузка. 10-20-30Мбит/с с блокировкой по IP тоже не напрягается. Для разруливания радиоканалов это достаточно производительные железки.

[yegorov-p]

А вот скажите мне, насколько востребовано было бы прикрутить к моей питонячей выгружалке опциональную возможность получить на выходе файлик с айпишниками например? А то, я смотрю, народ активно свои костыли настраивает.

[Tem]

А вот скажите мне, насколько востребовано было бы прикрутить к моей питонячей выгружалке опциональную возможность получить на выходе файлик с айпишниками например? А то, я смотрю, народ активно свои костыли настраивает.

 

Имхо, не стоит, если кому понадобится, то проще сделать отдельные парсеры

[ps/2]

А вот скажите мне, насколько востребовано было бы прикрутить к моей питонячей выгружалке опциональную возможность получить на выходе файлик с айпишниками например? А то, я смотрю, народ активно свои костыли настраивает.

было бы удобно, если кого-то не устроит, то настроит свои парсеры

в качестве опций можно было б кроме IP еще и URL, и домен вытягивать

[v_paranoid]

Тот же лостфильм, было сначала ссылок 6, потом ещё добавили, потом ещё, и ещё, а в конце добавили <url>http://www.lostfilm.tv</url>. Логика, ау?!

 

Логика такая: В записи указан URL <url>http://www.lostfilm.tv</url>, но это вовсе не домен www.lostfilm.tv, и блочить надо исключительно указанный урл.

Например, www.lostfilm.tv/index.html должно корректно открыться, ибо его не вносили в реестр.

 

Другое дело, если внесут с флажком type=domain, тогда придется заблочить www.lostfilm.tv/*

[Ansy]

А вот скажите мне, насколько востребовано было бы прикрутить к моей питонячей выгружалке опциональную возможность получить на выходе файлик с айпишниками например? А то, я смотрю, народ активно свои костыли настраивает.

было бы удобно, если кого-то не устроит, то настроит свои парсеры

в качестве опций можно было б кроме IP еще и URL, и домен вытягивать

Я лично против, если это дополнительно потянет установку каких-то библиотек и модулей.

 

Когда надо по-быстрому развернуть скачивание реестра (а это ОСНОВНАЯ задача для НЕпопадания на ШТРАФЫ) -- лучше иметь лишь самый необходимый МИНИМУМ телодвижений.

 

В данном случае невеликий вроде бы скрипт тянет для своего запуска поиски в Сети и (нифига не очевидные для НЕпитонистов!) установочные манипуляции какими-то непонятными яйцами??? (egg) setuptools и suds.

По-хорошему, необходимый минимум команд и ссылок на эти библиотеки хорошо бы добавить в README.md

 

Грамотный, полноценный разбор XML потребует наверняка тоже каких-то особых библиотек... но почти у каждого (не пользующегося готовой технологией, устройством) это СВОЙ разбор, и по срочности это уже менее важная задача, чем НЕполучение реестра -- может и подождать.

 

Как вариант -- оформить разбор XML-дампа отдельным пакетом, чтобы скачивающая часть ставилась без дополнительных зависимостей.

[big-town]

Всем привет, я здесь прочитал, что у некоторых есть девайсы которые 100% блочат РКН-цепочки, мне очень интересно как это получается.

Я предложил вот такой агоритм:

Выдераю все IP из выгрузки, затем из урлов выдераю все домены, их резолвлю (это занимает порядка 30мин). Затем склеиваю оба файла вместе, пропускаю через фильтр "| sort | uniq". Этот список IP я заливаю в ipset hash:ip. Далее в PREROUTING делаю две проверки на -m ipset dst 80,443 порт, если IP в списке то добро пожаловать на фильтр squid тамже я фильтрую и https (подробнее здесь).

Затем запускаю скрипт который качает урлы по списку, насчитываю 196 урлов удачно скаченных(это занимает около 1часа).

 

Начинаю разбор полетов. Оказываетсся из них 99 уникальных IP не в фильтруемом списке(то есть за это время днсы ответили при скачиваниии на них новыми IP-адресами). Так это с резолвингом, а если брать в учет только IP указанные в выгрузке то количество урлов будет гораздо больше. У меня ворос к коллегам, а может кто то и из РКН прочитает, как такие ситуации будут разрешаться? Какой процент пропускания урлов считается нормальным?

Изменено 3 апреля, 2015 пользователем big-town

[Ansy]

Какой процент пропускания урлов считается нормальным?

Нельзя быть "немножко беременной".

В законе написано "обязаны заблокировать" -- а то, что жизнь существенно сложнее и динамичнее, законодателей вообще не парило.

Это несоответствие пока немного компенсируется тем, что и проверяющих не всегда парит. Аминь. Ибо Россия.

 

P.S. Вы все равно виноваты. Потому что от момента последнего обновления ваших фильтров до момента проверки что-то да и поменялось в доменах, IP, на хостингах.

Или заблокируете лишнего, или пропустите запретное. Се ля ви.

[big-town]

P.S. Вы все равно виноваты. Потому что от момента последнего обновления ваших фильтров до момента проверки что-то да и поменялось в доменах, IP, на хостингах.

Или заблокируете лишнего, или пропустите запретное. Се ля ви.

Во первых надо говорить о реальных вещах а не мифических, это как бы раз. Каждую секунду в интернете что то да меняется. IP в выгрузке безнадежно устаривают на момент получения, а оператор обязан получать выгрузку не реже чем раз в сутки. На резолвинг нужно время от этого вы ни куда не денитесь и понятно что за это время что то произойдет. Я все же хотелбы услышать комментарии кого нибудь из РКН, если такие на форуме есть.

 

Ну а то что строгость законов на русси компенсировалась необязательностью их исполнения - это да :)

Изменено 3 апреля, 2015 пользователем big-town

[snvoronkov]

Я все же хотелбы услышать комментарии кого нибудь из РКН, если такие на форуме есть.

Не замечено. Как минимум в этой теме.

[Sergey Gilfanov]

Я все же хотелбы услышать комментарии кого нибудь из РКН, если такие на форуме есть.

Не замечено. Как минимум в этой теме.

Да на КРОС пригласите же. Можете прямо Ксензова. Составите заранее список вопросто и.т.д. итп.

[Ansy]

Я все же хотелбы услышать комментарии кого нибудь из РКН, если такие на форуме есть.

Не замечено. Как минимум в этой теме.

Да на КРОС пригласите же. Можете прямо Ксензова. Составите заранее список вопросто и.т.д. итп.

А лучше прямо Мизулину пригласите. И Давыдова до кучи. Ибо вот ТАК делать нехорошо:

http://www.vedomosti.ru/technology/articles/2015/04/02/liga-bezopasnogo-interneta-prodolzhaet-prodvigat-ideyu-predfiltratsii-interneta

 

И не отпускайте их оттуда, до полного просветления и просвещения в основах Internet-технологий, пока экзамен не сдадут.

[Sergey Gilfanov]

А лучше прямо Мизулину пригласите. И Давыдова до кучи. Ибо вот ТАК делать нехорошо:

<sarcasm mode on> И еще от вирусов интернет чистить. А то непорядок - приходится на антивирусы подписываться.

Ну ведь точно такая же ситуация. Софта, устанавливающегося для этой цели прямо на компьютер абонента - полно.

Можно еще пообещать, что если Лига не уймется, все провайдеры начнут бесплатно решения от антивирусных компаний рекламировать.

Это точно дешевле обойдется, чем все эти фильтрующие железки.

[yegorov-p]

Когда надо по-быстрому развернуть скачивание реестра (а это ОСНОВНАЯ задача для НЕпопадания на ШТРАФЫ) -- лучше иметь лишь самый необходимый МИНИМУМ телодвижений.

 

Для этих целей я уже давно предлагал запилить одностраничный сервис, куда бы заливались файлики с подписями и он бы гарантированно их выкачивал. Коллеги не заценили =)

[Ansy]

А лучше прямо Мизулину пригласите. И Давыдова до кучи. Ибо вот ТАК делать нехорошо:

<sarcasm mode on> И еще от вирусов интернет чистить. А то непорядок - приходится на антивирусы подписываться.

Ну ведь точно такая же ситуация. Софта, устанавливающегося для этой цели прямо на компьютер абонента - полно.

Можно еще пообещать, что если Лига не уймется, все провайдеры начнут бесплатно решения от антивирусных компаний рекламировать.

Это точно дешевле обойдется, чем все эти фильтрующие железки.

А давайте дальше пойдем? Будем пускать ВЕСЬ трафик через АНТИВИРУС. Принудительно. С соответствующими фильтрами детских "белых списков"...

 

Ну да, тормоза будут... но это ж производители антивируса виноваты! Свалим на них -- их же меньше, чем операторов связи.

 

Пусть Касперский с ДрВебом например задумаются, как бы поближе к границам фильтровать, оптимизацию какую, деньги отрабатывают.

И проверят, что дешевле:

• блокировки у каждого оператора (как сейчас)
  
• или таки воткнуть условно-бесплатный (спонсируемый лично Мизулиной в идеале) антивирь на каждый комп конечного юзера
  
• или всё же на границах страны + прям хостинги сканить на месте, в источнике хранения заразы. Сайты сканим, сразу и баним -- лепота!
  

Мечты... или уже кошмары? ;)

Изменено 3 апреля, 2015 пользователем Ansy

[Sergey Gilfanov]

А давайте дальше пойдем? Будем пускать ВЕСЬ трафик через АНТИВИРУС. Принудительно. С соответствующими фильтрами детстких "белых списков"...

Я, собственно, это и имел в виду в своем 'предложении'. Где антивирус - на стороне провайдера.

 

А в браузере - так уже так умеют и делают. Даже не очень дорого.

[Ansy]

А давайте дальше пойдем? Будем пускать ВЕСЬ трафик через АНТИВИРУС. Принудительно. С соответствующими фильтрами детстких "белых списков"...

Я, собственно, это и имел в виду в своем 'предложении'. Где антивирус - на стороне провайдера.

 

А в браузере - так уже так умеют и делают. Даже не очень дорого.

Дык... понятно, что умеют ;)

 

Но ведь у нас как... избиратели-налогоплательщики, граждане-россияне -- они ж как дети малые... могут и покопаться-отключить антивирус... а особо шкодливые -- страшно подумать -- вообще ЛИНУКС поставят! И пойдут эти ваши юзер-левельные фильтры лесом...

 

Низзя, НИЗЗЯ давать такую возможность. ОНИ Ж ДЕТИ! А Мизулина главная няня всей страны наверное ;)

[talyan]

Кто-нибудь для http://46.61.217.144 нашел rzr_os_downloads_date.xls - откуда они берут их? А то нам на почту с надзора отчеты засылают.

А вобще забавно конечно сама программа работает, есть файл rzr_os_downloads_2015_03_27.xls им прогоняю, пишет что ресурс доступен, а по факту захожу через браузер - заглушка с блокировкой открывается.

(блокируем только по URL)

А ещё, попадаются записи, которые в файлике rzr_os_downloads_date.xls - есть, а в самой выгрузке реестра и тут http://eais.rkn.gov.ru (http://blocklist.rkn.gov.ru/) пишет, что ресурса такого нет.

Как пример:

http://dunem-rus.com/ наркотические средства

http://diplomi01.com прочее

Изменено 7 апреля, 2015 пользователем mod3m

[Tem]

А Вы прогу под свою заглушку настроили ?

Файл я прошу у РКН местного, присылают без всяких проблем.

То что в их файле запись есть,а в реестре нет, значит, что файл просто устарел