yegorov-p Опубликовано 31 марта, 2015 · Жалоба 30.03.2015 18:19:39 | Данные XML преобразованы в массив. URL: 7764 (из них доменов без URL: 7). HTTPS: 674. 30.03.2015 18:19:39 | Произведена выборка уникальных URL. Количество URL после выборки: 7256. 30.03.2015 18:19:54 | Произведено удаление URL для которых уже есть заблокированный домен или вышестоящий URL. Количество URL после удаления: 5059. Последняя версия оптимизатора уменьшает реестр на 2705 URL 8-| opensource it! =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Pritorius Опубликовано 1 апреля, 2015 · Жалоба 30.03.2015 18:19:39 | Данные XML преобразованы в массив. URL: 7764 (из них доменов без URL: 7). HTTPS: 674. 30.03.2015 18:19:39 | Произведена выборка уникальных URL. Количество URL после выборки: 7256. 30.03.2015 18:19:54 | Произведено удаление URL для которых уже есть заблокированный домен или вышестоящий URL. Количество URL после удаления: 5059. Последняя версия оптимизатора уменьшает реестр на 2705 URL 8-| opensource it! =) Да легко, только надо его сделать автономным :) что треба некоторое время. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 1 апреля, 2015 (изменено) · Жалоба 30.03.2015 18:19:39 | Данные XML преобразованы в массив. URL: 7764 (из них доменов без URL: 7). HTTPS: 674. 30.03.2015 18:19:39 | Произведена выборка уникальных URL. Количество URL после выборки: 7256. 30.03.2015 18:19:54 | Произведено удаление URL для которых уже есть заблокированный домен или вышестоящий URL. Количество URL после удаления: 5059. Последняя версия оптимизатора уменьшает реестр на 2705 URL 8-| opensource it! =) Ну вот например мой вариант скрипта-обертки. Драконьте на здоровье :) #!/bin/bash cd /где/там/у/вас/это/всё/лежит rm mt_zapret*.rsc # Будем качать выгрузку -- параметр get. Иногда хотелось обработать БЕЗ скачивания, для отладки той же. if [ "$1" == "get" ] then ./zapret_checker.py -r req.xml -s req.xml.p7s fi # Заготовка автоскрипта для маршрутизатора Mikrotik, обновление списка zapretip IP-адресов для фаервола echo -e "/ip firewall address-list remove numbers=[find list=zapretip]\r" > mt_zapretip.rsc echo -e "/ip firewall address-list\r" >> mt_zapretip.rsc # Формируем СОРТИРОВАННЫЙ список НЕПОВТОРЯЮЩИХСЯ IP-адресов из выгрузки и дополняем кодом команд Mikrotik RouterOS xmlstarlet pyx dump.xml | sort | uniq | grep ^- | sed 's,-,add list=zapretip address=,g;s,$,\r,g' >> mt_zapretip.rsc # Заготовка автоскрипта для маршрутизатора Mikrotik, обновление списка доменов из URL для блокирования на http-прокси echo -e "/ip proxy access remove numbers=[find redirect-to=zapret-info.gov.ru]\r" > mt_zapreturl.rsc echo -e "/ip proxy access\r" >> mt_zapreturl.rsc # Выделяем доменные имена в СОРТИРОВАННЫЙ НЕПОВТОРЯЮЩИЙСЯ список и формируем команды Mikrotik RouterOS для добавления в акцесс-лист http-прокси # Кому надо другие команды для ВАШИХ устройств -- на ключик -o обратите внимание. xmlstarlet sel -T -t -m "//content" -o "add action=deny dst-host=" -v "domain" -o " redirect-to=zapret-info.gov.ru" -n dump.xml | sort | uniq | sed 's,$,\r,g' >> mt_zapreturl.rsc # Всё КИРИЛЛИЧЕСКОЕ безобразие выпиливаем нафинг. ХЗ в какой оно кодировке и насколь криво записано. Ибо девайс иногда не прожевывает, давится. sed -i '/[абвгдеёжзийклмнопрстуфхцчшщъыьэюяАБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ]/d' mt_zapreturl.rsc # Сливаем команды в один файлик, если имя скрипта оканчивается на .auto.rsc, то после заливки в Mikrotik скрипт исполняется автоматически cat mt_zapretip.rsc mt_zapreturl.rsc > mt_zapret.auto.rsc # Собственно, заливка обновленных списков в устройство. Команды фаервола там уже есть, и прокси настроен lftp -u admin,ПарольMikrotik -e "put mt_zapret.auto.rsc ; bye" IP_маршрутизатора_Mikrotik Изменено 1 апреля, 2015 пользователем Ansy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Pritorius Опубликовано 1 апреля, 2015 · Жалоба Что-то я не понял... вы по IP или по URL блочите? и какая модель Microtik? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 1 апреля, 2015 (изменено) · Жалоба Что-то я не понял... вы по IP или по URL блочите? и какая модель Microtik? В настоящий момент блокируется по IP, ибо аплинк делает именно так -- нет смысла упираться. Но вообще делал правило заворачивать все http-запросы на IP из списка на прозрачный прокси, и там блочить конкретно реестровые домены. Пропуская таким образом невинно страдающие сайты того же хостинга. Другое правило, вслед за первым, блокирует https-запросы на IP из списка, при этом остальные порты-сервисы не запрещены. Но сейчас походу удобнее тупо все IP дропать. Сетка маленькая, клиенты юрики. Я вообще не наблюдаю активности этих правил в реальной работе. "Неуловимый Джо" ;) Mikrotik не важно какой, RB/750 был, RB/751U-2HnD. Радиосеть любая младшая модель потянет. Изменено 1 апреля, 2015 пользователем Ansy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Pritorius Опубликовано 1 апреля, 2015 (изменено) · Жалоба Аплинк, сколько? Изменено 1 апреля, 2015 пользователем Pritorius Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 1 апреля, 2015 · Жалоба Аплинк, сколько? 5Мбит/с с прокси была незаметная нагрузка. 10-20-30Мбит/с с блокировкой по IP тоже не напрягается. Для разруливания радиоканалов это достаточно производительные железки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 2 апреля, 2015 · Жалоба А вот скажите мне, насколько востребовано было бы прикрутить к моей питонячей выгружалке опциональную возможность получить на выходе файлик с айпишниками например? А то, я смотрю, народ активно свои костыли настраивает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 2 апреля, 2015 · Жалоба А вот скажите мне, насколько востребовано было бы прикрутить к моей питонячей выгружалке опциональную возможность получить на выходе файлик с айпишниками например? А то, я смотрю, народ активно свои костыли настраивает. Имхо, не стоит, если кому понадобится, то проще сделать отдельные парсеры Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ps/2 Опубликовано 3 апреля, 2015 · Жалоба А вот скажите мне, насколько востребовано было бы прикрутить к моей питонячей выгружалке опциональную возможность получить на выходе файлик с айпишниками например? А то, я смотрю, народ активно свои костыли настраивает. было бы удобно, если кого-то не устроит, то настроит свои парсеры в качестве опций можно было б кроме IP еще и URL, и домен вытягивать Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
v_paranoid Опубликовано 3 апреля, 2015 · Жалоба Тот же лостфильм, было сначала ссылок 6, потом ещё добавили, потом ещё, и ещё, а в конце добавили <url>http://www.lostfilm.tv</url>. Логика, ау?! Логика такая: В записи указан URL <url>http://www.lostfilm.tv</url>, но это вовсе не домен www.lostfilm.tv, и блочить надо исключительно указанный урл. Например, www.lostfilm.tv/index.html должно корректно открыться, ибо его не вносили в реестр. Другое дело, если внесут с флажком type=domain, тогда придется заблочить www.lostfilm.tv/* Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 3 апреля, 2015 · Жалоба А вот скажите мне, насколько востребовано было бы прикрутить к моей питонячей выгружалке опциональную возможность получить на выходе файлик с айпишниками например? А то, я смотрю, народ активно свои костыли настраивает. было бы удобно, если кого-то не устроит, то настроит свои парсеры в качестве опций можно было б кроме IP еще и URL, и домен вытягивать Я лично против, если это дополнительно потянет установку каких-то библиотек и модулей. Когда надо по-быстрому развернуть скачивание реестра (а это ОСНОВНАЯ задача для НЕпопадания на ШТРАФЫ) -- лучше иметь лишь самый необходимый МИНИМУМ телодвижений. В данном случае невеликий вроде бы скрипт тянет для своего запуска поиски в Сети и (нифига не очевидные для НЕпитонистов!) установочные манипуляции какими-то непонятными яйцами??? (egg) setuptools и suds. По-хорошему, необходимый минимум команд и ссылок на эти библиотеки хорошо бы добавить в README.md Грамотный, полноценный разбор XML потребует наверняка тоже каких-то особых библиотек... но почти у каждого (не пользующегося готовой технологией, устройством) это СВОЙ разбор, и по срочности это уже менее важная задача, чем НЕполучение реестра -- может и подождать. Как вариант -- оформить разбор XML-дампа отдельным пакетом, чтобы скачивающая часть ставилась без дополнительных зависимостей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 3 апреля, 2015 (изменено) · Жалоба Всем привет, я здесь прочитал, что у некоторых есть девайсы которые 100% блочат РКН-цепочки, мне очень интересно как это получается. Я предложил вот такой агоритм: Выдераю все IP из выгрузки, затем из урлов выдераю все домены, их резолвлю (это занимает порядка 30мин). Затем склеиваю оба файла вместе, пропускаю через фильтр "| sort | uniq". Этот список IP я заливаю в ipset hash:ip. Далее в PREROUTING делаю две проверки на -m ipset dst 80,443 порт, если IP в списке то добро пожаловать на фильтр squid тамже я фильтрую и https (подробнее здесь). Затем запускаю скрипт который качает урлы по списку, насчитываю 196 урлов удачно скаченных(это занимает около 1часа). Начинаю разбор полетов. Оказываетсся из них 99 уникальных IP не в фильтруемом списке(то есть за это время днсы ответили при скачиваниии на них новыми IP-адресами). Так это с резолвингом, а если брать в учет только IP указанные в выгрузке то количество урлов будет гораздо больше. У меня ворос к коллегам, а может кто то и из РКН прочитает, как такие ситуации будут разрешаться? Какой процент пропускания урлов считается нормальным? Изменено 3 апреля, 2015 пользователем big-town Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 3 апреля, 2015 · Жалоба Какой процент пропускания урлов считается нормальным? Нельзя быть "немножко беременной". В законе написано "обязаны заблокировать" -- а то, что жизнь существенно сложнее и динамичнее, законодателей вообще не парило. Это несоответствие пока немного компенсируется тем, что и проверяющих не всегда парит. Аминь. Ибо Россия. P.S. Вы все равно виноваты. Потому что от момента последнего обновления ваших фильтров до момента проверки что-то да и поменялось в доменах, IP, на хостингах. Или заблокируете лишнего, или пропустите запретное. Се ля ви. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 3 апреля, 2015 (изменено) · Жалоба P.S. Вы все равно виноваты. Потому что от момента последнего обновления ваших фильтров до момента проверки что-то да и поменялось в доменах, IP, на хостингах. Или заблокируете лишнего, или пропустите запретное. Се ля ви. Во первых надо говорить о реальных вещах а не мифических, это как бы раз. Каждую секунду в интернете что то да меняется. IP в выгрузке безнадежно устаривают на момент получения, а оператор обязан получать выгрузку не реже чем раз в сутки. На резолвинг нужно время от этого вы ни куда не денитесь и понятно что за это время что то произойдет. Я все же хотелбы услышать комментарии кого нибудь из РКН, если такие на форуме есть. Ну а то что строгость законов на русси компенсировалась необязательностью их исполнения - это да :) Изменено 3 апреля, 2015 пользователем big-town Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 3 апреля, 2015 · Жалоба Я все же хотелбы услышать комментарии кого нибудь из РКН, если такие на форуме есть. Не замечено. Как минимум в этой теме. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sergey Gilfanov Опубликовано 3 апреля, 2015 · Жалоба Я все же хотелбы услышать комментарии кого нибудь из РКН, если такие на форуме есть. Не замечено. Как минимум в этой теме. Да на КРОС пригласите же. Можете прямо Ксензова. Составите заранее список вопросто и.т.д. итп. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 3 апреля, 2015 · Жалоба Я все же хотелбы услышать комментарии кого нибудь из РКН, если такие на форуме есть. Не замечено. Как минимум в этой теме. Да на КРОС пригласите же. Можете прямо Ксензова. Составите заранее список вопросто и.т.д. итп. А лучше прямо Мизулину пригласите. И Давыдова до кучи. Ибо вот ТАК делать нехорошо: http://www.vedomosti.ru/technology/articles/2015/04/02/liga-bezopasnogo-interneta-prodolzhaet-prodvigat-ideyu-predfiltratsii-interneta И не отпускайте их оттуда, до полного просветления и просвещения в основах Internet-технологий, пока экзамен не сдадут. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sergey Gilfanov Опубликовано 3 апреля, 2015 · Жалоба А лучше прямо Мизулину пригласите. И Давыдова до кучи. Ибо вот ТАК делать нехорошо: <sarcasm mode on> И еще от вирусов интернет чистить. А то непорядок - приходится на антивирусы подписываться. Ну ведь точно такая же ситуация. Софта, устанавливающегося для этой цели прямо на компьютер абонента - полно. Можно еще пообещать, что если Лига не уймется, все провайдеры начнут бесплатно решения от антивирусных компаний рекламировать. Это точно дешевле обойдется, чем все эти фильтрующие железки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 3 апреля, 2015 · Жалоба Когда надо по-быстрому развернуть скачивание реестра (а это ОСНОВНАЯ задача для НЕпопадания на ШТРАФЫ) -- лучше иметь лишь самый необходимый МИНИМУМ телодвижений. Для этих целей я уже давно предлагал запилить одностраничный сервис, куда бы заливались файлики с подписями и он бы гарантированно их выкачивал. Коллеги не заценили =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 3 апреля, 2015 (изменено) · Жалоба А лучше прямо Мизулину пригласите. И Давыдова до кучи. Ибо вот ТАК делать нехорошо: <sarcasm mode on> И еще от вирусов интернет чистить. А то непорядок - приходится на антивирусы подписываться. Ну ведь точно такая же ситуация. Софта, устанавливающегося для этой цели прямо на компьютер абонента - полно. Можно еще пообещать, что если Лига не уймется, все провайдеры начнут бесплатно решения от антивирусных компаний рекламировать. Это точно дешевле обойдется, чем все эти фильтрующие железки. А давайте дальше пойдем? Будем пускать ВЕСЬ трафик через АНТИВИРУС. Принудительно. С соответствующими фильтрами детских "белых списков"... Ну да, тормоза будут... но это ж производители антивируса виноваты! Свалим на них -- их же меньше, чем операторов связи. Пусть Касперский с ДрВебом например задумаются, как бы поближе к границам фильтровать, оптимизацию какую, деньги отрабатывают. И проверят, что дешевле: блокировки у каждого оператора (как сейчас) или таки воткнуть условно-бесплатный (спонсируемый лично Мизулиной в идеале) антивирь на каждый комп конечного юзера или всё же на границах страны + прям хостинги сканить на месте, в источнике хранения заразы. Сайты сканим, сразу и баним -- лепота! Мечты... или уже кошмары? ;) Изменено 3 апреля, 2015 пользователем Ansy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sergey Gilfanov Опубликовано 3 апреля, 2015 · Жалоба А давайте дальше пойдем? Будем пускать ВЕСЬ трафик через АНТИВИРУС. Принудительно. С соответствующими фильтрами детстких "белых списков"... Я, собственно, это и имел в виду в своем 'предложении'. Где антивирус - на стороне провайдера. А в браузере - так уже так умеют и делают. Даже не очень дорого. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 6 апреля, 2015 · Жалоба А давайте дальше пойдем? Будем пускать ВЕСЬ трафик через АНТИВИРУС. Принудительно. С соответствующими фильтрами детстких "белых списков"... Я, собственно, это и имел в виду в своем 'предложении'. Где антивирус - на стороне провайдера. А в браузере - так уже так умеют и делают. Даже не очень дорого. Дык... понятно, что умеют ;) Но ведь у нас как... избиратели-налогоплательщики, граждане-россияне -- они ж как дети малые... могут и покопаться-отключить антивирус... а особо шкодливые -- страшно подумать -- вообще ЛИНУКС поставят! И пойдут эти ваши юзер-левельные фильтры лесом... Низзя, НИЗЗЯ давать такую возможность. ОНИ Ж ДЕТИ! А Мизулина главная няня всей страны наверное ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
talyan Опубликовано 7 апреля, 2015 (изменено) · Жалоба Кто-нибудь для http://46.61.217.144 нашел rzr_os_downloads_date.xls - откуда они берут их? А то нам на почту с надзора отчеты засылают. А вобще забавно конечно сама программа работает, есть файл rzr_os_downloads_2015_03_27.xls им прогоняю, пишет что ресурс доступен, а по факту захожу через браузер - заглушка с блокировкой открывается. (блокируем только по URL) А ещё, попадаются записи, которые в файлике rzr_os_downloads_date.xls - есть, а в самой выгрузке реестра и тут http://eais.rkn.gov.ru (http://blocklist.rkn.gov.ru/) пишет, что ресурса такого нет. Как пример: http://dunem-rus.com/ наркотические средстваhttp://diplomi01.com прочее Изменено 7 апреля, 2015 пользователем mod3m Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 7 апреля, 2015 · Жалоба А Вы прогу под свою заглушку настроили ? Файл я прошу у РКН местного, присылают без всяких проблем. То что в их файле запись есть,а в реестре нет, значит, что файл просто устарел Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...