st_re Опубликовано 17 января, 2016 · Жалоба чтото не так ? (на всяк случай, блочится не по IP а по url. по ип решается ходить на проверку URL или не ходить. В приницпе можно загнать все IP в фильтровалку и ничего не поменяется. нагрузка вот только совсем не детская выйдет.) попадание в списки IP адресов от вашего сайта на доступноть вашего сайта не повлияет. HTTPS не ресолвится, только режется 443 порт на IP указанные в выгрузке в https ресурсах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 17 января, 2016 · Жалоба HTTPS не ресолвится, только режется 443 порт на IP указанные в выгрузке в https ресурсах. что-то вы меня запутали. допустим, есть в реестрике https://***.cz/ и вы его поблочили по адресу из реестрика. но у A-записи стоит TTL=300 и к моменту когда что-то куда-то уедет к провайдерам там будет другой ip-адрес. Ещё в реестрике есть записи с портами(8080, например), протоколы ftp и даже newcamd. вот с этим вы как? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 17 января, 2016 · Жалоба только по IP из реестра. ресолвится только то, что можно отфильтровать по содержимому запроса, т.е. http:// (c 8080 и прочии не совсем стандартными портами не заморачивался, их там 0.0 на общем фоне. блочу как и https, по IP из их базы). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 20 января, 2016 · Жалоба ну вот.. новая партия блоков.. абоны ресурсы не могут найти которые бонусом попали в реестр и чуток негодуют.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ayf Опубликовано 20 января, 2016 · Жалоба ну вот.. новая партия блоков.. абоны ресурсы не могут найти которые бонусом попали в реестр и чуток негодуют.. Известно, что попало бонусом? Чтобы на грабли не наступать? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 20 января, 2016 · Жалоба Ну оно в новостях присутствует, но по проверялке не бьется. Тушкан нет не могу найти. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Doomer Опубликовано 20 января, 2016 · Жалоба Ну оно в новостях присутствует, но по проверялке не бьется. Тушкан нет не могу найти. Вот же оно http://rkn.gov.ru/news/rsoc/news37189.htm там массово "халявные кинотеатры" под раздачу попали Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 21 января, 2016 · Жалоба в новостях и я нашёл. А вот абонент проверяет через проверялку. И там отдаёт, что нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Doomer Опубликовано 21 января, 2016 · Жалоба в новостях и я нашёл. А вот абонент проверяет через проверялку. И там отдаёт, что нет. может абонент не там проверяет, вот тут http://blocklist.rkn.gov.ru/ все находится Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MATPOC Опубликовано 25 января, 2016 (изменено) · Жалоба Прилетело нам на общий конторский адрес странно оформленное письмо от "Канцелярия ТУ_КемеровскаяОбл_42". С пустым телом письма и вордовским документом, в котором такой текст: С целью исполнения поручения Центрального аппарата Роскомнадзора просим осуществить проверку блокирования следующих запрещенных ресурсов и сообщить о результатах в Управление Роскомнадзора по Кемеровской области в максимально короткие сроки по электронной почте. И указаны урлы торрент трекеров, внесённых в реестр на прошлой неделе. Нюанс в том, что все урлы с добавлением www., хотя в реестре все записи этих урлов без www. Естественно, почти все присланные урлы открываются. Все эти домены имеют тип domain в реестре. Может, я неправильно понимаю "Памятку оператору связи. Версия памятки: 4.6 от 30.10.2015"? Там сказано: "domain – блокировка по доменному имени". Значит ли, что я должен блокировать не только урлы типа rutor.org/index.html, но и все его домены третьего-n-го уровня, типа www.rutor.org, ww2.www.rutor.org и т.д? Изменено 25 января, 2016 пользователем MATPOC Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 25 января, 2016 · Жалоба Распоряжение РКН №11 от 07.10.2015: 6. При наличии в выгрузке информации о доменном имени и сетевом адресе и отсутствии информации об указателе страницы в сети Интернет, операторам связи рекомендуется ограничивать доступ ко всему информационному ресурсу, включая доменные имена нижестоящего уровня. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 25 января, 2016 · Жалоба Все эти домены имеют тип domain в реестре. Может, я неправильно понимаю "Памятку оператору связи. Версия памятки: 4.6 от 30.10.2015"? Там сказано: "domain – блокировка по доменному имени". Значит ли, что я должен блокировать не только урлы типа rutor.org/index.html, но и все его домены третьего-n-го уровня, типа www.rutor.org, ww2.www.rutor.org и т.д? Памятка оператору связи, Версия памятки: 4.6 от 30.10.2015 content.blockType ...Если указано значение «domain», то указатели страниц сайтов (URL) для данной реестровой записи будут отсутствовать, необходимо ограничить доступ к домену целиком. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
TRIada Опубликовано 25 января, 2016 · Жалоба А кто пользовался скриптом xml-parser.pl можете подсказать, что делать с ссылками типа entryType=5 entryType=6 итп? Они сыпятся в отдельный файл type4.ip. Какая с ними проблема? Может кто-то сделал новую версию данного скрипта? xml-parser.pl: #!/usr/bin/perl use XML::Simple; use Data::Dumper ; use Encode ; use URI::Escape; use Text::Iconv; $db_path='/var/db/zapret-info/' ; $tftp_root='/tftpboot' ; $query_ip='XXX.XXX.XXX.XXX' ; $simple=XML::Simple->new( KeepRoot=>1, RootName=>'reg:register' ); $xml=$simple->XMLin($db_path.'dump/dump.xml'); my %list = %{$xml->{'reg:register'}->{'content'}}; open(FURL, ">${db_path}denied.conf"); open(FACL, ">${tftp_root}/block.acl"); open(FTMP, ">/tmp/block.ip"); open(FT4, ">${db_path}type4.ip"); print(FACL "no ip access-list extended WCCP_REDIRECT\n"); print(FACL "ip access-list extended WCCP_REDIRECT\n"); print(FACL "deny tcp host ${query_ip} any\n"); sub _url { eval { $url=shift; $url=~s/ //g; $url=uri_escape_utf8($url, "^A-Za-z0-9\-\._~:/\?\=\&\%"); print(FURL $url."\n"); } } while ( my($key, $value) = each %list) { my $domain=$value->{'domain'} ; my $ip=$value->{'ip'} ; my $url=$value->{'url'} ; my $etype=$value->{'entryType'} ; if ($etype < 4) { if(ref($ip) eq 'ARRAY'){ my @ip_list=@{$ip}; foreach $ip (@ip_list) { print(FTMP "$ip eq www\n"); print(FTMP "$ip eq 443\n"); } } else { my $proto=substr($url, 0, 5) ; if ("\L$proto" eq 'https') { $port = '443'; } else { $port = 'www'; } print(FTMP "$ip eq $port\n"); } if(ref($url) eq 'ARRAY'){ my @url_list=@{$url}; foreach $url (@url_list) { _url($url); } } else { _url($url); } } else { print(FT4 Dumper($value)."\n<---- END ---->\n") ; } } close(FTMP); open(FTMP ,"sort -u /tmp/block.ip|"); while (<FTMP>) { $ip=$_; $ip=~s/ //g; print(FACL "permit tcp any host $ip \n"); } close(FTMP); print(FACL "deny ip any any\n"); print(FACL "!\n"); print(FACL "end\n"); close(FACL); close(FURL); close(FT4); open(SER ,"${db_path}/serial"); read(SER,$serial,6); close(SER); if (length($serial)==0) { $serial=0; } $serial+=1; open(SER ,">${db_path}/serial"); printf(SER "%06d",$serial); close(SER); exit 0; Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MATPOC Опубликовано 25 января, 2016 (изменено) · Жалоба Распоряжение РКН №11 от 07.10.2015: 6. При наличии в выгрузке информации о доменном имени и сетевом адресе и отсутствии информации об указателе страницы в сети Интернет, операторам связи рекомендуется ограничивать доступ ко всему информационному ресурсу, включая доменные имена нижестоящего уровня. Нет слов... остались одни звёздочки. В смысле, пришлось продублировать урлы типа domain ещё и их дублями с *. в начале. Изменено 25 января, 2016 пользователем MATPOC Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 26 января, 2016 · Жалоба А хотя бы IP-адреса есть в реестре для этих хитрых domain-записей? У нас мелкая технологическая сеть... по IP блокировка никого не напрягает, но резолвить и сканировать ВСЕВОЗМОЖНЫЕ варианты доменов в URL -- для железки перебор :( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Diman Опубликовано 26 января, 2016 · Жалоба коллеги! сегодня роскомнадзор звонит и говорит, что у вас не блокируются некоторые торрент-серверы. я спрашиваю - какие ? они- например, kinovo.tv. говорю - нет, блокируется. они- но может быть... да ... на его зеркало kinovo.me - не блокируется. исправьте. я - в ступоре... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MorozOFF Опубликовано 26 января, 2016 · Жалоба я - в ступоре... Позиция ЦА РКН - переадресации быть не должно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
morf Опубликовано 26 января, 2016 (изменено) · Жалоба Коллеги, я для нужд нашего провайдера, написал скриптец по обработке XML-дампа реестра запрещенных сайтов. Данные выгружается на микротик. Все ip/url/domain (в т.ч. и кириллица) корректно парсятся и добавляются в адрес-листы и проксю микротика. Все лочится в соответствии с памяткой оператора. Тестирование прогой РКН, показало процент блокировки 98-98.5%, остальные 1,5-2% незалочены, т.к. неактуальные IP у доменов в реестре. Как только заказчик со мной рассчитается я выложу его сюда. Изменено 26 января, 2016 пользователем morf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 27 января, 2016 · Жалоба Да что его парсить то? Это XML файл, он и так структурирован. Скрипт с двумя простых XPath-запросами или XSL-файл на два десятка строк, вот и весь парсер. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 27 января, 2016 (изменено) · Жалоба Коллеги, я для нужд нашего провайдера, написал скриптец по обработке XML-дампа реестра запрещенных сайтов. Данные выгружается на микротик. Все ip/url/domain (в т.ч. и кириллица) корректно парсятся и добавляются в адрес-листы и проксю микротика. Все лочится в соответствии с памяткой оператора. Тестирование прогой РКН, показало процент блокировки 98-98.5%, остальные 1,5-2% незалочены, т.к. неактуальные IP у доменов в реестре. Как только заказчик со мной рассчитается я выложу его сюда. Я такой сам написал, пользую в связке с "питонячим скриптом" выгрузки реестра, который выкладывал сюда уважаемый форумчанин yegorov-p. Да и мой скрипт пробегал где-то выше уже, парсит утилиткой xmlstarlet, формирует для выполнения скрипт .auto.rsc и по FTP заливает на Микротик (где и автоисполняется). Интересуют три существенных момента: Поскольку позиций в реестре уже овердофига, а ресурсы Микроутеров, в том числе по перезаписи флеш-памяти, не резиновые -- какую стратегию обновления блокировок вы реализуете? Я поначалу очищал и загружал тупо ВЕСЬ список IP пару раз в сутки, а теперь каждый час формирую только РАЗНИЦУ (удалить/добавить) списка IP-адресов. Как подключат РЕВИЗОРА -- думаю, следует хотя бы раз в сутки опять же весь реестр обновлять целиком, ибо мало ли какой вдруг рассинхрон -- ребут, неконнект, фазы Луны... Какие железки MT у вас рулят парадом на этой вахте? 32МБ оперативной памяти ТОЛЬКО для IP-блокировок и с минимальной прочей QoS-роутерной настройкой оставляют уже менее 5 метров свободы для дальнейшего развития аппетитов запрещальщиков. Прокси я тоже поначалу настраивал, чтоб пропускать в запрещенные IP хотя бы по незапрещенным доменам. Но потом закрутил гайки до целых IP, ибо ресурсов стало в обрез, а поскольку сеть скорее для железок, технологическая -- клиентам оно как-то "по барабану". И тем не менее -- сколь ресурсов отжирает прокси, какие потоки и процент/частота попадания в блокировки? И надо ли оно тогда вообще -- НА САМОМ Микротике рулить столь глубоко в Layer7? Ну и "до кучи": никаких кириллических доменов быть не должно ВООБЩЕ. Потому что DNS их не понимает никак -- не предусмотрено протоколом. Еще на уровне браузера вся кириллица доменного имени преобразуется в однозначные Punycode-имена и до фильтра попросту не доходит. В самом Реестре кириллические домены указаны, как правило, УЖЕ в "xn--XXXXXXX" формате, хотя почему-то еще просачиваются туда десятка два именно в кириллице -- полагаю, там их не должно быть в таком виде, только в готовом punycode. И операторы, по логике, не обязаны обрабатывать такие "несуществующие, ошибочные" домены. По факту же придется еще и преобразовывать домены из кириллицы, ибо прокуроры таких тонкостей не понимают, а читать по-русски умеют гораздо гораздее, чем на латинице. Нафиг-нафиг. Что касается хвостов URL, до конкретных страничек -- там такая муть, в том числе и с кодировками, что я даже в прокси Микротика их не стал морочиться толкать (только домены). Потому очень интересно, как у вас эта фильтрация принципиально устроена и насколько корректно практически работает. IMHO там такое количество вариантов, что проще уже забить и блочить сайт/домен с кириллицей в хвосте URL целиком. P.S. 2 alibek: насколько ваше "с двумя простых XPath-запросами или XSL-файл на два десятка строк" проще одной-двух СТРОК xmlstarlet-команд? Я в XML ни разу не специалист, поэтому банально интересны примеры -- как скриптов, так и системного окружения, набора утилит, необходимых для такой обработки. Изменено 27 января, 2016 пользователем Ansy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 27 января, 2016 · Жалоба Где то здесь пролетал url, где результаты тестов по реестру для каждого провайдера посмотреть можно. Найти не могу, не скинет кто нибудь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 27 января, 2016 · Жалоба насколько ваше "с двумя простых XPath-запросами или XSL-файл на два десятка строк" проще одной-двух СТРОК xmlstarlet-команд? Ни насколько. Скрипт с двумя простыми XPath-запросами — это и есть скрипт, использующий xmlstarlet. XSL позволяет преобразовать XML в любой формат, иногда это может быть удобнее, чем использовать результаты вывода xmlstarlet. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 27 января, 2016 · Жалоба Где то здесь пролетал url, где результаты тестов по реестру для каждого провайдера посмотреть можно. Найти не могу, не скинет кто нибудь. Было тут http://rzs.rkn.gov.ru/index.php сейчас хост даже не резолвится. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 27 января, 2016 · Жалоба Интересуют три существенных момента: [*]Поскольку позиций в реестре уже овердофига, а ресурсы Микроутеров, в том числе по перезаписи флеш-памяти, не резиновые -- какую стратегию обновления блокировок вы реализуете? Я поначалу очищал и загружал тупо ВЕСЬ список IP пару раз в сутки, а теперь каждый час формирую только РАЗНИЦУ (удалить/добавить) списка IP-адресов. Как подключат РЕВИЗОРА -- думаю, следует хотя бы раз в сутки опять же весь реестр обновлять целиком, ибо мало ли какой вдруг рассинхрон -- ребут, неконнект, фазы Луны... ЯТД, ресурсов МТ просто не хватит для фильтрации, список растёт не по дням, а по часам. Ищите другие фильтры. Хотя - РЧЦ с ревизором уже пытался определить нефильтрацию в dpi scat, а это совсем не МТ по ресурсам. Где то здесь пролетал url, где результаты тестов по реестру для каждого провайдера посмотреть можно. Найти не могу, не скинет кто нибудь. У нас было 98% при рукописной реализации, 100% после внедрения ската. По словам рсн, их удовлетворяли всего две реализации, карбонсофт и скат. Кискино у наших провайдеров нету, сравнить не с чем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
morf Опубликовано 27 января, 2016 (изменено) · Жалоба Интересуют три существенных момента: Поскольку позиций в реестре уже овердофига, а ресурсы Микроутеров, в том числе по перезаписи флеш-памяти, не резиновые -- какую стратегию обновления блокировок вы реализуете? Я поначалу очищал и загружал тупо ВЕСЬ список IP пару раз в сутки, а теперь каждый час формирую только РАЗНИЦУ (удалить/добавить) списка IP-адресов. Как подключат РЕВИЗОРА -- думаю, следует хотя бы раз в сутки опять же весь реестр обновлять целиком, ибо мало ли какой вдруг рассинхрон -- ребут, неконнект, фазы Луны... Первый раз реестр выгружается полностью, в дальнейшем поддерживается синхронизация с добавлением/удалением записей. Синхронизация поддерживается по сформированному hash для URL, hash пишется в комментарий к записи. В каком-то смысле, можно помочь РСН и самостоятельно дополнять address-list IP адресами, которых нет в реестре. Достаточно получить все уникальные домены в реестра и раз в день резолвить их IP c дальнейшей синхронизацией с address-list микротика. Какие железки MT у вас рулят парадом на этой вахте? 32МБ оперативной памяти ТОЛЬКО для IP-блокировок и с минимальной прочей QoS-роутерной настройкой оставляют уже менее 5 метров свободы для дальнейшего развития аппетитов запрещальщиков. CCR1016/36. 2 Гига. Прокси я тоже поначалу настраивал, чтоб пропускать в запрещенные IP хотя бы по незапрещенным доменам. Но потом закрутил гайки до целых IP, ибо ресурсов стало в обрез, а поскольку сеть скорее для железок, технологическая -- клиентам оно как-то "по барабану". И тем не менее -- сколь ресурсов отжирает прокси, какие потоки и процент/частота попадания в блокировки? И надо ли оно тогда вообще -- НА САМОМ Микротике рулить столь глубоко в Layer7? Перенаправление на проксю идет всем IP-адресам в реестре, они же выгружаются в address-list микротика. Ресурсы практически не потребляются. Во всяком случае для CCR это ничего не стоит. Ну и "до кучи": никаких кириллических доменов быть не должно ВООБЩЕ. Потому что DNS их не понимает никак -- не предусмотрено протоколом. Еще на уровне браузера вся кириллица доменного имени преобразуется в однозначные Punycode-имена и до фильтра попросту не доходит. Очень просто, в php в репозитории PECL есть библиотке IDN, которая легко преобразует кириллицу в Punycode. Так, мой прокси на микротике кириллицу прекрасно режет. Изменено 27 января, 2016 пользователем morf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...