[st_re]

чтото не так ? (на всяк случай, блочится не по IP а по url. по ип решается ходить на проверку URL или не ходить. В приницпе можно загнать все IP в фильтровалку и ничего не поменяется. нагрузка вот только совсем не детская выйдет.) попадание в списки IP адресов от вашего сайта на доступноть вашего сайта не повлияет. HTTPS не ресолвится, только режется 443 порт на IP указанные в выгрузке в https ресурсах.

[^rage^]

HTTPS не ресолвится, только режется 443 порт на IP указанные в выгрузке в https ресурсах.

 

что-то вы меня запутали. допустим, есть в реестрике https://***.cz/ и вы его поблочили по адресу из реестрика.

но у A-записи стоит TTL=300 и к моменту когда что-то куда-то уедет к провайдерам там будет другой ip-адрес.

 

Ещё в реестрике есть записи с портами(8080, например), протоколы ftp и даже newcamd. вот с этим вы как?

[st_re]

только по IP из реестра. ресолвится только то, что можно отфильтровать по содержимому запроса, т.е. http:// (c 8080 и прочии не совсем стандартными портами не заморачивался, их там 0.0 на общем фоне. блочу как и https, по IP из их базы).

[zhenya`]

ну вот.. новая партия блоков.. абоны ресурсы не могут найти которые бонусом попали в реестр и чуток негодуют..

[ayf]

ну вот.. новая партия блоков.. абоны ресурсы не могут найти которые бонусом попали в реестр и чуток негодуют..

 

Известно, что попало бонусом? Чтобы на грабли не наступать?

[zhenya`]

Ну оно в новостях присутствует, но по проверялке не бьется. Тушкан нет не могу найти.

[Doomer]

Ну оно в новостях присутствует, но по проверялке не бьется. Тушкан нет не могу найти.

Вот же оно http://rkn.gov.ru/news/rsoc/news37189.htm

там массово "халявные кинотеатры" под раздачу попали

[zhenya`]

в новостях и я нашёл. А вот абонент проверяет через проверялку. И там отдаёт, что нет.

[Doomer]

в новостях и я нашёл. А вот абонент проверяет через проверялку. И там отдаёт, что нет.

может абонент не там проверяет, вот тут http://blocklist.rkn.gov.ru/ все находится

[MATPOC]

Прилетело нам на общий конторский адрес странно оформленное письмо от "Канцелярия ТУ_КемеровскаяОбл_42". С пустым телом письма и вордовским документом, в котором такой текст:

 

С целью исполнения поручения Центрального аппарата Роскомнадзора просим осуществить проверку блокирования следующих запрещенных ресурсов и сообщить о результатах в Управление Роскомнадзора по Кемеровской области в максимально короткие сроки по электронной почте.

И указаны урлы торрент трекеров, внесённых в реестр на прошлой неделе. Нюанс в том, что все урлы с добавлением www., хотя в реестре все записи этих урлов без www. Естественно, почти все присланные урлы открываются.

 

Все эти домены имеют тип domain в реестре. Может, я неправильно понимаю "Памятку оператору связи. Версия памятки: 4.6 от 30.10.2015"? Там сказано: "domain – блокировка по доменному имени". Значит ли, что я должен блокировать не только урлы типа rutor.org/index.html, но и все его домены третьего-n-го уровня, типа www.rutor.org, ww2.www.rutor.org и т.д?

Изменено 25 января, 2016 пользователем MATPOC

[alibek]

Распоряжение РКН №11 от 07.10.2015:

6. При наличии в выгрузке информации о доменном имени и сетевом адресе и отсутствии информации об указателе страницы в сети Интернет, операторам связи рекомендуется ограничивать доступ ко всему информационному ресурсу, включая доменные имена нижестоящего уровня.

[snvoronkov]

Все эти домены имеют тип domain в реестре. Может, я неправильно понимаю "Памятку оператору связи. Версия памятки: 4.6 от 30.10.2015"? Там сказано: "domain – блокировка по доменному имени". Значит ли, что я должен блокировать не только урлы типа rutor.org/index.html, но и все его домены третьего-n-го уровня, типа www.rutor.org, ww2.www.rutor.org и т.д?

Памятка оператору связи, Версия памятки: 4.6 от 30.10.2015

 

content.blockType ...

Если указано значение «domain», то указатели страниц сайтов (URL) для данной реестровой записи будут отсутствовать, необходимо ограничить доступ к домену целиком.

[TRIada]

А кто пользовался скриптом xml-parser.pl можете подсказать, что делать с ссылками типа entryType=5 entryType=6 итп? Они сыпятся в отдельный файл type4.ip. Какая с ними проблема? Может кто-то сделал новую версию данного скрипта?

 

xml-parser.pl:

 

 

#!/usr/bin/perl

use XML::Simple;
use Data::Dumper ;
use Encode ;
use URI::Escape;
use Text::Iconv;

$db_path='/var/db/zapret-info/' ;
$tftp_root='/tftpboot' ;
$query_ip='XXX.XXX.XXX.XXX' ;

$simple=XML::Simple->new(	KeepRoot=>1, 
			RootName=>'reg:register'
);
$xml=$simple->XMLin($db_path.'dump/dump.xml');
my %list = %{$xml->{'reg:register'}->{'content'}};

open(FURL, ">${db_path}denied.conf");
open(FACL, ">${tftp_root}/block.acl");
open(FTMP, ">/tmp/block.ip");
open(FT4, ">${db_path}type4.ip");
print(FACL "no ip access-list extended WCCP_REDIRECT\n");
print(FACL "ip access-list extended WCCP_REDIRECT\n");
print(FACL "deny tcp host ${query_ip} any\n");

sub _url {
   eval {
$url=shift;
$url=~s/ //g;
$url=uri_escape_utf8($url, "^A-Za-z0-9\-\._~:/\?\=\&\%");
print(FURL $url."\n");
   }
}

while ( my($key, $value) = each %list) {
   my $domain=$value->{'domain'} ;
   my $ip=$value->{'ip'} ;
   my $url=$value->{'url'} ;
   my $etype=$value->{'entryType'} ;

   if ($etype < 4) {
       if(ref($ip) eq 'ARRAY'){
           my @ip_list=@{$ip};
           foreach $ip (@ip_list) {
               print(FTMP "$ip eq www\n");
               print(FTMP "$ip eq 443\n");
           }
       } else {
           my $proto=substr($url, 0, 5) ;
           if ("\L$proto" eq 'https') {
               $port = '443';
           } else {
               $port = 'www';
           }
           print(FTMP "$ip eq $port\n");
       }

       if(ref($url) eq 'ARRAY'){
           my @url_list=@{$url};
           foreach $url (@url_list) { _url($url); }
       } else { _url($url); }
   } else {
       print(FT4 Dumper($value)."\n<---- END ---->\n") ;
   }
}

close(FTMP);
open(FTMP ,"sort -u /tmp/block.ip|");
while (<FTMP>) {
   $ip=$_;
   $ip=~s/
//g;
   print(FACL "permit tcp any host $ip \n");
}

close(FTMP);
print(FACL "deny ip any any\n");
print(FACL "!\n");
print(FACL "end\n");
close(FACL);
close(FURL);
close(FT4);

open(SER ,"${db_path}/serial");
read(SER,$serial,6);
close(SER);

if (length($serial)==0) { $serial=0; }

$serial+=1;

open(SER ,">${db_path}/serial");
printf(SER "%06d",$serial);
close(SER);

exit 0;

 

 

[MATPOC]

Распоряжение РКН №11 от 07.10.2015:

6. При наличии в выгрузке информации о доменном имени и сетевом адресе и отсутствии информации об указателе страницы в сети Интернет, операторам связи рекомендуется ограничивать доступ ко всему информационному ресурсу, включая доменные имена нижестоящего уровня.

Нет слов... остались одни звёздочки. В смысле, пришлось продублировать урлы типа domain ещё и их дублями с *. в начале.

Изменено 25 января, 2016 пользователем MATPOC

[Ansy]

А хотя бы IP-адреса есть в реестре для этих хитрых domain-записей?

У нас мелкая технологическая сеть... по IP блокировка никого не напрягает, но резолвить и сканировать ВСЕВОЗМОЖНЫЕ варианты доменов в URL -- для железки перебор :(

[Diman]

коллеги!

сегодня роскомнадзор звонит и говорит, что у вас не блокируются некоторые торрент-серверы.

я спрашиваю - какие ?

они- например, kinovo.tv.

говорю - нет, блокируется.

они- но может быть... да ... на его зеркало kinovo.me - не блокируется. исправьте.

я - в ступоре...

[MorozOFF]

я - в ступоре...

Позиция ЦА РКН - переадресации быть не должно.

[morf]

Коллеги, я для нужд нашего провайдера, написал скриптец по обработке XML-дампа реестра запрещенных сайтов.

Данные выгружается на микротик. Все ip/url/domain (в т.ч. и кириллица) корректно парсятся и добавляются в адрес-листы и проксю микротика. Все лочится в соответствии с памяткой оператора. Тестирование прогой РКН, показало процент блокировки 98-98.5%, остальные 1,5-2% незалочены, т.к. неактуальные IP у доменов в реестре.

Как только заказчик со мной рассчитается я выложу его сюда.

Изменено 26 января, 2016 пользователем morf

[alibek]

Да что его парсить то?

Это XML файл, он и так структурирован.

Скрипт с двумя простых XPath-запросами или XSL-файл на два десятка строк, вот и весь парсер.

[Ansy]

Коллеги, я для нужд нашего провайдера, написал скриптец по обработке XML-дампа реестра запрещенных сайтов.

Данные выгружается на микротик. Все ip/url/domain (в т.ч. и кириллица) корректно парсятся и добавляются в адрес-листы и проксю микротика. Все лочится в соответствии с памяткой оператора. Тестирование прогой РКН, показало процент блокировки 98-98.5%, остальные 1,5-2% незалочены, т.к. неактуальные IP у доменов в реестре.

Как только заказчик со мной рассчитается я выложу его сюда.

Я такой сам написал, пользую в связке с "питонячим скриптом" выгрузки реестра, который выкладывал сюда уважаемый форумчанин yegorov-p.

Да и мой скрипт пробегал где-то выше уже, парсит утилиткой xmlstarlet, формирует для выполнения скрипт .auto.rsc и по FTP заливает на Микротик (где и автоисполняется).

 

Интересуют три существенных момента:

1. Поскольку позиций в реестре уже овердофига, а ресурсы Микроутеров, в том числе по перезаписи флеш-памяти, не резиновые -- какую стратегию обновления блокировок вы реализуете? Я поначалу очищал и загружал тупо ВЕСЬ список IP пару раз в сутки, а теперь каждый час формирую только РАЗНИЦУ (удалить/добавить) списка IP-адресов. Как подключат РЕВИЗОРА -- думаю, следует хотя бы раз в сутки опять же весь реестр обновлять целиком, ибо мало ли какой вдруг рассинхрон -- ребут, неконнект, фазы Луны...
   
2. Какие железки MT у вас рулят парадом на этой вахте? 32МБ оперативной памяти ТОЛЬКО для IP-блокировок и с минимальной прочей QoS-роутерной настройкой оставляют уже менее 5 метров свободы для дальнейшего развития аппетитов запрещальщиков.
   
3. Прокси я тоже поначалу настраивал, чтоб пропускать в запрещенные IP хотя бы по незапрещенным доменам. Но потом закрутил гайки до целых IP, ибо ресурсов стало в обрез, а поскольку сеть скорее для железок, технологическая -- клиентам оно как-то "по барабану". И тем не менее -- сколь ресурсов отжирает прокси, какие потоки и процент/частота попадания в блокировки? И надо ли оно тогда вообще -- НА САМОМ Микротике рулить столь глубоко в Layer7?
   

Ну и "до кучи": никаких кириллических доменов быть не должно ВООБЩЕ. Потому что DNS их не понимает никак -- не предусмотрено протоколом.

Еще на уровне браузера вся кириллица доменного имени преобразуется в однозначные Punycode-имена и до фильтра попросту не доходит.

 

В самом Реестре кириллические домены указаны, как правило, УЖЕ в "xn--XXXXXXX" формате, хотя почему-то еще просачиваются туда десятка два именно в кириллице -- полагаю, там их не должно быть в таком виде, только в готовом punycode. И операторы, по логике, не обязаны обрабатывать такие "несуществующие, ошибочные" домены. По факту же придется еще и преобразовывать домены из кириллицы, ибо прокуроры таких тонкостей не понимают, а читать по-русски умеют гораздо гораздее, чем на латинице. Нафиг-нафиг.

 

Что касается хвостов URL, до конкретных страничек -- там такая муть, в том числе и с кодировками, что я даже в прокси Микротика их не стал морочиться толкать (только домены).

Потому очень интересно, как у вас эта фильтрация принципиально устроена и насколько корректно практически работает. IMHO там такое количество вариантов, что проще уже забить и блочить сайт/домен с кириллицей в хвосте URL целиком.

 

P.S. 2 alibek: насколько ваше "с двумя простых XPath-запросами или XSL-файл на два десятка строк" проще одной-двух СТРОК xmlstarlet-команд?

Я в XML ни разу не специалист, поэтому банально интересны примеры -- как скриптов, так и системного окружения, набора утилит, необходимых для такой обработки.

Изменено 27 января, 2016 пользователем Ansy

[Стич]

Где то здесь пролетал url,

где результаты тестов по реестру для каждого провайдера посмотреть можно.

Найти не могу, не скинет кто нибудь.

[alibek]

насколько ваше "с двумя простых XPath-запросами или XSL-файл на два десятка строк" проще одной-двух СТРОК xmlstarlet-команд?

Ни насколько. Скрипт с двумя простыми XPath-запросами — это и есть скрипт, использующий xmlstarlet.

XSL позволяет преобразовать XML в любой формат, иногда это может быть удобнее, чем использовать результаты вывода xmlstarlet.

[Tem]

Где то здесь пролетал url,

где результаты тестов по реестру для каждого провайдера посмотреть можно.

Найти не могу, не скинет кто нибудь.

 

Было тут http://rzs.rkn.gov.ru/index.php

сейчас хост даже не резолвится.

[YuryD]

Интересуют три существенных момента:

[*]Поскольку позиций в реестре уже овердофига, а ресурсы Микроутеров, в том числе по перезаписи флеш-памяти, не резиновые -- какую стратегию обновления блокировок вы реализуете? Я поначалу очищал и загружал тупо ВЕСЬ список IP пару раз в сутки, а теперь каждый час формирую только РАЗНИЦУ (удалить/добавить) списка IP-адресов. Как подключат РЕВИЗОРА -- думаю, следует хотя бы раз в сутки опять же весь реестр обновлять целиком, ибо мало ли какой вдруг рассинхрон -- ребут, неконнект, фазы Луны...

ЯТД, ресурсов МТ просто не хватит для фильтрации, список растёт не по дням, а по часам. Ищите другие фильтры. Хотя - РЧЦ с ревизором уже пытался определить нефильтрацию в dpi scat, а это совсем не МТ по ресурсам.

 

Где то здесь пролетал url,

где результаты тестов по реестру для каждого провайдера посмотреть можно.

Найти не могу, не скинет кто нибудь.

У нас было 98% при рукописной реализации, 100% после внедрения ската. По словам рсн, их удовлетворяли всего две реализации, карбонсофт и скат. Кискино у наших провайдеров нету, сравнить не с чем.

[morf]

Интересуют три существенных момента:

Поскольку позиций в реестре уже овердофига, а ресурсы Микроутеров, в том числе по перезаписи флеш-памяти, не резиновые -- какую стратегию обновления блокировок вы реализуете? Я поначалу очищал и загружал тупо ВЕСЬ список IP пару раз в сутки, а теперь каждый час формирую только РАЗНИЦУ (удалить/добавить) списка IP-адресов. Как подключат РЕВИЗОРА -- думаю, следует хотя бы раз в сутки опять же весь реестр обновлять целиком, ибо мало ли какой вдруг рассинхрон -- ребут, неконнект, фазы Луны...

Первый раз реестр выгружается полностью, в дальнейшем поддерживается синхронизация с добавлением/удалением записей. Синхронизация поддерживается по сформированному hash для URL, hash пишется в комментарий к записи.

В каком-то смысле, можно помочь РСН и самостоятельно дополнять address-list IP адресами, которых нет в реестре. Достаточно получить все уникальные домены в реестра и раз в день резолвить их IP c дальнейшей синхронизацией с address-list микротика.

 

Какие железки MT у вас рулят парадом на этой вахте? 32МБ оперативной памяти ТОЛЬКО для IP-блокировок и с минимальной прочей QoS-роутерной настройкой оставляют уже менее 5 метров свободы для дальнейшего развития аппетитов запрещальщиков.

 

CCR1016/36. 2 Гига.

 

Прокси я тоже поначалу настраивал, чтоб пропускать в запрещенные IP хотя бы по незапрещенным доменам. Но потом закрутил гайки до целых IP, ибо ресурсов стало в обрез, а поскольку сеть скорее для железок, технологическая -- клиентам оно как-то "по барабану". И тем не менее -- сколь ресурсов отжирает прокси, какие потоки и процент/частота попадания в блокировки? И надо ли оно тогда вообще -- НА САМОМ Микротике рулить столь глубоко в Layer7?

 

Перенаправление на проксю идет всем IP-адресам в реестре, они же выгружаются в address-list микротика. Ресурсы практически не потребляются. Во всяком случае для CCR это ничего не стоит.

 

Ну и "до кучи": никаких кириллических доменов быть не должно ВООБЩЕ. Потому что DNS их не понимает никак -- не предусмотрено протоколом.

Еще на уровне браузера вся кириллица доменного имени преобразуется в однозначные Punycode-имена и до фильтра попросту не доходит.

 

Очень просто, в php в репозитории PECL есть библиотке IDN, которая легко преобразует кириллицу в Punycode. Так, мой прокси на микротике кириллицу прекрасно режет.

Изменено 27 января, 2016 пользователем morf