1. Для блокировка используем

[myth]

Внесли изменения в инструкцию оператору по блокировке?

Просто ревизор теперь шлет запросы не только на ip, полученный от DNS оператора, но и прямо на IP из дампа

 

Соответственно, одним прекрасным зимним утром получил 100% доступных ресурсов

[st_re]

ну так блокировка по IP или DPI то все одно должны быть. ДНС так, еще один вариант снижения вероятности для ревизора пойти не туда, куда не надо бы.

[myth]

Он и сам прекрасно знает куда ходить

[Andrei]

Внесли изменения в инструкцию оператору по блокировке?

Просто ревизор теперь шлет запросы не только на ip, полученный от DNS оператора, но и прямо на IP из дампа

 

Соответственно, одним прекрасным зимним утром получил 100% доступных ресурсов

И какие изменения внесли в алгоритмы своей системы блокировок?

[myth]

--- /home/farton/zapret_orig/nfqfilter_config/make_files.pl     2017-05-29 15:45:47.987755264 +0300
+++ make_files.pl       2017-05-29 18:22:32.870100985 +0300
@@ -130,12 +130,6 @@
       $domain_canonical =~ s/^http\:\/\///;
       $domain_canonical =~ s/\/$//;
       $domain_canonical =~ s/\.$//;
-       if(defined $domains{$domain_canonical})
-       {
-               $logger->warn("Domain $domain_canonical already present in the domains list");
-               next;
-       }
-       $domains{$domain_canonical}=1;
       $logger->debug("Canonical domain: $domain_canonical");
       print $DOMAINS_FILE $domain_canonical."\n";
       if($domains_ssl eq "true")

Иначе - куча пропусков https ресурсов

[myth]

например,

https://hizb.org.ua/ru/

https://www.rbc.ua

[myth]

Внесли изменения в инструкцию оператору по блокировке?

Просто ревизор теперь шлет запросы не только на ip, полученный от DNS оператора, но и прямо на IP из дампа

 

Соответственно, одним прекрасным зимним утром получил 100% доступных ресурсов

И какие изменения внесли в алгоритмы своей системы блокировок?

Внедрил nfqfilter

 

Т.к сервер у нас один, то было напряжно, но оно того стоило

[myth]

От блокировки по днс отказался насовсем ввиду нецелесообразности.

[max1976]

Иначе - куча пропусков https ресурсов

Поставьте в конфиге

domains_ssl = true

и будет все как надо, без правки кода.

[myth]

Если вчитаться в рекомендации, то, возможно, это имеет смысл...

[myth]

С true работает. Но т.к ругани на повторяющиеся домены в логах nfqfilter меньше не стало, код все же снова убрал.

[Mechanic]

От блокировки по днс отказался насовсем ввиду нецелесообразности.

я так думаю нужно блокировать и так, и так, ввиду особенности работы ревизора, которая отличается от закона если он ходит не только по днс, но и по ип которые где-то отрезолвил

[myth]

но и по ип которые где-то отрезолвил

он взял их прямо в дампе. Нигде он их не резолвил

 

Хотя, технически, например, для unbound это не сильно сложно реализовать

[Mechanic]

но и по ип которые где-то отрезолвил

он взял их прямо в дампе. Нигде он их не резолвил

 

Хотя, технически, например, для unbound это не сильно сложно реализовать

примеры реализации RPZ для bind есть, но не могу найти RPZ for Unbound

[myth]

Вот, нашел свою старую поделку (кусок из extfilter_maker)

 

Это для unbound

 

В unbound.conf надо добавить

####RKN####
include: /etc/unbound/forward.conf
include: /etc/unbound/domains_mask.conf
###########

 

Работу с URL заботливо уже вырезал). Остался только функционал работы с domain, domain mask

extfilter_maker.pl.txt

[myth]

А ни у кого распарсенного списка Минюста нету?

[hsvt]

curl -v http://vip-club-vulkan.net/
* About to connect() to vip-club-vulkan.net port 80 (#0)
*   Trying 52.59.21.134...
* Connected to vip-club-vulkan.net (52.59.21.134) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Host: vip-club-vulkan.net
> Accept: */*
>
< HTTP/1.1 406 Not acceptable
< Content-Length: 0
< Connection: Close
<
* Closing connection 0

 

curl -v https://vip-club-vulkan.net/
* About to connect() to vip-club-vulkan.net port 443 (#0)
*   Trying 52.59.21.134...
* Connected to vip-club-vulkan.net (52.59.21.134) port 443 (#0)
* Initializing NSS with certpath: sql:/etc/pki/nssdb
*   CAfile: /etc/pki/tls/certs/ca-bundle.crt
 CApath: none
* Server certificate:
*       subject: CN=yandex.com.tr,ST=Russia,L=Moscow,OU=ITO,O=Yandex LLC,C=RU
*       start date: May 18 20:26:24 2017 GMT
*       expire date: May 18 20:26:24 2019 GMT
*       common name: yandex.com.tr
*       issuer: CN=Yandex CA,OU=Yandex Certification Authority,O=Yandex LLC,C=RU
* NSS error -12276 (SSL_ERROR_BAD_CERT_DOMAIN)
* Unable to communicate securely with peer: requested domain name does not match the server's certificate.
* Closing connection 0
curl: (51) Unable to communicate securely with peer: requested domain name does not match the server's certificate.

[Antares]

zapret.pl

                # URLs
               my $processed_urls=0;
               my $need_to_block_domain=0;
               my $need_to_block_ip=0;
               if( ref($NEW{$d_id}->{urls}) eq 'ARRAY' )
               {
                       foreach my $url ( @{$NEW{$d_id}->{urls}} )
                       {
####################URL Длиннее 1024 символов блокируются по IP############################
                               if((my $len = length($url)) < 1024)
                               {
                                       $processed_urls++;
                               } else {
                                       $need_to_block_ip=1;
                                       $OLD_URLS{md5_hex(encode_utf8($url))} = 0;
}
###########################################################################################
                               # Check for ex. domain
                               my $uri = URI->new($url);
                               my $scheme = $uri->scheme();
                               if($scheme ne "http" && $scheme ne "https")
                               {
                                       $logger->error("Unsupported scheme in url: $url for resolving.");
                               } else {
                                       my $url_domain = $uri->host();
                                       if( defined( $EX_DOMAINS{$url_domain} ) ) {
                                               $MAIL_EXCLUDES .= "Excluding URL (caused by excluded domain ".$url_domain."): ".$url."\n";
                                               next;
                                       }
                                       Resolve( $url_domain, $record_id, $resolver, $cv);
                               }

Поправил, но выдаёт ошибку

./zapret.pl
"my" variable $need_to_block_domain masks earlier declaration in same scope at ./zapret.pl line 719.
"my" variable $need_to_block_ip masks earlier declaration in same scope at ./zapret.pl line 762.

[Bl_cK]

37.139.28.143:8001 в urls листе, открывается. Как починить? =)

[max1976]

....

 

Та же проблема что и с длинным url. В данном случае сервер выставляет маленький tcp window, из-за чего клиент разбивает запрос на несколько пакетов.

На данный момент extfilter может собирать http запрос из разных пакетов (эта версия пока не выложена на github).

 

P.S. Придется отказаться от ndpi, т.к. он не может анализировать данные в разных пакетах в рамках одной tcp сессии.

[myth]

my $need_to_block_domain=0;

my $need_to_block_ip=0

которые идут в коде дальше нужно закомментировать

[myth]

Придется отказаться от ndpi, т.к. он не может анализировать данные в разных пакетах в рамках одной tcp сессии.

а nfqfilter в пролете?

[Antares]

my $need_to_block_domain=0;

my $need_to_block_ip=0

которые идут в коде дальше нужно закомментировать

спасибо

[sanyasi]

P.S. Придется отказаться от ndpi, т.к. он не может анализировать данные в разных пакетах в рамках одной tcp сессии.

 

А если ограничиваться частью URL? Например оставлять из записи реестра первые 64 символа, которые входят в первый пакет tcp сессии, и анализировать в пакете только эти 64 символа?

 

Это, кроме того, сократит число требуемых записей, так как часто блокируют несколько страниц, на одном сайте,

В реестре:

http://qwerrrr.ru/какая-то-фигня/ыфвсльфыжлввсь жыдфльс жыфдвлсьжфыдлсь...ыфдлвсь.jpg

http://qwerrrr.ru/какая-то-фигня/ыфвсльфыжлввсь жыдфльс жыфдвлсьжфыдлсь...ыфдлвсь1.jpg

 

А блокируем все, что содержит символы:

http://qwerrrr.ru/какая-то-фигня/ыфвсльфыжлввсь жыдфльс жыфдвлсьжфыдлсь...

[zhenya`]

а потом частью домена из SNI ? ) народ будет извращаться.