1. Для блокировка используем

[ichthyandr]

Вопрос не в DPI, вопрос в том, почему провайдер вообще должен следовать неким "рекомендациям".

а вот это главный вопрос ))) Вы типа делайте как хотите, но наказание будет неотвратимым. Ладно бы были определены ТУ,ан нет -рекомендации

[AN111]

 

Добрый день.

В реестре появляются URL с двойными // в теле.

Примеры:

www.inarchive.com/page/2011-04-10/http://www.svarovski.lv/board/index.php?fid=57&id=574939

simg3.gelbooru.com//images/33/1a/331a01252e3b7e31b6d44ef2c19af42e.png

При замене множества слешей на один, чудо-программа проверки РКН засчитает подобные ресурсы, как незаблокированные

Таких ссылок сейчас ~ 29.

 

Если не смотреть на корявость заполнения реестра и задаться целью только удовлетворить РКН,

предлагаю в основной ветке nfqfilter_config убрать автозамену множества слешей

 

diff:

--- make_files.pl.160818 2016-05-25 08:43:40.727260796 +0500

+++ make_files.pl 2016-08-18 09:58:53.468025769 +0500

@@ -211,8 +211,8 @@

 

$url2 .= "/" if($url2 !~ /\//);

 

- $url11 =~ s/\/+/\//g;

- $url2 =~ s/\/+/\//g;

+# $url11 =~ s/\/+/\//g;

+# $url2 =~ s/\/+/\//g;

$url11 =~ s/\?$//g;

$url2 =~ s/\?$//g;

insert_to_url($url11);

[max1976]

 

Добрый день.

В реестре появляются URL с двойными // в теле.

Примеры:

www.inarchive.com/page/2011-04-10/http://www.svarovski.lv/board/index.php?fid=57&id=574939

simg3.gelbooru.com//images/33/1a/331a01252e3b7e31b6d44ef2c19af42e.png

При замене множества слешей на один, чудо-программа проверки РКН засчитает подобные ресурсы, как незаблокированные

Таких ссылок сейчас ~ 29.

 

Если не смотреть на корявость заполнения реестра и задаться целью только удовлетворить РКН,

предлагаю в основной ветке nfqfilter_config убрать автозамену множества слешей

 

diff:

--- make_files.pl.160818 2016-05-25 08:43:40.727260796 +0500

+++ make_files.pl 2016-08-18 09:58:53.468025769 +0500

@@ -211,8 +211,8 @@

 

$url2 .= "/" if($url2 !~ /\//);

 

- $url11 =~ s/\/+/\//g;

- $url2 =~ s/\/+/\//g;

+# $url11 =~ s/\/+/\//g;

+# $url2 =~ s/\/+/\//g;

$url11 =~ s/\?$//g;

$url2 =~ s/\?$//g;

insert_to_url($url11);

 

Не всё так просто. Двойные и более / нормально обрабатываются (необходимо использовать последнюю версию nfqfilter). Я внес изменения в конфигуратор, теперь www.inarchive.com/page/2011-04-10/http://www.svarovski.lv/board/index.php?fid=57&id=574939 блокируется без проблем.

[AN111]

В реестре появляются URL с двойными // в теле.

Не всё так просто. Двойные и более / нормально обрабатываются (необходимо использовать последнюю версию nfqfilter). Я внес изменения в конфигуратор, теперь www.inarchive.com/page/2011-04-10/http://www.svarovski.lv/board/index.php?fid=57&id=574939 блокируется без проблем.

 

Ok, но проблема не только с дополнительным http посередине URL

есть и такие шедевры:

 

В реестре:

-www.sportbet.com//LiveLines/lines.aspx

-bokep-tante.ga//video/-/Y2z4qxuaT-E

 

После обработки make_files.pl ссылки попадают в url file для загрузки в nfqfilter как:

+www.sportbet.com/LiveLines/lines.aspx

+bokep-tante.ga/video/-/Y2z4qxuaT-E

 

Новая версия nfqfilter у меня почему то пропускает много, откатился назад.

[hsvt]

Похоже эти правки можно вносить до бесконечности, так и будут пихать умышленно в реестр невесть какой бред и в каком только виде..

[max1976]

В реестре появляются URL с двойными // в теле.

Не всё так просто. Двойные и более / нормально обрабатываются (необходимо использовать последнюю версию nfqfilter). Я внес изменения в конфигуратор, теперь www.inarchive.com/page/2011-04-10/http://www.svarovski.lv/board/index.php?fid=57&id=574939 блокируется без проблем.

 

Ok, но проблема не только с дополнительным http посередине URL

есть и такие шедевры:

 

В реестре:

-www.sportbet.com//LiveLines/lines.aspx

-bokep-tante.ga//video/-/Y2z4qxuaT-E

 

После обработки make_files.pl ссылки попадают в url file для загрузки в nfqfilter как:

+www.sportbet.com/LiveLines/lines.aspx

+bokep-tante.ga/video/-/Y2z4qxuaT-E

 

Новая версия nfqfilter у меня почему то пропускает много, откатился назад.

 

Всё правильно, никаких двойных и более / не должно быть. Nfqfilter сам приводит url к нормальному виду, поэтому в файле должен быть "правильный" url.

Высылайте список (на почту) того, что не блокируется.

[AN111]

Всё правильно, никаких двойных и более / не должно быть. Nfqfilter сам приводит url к нормальному виду, поэтому в файле должен быть "правильный" url.

Высылайте список (на почту) того, что не блокируется.

 

Похоже все http:// пропускается

 

По логам в новой версии nfqfilter:

Счетчик для redirected urls "не вращается"

Total redirected urls: 0

Остальные счетчики (redirected domains, matched by ssl, matched by ssl/ip) - растут.

 

 

При запуске старой версии nfqfilter с тем же конфигом - блокировка http:// работает, счетчик "redirected urls" растет.

[max1976]

Всё правильно, никаких двойных и более / не должно быть. Nfqfilter сам приводит url к нормальному виду, поэтому в файле должен быть "правильный" url.

Высылайте список (на почту) того, что не блокируется.

 

Похоже все http:// пропускается

 

По логам в новой версии nfqfilter:

Счетчик для redirected urls "не вращается"

Total redirected urls: 0

Остальные счетчики (redirected domains, matched by ssl, matched by ssl/ip) - растут.

 

 

При запуске старой версии nfqfilter с тем же конфигом - блокировка http:// работает, счетчик "redirected urls" растет.

 

Там всего-то:

# cat urls | grep "http:" | wc -l
3

и все блокируются.

 

И счетчик у меня крутится без проблем - Total redirected urls: 2895.

 

С последним nfqfilter должен использоваться последний make_files.pl. Проверьте в настройках nfqfilter параметр url_decode, он должен быть false.

[AN111]

Похоже все http:// пропускается

По логам в новой версии nfqfilter:

Счетчик для redirected urls "не вращается"

Total redirected urls: 0

Остальные счетчики (redirected domains, matched by ssl, matched by ssl/ip) - растут.

При запуске старой версии nfqfilter с тем же конфигом - блокировка http:// работает, счетчик "redirected urls" растет.

 

Там всего-то:

# cat urls | grep "http:" | wc -l
3

и все блокируются.

 

И счетчик у меня крутится без проблем - Total redirected urls: 2895.

 

С последним nfqfilter должен использоваться последний make_files.pl. Проверьте в настройках nfqfilter параметр url_decode, он должен быть false.

 

немного не так,

у меня в последней версии nfqfilter вообще все http ссылки пропускаются (речь не о вложенных http:// в URL), https фильтруется.

make_files.pl новый

 

url_decode в конфиге по умолчанию false

 

[nfqfilter]# grep url_decode etc/nfqfilter.ini
; url_decode = false

 

Перекомпилил nfqfilter еще раз. Без изменений, пропускает все http:. Откатился на старую версию.

ХЗ.

На след. неделе еще попробую

[max1976]

Похоже все http:// пропускается

По логам в новой версии nfqfilter:

Счетчик для redirected urls "не вращается"

Total redirected urls: 0

Остальные счетчики (redirected domains, matched by ssl, matched by ssl/ip) - растут.

При запуске старой версии nfqfilter с тем же конфигом - блокировка http:// работает, счетчик "redirected urls" растет.

 

Там всего-то:

# cat urls | grep "http:" | wc -l
3

и все блокируются.

 

И счетчик у меня крутится без проблем - Total redirected urls: 2895.

 

С последним nfqfilter должен использоваться последний make_files.pl. Проверьте в настройках nfqfilter параметр url_decode, он должен быть false.

 

немного не так,

у меня в последней версии nfqfilter вообще все http ссылки пропускаются (речь не о вложенных http:// в URL), https фильтруется.

make_files.pl новый

 

url_decode в конфиге по умолчанию false

 

[nfqfilter]# grep url_decode etc/nfqfilter.ini
; url_decode = false

 

Перекомпилил nfqfilter еще раз. Без изменений, пропускает все http:. Откатился на старую версию.

ХЗ.

На след. неделе еще попробую

 

Я знаю почему пропускает. Удалите nDPI и запустите снова configure, чтобы скачался новый nDPI и скомпилируйте с ним nfqfilter. В старой версии nfqfilter был специальный патч для ndpi. Сейчас этот патч не используется и ваша версия nfqfilter собирается с ndpi и старым патчем.

Изменено 19 августа, 2016 пользователем max1976

[AN111]

Удалите nDPI и запустите снова configure, чтобы скачался новый nDPI и скомпилируйте с ним nfqfilter.

 

Сделано. Стало http фильтроваться на новой версии.

 

Небольшая засада и рецепт:

При просто удалении каталога nDPI из SRC, новый nDPI загружается,

но configure вываливается с ошибкой на json-c - где то есть зависимости.

Разбираться было лень - удалил все исходники и заново слил nfqfilter с github

Скомпилилось, работает. Проверяю.

 

to max1976: спасибо!

[telecom]

Доброго времени суток!

 

zapret.pl вроде работает, но как понял, проблема с отсылкой почты (ниже лог). Что можно с этим сделать?

И есть ли мануал по настройки всего этого?

А также можно ли использовать exabgp вместо кваги?

У меня везде bird. Ранее удалось поднять skydns-zi, там получилось exabgp+bird. Только вот sky не успевает дорабатывать свою системы под новые требования РКН.

Спасибо!

 

2016-08-20 16:33:08 | INFO | main | Bad ip type: PRIVATE for ip 127.0.0.1 host www.dosugufa.ru

2016-08-20 16:33:10 | ERROR | main | Not a HASH reference at /usr/share/perl5/Net/SMTP.pm line 363.

2016-08-20 16:33:11 | INFO | main | Load iterations: 1, resolved domains ipv4: 22602, resolved domains ipv6: 0

2016-08-20 16:33:11 | INFO | main | Added: domains: 0, urls: 0, IPv4 ips: 189, IPv6 ips: 0, subnets: 0, records: 0

2016-08-20 16:33:11 | INFO | main | Deleted: old domains: 0, old urls: 0, old ips: 0, old only ips: 0, old subnets: 0, old records: 0

2016-08-20 16:33:11 | INFO | main | Stopping RKN at Sat Aug 20 16:33:11 2016

[oborot.bolta]

Я знаю почему пропускает. Удалите nDPI и запустите снова configure, чтобы скачался новый nDPI и скомпилируйте с ним nfqfilter. В старой версии nfqfilter был специальный патч для ndpi. Сейчас этот патч не используется и ваша версия nfqfilter собирается с ndpi и старым патчем.

 

Пасибо добрый человек.

 

А можно как нибудь смотреть в логах, какие ресурсы и от кого он БЛОКИРУЕТ (именно срабатывает блокировка)

[AN111]

А можно как нибудь смотреть в логах, какие ресурсы и от кого он БЛОКИРУЕТ (именно срабатывает блокировка)

 

Включить debug ?

 

nfqfilter.ini, секция [logging]

 

[logging]

;loggers.root.level = information

loggers.root.level = debug

[WisDem]

у меня другая проблема, на последнем биде стали пролетать все url с точкой в конце, ревизор также детектит как пропущенные, при открытии они проходят,

опция match_host_exactly = false установлена. что можно сделать в данной ситуации, что проверить?

[atdp03]

Ставлю с нуля.

При первом запуске идёт море ругани такого вида:

DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Data too long for column 'decision_num' at row 1 at ./zapret.pl line 633.
DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at ./zapret.pl line 723.
DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at ./zapret.pl line 678.
DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at ./zapret.pl line 723.
DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at ./zapret.pl line 678.
DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at ./zapret.pl line 678.

 

Соответственно записи есть только в таблицах:

 zap2_ex_nets 
zap2_ips     
zap2_only_ips
zap2_records 
zap2_settings

 

Обставил дебагом, данные в инсертах есть.

2016-08-22 17:07:05 | DEBUG | main  | Error inserting record id: 15
2016-08-22 17:07:05 | DEBUG | main  | INSERT INTO zap2_urls(record_id, url) VALUES('15', 'http://shturmnovosti.info')

 

Смысл понятен:

  `url` text NOT NULL,
 `url_fixed` text NOT NULL,

 

Как бы это по-простому пофиксить, чтобы ничего не поломать?

Убрать not null, или поправить insert?

[overty]

у меня другая проблема, на последнем биде стали пролетать все url с точкой в конце, ревизор также детектит как пропущенные, при открытии они проходят,

опция match_host_exactly = false установлена. что можно сделать в данной ситуации, что проверить?

 

Подтверждаю, пролетают.

У меня пролетает, например, домен "www.dawlah.ga.".

И ссылки mixslots.com/. , kazino-klub-vulcan.com/azartnye-igry/. - все ссылки с окончанием "/."

Изменено 23 августа, 2016 пользователем overty

[hsvt]

Ставлю с нуля.

При первом запуске идёт море ругани такого вида:

DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Data too long for column 'decision_num' at row 1 at ./zapret.pl line 633.
DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at ./zapret.pl line 723.
DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at ./zapret.pl line 678.
DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at ./zapret.pl line 723.
DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at ./zapret.pl line 678.
DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at ./zapret.pl line 797.
DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at ./zapret.pl line 678.

 

Соответственно записи есть только в таблицах:

 zap2_ex_nets 
zap2_ips     
zap2_only_ips
zap2_records 
zap2_settings

 

Обставил дебагом, данные в инсертах есть.

2016-08-22 17:07:05 | DEBUG | main  | Error inserting record id: 15
2016-08-22 17:07:05 | DEBUG | main  | INSERT INTO zap2_urls(record_id, url) VALUES('15', 'http://shturmnovosti.info')

 

Смысл понятен:

  `url` text NOT NULL,
 `url_fixed` text NOT NULL,

 

Как бы это по-простому пофиксить, чтобы ничего не поломать?

Убрать not null, или поправить insert?

 

http://forum.nag.ru/forum/index.php?showtopic=79886&view=findpost&p=1252464

 

#sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
sql_mode=NO_ENGINE_SUBSTITUTION

[atdp03]

#sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

sql_mode=NO_ENGINE_SUBSTITUTION

 

Проглядел, благодарю.

[max1976]

У меня пролетает, например, домен "www.dawlah.ga.".

 

Это исправлено, обновите конфигуратор.

Изменено 23 августа, 2016 пользователем max1976

[max1976]

И ссылки mixslots.com/. , kazino-klub-vulcan.com/azartnye-igry/. - все ссылки с окончанием "/."

 

Так же исправлено в конфигураторе.

[overty]

И ссылки mixslots.com/. , kazino-klub-vulcan.com/azartnye-igry/. - все ссылки с окончанием "/."

 

Так же исправлено в конфигураторе.

 

Не помогает, так же ссылки пролетают и не перенаправляются на страницу блокировки.

Например:

kazino-klub-vulcan.com/azartnye-igry/.

mixslots.com/.

 

curl -v expirience.ru/kak-sdelat-kastet/. тоже пролетает.

 

Мне кажется что неправильно интерпретируется точка в конце url.

Если добавить несколько точек, то видно что url в nfqfilter искажается.

curl -v kazino-klub-vulcan.com/azartnye-igry/....

Редирект становится вида - Location: hXXp://www.example.com/block.html?url=http://kazino-klub-vulcan.com/azartnye-igry/....http://kazino-klub-vulcan.com/azartnye-igry/....

Изменено 23 августа, 2016 пользователем overty

[WisDem]

продолжает пролетать, для ркн в запрос добавил блокировку по домену.

[taf_321]

Странно, проверил у себя - блочатся нормально.

[hsvt]

А с чем может быть связан следующий отлуп в 11 часов, таймаут может увеличить чтобы еще пару попыток сделал скрипт?

 

2016-08-24 09:12:03 | INFO  | main  | Load iterations: 1, resolved domains ipv4: 22888, resolved domains ipv6: 0
2016-08-24 09:12:03 | INFO  | main  | Added: domains: 0, urls: 0, IPv4 ips: 54, IPv6 ips: 0, subnets: 0, records: 0
2016-08-24 09:12:03 | INFO  | main  | Deleted: old domains: 0, old urls: 0, old ips: 0, old only ips: 0, old subnets: 0, old records: 0
2016-08-24 09:12:03 | INFO  | main  | Stopping RKN at Wed Aug 24 09:12:03 2016
2016-08-24 11:00:09 | DEBUG | main  | Last dump date:   1472019122
2016-08-24 11:00:09 | DEBUG | main  | Last action:      getResult
2016-08-24 11:00:09 | DEBUG | main  | Last code:        ******************************
2016-08-24 11:00:09 | DEBUG | main  | Last result:      got
2016-08-24 11:00:09 | INFO  | main  | Starting RKN at Wed Aug 24 11:00:09 2016
2016-08-24 11:00:09 | DEBUG | main  | Checking dump date...
2016-08-24 11:00:10 | DEBUG | main  | RKN last dump date: 1472022000
2016-08-24 11:00:10 | DEBUG | main  | lastDumpDate > prev. dump date. Working now.
2016-08-24 11:00:10 | DEBUG | main  | Sending request...
2016-08-24 11:00:10 | DEBUG | main  | Got code: *********************************
2016-08-24 11:00:10 | DEBUG | main  | Getting result...
2016-08-24 11:00:10 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:10 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:00:15 | DEBUG | main  | Getting result...
2016-08-24 11:00:15 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:15 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:00:20 | DEBUG | main  | Getting result...
2016-08-24 11:00:20 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:20 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:00:25 | DEBUG | main  | Getting result...
2016-08-24 11:00:25 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:25 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:00:30 | DEBUG | main  | Getting result...
2016-08-24 11:00:30 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:30 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:00:35 | DEBUG | main  | Getting result...
2016-08-24 11:00:35 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:35 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:00:40 | DEBUG | main  | Getting result...
2016-08-24 11:00:40 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:40 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:00:45 | DEBUG | main  | Getting result...
2016-08-24 11:00:45 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:45 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:00:50 | DEBUG | main  | Getting result...
2016-08-24 11:00:50 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:50 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:00:55 | DEBUG | main  | Getting result...
2016-08-24 11:00:56 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:00:56 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:01:01 | DEBUG | main  | Getting result...
2016-08-24 11:01:04 | ERROR | main  | Can not get result: запрос обрабатывается
2016-08-24 11:01:04 | INFO  | main  | Reestr not yet ready. Waiting...
2016-08-24 11:01:09 | DEBUG | main  | Getting result...
2016-08-24 11:03:16 | FATAL | main  | Error while getResult(): 500 Can't connect to vigruzki.rkn.gov.ru:80 at /opt/zapret/Zapret.pm line 60.

Изменено 24 августа, 2016 пользователем hsvt