1. Для блокировка используем

[alibek]

А с какой целью?

Во-первых, разработчики вроде бы обещали добавить на Портал возможность уведомлений. Какой смысл сейчас изобретать костыли?

Во-вторых, ну получили вы отчет о том, что у вас 200 пропусков. Что это даст? Штраф в любом случае уже выписан.

[Huko]

Я не уверен, что если в отчетах будет 0-0-0-0-200-0-0 то сразу побегут выписывать штраф, а вот если 200 будет несколько дней подряд то вероятность попасть на штраф гораздо выше.

[alibek]

31 минуту назад, Huko сказал:

Я не уверен, что если в отчетах будет 0-0-0-0-200-0-0 то сразу побегут выписывать штраф

Напрасно.

На словах есть минимальный порог разрешенных пропусков, но это на словах, нет никакой гарантии, что его не изменят или не отменят.

При выявлении пропусков штраф оформляется автоматически.

[hsvt]

У меня после с 03.11.17 в отчётах начала мелкать вот эта хрень. 

 

По https://52.50.87.120:16869 такое было, но давным давно и тогда решилось вот этим коммитом https://github.com/max197616/extfilter/commit/f95b837a0fdf93b533d7f404d672f7f8f87a905c

 

Сейчас вдруг снова почему то, extfilter последний 6f71a69708bf7698249982f40fa3f2b749a44f17

 

В tcpdump по 52.50.87.120 тишина на сервере extfilter.

 

В списках адреса есть

 

grep -rn '52.50.87.120' /home/extFilter/contrib/*
/home/extFilter/contrib/domains:21585:52.50.87.120
/home/extFilter/contrib/ssl_host:21585:52.50.87.120
/home/extFilter/contrib/ssl_ips:21536:52.50.87.120
 

protos файлик тоже есть.

 

А вот в /home/extFilter/contrib/hosts 52.50.87.120:16869 нет...

 

P.S. опытным путём выяснил. если добавить в hosts 52.50.87.120:16869 и сделать reload процессу extfilter - блокируется через tcp rst как и должно быть, НО стоит только запустить ./extfilter_maker.pl - начинает открываться. 

 

ЧЯДНТ ? 

 

Вот инфо лог работы extfilter_make.pl

 

2017-11-07 19:13:16 | INFO  | main  | Extfilter successfully reloaded/restarted!
2017-11-07 19:15:11 | INFO  | main  | Adding 8001 to http protocol
2017-11-07 19:15:11 | INFO  | main  | Adding 16869 to https protocol
2017-11-07 19:15:13 | INFO  | main  | Adding 8081 to http protocol
2017-11-07 19:15:13 | INFO  | main  | Adding 8080 to http protocol
2017-11-07 19:15:15 | INFO  | main  | Adding 8080 to http protocol
2017-11-07 19:15:15 | INFO  | main  | Adding 888 to http protocol
2017-11-07 19:15:15 | INFO  | main  | Adding 81 to http protocol
2017-11-07 19:15:15 | INFO  | main  | Adding 81 to http protocol
2017-11-07 19:15:16 | INFO  | main  | Adding 16869 to https protocol
2017-11-07 19:15:16 | INFO  | main  | Adding 16869 to https protocol
2017-11-07 19:15:18 | INFO  | main  | Adding 8080 to http protocol
2017-11-07 19:15:19 | INFO  | main  | Adding 8080 to http protocol

 

Изменено 7 ноября, 2017 пользователем hsvt

[hsvt]

Откатился на bcc8b1a8d9be2ff4e052c8b264077de817ee2d98, сделал ./extfilter_maker.pl

 

и получил более длительную работу скрипта, но зато нужная запись попала в hosts.

 

2017-11-07 19:27:17 | INFO  | main  | Extfilter successfully reloaded/restarted!
2017-11-07 19:31:25 | WARN  | main  | Domain www2.xn--90ahbfg3a0bc.com already present in the domains list
2017-11-07 19:31:45 | WARN  | main  | Domain xn---888-93d8c.xn--p1acf already present in the domains list
2017-11-07 19:31:50 | WARN  | main  | Domain bk3.xn--1--blcqqatr5b1a2j.xn--p1acf already present in the domains list
2017-11-07 19:31:59 | WARN  | main  | Domain new.xn--1---7cdbcb4aca7cbbcxxqb5ahnnpk8b2t.xn--p1acf already present in the domains list
2017-11-07 19:32:06 | WARN  | main  | Domain xn--80aeshrfifdjb.xn--p1ai already present in the domains list
2017-11-07 19:32:16 | WARN  | main  | Domain xn--4-7sbagbdpv5bpes5ad1ki.xn--80asehdb already present in the domains list
2017-11-07 19:32:24 | WARN  | main  | Domain xn-----8kcledd0aci4aj1cb3o.xn--p1ai already present in the domains list
2017-11-07 19:32:29 | WARN  | main  | Domain xn--d1accr3byb8a.xn--p1ai already present in the domains list
2017-11-07 19:32:35 | WARN  | main  | Domain www2.xn--80aadq5aigoxp.com already present in the domains list
2017-11-07 19:32:39 | WARN  | main  | Domain xn--d1acacv1c4b.xn--p1ai already present in the domains list
2017-11-07 19:32:44 | WARN  | main  | Domain www4.xn--80aadq5aigoxp.com already present in the domains list
2017-11-07 19:33:06 | WARN  | main  | Domain xn--80aaebcns1bneq3ad2ji.com already present in the domains list
2017-11-07 19:33:06 | WARN  | main  | Domain www.spravka-help.org already present in the domains list
2017-11-07 19:33:32 | WARN  | main  | Domain xn----ctbefcsec1bmmd2a4j.xn--p1acf already present in the domains list
2017-11-07 19:33:41 | WARN  | main  | Domain xn--90ahbvlfyh.com already present in the domains list
2017-11-07 19:33:46 | WARN  | main  | Domain 777-10.xn--p1ai already present in the domains list
2017-11-07 19:33:55 | WARN  | main  | Domain xn--c1acj.xn--80aswg already present in the domains list
2017-11-07 19:33:55 | WARN  | main  | Domain www.xn--c1acj.xn--80aswg already present in the domains list
2017-11-07 19:33:58 | WARN  | main  | Domain xn--80abmaxbbm3bkp7m.tk already present in the domains list
2017-11-07 19:33:58 | WARN  | main  | Domain xn--80abmaxbbm3bkp7m.xyz already present in the domains list
2017-11-07 19:34:13 | WARN  | main  | Domain xn--b1adrbukt2h.xn--p1acf already present in the domains list
2017-11-07 19:34:13 | WARN  | main  | Domain xn--90aoaunr1a.xn--p1acf already present in the domains list
2017-11-07 19:34:13 | WARN  | main  | Domain xn--80aqfnh0c.xn--p1acf already present in the domains list
2017-11-07 19:34:13 | WARN  | main  | Domain xn--80aebjmudj.xn--p1acf already present in the domains list
2017-11-07 19:34:13 | WARN  | main  | Domain xn--80atohfg.xn--p1acf already present in the domains list
2017-11-07 19:34:13 | WARN  | main  | Domain xn--80adbcjhqihzdmwt.xn--p1acf already present in the domains list
2017-11-07 19:34:13 | WARN  | main  | Domain xn--80aeikpumrm.xn--p1acf already present in the domains list
2017-11-07 19:34:43 | WARN  | main  | Domain xn----7sbafnpknch3cxa.xn--p1ai already present in the domains list
2017-11-07 19:35:11 | WARN  | main  | Domain gofaka.com already present in the domains list
2017-11-07 19:35:44 | INFO  | main  | Adding 8001 to http protocol
2017-11-07 19:36:00 | INFO  | main  | Adding 16869 to https protocol
2017-11-07 19:37:04 | INFO  | main  | Adding 8081 to http protocol
2017-11-07 19:37:39 | INFO  | main  | Adding 8080 to http protocol
2017-11-07 19:38:43 | INFO  | main  | Adding 8080 to http protocol
2017-11-07 19:38:59 | INFO  | main  | Adding 888 to http protocol
2017-11-07 19:39:07 | INFO  | main  | Adding 81 to http protocol
2017-11-07 19:39:07 | INFO  | main  | Adding 81 to http protocol
2017-11-07 19:40:04 | INFO  | main  | Adding 16869 to https protocol
2017-11-07 19:40:19 | INFO  | main  | Adding 16869 to https protocol
2017-11-07 19:41:18 | INFO  | main  | Adding 8080 to http protocol
2017-11-07 19:42:23 | INFO  | main  | Adding 8080 to http protocol
2017-11-07 19:42:30 | INFO  | main  | Extfilter successfully reloaded/restarted!

 

grep -rn '52.50.87.120' /home/extFilter/contrib/*
/home/extFilter/contrib/domains:21598:52.50.87.120
/home/extFilter/contrib/hosts:52:52.50.87.120:16869
/home/extFilter/contrib/ssl_host:21598:52.50.87.120
/home/extFilter/contrib/ssl_ips:21532:52.50.87.120

 

Максим, прошу проверить поведение у вас. Не могу к сожалению сказать какие строки в коде влияют на обработку ip:port...

Изменено 7 ноября, 2017 пользователем hsvt

[max1976]

2 часа назад, hsvt сказал:

Максим, прошу проверить поведение у вас. Не могу к сожалению сказать какие строки в коде влияют на обработку ip:port...

Да, вкралась ошибочка. В строке 166 внесите следующее изменение:
 

next if(($host !~ /(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})/ && $scheme ne 'https') && treeFindDomain(\%domains, $host));

 

[hsvt]

2 часа назад, max1976 сказал:

Да, вкралась ошибочка. В строке 166 внесите следующее изменение:
 

next if(($host !~ /(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})/ && $scheme ne 'https') && treeFindDomain(\%domains, $host));

 

Спасибо!

[daltech]

Уважаемый Максим!

Впаяли штраф за вот такую ссылку

Dumping data for table zap2_urls
id
date_add
record_id
url
url_fixed
31582
2016-09-14 13:56:58
14383
http://chan4chan.com/archive/2327/Remember,_Kids:_It's_"down_the_road"_not_"across_the_street"._Make_it_count!/thumb/off

В базе есть, не блокируется. С какими настройками это может быть связано? Ссылка очень специфичная, как-будто специально собраны все спецсимволы для удобства, апострофы, кавычки, запятые перед слэшем.... Всё остальное обрабатывается нормально. Подскажите, пожалуйста, куда копать.

root@PSL5420:/var/log# grep 188.227.224.108 nfqfilter.log.20171023022009850
2017-10-21 10:24:17.815 [22611] Error CSender - sendto() failed to 188.227.224.108:80 errno: 1
2017-10-22 10:05:08.084 [23758] Error CSender - sendto() failed to 188.227.224.108:80 errno: 1
2017-10-23 10:06:18.110 [20282] Error CSender - sendto() failed to 188.227.224.108:80 errno: 1

root@PSL5420:/var/log# grep -rn 'chan4chan' /home/nfqfilter/contrib/*
/root/nfqfilter/contrib/urls:23449:chan4chan.com/archive/16164/Cartoon_porn
/root/nfqfilter/contrib/urls:27175:chan4chan.com/archive/2327/Remember,_Kids:_It's_%22down_the_road%22_not_%22across_the_street%22._Make_it_count!/thumb/off

root@PSL5420:/var/log# grep -rn '188.227.224.108' /home/nfqfilter/contrib/*

ничего

 

 

Изменено 8 ноября, 2017 пользователем daltech

[max1976]

36 минут назад, daltech сказал:

Уважаемый Максим!

Впаяли штраф за вот такую ссылку

Dumping data for table zap2_urls
id
date_add
record_id
url
url_fixed
31582
2016-09-14 13:56:58
14383
http://chan4chan.com/archive/2327/Remember,_Kids:_It's_"down_the_road"_not_"across_the_street"._Make_it_count!/thumb/off

В базе есть, не блокируется. С какими настройками это может быть связано? Ссылка очень специфичная, как-будто специально собраны все спецсимволы для удобства, апострофы, кавычки, запятые перед слэшем.... Всё остальное обрабатывается нормально. Подскажите, пожалуйста, куда копать.

root@PSL5420:/var/log# grep 188.227.224.108 nfqfilter.log.20171023022009850
2017-10-21 10:24:17.815 [22611] Error CSender - sendto() failed to 188.227.224.108:80 errno: 1
2017-10-22 10:05:08.084 [23758] Error CSender - sendto() failed to 188.227.224.108:80 errno: 1
2017-10-23 10:06:18.110 [20282] Error CSender - sendto() failed to 188.227.224.108:80 errno: 1

root@PSL5420:/var/log# grep -rn 'chan4chan' /home/nfqfilter/contrib/*
/root/nfqfilter/contrib/urls:23449:chan4chan.com/archive/16164/Cartoon_porn
/root/nfqfilter/contrib/urls:27175:chan4chan.com/archive/2327/Remember,_Kids:_It's_%22down_the_road%22_not_%22across_the_street%22._Make_it_count!/thumb/off

root@PSL5420:/var/log# grep -rn '188.227.224.108' /home/nfqfilter/contrib/*

ничего

 

 

Одна из причин - перекодирование %22 в ". Все зависит от того, с какой версией POCO был собран nfqfilter. В последних версиях был изменен набор символов, которые кодирует/декодирует POCO::URI.

[Tosha]

18 часов назад, alibek сказал:

При выявлении пропусков штраф оформляется автоматически.

Это не совсем так. Оформление и проверка вручную - а вот тут и проблема. Они начинают окучивать самых злостных и до конца рабочего дня просто не успевают обработать весь поток "заявок". Отсюда у них просто руки не доходят заняться теми кто нарушает по мелочи и изредка.

Но все же и Вы правы - даже при одном нарушении можно "влететь". Проверками занимается не только система "Ревизор". Время от времени вручную что-то проверяют.

[daltech]

Установил новый poco-1.7.9p2 от 07.11.17, переустановил URI с MCPAN. Эффекта нет. Именно эта доблестная ссылка открывается. Подскажите пожалуйста, куда еще смотреть? В файле urls-то она есть...

При попытке переустановить URI-UTF8-Punycode получил ошибку вот какого плана

mypuny.c: In function ‘is_domain_name’:
mypuny.c:18:10: warning: implicit declaration of function ‘isalnum’ [-Wimplicit-function-declaration]
     if(! isalnum(t) && t != '-'){
          ^
/usr/bin/ld: cannot find -lperl
collect2: error: ld returned 1 exit status
Makefile:4: recipe for target 'mypuny' failed
make[1]: *** [mypuny] Error 1
make[1]: Leaving directory '/root/.cpan/build/URI-UTF8-Punycode-1.05-Gw_Abh/bin'
Makefile:551: recipe for target 'subdirs' failed
make: *** [subdirs] Error 2
  TWINKLE/URI-UTF8-Punycode-1.05.tar.gz
  /usr/bin/make -- NOT OK
Failed during this command:
 TWINKLE/URI-UTF8-Punycode-1.05.tar.gz        : make NO

uname -a
Linux PSL5420 4.4.0-98-generic #121-Ubuntu SMP Tue Oct 10 14:24:03 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

 

Изменено 9 ноября, 2017 пользователем daltech

[ixi]

2 часа назад, daltech сказал:

/usr/bin/ld: cannot find -lperl

apt-get install libperl-dev

[max1976]

3 часа назад, daltech сказал:

Установил новый poco-1.7.9p2 от 07.11.17, переустановил URI с MCPAN. Эффекта нет. Именно эта доблестная ссылка открывается. Подскажите пожалуйста, куда еще смотреть? В файле urls-то она есть...

При попытке переустановить URI-UTF8-Punycode получил ошибку вот какого плана

mypuny.c: In function ‘is_domain_name’:
mypuny.c:18:10: warning: implicit declaration of function ‘isalnum’ [-Wimplicit-function-declaration]
     if(! isalnum(t) && t != '-'){
          ^
/usr/bin/ld: cannot find -lperl
collect2: error: ld returned 1 exit status
Makefile:4: recipe for target 'mypuny' failed
make[1]: *** [mypuny] Error 1
make[1]: Leaving directory '/root/.cpan/build/URI-UTF8-Punycode-1.05-Gw_Abh/bin'
Makefile:551: recipe for target 'subdirs' failed
make: *** [subdirs] Error 2
  TWINKLE/URI-UTF8-Punycode-1.05.tar.gz
  /usr/bin/make -- NOT OK
Failed during this command:
 TWINKLE/URI-UTF8-Punycode-1.05.tar.gz        : make NO

uname -a
Linux PSL5420 4.4.0-98-generic #121-Ubuntu SMP Tue Oct 10 14:24:03 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

 

Установите POCO версии 1.6.x.

[daltech]

Установил libperl-dev, откатился к poco-1.6.1, переустановил все пакеты через MCPAN, ошибок нет. Ссылка по-прежнему не блокируется. Подскажите пожалуйста, куда смотреть дальше?

[max1976]

6 часов назад, daltech сказал:

Установил libperl-dev, откатился к poco-1.6.1, переустановил все пакеты через MCPAN, ошибок нет. Ссылка по-прежнему не блокируется. Подскажите пожалуйста, куда смотреть дальше?

Вы nfqfilter используете?

[dee]

я не хочу казаться назойливым , но вам не кажется , что ресурс www.gosznak-d.com (который состоит в заблокированных) , должен блокироваться ещё и по gosznak-d.com

пс. ну просто какой смысл во всём этом , если префикс влияет на работу.

мне кажется нужно поправить код , что бы он автоматически смотрел урл с www и без  и в любом случае лочил

пс2.

с другой стороны наверно можно это всё добавить в скрипт содания файлов блокировки , тогда список увеличится , но работать будет более правильно

Изменено 10 ноября, 2017 пользователем dee

[max1976]

1 час назад, dee сказал:

я не хочу казаться назойливым , но вам не кажется , что ресурс www.gosznak-d.com (который состоит в заблокированных) , должен блокироваться ещё и по gosznak-d.com

пс. ну просто какой смысл во всём этом , если префикс влияет на работу.

мне кажется нужно поправить код , что бы он автоматически смотрел урл с www и без  и в любом случае лочил

пс2.

с другой стороны наверно можно это всё добавить в скрипт содания файлов блокировки , тогда список увеличится , но работать будет более правильно

Я думаю, что мы не должны заморачиваться с этим. Что вписали в реестр, то и блокируем. Если бы вписали *.gosznak-d.com, тогда бы все субдомены и блокировались.

[dee]

ну я не не говорю сразу по горло резать , всё же по стандартам приставка www в принципе тоже самое , что без неё , думаю если речь идёт о блокровке ресурса или урла , то каждая строка должна обрабатываться как с www  , так и без . Я не настаиваю , сам могу для себя поправить алгоритм , но просто придётся это учитывать в новых версиях оригинального кода  и добавлять свои правки . 

for str in `cat ./domains  | sed -e 's/^www\.//g' | sort | uniq`; do echo  $str; if [[ ! $str =~ ^\* ]]; then echo "www."$str; fi done

 

просто хотел уточнить , еси список блокировок условно вырастит в 2 раза , на что это реально повлияет , объём памяти , скорость обработки ?

Изменено 10 ноября, 2017 пользователем dee

[ixi]

1 час назад, dee сказал:

я не хочу казаться назойливым , но вам не кажется , что ресурс www.gosznak-d.com (который состоит в заблокированных) , должен блокироваться ещё и по gosznak-d.com

TODO:

- если открыть адрес через айпишку вместо домена, в некоторых случаях он открывается

- если добавить к адресу ?z=1, то он внезапно становится разрешённым

[dee]

я говорил что не настаиваю , по этому сделал себе так как считаю нужным . спасибо за отзывы

 

всякая ерунда

Изменено 10 ноября, 2017 пользователем dee

[myth]

1 час назад, dee сказал:

for str in `cat ./domains | sed -e 's/^www\.//g' | sort | uniq`; do echo $str; if [[ ! $str =~ ^\* ]]; then echo "www."$str; fi done

проще в extfilter-maker пару строк добавить

 

print $DOMAINS_FILE $domain_canonical."\n";

 

а именно добавить модифицированную строку рядом с этими

[dee]

38 минут назад, myth сказал:

проще в extfilter-maker пару строк добавить

 

print $DOMAINS_FILE $domain_canonical."\n";

 

а именно добавить модифицированную строку рядом с этими

ну я же говорил , лучше делать всё условно штатно , что бы не искать места после обновления основного кода , что бы потом опять руками добавлять эти правила , мне проще было сделать это за пределами мейкера

 

что то какой то косяк что ли ? 

cat ./urls | grep 'forum.dpni.org/showthread.php?t'

 

[max1976]

32 минуты назад, dee сказал:

cat ./urls | grep 'forum.dpni.org/showthread.php?t'

Как внесли в реестр, так и есть :)

[dee]

1 минуту назад, max1976 сказал:

Как внесли в реестр, так и есть :)

Цитата

grep -R 'forum.dpni.org'
urls:forum.dpni.org/showthread.php?t=12562
urls:forum.dpni.org/forumdisplay.php?f=294&s=74c33e2aa6edc5afa87a7117b6133436
urls:forum.dpni.org/showthread.php?t=40961
urls:forum.dpni.org/showthread.php?t=32998
urls:forum.dpni.org/showthread.php?t=54630&s=cd4a6240b959d9549a77649b6a6a8c9c
urls:forum.dpni.org/archive/index.php/t-56118.html?s=fa287ad729153472598ad8b056e98a9b
urls:forum.dpni.org/showthread.php?t=15239
urls:forum.dpni.org/showthread.php?t=56299%20http://forum.dpni.org/archive/index.php/t-56299.html
urls:forum.dpni.org/showthread.php?t=56299 http://forum.dpni.org/archive/index.php/t-56299.html
urls:forum.dpni.org/forumdisplay.php?f=292
 

cat ./url-abuse.txt | grep -i 'forum.dpni.org'
http://forum.dpni.org/forumdisplay.php?f=292
http://forum.dpni.org/showthread.php?t=12562
http://forum.dpni.org/showthread.php?t=54630&s=cd4a6240b959d9549a77649b6a6a8c9c
http://forum.dpni.org/showthread.php?t=56299 http://forum.dpni.org/archive/index.php/t-56299.html
http://forum.dpni.org/forumdisplay.php?f=294&s=74c33e2aa6edc5afa87a7117b6133436
http://forum.dpni.org/showthread.php?t=40961
http://forum.dpni.org/showthread.php?t=32998
http://forum.dpni.org/showthread.php?t=15239
http://forum.dpni.org/archive/index.php/t-56118.html?s=fa287ad729153472598ad8b056e98a9b

мне всё же кажется косяк в реестре самом

[max1976]

1 минуту назад, dee сказал:

мне всё же кажется косяк в реестре самом

Я об этом же, внесли в реестр в таком виде.