1. Для блокировка используем

[NightElf]

2. Очень плохо отрабатывает urllist - 1 раз из 10-20 только редиректит, в остальных случаях открывает. Может формат файла неправильный? Я пока не настраивал получения файлов списков из БД, просто руками несколько url ввел по одному на строку в таком виде:

www.xxx.ru/1.php

www.yyy.ru/ao/bo/

опять же если здесь указан только сайт, без указания конкретной страницы - блокируется без проблем, а вот если указана страница - швах

Варианта пропуска из-за того что несправляется сервер не рассматриваю, т.к. тестирую на 1 ПК, трафик которого зеркалится.

В дополнение к этому заметил следующее: если заходить напрямую на блокированную страничку - блокировка работает, однако если сначала зайти на сайт, а уже оттуда открыть ссылку на блокированную страницу - пропускает.

Есть такое дело, но это не фильтр чудит, а броузер. Вангую, лиса стоит?? ctrl+F5 решает

 

Да, Лиса на Ментосе) Спасибо за совет, попробую на других браузерах.

[AN111]

 

To max1976:

Предлагаю корректирующую правку в скрипт для кактуса scripts/extfilter-cacti:

нет проверки на существование datadir=/var/run/extfilter-stat

 

+++ extfilter-cacti

@@ -127,6 +127,10 @@

+if [ ! -d $datadir ]

+ then

+ /usr/bin/mkdir $datadir

+fi

[max1976]

 

To max1976:

Предлагаю корректирующую правку в скрипт для кактуса scripts/extfilter-cacti:

нет проверки на существование datadir=/var/run/extfilter-stat

 

+++ extfilter-cacti

@@ -127,6 +127,10 @@

+if [ ! -d $datadir ]

+ then

+ /usr/bin/mkdir $datadir

+fi

 

Сделайте через pull request на githubе.

[Hawk128]

а если поставить по дефолту?

 

Это и есть дефолт из конфига.

Можно конечно по стандарту ошибки 302 - но оно бы по идее для всех не работало бы...

[Antares]

получил сегодня пропуск по двум ссылка с точкой в домене

http://www.ispovednik.com./prilozhenie-no-1
http://www.ispovednik.com./prilozhenie-no-2

 

ни как не могу заставить блокировать

[arhead]

получил сегодня пропуск по двум ссылка с точкой в домене

 

 

Все блокируется.

У меня бывают пропуски, но зеркалирую я каналы выше стоящих провайдеров. В ядре нет портов. Жду замену

Изменено 31 марта, 2017 пользователем arhead

[hsvt]

Господа, вопрос с our_blacklist до сих пор остаётся открытым)

 

Как его подключить в конфиге фильтра (ext\nfq) ?

 

cat /var/log/zapret_update.log | grep 'Added new content from our'
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77533
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77534
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77535
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77536
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77537

 

Сами записи как я понимаю добавились в базу и файлик с ними есть.

[AN111]

Господа, вопрос с our_blacklist до сих пор остаётся открытым)

Как его подключить в конфиге фильтра (ext\nfq) ?

cat /var/log/zapret_update.log | grep 'Added new content from our'
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77533
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77534
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77535
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77536
2017-03-31 12:33:00 | DEBUG | main  | Added new content from our blacklist: id 77537

Сами записи как я понимаю добавились в базу и файлик с ними есть.

 

zapret.pl читает файл с our_blacklist, описанный в zapret.conf

--------

[PATH]

our_blacklist = "<our path>/our_blacklist"

--------

и заносит url из our_blacklist в mysql

 

Из вашего вывода: данные уже попали в mysql, значит our_blacklist прописан в конфиге верно.

 

Далее стандартно скрипты из одинаковой для nfqfilter/extfilter базы

-для nfqfilter - скрипт make_files.pl

-для extfilter - скрипт extfilter-maker

скармливают данные для блокировки в nfqfilter/extfilter

[arhead]

А https://52.28.27.206:16869 у всех блокитруется?

[max1976]

А https://52.28.27.206:16869 у всех блокитруется?

 

Блокируется. Должна быть запись

52.28.27.206:16869

в файле hosts.

[Hawk128]

Выключил нормализацию - стало лучше, проблемная ссылка заблокировалась, пропусков меньше.

Странно...

[Hawk128]

Для зеркала использую Dlink DGS-3420. Кто-нибудь еще им пользуется для extfilter?

М.б. он не все зеркалит, иногда пропускает?

[arhead]

Для зеркала использую Dlink DGS-3420. Кто-нибудь еще им пользуется для extfilter?

М.б. он не все зеркалит, иногда пропускает?

 

Где-то слышал что D'Link криво зеркалирует. У самого DGS в ядре буду менять на циску. Когда тестили СОРМ ругались что трафик битый какой-то. так что не удивительно что пропускает. Я на циске зеркалирую

Изменено 1 апреля, 2017 пользователем arhead

[myth]

А https://52.28.27.206:16869 у всех блокитруется?

Приходится блокировать по ip.

[zhenya`]

зеркальте сплитерами оптическими.

[Bl_cK]

получил сегодня пропуск по двум ссылка с точкой в домене

http://www.ispovednik.com./prilozhenie-no-1
http://www.ispovednik.com./prilozhenie-no-2

 

ни как не могу заставить блокировать

та же картина, также проверьте http://purposechem.com./ и www.libros.am./book/read/id/357319/slug/russkijj-mirovjj-poryadok1

в mysql данные есть, в файлах есть, файлы собираю extfilter_maker.pl. Иногда помогает удаление точки из url-a, пытаюсь разобраться, в чём дело.

опция remove_dot=false не помогает заблокировать http://www.libros.am./book/read/id/357319/slug/russkijjmirovjj-poryadok1 , но помогает purposechem.com. и оба исповедника. Мистика где-то с точками.

 

Также есть проблемные ip-адреса:

select * from zap2_only_ips where ip like 0x0598DC65 or ip like 0x94fb8C70 or ip like 0xc39a337c;

все 3 адреса присутствуют, тем не менее, http://195.154.51.124/ открывается, поскольку

 

[root@localhost extfilter]# cat * |grep 195.154.51

[root@localhost extfilter]#

 

blocktype=ip из дампа заносятся в таблицу zap2_only_ips, но никак не обрабатываются extfilter_maker. Есть ли этот функционал, или самим допиливать?

Изменено 3 апреля, 2017 пользователем Bl_cK

[arhead]

Снова занесли волшебные ссылки с непонятными символами. http://tenevoy.com/topic/147-●●●оригинальный-бланк-военного-билета●15000-руб/

 

blocktype=ip из дампа заносятся в таблицу zap2_only_ips, но никак не обрабатываются extfilter_maker. Есть ли этот функционал, или самим допиливать?

 

Это уже самим допиливать. Есть скрипт для кваги. Тут где-то выкладывал скрипт что бы адреса из дампа вытащить. Дальше уже Ваша фантазия)

[Antares]

у вас в ссылке ошибка russkijjmirovjj, а надо russkijj-mirovjj

[arhead]

А точку в конце домена скрипт удаляет? Последний скрипт из 0.41 ее не удаляет, хотя должен вроде.

[max1976]

Снова занесли волшебные ссылки с непонятными символами. http://tenevoy.com/t...лета●15000-руб/

 

Фикс уже на github'е.

Изменено 3 апреля, 2017 пользователем max1976

[myth]

Наложил на make_files.pl. Работает. is-news теперь тоже блокируется без изменения регулярок

[Hawk128]

Вопрос с пропусками у меня так и не решился.

 

Есть ли кто-нибудь еще, кто зеркалит Длинком? Так то все в Убунте настроил, не хотелось все грохать для "попробовать на CentOS"...

[atdp03]

Hawk128

 

Скажем так.

Грохать всё для "попробовать на CentOS" точно нет смысла.

Работает на убунте, пропусков нет. С поправкой на сообщения чуть выше.

 

Зеркалится cisco nexus.

Ядро дефолтное, из тюнинга - только nice -5 для процесса.

[Hawk128]

Ок. Спасибо за информацию.

 

Больше уверенности что Длинк...

[cREoz]

На последнем коммите не стартует((

Писало ошибку:

EAL: Detected 4 lcore(s)
EAL: invalid coremask

раскоментил в конфиге

; Какие ядра использовать. Default: все ядра, кроме management.
core_mask = 7

стало запускаться, но сразу падает:

[user@zapret ~]$ sudo systemctl status extfilter
● extfilter.service - extFilter is a daemon for filtering traffic using DPDK
  Loaded: loaded (/etc/systemd/system/extfilter.service; disabled; vendor preset: disabled)
  Active: failed (Result: exit-code) since Ср 2017-04-05 16:41:32 MSK; 16min ago
 Process: 29444 ExecStart=/usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /etc/extfilter.ini (code=exited, status=0/SUCCESS)
Main PID: 29445 (code=exited, status=78)

апр 05 16:41:32 zapret.local extFilter[29445]: EAL:   probe driver: 8086:10a7 net_e1000_igb
апр 05 16:41:32 zapret.local extFilter[29445]: EAL: PCI device 0000:01:00.1 on NUMA socket -1
апр 05 16:41:32 zapret.local extFilter[29445]: EAL:   probe driver: 8086:10a7 net_e1000_igb
апр 05 16:41:32 zapret.local extFilter[29445]: EAL: PCI device 0000:04:00.0 on NUMA socket -1
апр 05 16:41:32 zapret.local extFilter[29445]: EAL:   probe driver: 8086:10d3 net_e1000_em
апр 05 16:41:32 zapret.local extFilter[29445]: EAL: PCI device 0000:05:00.0 on NUMA socket -1
апр 05 16:41:32 zapret.local extFilter[29445]: EAL:   probe driver: 8086:10d3 net_e1000_em
апр 05 16:41:32 zapret.local systemd[1]: extfilter.service: Main process exited, code=exited, status=78/n/a
апр 05 16:41:32 zapret.local systemd[1]: extfilter.service: Unit entered failed state.
апр 05 16:41:32 zapret.local systemd[1]: extfilter.service: Failed with result 'exit-code'.

 

Экпериментальным путём выяснил что не запускается из-за этих параметров:

; dpdk порт(ы), где анализировать трафик
dpdk_ports = 0,1

; количество потоков по анализу трафика
num_of_workers=2

 

Что делать, на какой коммит откатываться?