1. Для блокировка используем

[flow-control]

 

после переустановки poco.nfqfilter пересобрали ?

 

Сегодняшний отчет rfc-revizor.ru красивый , куча записей с временем включения в реестр 17 Ноя, 2017 20:57:03 , а у нас они появились только сегодня в 10-30.

[Swan78]

flow-control 

10 часов назад, flow-control сказал:

Сегодняшний отчет rfc-revizor.ru красивый , куча записей с временем включения в реестр 17 Ноя, 2017 20:57:03 , а у нас они появились только сегодня в 10-30.

Аналогично....

[daltech]

После переустановки poco на старый nfqfilter не пересобирал. Сейчас сделаю. Спасибо за совет.

[daltech]

После пересборки nfqfilter заработало! Спасибо!

Максим, в требованиях к сборке исправьте, пожалуйста,

Poco >= 1.6 на Poco = 1.6.1

На версии 1.7.*, потому что, не работает.

Всем спасибо!

[XomA]

Добрый день.

В сервере E5530 стоит встроенная медная сетевая на 82576. TX трафик через оптический сплиттер подается на медиаконвертер и затем в сетевуху. Данная схема отлично работает.

Решили избавиться от медюка, заказали оптическую двухголовую сетевуху на i350. 

Новая сетевая нормально биндится в dpdk, extfilter запускается, видит и старый port 0 и новый port 1.

Но.. при бинде в дпдк линк на сетевой пропадает (типа так и должно быть), а вот при старте extfilter обратно не загорается, соот-но пакеты не ловит. Но если физически передернуть оптику, то линк загорается и все начинает работать.

Пробовали разные sfp модули, вместо TX от сплиттера пробовали цельный линк с mirror порта с коммутатора. Всегда одно и то же. После запуска extfilter помогает только физическое передергивание коннектора.

Никто не сталкивался с похожим? В какую сторону копать, сфп модули или такое поведение может быть и из за софта?

 

uname -a
Linux ExtFilter 4.9.0-1.el7.elrepo.x86_64 #1 SMP Sun Dec 11 15:43:54 EST 2016 x86_64 x86_64 x86_64 GNU/Linux

 

startup

Спойлер

mount -t hugetlbfs nodev /mnt/huge
echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
modprobe uio
insmod /opt/dpdk-stable-17.05.2/build/kmod/igb_uio.ko
/opt/dpdk-stable-17.05.2/usertools/dpdk-devbind.py --bind=igb_uio 0000:05:00.0
/opt/dpdk-stable-17.05.2/usertools/dpdk-devbind.py --bind=igb_uio 0000:07:00.0

/opt/dpdk-stable-17.05.2/usertools/dpdk-devbind.py --status

Спойлер

/opt/dpdk-stable-17.05.2/usertools/dpdk-devbind.py --status

Network devices using DPDK-compatible driver
============================================
0000:05:00.0 '82576 Gigabit Network Connection 10c9' drv=igb_uio unused=
0000:07:00.0 'I350 Gigabit Fiber Network Connection 1522' drv=igb_uio unused=

Network devices using kernel driver
===================================
0000:05:00.1 '82576 Gigabit Network Connection 10c9' if=enp5s0f1 drv=igb unused=igb_uio
0000:07:00.1 'I350 Gigabit Fiber Network Connection 1522' if=enp7s0f1 drv=igb unused=igb_uio

Other Network devices
=====================
<none>

Crypto devices using DPDK-compatible driver
===========================================
<none>

Crypto devices using kernel driver
==================================
<none>

Other Crypto devices
====================
<none>

Eventdev devices using DPDK-compatible driver
=============================================
<none>

Eventdev devices using kernel driver
====================================
<none>

Other Eventdev devices
======================
<none>

Mempool devices using DPDK-compatible driver
============================================
<none>

Mempool devices using kernel driver
===================================
<none>

Other Mempool devices
=====================
<none>
 

 

extfilter.ini

Спойлер

lower_host = true

domainlist = /usr/local/etc/acl/extfilter/domains
ssllist =  /usr/local/etc/acl/extfilter/ssl_host
hostlist = /usr/local/etc/acl/extfilter/hosts
urllist =  /usr/local/etc/acl/extfilter/urls

sslips = /usr/local/etc/acl/extfilter/ssl_ips

http_redirect = true

redirect_url = http://x.x.x.x/?

http_code = 302 Found

url_additional_info=line

rst_to_server = true

statistic_interval = 300

match_url_exactly = false

block_undetected_ssl = true

core_mask = 7

statisticsfile = /var/log/extFilter_stat

 num_of_senders = 2

 url_normalization = true

 cli_port = 9999
 cli_address = 127.0.0.1

 memory_channels = 2

[port 0]
queues = 0,1

[port 1]
queues = 0,2
 

 

[dee]

В 19.11.2017 в 04:09, daltech сказал:

После пересборки nfqfilter заработало! Спасибо!

Максим, в требованиях к сборке исправьте, пожалуйста,

Poco >= 1.6 на Poco = 1.6.1

На версии 1.7.*, потому что, не работает.

Всем спасибо!

не соглашусь :

 

grep -R 'chan4chan.com/archive/2327/'
urls:chan4chan.com/archive/2327/Remember,_Kids:_It's_%22down_the_road%22_not_%22across_the_street%22._Make_it_count!/thumb/off
urls:www.chan4chan.com/archive/2327/Remember,_Kids:_It's_%22down_the_road%22_not_%22across_the_street%22._Make_it_count!/thumb/o

[ebuild   R   ~] dev-libs/poco-1.7.6::gentoo  USE="crypto data file2pagecompiler json mongodb net pagecompiler ssl util xml zip -7z -apache -cppparser -examples -iodbc -libressl -mysql -odbc -pdf -pocodoc -sqlite {-test}" 0 KiB

но вроде всё блочится 

 

[max1976]

7 часов назад, XomA сказал:

Никто не сталкивался с похожим? В какую сторону копать, сфп модули или такое поведение может быть и из за софта?

Скорее всего проблема в используемой вами версии драйверов и dpdk. Смотрите документацию dpdk на предмет того, с какой версией драйверов протестирована корректная работа.

[arhead]

Сегодня отчет что то пропусков много. Хотя вчера все было норм. Там случайно не почистили реестр?

[max1976]

35 минут назад, arhead сказал:

Сегодня отчет что то пропусков много. Хотя вчера все было норм. Там случайно не почистили реестр?

Вчера удаляли много записей. У меня пропусков нет ни за вчера, ни за сегодняшнюю ночь.

[arhead]

Только что, max1976 сказал:

Вчера удаляли много записей. У меня пропусков нет ни за вчера, ни за сегодняшнюю ночь.

У меня именно только ночью пропуски 22.11 00:00 до 00:35

[max1976]

1 минуту назад, arhead сказал:

У меня именно только ночью пропуски 22.11 00:00 до 00:35

Может ваш ревизор не обновил данные. Посмотрите пропущенные url/домены есть ли они в реестре, а если нет, то когда удалены.

Вчера было много удалений между 14 и 16 часами.

Изменено 22 ноября, 2017 пользователем max1976

[Zarin]

Доброго времени суток, Коллеги. 

 

И так. Новая тестовая система. На бытовом железе :(

i7-7820X (HT выключен), DDR4 32gb (4x 8gb, 2400 mhz), Intel X520-DA2

 

---------------------------------------------------------------------------

  Load-Interval #2: 5 minute (300 seconds)
    input rate 0 bps, 0 pps; output rate 8.91 Gbps, 2.25 Mpps
---------------------------------------------------------------------------

 

2017-11-22 22:30:27.807 [819] Information Application - Port 0 input packets 34441461157, input errors: 0, mbuf errors: 0, missed packets: 678
2017-11-22 22:30:27.808 [819] Information Application - Port 1 input packets 37918190988, input errors: 0, mbuf errors: 0, missed packets: 0
----

2017-11-22 22:29:57.807 [819] Information Application - All worker threads seen packets: 72292501123, IP packets: 72292473414 (IPv4 packets: 72292473414, IPv6 packets: 0), seen bytes: 13465957111745, traffic throughtput: 2.28 M pps
2017-11-22 22:29:57.807 [819] Information Application - All worker IPv4 fragments: 1386891748, IPv6 fragments: 0, IPv4 short packets: 0
2017-11-22 22:29:57.807 [819] Information Application - All worker threads matched by ip/port: 36, matched by ssl: 1401110, matched by ssl/ip: 0, matched by domain: 188216,  matched by url: 71867
2017-11-22 22:29:57.807 [819] Information Application - All worker threads redirected domains: 188216, redirected urls: 71867, rst sended: 1401146
2017-11-22 22:29:57.807 [819] Information Application - All worker threads active flows: 1179582 (IPv4 flows: 1179582, IPv6 flows: 0), deletet flows: 1258904789

 

Результат по сравнению с Xeon X5650 на лицо.

 

P.S. max1976 сколько времени у Вас занимает создание файлов скриптом extfilter-maker ?

Изменено 22 ноября, 2017 пользователем Zarin

[max1976]

2 минуты назад, Zarin сказал:

P.S. max1976 сколько времени у Вас занимает создание файлов скриптом extfilter-maker ?

Порядка 19 секунд.

[Zarin]

max1976 можете показать конфиг скрипта ? у меня создание файлов занимает около полтора часа. :/ Что достаточно странно

[max1976]

1 минуту назад, Zarin сказал:

max1976 можете показать конфиг скрипта ? у меня создание файлов занимает около полтора часа. :/ Что достаточно странно

Установите последнюю версию с github'а, тогда будет работать быстро.

[Zarin]

2 минуты назад, max1976 сказал:

Установите последнюю версию с github'а, тогда будет работать быстро.

И так последняя.

git rev-parse HEAD
378f72d75ae8eed71237818bfd51470f96d70ee9
 

[daltech]

Здравствуйте!

В отчетах генпрокуратура пропуском стоит, в файлах нет её. Мы списки генпрокуратуры где должны получать? в дампе не наблюдаю указанных в отчете ссылок.

https://www.campuscu.com/
https://www.originsupps.com/

Вроде безобидные сайты к тому же.

[Antares]

3 часа назад, daltech сказал:

Здравствуйте!

В отчетах генпрокуратура пропуском стоит, в файлах нет её. Мы списки генпрокуратуры где должны получать? в дампе не наблюдаю указанных в отчете ссылок.

https://www.campuscu.com/
https://www.originsupps.com/

Вроде безобидные сайты к тому же.

Странно. У меня нет пропусков по таким сайтам и в списках их нет. Когда были пропуски?

[epollia]

Добрый день.

Пока тестирую extFilter. 

Возникла такая ситуация:

При включенной опции

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = true

 

заблокировался сайт, его домена нет в спсках, но ip есть в списке sslips

Сделал дамп. В дампе при обращении на сайт sni указан. Но после Client Hello сразу получаю rst.

Подскажите в чем может быть проблема.

Пока опцию отключил.

 

 

Указанных выше url у меня в реестре нет.

Изменено 23 ноября, 2017 пользователем epollia

[myth]

Да, есть такая проблема. У себя выключил, пропусков нет

[dee]

20 минут назад, myth сказал:

Да, есть такая проблема. У себя выключил, пропусков нет

у меня она всегда была выключена .

[max1976]

19 часов назад, Zarin сказал:

И так последняя.

git rev-parse HEAD
378f72d75ae8eed71237818bfd51470f96d70ee9

Возможно задержка связана с медленной работой mysql. Проверьте наличие индекса по полю record_id в таблицах.

[daltech]

Отчет за 21-е число. Список генпрокуратуры вообще мы где брать должны и должны ли?

[max1976]

5 часов назад, epollia сказал:

Добрый день.

Пока тестирую extFilter. 

Возникла такая ситуация:

При включенной опции

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = true

 

заблокировался сайт, его домена нет в спсках, но ip есть в списке sslips

Сделал дамп. В дампе при обращении на сайт sni указан. Но после Client Hello сразу получаю rst.

Подскажите в чем может быть проблема.

Пока опцию отключил.

 

 

Указанных выше url у меня в реестре нет.

Исправил ошибку в коде. Обновите extfilter с github'а.

[alibek]

1 час назад, daltech сказал:

Список генпрокуратуры вообще мы где брать должны и должны ли?

Строго говоря не должны. Есть позиция верховного суда, что операторы должны блокировать только сайты из реестра.

Но прокуратура будет регулярно подавать в суд, если сайты из ФСЭМ блокироваться не будут.

Брать на сайте Минюста.