1. Для блокировка используем

[Zarin]

max1976 , если не секрет, сколько у вас трафика летит на extfilter и какое железо используете ?

[oborot.bolta]

В .ini файле описано:

[port 1]
type = sender
; На какой mac адрес отправлять пакеты
mac = 00:01:02:03:04:05

 

Это получается в системе уже должно быть с таким решением минимум три интерфейса?

[ne-vlezay80]

В .ini файле описано:

[port 1]
type = sender
; На какой mac адрес отправлять пакеты
mac = 00:01:02:03:04:05

 

Это получается в системе уже должно быть с таким решением минимум три интерфейса?

Я думаю, даже одного или двух интерфейсов хватит.

Изменено 8 августа, 2017 пользователем ne-vlezay80

[max1976]

max1976 , если не секрет, сколько у вас трафика летит на extfilter и какое железо используете ?

На данный момент ~500-600 kpps, проц Intel® Xeon® CPU E3-1240 v5 @ 3.50GHz, карта Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01).

 

Это получается в системе уже должно быть с таким решением минимум три интерфейса?

 

Можете использовать старую схему отправки пакетов абонентам. Новая схема предложена для уменьшения задержки и является опциональной.

[Bat]

max1976, у вас не бывает падений демона extfilter? За несколько дней уже два раза ватчдог зафиксировал.

[max1976]

max1976, у вас не бывает падений демона extfilter? За несколько дней уже два раза ватчдог зафиксировал.

 

Нет, не замечал такого. Core dump создается?

[Bat]

Нет, не создается.

[Antares]

max1976, у вас не бывает падений демона extfilter? За несколько дней уже два раза ватчдог зафиксировал.

У меня было подобное, так и не нашёл причину. Заменил железо и падений пока не зафиксировано.

[max1976]

Нет, не создается.

 

В логах что-то есть? В скрипте запуска добавьте

ulimit -c unlimited

тогда будет создаваться core dump.

 

Используете последнюю версию?

[Bat]

В логах что-то есть?

2017-08-07 21:34:59.307 [4971] Information Application - Got HUP signal - reload data
2017-08-07 21:34:59.308 [4971] Information ReloadTask - Reloading data from files...
2017-08-07 21:34:59.321 [4971] Information ACL - Preparing 53 rules for IPv4 ACL
2017-08-07 21:34:59.324 [4971] Information ReloadTask - ACLs successfully reloaded

После этого падает.

 

Используете последнюю версию?

Нет, предыдущую, 0.80.

[max1976]

В логах что-то есть?

2017-08-07 21:34:59.307 [4971] Information Application - Got HUP signal - reload data
2017-08-07 21:34:59.308 [4971] Information ReloadTask - Reloading data from files...
2017-08-07 21:34:59.321 [4971] Information ACL - Preparing 53 rules for IPv4 ACL
2017-08-07 21:34:59.324 [4971] Information ReloadTask - ACLs successfully reloaded

После этого падает.

 

Используете последнюю версию?

Нет, предыдущую, 0.80.

 

На одной из 0.80 была утечка памяти.

[oborot.bolta]

 

На одной из 0.80 была утечка памяти.

 

Ага - но у меня не extFilter падал, а целиком вся машина

[Zarin]

max1976 после обновления до последний версии, extfilter перестал запускаться с ошибкой:

 

2017-08-10 10:17:08.618 [1826] Fatal WorkerThread-11 - Not enough memory for flows pool. Tried to allocate 59840352 bytes
2017-08-10 10:17:08.619 [1826] Error Application - Exception: Not enough memory for flows pool

 

Удалось запустить уменьшив количество очередей до 4х.

 

Но через некоторое время в логах появилась повторяющаяся ошибка.

Fatal WorkerThread-9 - There is no space in the ipv4 flow hash

 

Проблема начала появляться на 1.7 млн ппс.

 

2017-08-10 11:21:50.524 [7082] Information Application - Port 0 input packets 58426009, input errors: 0, mbuf errors: 0, missed packets: 13682
2017-08-10 11:21:50.524 [7082] Information Application - Port 1 input packets 46861726, input errors: 0, mbuf errors: 0, missed packets: 3764
2017-08-10 11:21:50.524 [7082] Information Application - Worker thread on core 1 statistics:
2017-08-10 11:21:50.524 [7082] Information Application - Thread seen packets: 19921919, IP packets: 19921877 (IPv4 packets: 19921877, IPv6 packets: 0), seen bytes: 2787025971, Average packet size: 139 bytes, Traffic throughput: 334.02 K pps
2017-08-10 11:21:50.524 [7082] Information Application - Thread IPv4 fragments: 477556, IPv6 fragments: 0, IPv4 short packets: 0
2017-08-10 11:21:50.524 [7082] Information Application - Thread matched by ip/port: 0, matched by ssl: 1, matched by ssl/ip: 0, matched by domain: 79, matched by url: 0
2017-08-10 11:21:50.524 [7082] Information Application - Thread redirected domains: 79, redirected urls: 0, rst sended: 1
2017-08-10 11:21:50.524 [7082] Information Application - Thread active flows: 156353 (IPv4 flows: 156353, IPv6 flows: 0), deleted flows: 222993 already detected blocked: 0
2017-08-10 11:21:50.524 [7082] Information Application - Thread packets latency all packets: 788 cycles (296 ns), blocked packets: 87150 (32763 ns)
2017-08-10 11:21:50.524 [7082] Information Application - Worker thread on core 3 statistics:
2017-08-10 11:21:50.524 [7082] Information Application - Thread seen packets: 38838623, IP packets: 38838623 (IPv4 packets: 38838623, IPv6 packets: 0), seen bytes: 4281814905, Average packet size: 110 bytes, Traffic throughput: 521.80 K pps
2017-08-10 11:21:50.524 [7082] Information Application - Thread IPv4 fragments: 485246, IPv6 fragments: 0, IPv4 short packets: 0
2017-08-10 11:21:50.524 [7082] Information Application - Thread matched by ip/port: 0, matched by ssl: 15, matched by ssl/ip: 0, matched by domain: 32, matched by url: 0
2017-08-10 11:21:50.524 [7082] Information Application - Thread redirected domains: 32, redirected urls: 0, rst sended: 15
2017-08-10 11:21:50.524 [7082] Information Application - Thread active flows: 215305 (IPv4 flows: 215305, IPv6 flows: 0), deleted flows: 245108 already detected blocked: 0
2017-08-10 11:21:50.524 [7082] Information Application - Thread packets latency all packets: 3261 cycles (1226 ns), blocked packets: 83972 (31568 ns)
2017-08-10 11:21:50.524 [7082] Information Application - Worker thread on core 7 statistics:
2017-08-10 11:21:50.525 [7082] Information Application - Thread seen packets: 27122006, IP packets: 27121994 (IPv4 packets: 27121994, IPv6 packets: 0), seen bytes: 3252826043, Average packet size: 119 bytes, Traffic throughput: 574.47 K pps
2017-08-10 11:21:50.525 [7082] Information Application - Thread IPv4 fragments: 567088, IPv6 fragments: 0, IPv4 short packets: 0
2017-08-10 11:21:50.525 [7082] Information Application - Thread matched by ip/port: 0, matched by ssl: 39, matched by ssl/ip: 0, matched by domain: 17, matched by url: 0
2017-08-10 11:21:50.525 [7082] Information Application - Thread redirected domains: 17, redirected urls: 0, rst sended: 39
2017-08-10 11:21:50.525 [7082] Information Application - Thread active flows: 236354 (IPv4 flows: 236354, IPv6 flows: 0), deleted flows: 253505 already detected blocked: 0
2017-08-10 11:21:50.525 [7082] Information Application - Thread packets latency all packets: 1452 cycles (546 ns), blocked packets: 46342 (17422 ns)
2017-08-10 11:21:50.525 [7082] Information Application - Worker thread on core 9 statistics:
2017-08-10 11:21:50.525 [7082] Information Application - Thread seen packets: 19740680, IP packets: 19740680 (IPv4 packets: 19740680, IPv6 packets: 0), seen bytes: 2708145041, Average packet size: 137 bytes, Traffic throughput: 332.83 K pps
2017-08-10 11:21:50.525 [7082] Information Application - Thread IPv4 fragments: 543133, IPv6 fragments: 0, IPv4 short packets: 0
2017-08-10 11:21:50.525 [7082] Information Application - Thread matched by ip/port: 0, matched by ssl: 13, matched by ssl/ip: 0, matched by domain: 18, matched by url: 0
2017-08-10 11:21:50.525 [7082] Information Application - Thread redirected domains: 18, redirected urls: 0, rst sended: 13
2017-08-10 11:21:50.525 [7082] Information Application - Thread active flows: 171080 (IPv4 flows: 171080, IPv6 flows: 0), deleted flows: 258200 already detected blocked: 0
2017-08-10 11:21:50.525 [7082] Information Application - Thread packets latency all packets: 950 cycles (357 ns), blocked packets: 63990 (24056 ns)
2017-08-10 11:21:50.525 [7082] Information Application - All worker threads seen packets: 105623228, IP packets: 105623174 (IPv4 packets: 105623174, IPv6 packets: 0), seen bytes: 13029811960, traffic throughtput: 1.76 M pps
2017-08-10 11:21:50.525 [7082] Information Application - All worker IPv4 fragments: 2073023, IPv6 fragments: 0, IPv4 short packets: 0
2017-08-10 11:21:50.525 [7082] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 68, matched by ssl/ip: 0, matched by domain: 146,  matched by url: 0
2017-08-10 11:21:50.525 [7082] Information Application - All worker threads redirected domains: 146, redirected urls: 0, rst sended: 68
2017-08-10 11:21:50.525 [7082] Information Application - All worker threads active flows: 779092 (IPv4 flows: 779092, IPv6 flows: 0), deletet flows: 979806

 

 

 

Где, что подкрутить ?

[main]
include=latency-performance

[bootloader]
cmdline=isolcpus=1,3,5,7,9,11 default_hugepagesz=1G hugepagesz=1G hugepages=6

 

[port 0]
queues = 0,1; 1,3
[port 1]
queues = 0,7; 1,9


[dpi]
; Максимальное количество обрабатываемых потоков (flow)
; max_active_flows_ipv4 = 2000000
; max_active_flows_ipv6 = 1000000

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
; fragmentation_ipv4_state = true
; fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
; tcp_reordering = true

Изменено 10 августа, 2017 пользователем Zarin

[max1976]

Где, что подкрутить ?

 

Выделите больше памяти под dpdk.

[Zarin]

Где, что подкрутить ?

 

Выделите больше памяти под dpdk.

 

Сделал 14 huge pages. Ситуация с 6-ю очередями не поменялась.

 

[port 0]
queues = 0,1; 1,3; 2,5
[port 1]
queues = 0,7; 1,9; 2,11

 

[main]
include=latency-performance

[bootloader]
cmdline=isolcpus=1,3,5,7,9,11 default_hugepagesz=1G hugepagesz=1G hugepages=14

 

 

2017-08-10 17:29:43.313 [6534] Information Application - Initializing dpi flow hash with ipv4 max flows 666667, ipv6  max flows 3334.
2017-08-10 17:29:43.375 [6534] Fatal WorkerThread-11 - Not enough memory for flows pool. Tried to allocate 235840352 bytes
2017-08-10 17:29:43.375 [6534] Error Application - Exception: Not enough memory for flows pool

Изменено 10 августа, 2017 пользователем Zarin

[max1976]

Где, что подкрутить ?

 

Выделите больше памяти под dpdk.

 

Сделал 14 huge pages. Ситуация с 6-ю очередями не поменялась.

 

[port 0]
queues = 0,1; 1,3; 2,5
[port 1]
queues = 0,7; 1,9; 2,11

 

[main]
include=latency-performance

[bootloader]
cmdline=isolcpus=1,3,5,7,9,11 default_hugepagesz=1G hugepagesz=1G hugepages=14

 

 

2017-08-10 17:29:43.313 [6534] Information Application - Initializing dpi flow hash with ipv4 max flows 666667, ipv6  max flows 3334.
2017-08-10 17:29:43.375 [6534] Fatal WorkerThread-11 - Not enough memory for flows pool. Tried to allocate 235840352 bytes
2017-08-10 17:29:43.375 [6534] Error Application - Exception: Not enough memory for flows pool

 

У вас в логах:

Initializing dpi flow hash with ipv4 max flows 666667, ipv6  max flows 3334

 

Многовато вы выставили max_active_flows_ipv4 в 4000000. Уменьшите значение.

 

К тому же у вас 2 физических процессора. Видимо память для dpdk не на том процессоре выделяется.

Изменено 10 августа, 2017 пользователем max1976

[Zarin]

 

Многовато вы выставили max_active_flows_ipv4 в 4000000. Уменьшите значение.

 

К тому же у вас 2 физических процессора. Видимо память для dpdk не на том процессоре выделяется.

 

Да, скоре всего неверно выделяется память. Чуть позже попробую на однопроцессорной системе.

Но после последнего обновления, с текущими настройками и 4-мя очередями почти исчезли мисы (не более 50-100 тыс пакетов в сутки), пакетов в пике 2.8 мппс.

 

Такие результаты получил на Dell R410 2x X5650, 16 gb ddr3 1133 mhz. До обновления, в ЧНН мисов было больше чем полезного трафика на этой конфигурации.

Изменено 11 августа, 2017 пользователем Zarin

[max1976]

Такие результаты получил на Dell R410 2x X5650, 16 gb ddr3 1133 mhz. До обновления, в ЧНН мисов было больше чем полезного трафика на этой конфигурации.

 

Железо конечно слабовато для такого объема трафика.

[sanyasi]

Версия 0.70, тоже наблюдаются редкие падения, в момент обновления списков. Попробую новую.

[hsvt]

Последний extfilter с block_ssl_no_sni = true кладёт в ssl_ips ip (95.213.11.181 и 87.240.165.80) из vk.com и facebook и пр.

 

Такое поведение и задумано?

[flow-control]

У вас включен резолв в zapret.conf . отключить и перезалить базу, будут только те ip которые в реестре.

[hsvt]

У вас включен резолв в zapret.conf . отключить и перезалить базу, будут только те ip которые в реестре.

 

Да, верно, включён. Я еще его не отключал со времён nfqfilter, по идее для DPI(extfilter) он уже и не нужен?

[flow-control]

Да.

[hsvt]

У вас включен резолв в zapret.conf . отключить и перезалить базу, будут только те ip которые в реестре.

 

Всю БД не обязательно перезаливать ведь? Можно очистить zap2_ips по идее.

 

SELECT DISTINCT(INET_NTOA(CONV(hex(ip),16,10))) FROM zap2_ips where (INET_NTOA(CONV(hex(ip),16,10))) like '87.240.165.80';

+----------------------------------+

| (INET_NTOA(CONV(hex(ip),16,10))) |

+----------------------------------+

| 87.240.165.80 |

+----------------------------------+

1 row in set (0.40 sec)

[zhenya`]

Кип резолвед поставьте фолс и все