Zarin Опубликовано 7 августа, 2017 · Жалоба max1976 , если не секрет, сколько у вас трафика летит на extfilter и какое железо используете ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 8 августа, 2017 · Жалоба В .ini файле описано: [port 1] type = sender ; На какой mac адрес отправлять пакеты mac = 00:01:02:03:04:05 Это получается в системе уже должно быть с таким решением минимум три интерфейса? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 8 августа, 2017 (изменено) · Жалоба В .ini файле описано: [port 1] type = sender ; На какой mac адрес отправлять пакеты mac = 00:01:02:03:04:05 Это получается в системе уже должно быть с таким решением минимум три интерфейса? Я думаю, даже одного или двух интерфейсов хватит. Изменено 8 августа, 2017 пользователем ne-vlezay80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 8 августа, 2017 · Жалоба max1976 , если не секрет, сколько у вас трафика летит на extfilter и какое железо используете ? На данный момент ~500-600 kpps, проц Intel® Xeon® CPU E3-1240 v5 @ 3.50GHz, карта Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01). Это получается в системе уже должно быть с таким решением минимум три интерфейса? Можете использовать старую схему отправки пакетов абонентам. Новая схема предложена для уменьшения задержки и является опциональной. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bat Опубликовано 8 августа, 2017 · Жалоба max1976, у вас не бывает падений демона extfilter? За несколько дней уже два раза ватчдог зафиксировал. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 8 августа, 2017 · Жалоба max1976, у вас не бывает падений демона extfilter? За несколько дней уже два раза ватчдог зафиксировал. Нет, не замечал такого. Core dump создается? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bat Опубликовано 8 августа, 2017 · Жалоба Нет, не создается. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 9 августа, 2017 · Жалоба max1976, у вас не бывает падений демона extfilter? За несколько дней уже два раза ватчдог зафиксировал. У меня было подобное, так и не нашёл причину. Заменил железо и падений пока не зафиксировано. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 9 августа, 2017 · Жалоба Нет, не создается. В логах что-то есть? В скрипте запуска добавьте ulimit -c unlimited тогда будет создаваться core dump. Используете последнюю версию? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bat Опубликовано 9 августа, 2017 · Жалоба В логах что-то есть? 2017-08-07 21:34:59.307 [4971] Information Application - Got HUP signal - reload data 2017-08-07 21:34:59.308 [4971] Information ReloadTask - Reloading data from files... 2017-08-07 21:34:59.321 [4971] Information ACL - Preparing 53 rules for IPv4 ACL 2017-08-07 21:34:59.324 [4971] Information ReloadTask - ACLs successfully reloaded После этого падает. Используете последнюю версию? Нет, предыдущую, 0.80. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 9 августа, 2017 · Жалоба В логах что-то есть? 2017-08-07 21:34:59.307 [4971] Information Application - Got HUP signal - reload data 2017-08-07 21:34:59.308 [4971] Information ReloadTask - Reloading data from files... 2017-08-07 21:34:59.321 [4971] Information ACL - Preparing 53 rules for IPv4 ACL 2017-08-07 21:34:59.324 [4971] Information ReloadTask - ACLs successfully reloaded После этого падает. Используете последнюю версию? Нет, предыдущую, 0.80. На одной из 0.80 была утечка памяти. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 9 августа, 2017 · Жалоба На одной из 0.80 была утечка памяти. Ага - но у меня не extFilter падал, а целиком вся машина Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 10 августа, 2017 (изменено) · Жалоба max1976 после обновления до последний версии, extfilter перестал запускаться с ошибкой: 2017-08-10 10:17:08.618 [1826] Fatal WorkerThread-11 - Not enough memory for flows pool. Tried to allocate 59840352 bytes 2017-08-10 10:17:08.619 [1826] Error Application - Exception: Not enough memory for flows pool Удалось запустить уменьшив количество очередей до 4х. Но через некоторое время в логах появилась повторяющаяся ошибка. Fatal WorkerThread-9 - There is no space in the ipv4 flow hash Проблема начала появляться на 1.7 млн ппс. 2017-08-10 11:21:50.524 [7082] Information Application - Port 0 input packets 58426009, input errors: 0, mbuf errors: 0, missed packets: 13682 2017-08-10 11:21:50.524 [7082] Information Application - Port 1 input packets 46861726, input errors: 0, mbuf errors: 0, missed packets: 3764 2017-08-10 11:21:50.524 [7082] Information Application - Worker thread on core 1 statistics: 2017-08-10 11:21:50.524 [7082] Information Application - Thread seen packets: 19921919, IP packets: 19921877 (IPv4 packets: 19921877, IPv6 packets: 0), seen bytes: 2787025971, Average packet size: 139 bytes, Traffic throughput: 334.02 K pps 2017-08-10 11:21:50.524 [7082] Information Application - Thread IPv4 fragments: 477556, IPv6 fragments: 0, IPv4 short packets: 0 2017-08-10 11:21:50.524 [7082] Information Application - Thread matched by ip/port: 0, matched by ssl: 1, matched by ssl/ip: 0, matched by domain: 79, matched by url: 0 2017-08-10 11:21:50.524 [7082] Information Application - Thread redirected domains: 79, redirected urls: 0, rst sended: 1 2017-08-10 11:21:50.524 [7082] Information Application - Thread active flows: 156353 (IPv4 flows: 156353, IPv6 flows: 0), deleted flows: 222993 already detected blocked: 0 2017-08-10 11:21:50.524 [7082] Information Application - Thread packets latency all packets: 788 cycles (296 ns), blocked packets: 87150 (32763 ns) 2017-08-10 11:21:50.524 [7082] Information Application - Worker thread on core 3 statistics: 2017-08-10 11:21:50.524 [7082] Information Application - Thread seen packets: 38838623, IP packets: 38838623 (IPv4 packets: 38838623, IPv6 packets: 0), seen bytes: 4281814905, Average packet size: 110 bytes, Traffic throughput: 521.80 K pps 2017-08-10 11:21:50.524 [7082] Information Application - Thread IPv4 fragments: 485246, IPv6 fragments: 0, IPv4 short packets: 0 2017-08-10 11:21:50.524 [7082] Information Application - Thread matched by ip/port: 0, matched by ssl: 15, matched by ssl/ip: 0, matched by domain: 32, matched by url: 0 2017-08-10 11:21:50.524 [7082] Information Application - Thread redirected domains: 32, redirected urls: 0, rst sended: 15 2017-08-10 11:21:50.524 [7082] Information Application - Thread active flows: 215305 (IPv4 flows: 215305, IPv6 flows: 0), deleted flows: 245108 already detected blocked: 0 2017-08-10 11:21:50.524 [7082] Information Application - Thread packets latency all packets: 3261 cycles (1226 ns), blocked packets: 83972 (31568 ns) 2017-08-10 11:21:50.524 [7082] Information Application - Worker thread on core 7 statistics: 2017-08-10 11:21:50.525 [7082] Information Application - Thread seen packets: 27122006, IP packets: 27121994 (IPv4 packets: 27121994, IPv6 packets: 0), seen bytes: 3252826043, Average packet size: 119 bytes, Traffic throughput: 574.47 K pps 2017-08-10 11:21:50.525 [7082] Information Application - Thread IPv4 fragments: 567088, IPv6 fragments: 0, IPv4 short packets: 0 2017-08-10 11:21:50.525 [7082] Information Application - Thread matched by ip/port: 0, matched by ssl: 39, matched by ssl/ip: 0, matched by domain: 17, matched by url: 0 2017-08-10 11:21:50.525 [7082] Information Application - Thread redirected domains: 17, redirected urls: 0, rst sended: 39 2017-08-10 11:21:50.525 [7082] Information Application - Thread active flows: 236354 (IPv4 flows: 236354, IPv6 flows: 0), deleted flows: 253505 already detected blocked: 0 2017-08-10 11:21:50.525 [7082] Information Application - Thread packets latency all packets: 1452 cycles (546 ns), blocked packets: 46342 (17422 ns) 2017-08-10 11:21:50.525 [7082] Information Application - Worker thread on core 9 statistics: 2017-08-10 11:21:50.525 [7082] Information Application - Thread seen packets: 19740680, IP packets: 19740680 (IPv4 packets: 19740680, IPv6 packets: 0), seen bytes: 2708145041, Average packet size: 137 bytes, Traffic throughput: 332.83 K pps 2017-08-10 11:21:50.525 [7082] Information Application - Thread IPv4 fragments: 543133, IPv6 fragments: 0, IPv4 short packets: 0 2017-08-10 11:21:50.525 [7082] Information Application - Thread matched by ip/port: 0, matched by ssl: 13, matched by ssl/ip: 0, matched by domain: 18, matched by url: 0 2017-08-10 11:21:50.525 [7082] Information Application - Thread redirected domains: 18, redirected urls: 0, rst sended: 13 2017-08-10 11:21:50.525 [7082] Information Application - Thread active flows: 171080 (IPv4 flows: 171080, IPv6 flows: 0), deleted flows: 258200 already detected blocked: 0 2017-08-10 11:21:50.525 [7082] Information Application - Thread packets latency all packets: 950 cycles (357 ns), blocked packets: 63990 (24056 ns) 2017-08-10 11:21:50.525 [7082] Information Application - All worker threads seen packets: 105623228, IP packets: 105623174 (IPv4 packets: 105623174, IPv6 packets: 0), seen bytes: 13029811960, traffic throughtput: 1.76 M pps 2017-08-10 11:21:50.525 [7082] Information Application - All worker IPv4 fragments: 2073023, IPv6 fragments: 0, IPv4 short packets: 0 2017-08-10 11:21:50.525 [7082] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 68, matched by ssl/ip: 0, matched by domain: 146, matched by url: 0 2017-08-10 11:21:50.525 [7082] Information Application - All worker threads redirected domains: 146, redirected urls: 0, rst sended: 68 2017-08-10 11:21:50.525 [7082] Information Application - All worker threads active flows: 779092 (IPv4 flows: 779092, IPv6 flows: 0), deletet flows: 979806 Где, что подкрутить ? [main] include=latency-performance [bootloader] cmdline=isolcpus=1,3,5,7,9,11 default_hugepagesz=1G hugepagesz=1G hugepages=6 [port 0] queues = 0,1; 1,3 [port 1] queues = 0,7; 1,9 [dpi] ; Максимальное количество обрабатываемых потоков (flow) ; max_active_flows_ipv4 = 2000000 ; max_active_flows_ipv6 = 1000000 ; Собирать и анализировать фрагментированные пакеты ; fragmentation_ipv6_state = true ; fragmentation_ipv4_state = true ; fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком ; tcp_reordering = true Изменено 10 августа, 2017 пользователем Zarin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 10 августа, 2017 · Жалоба Где, что подкрутить ? Выделите больше памяти под dpdk. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 10 августа, 2017 (изменено) · Жалоба Где, что подкрутить ? Выделите больше памяти под dpdk. Сделал 14 huge pages. Ситуация с 6-ю очередями не поменялась. [port 0] queues = 0,1; 1,3; 2,5 [port 1] queues = 0,7; 1,9; 2,11 [main] include=latency-performance [bootloader] cmdline=isolcpus=1,3,5,7,9,11 default_hugepagesz=1G hugepagesz=1G hugepages=14 2017-08-10 17:29:43.313 [6534] Information Application - Initializing dpi flow hash with ipv4 max flows 666667, ipv6 max flows 3334. 2017-08-10 17:29:43.375 [6534] Fatal WorkerThread-11 - Not enough memory for flows pool. Tried to allocate 235840352 bytes 2017-08-10 17:29:43.375 [6534] Error Application - Exception: Not enough memory for flows pool Изменено 10 августа, 2017 пользователем Zarin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 10 августа, 2017 (изменено) · Жалоба Где, что подкрутить ? Выделите больше памяти под dpdk. Сделал 14 huge pages. Ситуация с 6-ю очередями не поменялась. [port 0] queues = 0,1; 1,3; 2,5 [port 1] queues = 0,7; 1,9; 2,11 [main] include=latency-performance [bootloader] cmdline=isolcpus=1,3,5,7,9,11 default_hugepagesz=1G hugepagesz=1G hugepages=14 2017-08-10 17:29:43.313 [6534] Information Application - Initializing dpi flow hash with ipv4 max flows 666667, ipv6 max flows 3334. 2017-08-10 17:29:43.375 [6534] Fatal WorkerThread-11 - Not enough memory for flows pool. Tried to allocate 235840352 bytes 2017-08-10 17:29:43.375 [6534] Error Application - Exception: Not enough memory for flows pool У вас в логах: Initializing dpi flow hash with ipv4 max flows 666667, ipv6 max flows 3334 Многовато вы выставили max_active_flows_ipv4 в 4000000. Уменьшите значение. К тому же у вас 2 физических процессора. Видимо память для dpdk не на том процессоре выделяется. Изменено 10 августа, 2017 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 11 августа, 2017 (изменено) · Жалоба Многовато вы выставили max_active_flows_ipv4 в 4000000. Уменьшите значение. К тому же у вас 2 физических процессора. Видимо память для dpdk не на том процессоре выделяется. Да, скоре всего неверно выделяется память. Чуть позже попробую на однопроцессорной системе. Но после последнего обновления, с текущими настройками и 4-мя очередями почти исчезли мисы (не более 50-100 тыс пакетов в сутки), пакетов в пике 2.8 мппс. Такие результаты получил на Dell R410 2x X5650, 16 gb ddr3 1133 mhz. До обновления, в ЧНН мисов было больше чем полезного трафика на этой конфигурации. Изменено 11 августа, 2017 пользователем Zarin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 11 августа, 2017 · Жалоба Такие результаты получил на Dell R410 2x X5650, 16 gb ddr3 1133 mhz. До обновления, в ЧНН мисов было больше чем полезного трафика на этой конфигурации. Железо конечно слабовато для такого объема трафика. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 13 августа, 2017 · Жалоба Версия 0.70, тоже наблюдаются редкие падения, в момент обновления списков. Попробую новую. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 14 августа, 2017 · Жалоба Последний extfilter с block_ssl_no_sni = true кладёт в ssl_ips ip (95.213.11.181 и 87.240.165.80) из vk.com и facebook и пр. Такое поведение и задумано? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 14 августа, 2017 · Жалоба У вас включен резолв в zapret.conf . отключить и перезалить базу, будут только те ip которые в реестре. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 14 августа, 2017 · Жалоба У вас включен резолв в zapret.conf . отключить и перезалить базу, будут только те ip которые в реестре. Да, верно, включён. Я еще его не отключал со времён nfqfilter, по идее для DPI(extfilter) он уже и не нужен? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 14 августа, 2017 · Жалоба Да. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 14 августа, 2017 · Жалоба У вас включен резолв в zapret.conf . отключить и перезалить базу, будут только те ip которые в реестре. Всю БД не обязательно перезаливать ведь? Можно очистить zap2_ips по идее. SELECT DISTINCT(INET_NTOA(CONV(hex(ip),16,10))) FROM zap2_ips where (INET_NTOA(CONV(hex(ip),16,10))) like '87.240.165.80'; +----------------------------------+ | (INET_NTOA(CONV(hex(ip),16,10))) | +----------------------------------+ | 87.240.165.80 | +----------------------------------+ 1 row in set (0.40 sec) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 14 августа, 2017 · Жалоба Кип резолвед поставьте фолс и все Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...