Antares Опубликовано 16 марта, 2017 · Жалоба для 300-400мбит трафика исходящего сколько должно быть - flowhash_size и вообще 8 ядер и 8гб оперативы хватит? периодически ловлю пропусков по 100 Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС. сделал но вот все равно ловлю пропуски например - http://www.bestgore.com/beheading/syria-man-swiftbeheading-al-nusra-jihadists/ хотя в urls он есть единственное, патчи не применял, по 5 часов жду - и нефига. применяю командой patch твою ссылку не блокирует, потому что такой ссылки нет в реестре, но есть другая, похожая. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DennisV Опубликовано 16 марта, 2017 · Жалоба А кто нибудь может подсказать формат our_blacklist в zapret.pl? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 16 марта, 2017 · Жалоба пробую запустить новую версию extfilter, получаю вот что EAL: Master lcore is not enabled for DPDK Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 16 марта, 2017 · Жалоба Добрый день, предполагаю использовать nfqfilter, подскажите, есть штатные средства данной утилиты, чтобы из конфига(nfqfilter,make_files,zapret) завернуть определеные сети через bgp на сервер с nfqfilter, или использовать квагу и отдельно прописать сети? PS:extfilter использовать не могу, трафика много, а свободных 10г портов нет nfq не содержит внутри себя бгп демона. все скрипты умеют работает с квагой. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AN111 Опубликовано 16 марта, 2017 · Жалоба А кто нибудь может подсказать формат our_blacklist в zapret.pl? #cat conf/our_blacklist http://www.shortnews.de/beamto https://sokrytoe.org/ https://azartplaywin.xyz/ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DennisV Опубликовано 16 марта, 2017 · Жалоба Добрый день, предполагаю использовать nfqfilter, подскажите, есть штатные средства данной утилиты, чтобы из конфига(nfqfilter,make_files,zapret) завернуть определеные сети через bgp на сервер с nfqfilter, или использовать квагу и отдельно прописать сети? PS:extfilter использовать не могу, трафика много, а свободных 10г портов нет nfq не содержит внутри себя бгп демона. все скрипты умеют работает с квагой. то что скрипты генерируют конфигурацию для кваги, это я понимаю, и то, что при каждом запуске скриптов они заново генерируется конфиг тоже. Соответсвенно если я захочу принудительно зарулить сети, мне придется делать скрипт который будет добавлять в конфиг кваги нужные сети после вызова всех скриптов, вот я и интересуюсь, нет ли штатных возможностей в make_files и zapret, для указании сетей который будут просто добавляться в конфиги кваги? А кто нибудь может подсказать формат our_blacklist в zapret.pl? #cat conf/our_blacklist http://www.shortnews.de/beamto https://sokrytoe.org/ https://azartplaywin.xyz/ только формат урл или домены тоже? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 16 марта, 2017 (изменено) · Жалоба пробую запустить новую версию extfilter, получаю вот что EAL: Master lcore is not enabled for DPDK Маску поменяйте, чтобы и мастер-ядро попадало (в коде прописано 0 ядро). Изменено 16 марта, 2017 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 16 марта, 2017 · Жалоба Снял отчет ревизором получил пропуск https://130.185.148.34/en/,130.185.148.34, GET хотя адрес заблокирован. Но есть одно но. на Роскомсвободе дата добавления 15.03.2017, а в отчете 05 Фев, 2017 10:25:50. Блин чет у них не все нормально согласованно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 16 марта, 2017 (изменено) · Жалоба Запустилось, но не работала фильтрация, почему то не попадает трафик на фильтр. Пришлось откатиться. Соберу стенд и потестирую завтра. В логах такое 2017-03-16 18:36:36.806 [1300] Information Application - Setting mbuf size to 8191 2017-03-16 18:36:38.016 [1300] Information Application - Master core is 0 2017-03-16 18:36:38.952 [1300] Warning Application - Link down on port 0 Изменено 16 марта, 2017 пользователем Antares Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 16 марта, 2017 · Жалоба Link down on port 0 ну Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 16 марта, 2017 · Жалоба что ну? старая версия работает, а с этой трабла...конфиг тот же Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 16 марта, 2017 (изменено) · Жалоба Столкнулся с тем, что по каким то причинам через tuned память не выделяется в huge. То есть dpdk и extfilter запускается только если выделить вручную: echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages tuned-adm active Current active profile: dpdk-tune cat /lib/tuned/dpdk-tune/tuned.conf [main] include=latency-performance [bootloader] cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4 cat /proc/cmdline BOOT_IMAGE=/vmlinuz-4.4.52-1.el7.elrepo.x86_64 root=/dev/mapper/cl-root ro crashkernel=auto rd.lvm.lv=cl/root rd.lvm.lv=cl/swap isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4 Во всех остальных случаях я получаю ошибки. EAL: Detected 8 lcore(s) EAL: Probing VFIO support... EAL: PCI device 0000:07:00.0 on NUMA socket -1 EAL: probe driver: 8086:10fb rte_ixgbe_pmd EAL: PCI device 0000:07:00.1 on NUMA socket -1 EAL: probe driver: 8086:10fb rte_ixgbe_pmd Using core 2 Core configuration: Reader thread DPDK device#0: RX-Queue#0; Using core 3 Core configuration: Worker thread RING: Cannot reserve memory HASH: memory allocation failed ./testpmd -c 0xf -n 4 -w 07:00.0 -- -i EAL: Detected 8 lcore(s) EAL: Probing VFIO support... PMD: bnxt_rte_pmd_init() called for (null) EAL: PCI device 0000:07:00.0 on NUMA socket -1 EAL: probe driver: 8086:10fb rte_ixgbe_pmd Interactive-mode selected USER1: create a new mbuf pool <mbuf_pool_socket_0>: n=171456, size=2176, socket=0 RING: Cannot reserve memory EAL: Error - exiting with code: 1 Cause: Creation of mbuf pool for socket 0 failed: Cannot allocate memory 2017-03-16 20:54:22.874 [1682] Debug WorkerThread 1 - Allocating 251658240 bytes for flow pool 2017-03-16 20:54:22.877 [1682] Fatal WorkerThread 1 - Not enough memory for flows pool. Tried to allocate 251658240 bytes 2017-03-16 20:54:22.877 [1682] Error Application - Exception: Not enough memory for flows pool 2017-03-16 20:54:22.877 [1682] Debug Application - Shutting down C чем это может быть связано? Изменено 16 марта, 2017 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
wtyd Опубликовано 17 марта, 2017 · Жалоба Снял отчет ревизором получил пропуск https://130.185.148.34/en/,130.185.148.34, GET хотя адрес заблокирован. Но есть одно но. на Роскомсвободе дата добавления 15.03.2017, а в отчете 05 Фев, 2017 10:25:50. Блин чет у них не все нормально согласованно. Что за роскмсвобода ? У вас есть dump.xml с ЭЦП, там всё написано: /usr/bin/xml2 < /path/to/dump.xml > dump.txt ... /reg:register/content/@id=441821 /reg:register/content/@includeTime=2017-02-05T13:25:50 /reg:register/content/@entryType=1 /reg:register/content/@blockType=ip /reg:register/content/@hash=4CA2BC0B54EA6F21DB521DAEA89A35B5 /reg:register/content/decision/@date=2013-05-23 /reg:register/content/decision/@number=2-1687/2013 /reg:register/content/decision/@org=суд /reg:register/content/ip=130.185.148.13 /reg:register/content/ip /reg:register/content/ip=130.185.148.12 /reg:register/content/ip /reg:register/content/ip=130.185.148.21 /reg:register/content/ip /reg:register/content/ip=130.185.148.24 /reg:register/content/ip /reg:register/content/ip=130.185.148.25 /reg:register/content/ip /reg:register/content/ip=130.185.148.29 /reg:register/content/ip /reg:register/content/ip=130.185.148.31 /reg:register/content/ip /reg:register/content/ip=130.185.148.32 /reg:register/content/ip /reg:register/content/ip=130.185.148.34 ... Объект добавлен 2017-02-05T13:25:50. Тип блокировки ip -- надо вообще всё блокировать по идее. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 17 марта, 2017 (изменено) · Жалоба Объект добавлен 2017-02-05T13:25:50. Тип блокировки ip -- надо вообще всё блокировать по идее. У меня и блокируется по IP. Просто именно 130.185.148.34 добавили 15.3.17 а до этого там его не было. После снятия отчета проверил у меня он заблокирован. Сейчас снял отчет нарушений нет. Изменено 17 марта, 2017 пользователем arhead Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 17 марта, 2017 · Жалоба Сломал голову. При запуске вылетает с ошибкой: [root@extfilter etc]# /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini EAL: Detected 8 lcore(s) EAL: lcore 1 unavailable EAL: invalid coremask [root@extfilter etc]# /usr/src/dpdk/tools/cpu_layout.py ============================================================ Core and Socket Information (as reported by '/proc/cpuinfo') ============================================================ cores = [0, 2, 1, 3] sockets = [1] Socket 1 -------- Core 0 [0, 8] Core 2 [2, 10] Core 1 [4, 12] Core 3 [6, 14] extfilter.ini num_of_workers = 1 core_mask = 7 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 17 марта, 2017 (изменено) · Жалоба Сломал голову. При запуске вылетает с ошибкой: [root@extfilter etc]# /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini EAL: Detected 8 lcore(s) EAL: lcore 1 unavailable EAL: invalid coremask [root@extfilter etc]# /usr/src/dpdk/tools/cpu_layout.py ============================================================ Core and Socket Information (as reported by '/proc/cpuinfo') ============================================================ cores = [0, 2, 1, 3] sockets = [1] Socket 1 -------- Core 0 [0, 8] Core 2 [2, 10] Core 1 [4, 12] Core 3 [6, 14] extfilter.ini num_of_workers = 1 core_mask = 7 во как надо было: core_mask = 21845 (BIN 0101010101010101) Но теперь в логе Fatal Application - No ethernet ports detected хотя: [root@extfilter extfilter]# /usr/src/dpdk/tools/dpdk-devbind.py -s Network devices using DPDK-compatible driver ============================================ 0000:02:00.1 'NetXtreme II BCM57711E 10-Gigabit PCIe' drv=igb_uio unused=bnx2x Network devices using kernel driver =================================== 0000:02:00.0 'NetXtreme II BCM57711E 10-Gigabit PCIe' if=enp2s0f0 drv=bnx2x unused=igb_uio *Active* Other network devices ===================== <none> Crypto devices using DPDK-compatible driver =========================================== <none> Crypto devices using kernel driver ================================== <none> Other crypto devices ==================== <none> [root@extfilter extfilter]# /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini EAL: Detected 8 lcore(s) EAL: Probing VFIO support... EAL: VFIO support initialized и падает, а в логе: 2017-03-18 15:45:56.414 [10207] Information Application - Setting mbuf size to 8191 2017-03-18 15:45:56.793 [10207] Information Application - Master core is 0 2017-03-18 15:45:56.793 [10207] Fatal Application - No ethernet ports detected Изменено 18 марта, 2017 пользователем oborot.bolta Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 18 марта, 2017 · Жалоба и падает, а в логе: 2017-03-18 15:45:56.414 [10207] Information Application - Setting mbuf size to 8191 2017-03-18 15:45:56.793 [10207] Information Application - Master core is 0 2017-03-18 15:45:56.793 [10207] Fatal Application - No ethernet ports detected Не поддерживается сетевая карта. Попробуйте запустить приложение из комплекта dpdk ethtool и получите такую же ошибку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 18 марта, 2017 (изменено) · Жалоба и падает, а в логе: 2017-03-18 15:45:56.414 [10207] Information Application - Setting mbuf size to 8191 2017-03-18 15:45:56.793 [10207] Information Application - Master core is 0 2017-03-18 15:45:56.793 [10207] Fatal Application - No ethernet ports detected Не поддерживается сетевая карта. Попробуйте запустить приложение из комплекта dpdk ethtool и получите такую же ошибку. testpmd работает да и в boot/.config тоже есть поддержка BNX2X странно Изменено 18 марта, 2017 пользователем oborot.bolta Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 19 марта, 2017 · Жалоба testpmd работает Работает в стандартном режиме, через ядро linux. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 19 марта, 2017 · Жалоба testpmd работает Работает в стандартном режиме, через ядро linux. так в DPDK же есть поддержка bnx2x посмотрите сами. Она по умолчанию выключена как и pcap но можно включить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 20 марта, 2017 · Жалоба Добрый день. Уже чего-то намучался но никак не могу победить extfilter. Вот как оно сейчас принимает пакеты: 2017-03-20 09:23:31.047 [32379] Information Application - Port 0 input packets: 44459, input errors: 0, mbuf errors: 0 2017-03-20 09:23:31.048 [32379] Information Application - Reader thread on core 1 received packets: 44459, enqueued packets: 44459, missed packets: 0, traffic throughtput: 148.20 pps 2017-03-20 09:23:31.048 [32379] Information Application - Worker thread on core 2 statistics: 2017-03-20 09:23:31.048 [32379] Information Application - Thread seen packets: 44457, IP packets: 4408 (IPv4 packets: 4475, IPv6 packets: 0), seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 148.19 pps 2017-03-20 09:23:31.048 [32379] Information Application - Thread IPv4 fragments: 67, IPv6 fragments: 0, IPv4 short packets: 0 2017-03-20 09:23:31.048 [32379] Information Application - Thread matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 0, matched by url: 0 2017-03-20 09:23:31.048 [32379] Information Application - Thread redirected domains: 0, redirected urls: 0, rst sended: 0 2017-03-20 09:23:31.048 [32379] Information Application - Thread active flows: 0 (IPv4 flows: 0 IPv6 flows: 0), expired flows: 0, already detected blocked: 0 2017-03-20 09:23:31.048 [32379] Information Application - All worker threads seen packets: 44457, IP packets: 4408 (IPv4 packets: 4475, IPv6 packets: 0), seen bytes: 0, traffic throughtput: 148.19 pps 2017-03-20 09:23:31.048 [32379] Information Application - All worker IPv4 fragments: 67, IPv6 fragments: 0, IPv4 short packets: 0 2017-03-20 09:23:31.048 [32379] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 0, matched by url: 0 2017-03-20 09:23:31.048 [32379] Information Application - All worker threads redirected domains: 0, redirected urls: 0, rst sended: 0 2017-03-20 09:23:31.048 [32379] Information Application - All worker threads active flows: 0(IPv4 flows: 0 IPv6 flows: 0), expired flows: 0 Не нравятся нули и pps. На порт идет зеркало через Длинк: Port TX/sec RX/sec Util Port TX/sec RX/sec Util ----- ---------- ---------- ---- ----- ---------- ---------- ---- 1 0 0 0 21 35 2 1 2 0 0 0 22 0 0 0 3 0 0 0 23 0 0 0 4 884 18700 12 24 0 0 0 5 18570 10592 11 25 55829 51027 4 6 38471 6414 22 26 154632 87952 10 7 0 0 0 27 129225 199387 13 8 13725 23095 18 28 129225 0 3 9 68 59 1 10 21936 34638 27 11 0 0 0 12 0 0 0 13 35 0 1 14 721 951 1 15 0 0 0 16 42 2 1 17 130 99 1 18 6162 6159 7 19 0 0 0 20 46 9 1 28-й порт - зеркало в сторону extfilter. 27-й порт - БРАС. Выглядит нормально и точно не сотня pps. Собрал dpdk-17.02, poco-1.7.8-all, последний extfilter на Ubuntu 16.04.2 LTS: Linux filter 4.4.0-66-generic #87-Ubuntu SMP Fri Mar 3 15:29:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux. cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages 2048 /home/hawk/dpdk-17.02/usertools/dpdk-devbind.py -s Network devices using DPDK-compatible driver ============================================ 0000:01:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv=igb_uio unused=ixgbe Network devices using kernel driver =================================== 0000:00:19.0 '82579LM Gigabit Network Connection' if=eno1 drv=e1000e unused=igb_uio *Active* 0000:01:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection' if=enp1s0f1 drv=ixgbe unused=igb_uio 0000:04:00.0 '82574L Gigabit Network Connection' if=enp4s0 drv=e1000e unused=igb_uio Other network devices ===================== <none> Crypto devices using DPDK-compatible driver =========================================== <none> Crypto devices using kernel driver ================================== <none> Other crypto devices ==================== <none> Если интерфейс перевести в систему - то все пакеты видно что приходят на него исправно: ./pps.sh enp1s0f0 TX enp1s0f0: 0 pkts/s RX enp1s0f0: 137695 pkts/s TX enp1s0f0: 0 pkts/s RX enp1s0f0: 135621 pkts/s TX enp1s0f0: 0 pkts/s RX enp1s0f0: 139882 pkts/s TX enp1s0f0: 0 pkts/s RX enp1s0f0: 135997 pkts/s TX enp1s0f0: 0 pkts/s RX enp1s0f0: 130451 pkts/s TX enp1s0f0: 0 pkts/s RX enp1s0f0: 129450 pkts/s Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 20 марта, 2017 · Жалоба А с такой фигней ни кто не сталкивался? [root@extfilter etc]# /usr/src/dpdk/tools/cpu_layout.py ============================================================ Core and Socket Information (as reported by '/proc/cpuinfo') ============================================================ cores = [0, 2, 1, 3] sockets = [1] Socket 1 -------- Core 0 [0, 8] Core 2 [2, 10] Core 1 [4, 12] Core 3 [6, 14] Получается что 1,2,3,5,7,9,11,13,15 ядра просто нет! :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 20 марта, 2017 · Жалоба Случаем не 2-х сокетная мамка? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 20 марта, 2017 · Жалоба так в DPDK же есть поддержка bnx2x посмотрите сами. Она по умолчанию выключена как и pcap но можно включить. Поддержка bnx2x есть, но поддержки вашей карты нет: 2.4. Supported QLogic NICs 578xx Если интерфейс перевести в систему - то все пакеты видно что приходят на него исправно: Смотрите в каком виде прилетают пакеты на extfilter. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 20 марта, 2017 · Жалоба Не нравятся нули и pps. Случайно такого в логах нет? Warning Application - Link down on port 0 Просто у меня такая же проблемы была с версией 0.41 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...