max1976 Опубликовано 24 января, 2018 · Жалоба Только что, arhead сказал: А такой вопрос. Сколько zapret.pl должен обрабатывать принятый дамп? Просто что то около 45 минут работает. Это нормально? Скрипт работает порядка 2 минут, из них около минуты время получения реестра с сайта. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Huko Опубликовано 24 января, 2018 · Жалоба 3 minutes ago, arhead said: А такой вопрос. Сколько zapret.pl должен обрабатывать принятый дамп? Просто что то около 45 минут работает. Это нормально? Старая версия скрипта (начало осени) у меня тоже отрабатывала примерно час, новая пару минут. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба Понял. Спасибо сейчас попробую новую версию. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 24 января, 2018 · Жалоба собираю фильтр на 8 летнем сокете 775 с дуалкоре скажите RTL8101/2/6E PCI Express Fast/Gigabit Ethernet controller годится? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 24 января, 2018 · Жалоба [root@extfilter sbin]# /usr/local/share/dpdk/usertools/dpdk-devbind.py --status Traceback (most recent call last): File "/usr/local/share/dpdk/usertools/dpdk-devbind.py", line 709, in <module> main() File "/usr/local/share/dpdk/usertools/dpdk-devbind.py", line 702, in main get_device_details(network_devices) File "/usr/local/share/dpdk/usertools/dpdk-devbind.py", line 274, in get_device_details dev_lines = check_output(["lspci", "-Dvmmnnk"]).splitlines() File "/usr/local/share/dpdk/usertools/dpdk-devbind.py", line 149, in check_output stderr=stderr).communicate()[0] File "/usr/lib64/python2.7/subprocess.py", line 711, in __init__ errread, errwrite) File "/usr/lib64/python2.7/subprocess.py", line 1327, in _execute_child raise child_exception OSError: [Errno 2] No such file or directory Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 24 января, 2018 · Жалоба 31 минуту назад, yKpon сказал: собираю фильтр на 8 летнем сокете 775 с дуалкоре скажите RTL8101/2/6E PCI Express Fast/Gigabit Ethernet controller годится? Можете даже не пробовать. Слишком старое/слабое железо. 4 минуты назад, yKpon сказал: OSError: [Errno 2] No such file or directory Нет команды lscpi в системе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 24 января, 2018 · Жалоба 4 минуты назад, max1976 сказал: Можете даже не пробовать. Слишком старое/слабое железо. имеете ввижу не взлетит вообще? исходящий около 50м, входящий 400м что из этого dev_pci_num [root@extfilter dpdk-stable-17.05.1]# /usr/local/sbin/dpdk-devbind --status Network devices using DPDK-compatible driver ============================================ <none> Network devices using kernel driver =================================== 0000:01:00.0 'RTL8101/2/6E PCI Express Fast/Gigabit Ethernet controller 8136' if=enp1s0 drv=r8169 unused=igb_uio Other Network devices ===================== <none> Crypto devices using DPDK-compatible driver =========================================== <none> Crypto devices using kernel driver ================================== <none> Other Crypto devices ==================== <none> Eventdev devices using DPDK-compatible driver ============================================= <none> Eventdev devices using kernel driver ==================================== <none> Other Eventdev devices ====================== <none> Mempool devices using DPDK-compatible driver ============================================ <none> Mempool devices using kernel driver =================================== <none> Other Mempool devices ===================== <none> Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба 58 минут назад, max1976 сказал: Скрипт работает порядка 2 минут, из них около минуты время получения реестра с сайта. А как я понимаю у менярезолвит постоянно записи вот долго так делает? [NS] resolve = 1 resolvers = 8.8.8.8, 77.88.8.8 # резолвить ли хосты в ipv6 адреса ipv6_support = yes # сохранять ли уже отрезолвленные записи keep_resolved = false Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 24 января, 2018 · Жалоба 2 часа назад, Huko сказал: Старая версия скрипта (начало осени) у меня тоже отрабатывала примерно час, новая пару минут. Вы наверное путаете с extfilter_maker Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 24 января, 2018 · Жалоба 1 час назад, arhead сказал: А как я понимаю у менярезолвит постоянно записи вот долго так делает? [NS] resolve = 1 resolvers = 8.8.8.8, 77.88.8.8 # резолвить ли хосты в ipv6 адреса ipv6_support = yes # сохранять ли уже отрезолвленные записи keep_resolved = false При использовании extfilter резолвинг не нужен. 1 час назад, yKpon сказал: что из этого dev_pci_num С одной картой работать не будет, т.к. нечего подключать к dpdk. Список совместимых карт находится на официальном сайте dpdk. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 24 января, 2018 · Жалоба 1 минуту назад, max1976 сказал: При использовании extfilter резолвинг не нужен. Спасибо. У меня просто для ревизора nfqfilter стоит на всякий случай. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 24 января, 2018 · Жалоба 1 час назад, max1976 сказал: С одной картой работать не будет, т.к. нечего подключать к dpdk. Список совместимых карт находится на официальном сайте dpdk. Intel EXPI9301CT годится? в ней чип с L буквой Intel 82574L https://market.yandex.ru/product/4762772/spec?track=tabs тут http://dpdk.org/doc/guides-1.8/rel_notes/supported_features.html вроде как упоминается о поддержке, но как точно убедиться? среди тех кто покупал отдельные сетевухи, посоветуйте за не дорого кукую взять я дико извиняюсь возможно за нубские вопросы =)) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 24 января, 2018 · Жалоба 4 часа назад, yKpon сказал: собираю фильтр на 8 летнем сокете 775 с дуалкоре скажите RTL8101/2/6E PCI Express Fast/Gigabit Ethernet controller годится? ваш процессор с вероятностью 146% не поддерживает ssse3 и sse4 , которые просто необходимо для запуска экстфильтра (собрать всё получиться - запустить нет) , сам промучился с кучей старого железа увы Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 25 января, 2018 · Жалоба 13 часов назад, dee сказал: собрать всё получиться не получится даже собрать. Пробовал на amd a10. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 января, 2018 · Жалоба 15 часов назад, arhead сказал: Спасибо. У меня просто для ревизора nfqfilter стоит на всякий случай. Если через nfqfilter проходит весь трафик, то резолвить так же нет необходимости. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 25 января, 2018 · Жалоба 1 минуту назад, max1976 сказал: Если через nfqfilter проходит весь трафик, то резолвить так же нет необходимости. Ну он так как песочница остался для ревизора на всякий случай. А для чего нужен резолвинг тогда? Я думал для сайтов которые по https блокируются. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 января, 2018 · Жалоба 44 минуты назад, arhead сказал: Ну он так как песочница остался для ревизора на всякий случай. А для чего нужен резолвинг тогда? Я думал для сайтов которые по https блокируются. Для работы nfqfilter с bgp. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 25 января, 2018 · Жалоба 1 час назад, myth сказал: не получится даже собрать. Пробовал на amd a10. ну почему же, прекрасно собралось =) 14 часов назад, dee сказал: ваш процессор с вероятностью 146% не поддерживает ssse3 и sse4 https://ru.wikipedia.org/wiki/SSSE3 Pentium Dual-Core в списке а вот про sse4 не нашёл по сетевой карте подскажете? про Intel 82574L Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 25 января, 2018 · Жалоба 2 часа назад, myth сказал: не получится даже собрать. Пробовал на amd a10. я собирал на атлоне2 , на феноме 1 , феноме 2 , коре2дуо всё отлично собиралось , но запустить не получалось , сразу ругань на не поддерживаемые инструкции цпу . 56 минут назад, yKpon сказал: ну почему же, прекрасно собралось =) https://ru.wikipedia.org/wiki/SSSE3 Pentium Dual-Core в списке а вот про sse4 не нашёл по сетевой карте подскажете? про Intel 82574L согласен в коре2дуо есть ssse3 , но sse4 точно нет , на феномах есть sse4 , но нет ssse3 . одни грабли любая сетёва e1000e igb ixgbe (это из интелов) броадкомы даже не пробовал т.к не юзаю). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 25 января, 2018 · Жалоба 3 часа назад, dee сказал: любая сетёва e1000e igb ixgbe (это из интелов) броадкомы даже не пробовал т.к не юзаю). с буквой L подойдёт или нет? тут http://dpdk.org/doc/nics в списке только 82574 второй вопрос: необходимо мощное железо или необходимы только возможности проца и сгодится к примеру ASUS N3050I-C mini-ITX? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Rick Опубликовано 25 января, 2018 · Жалоба 24 минуты назад, yKpon сказал: с буквой L подойдёт или нет? тут http://dpdk.org/doc/nics в списке только 82574 У меня запустилась, но только эта карта поддерживает одну очередь. dpdk-devbind.py --status Network devices using DPDK-compatible driver ============================================ 0000:02:00.0 '82574L Gigabit Network Connection' drv=igb_uio unused=e1000e Network devices using kernel driver =================================== 0000:03:00.0 'RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller' if=enp3s0 drv=r8169 unused=igb_uio *Active* Other network devices ===================== <none> Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 31 января, 2018 · Жалоба Стоит nfqfilter Может кто сталкивался nfqfilter не видит вообще пакетов, 2018-01-12 15:41:20.343 [15176] Information Application - nDPI memory (once): 104.60 KB 2018-01-12 15:41:20.343 [15176] Information Application - nDPI memory per flow: 1.91 KB 2018-01-12 15:41:20.343 [15176] Information Application - nDPI current memory usage: 1.76 MB 2018-01-12 15:41:20.343 [15176] Information Application - nDPI maximum memory usage: 1.76 MB 2018-01-12 15:41:20.343 [15176] Information Application - Total seen packets: 0, Total seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 0.00 pps 2018-01-12 15:41:20.343 [15176] Information Application - Total matched by ip/port: 0, Total matched by ssl: 0, Total matched by ssl/ip: 0 2018-01-12 15:41:20.343 [15176] Information Application - Total redirected domains 0, Total redirected urls: 0, Total marked ssl: 0, Total marked hosts: 0, Total rst sended: 0 при старте пишет 2018-01-31 16:39:50.681 [23535] Error CSender - Failed to create IPv6 socket! 2018-01-31 16:39:50.700 [23535] Information nfqThread - NFQ: Binding to queue 666 2018-01-31 16:39:50.700 [23535] Information nfqThread - Setting queue length to 4096 2018-01-31 16:39:50.700 [23535] Information nfqThread - Setting nfnl bufsize to 6144000 пакеты в NFQUEUE поступают 11044 688K NFQUEUE all -- * * 0.0.0.0/0 0.0.0.0/0 NFQUEUE num 666 bypass Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 31 января, 2018 · Жалоба cat /proc/net/netfilter/nfnetlink_queue Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 31 января, 2018 · Жалоба 1 час назад, zhenya` сказал: cat /proc/net/netfilter/nfnetlink_queue cat /proc/net/netfilter/nfnetlink_queue 666 28045 0 2 65535 0 0 0 1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 31 января, 2018 · Жалоба Господа - тяжелоч читать и понимать то, что в итоге получилось за эти over 150 страниц. Хотелось бы узнать, что в итоге получилось? 1. Как я понимаю доросли до intel dpdk и работаем на зеркале исходящего (входящий не нужен?)? 2. Какова производительность? Скжаем на 10gbit/s + конфигурация 3. Так и не осознал, есть dpi, а что выкачивает и разгребает списки? По факту ранее была с этим проблема. ps Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...