1. Для блокировка используем

[max1976]

Только что, arhead сказал:

А такой вопрос. Сколько zapret.pl должен обрабатывать принятый дамп? Просто что то около 45 минут работает. Это нормально?

Скрипт работает порядка 2 минут, из них около минуты время получения реестра с сайта.

[Huko]

3 minutes ago, arhead said:

А такой вопрос. Сколько zapret.pl должен обрабатывать принятый дамп? Просто что то около 45 минут работает. Это нормально?

Старая версия скрипта (начало осени)  у меня тоже отрабатывала примерно час, новая пару минут.

[arhead]

Понял. Спасибо сейчас попробую новую версию.

[yKpon]

собираю фильтр на 8 летнем сокете 775 с дуалкоре

скажите RTL8101/2/6E PCI Express Fast/Gigabit Ethernet controller годится?

[yKpon]

[root@extfilter sbin]# /usr/local/share/dpdk/usertools/dpdk-devbind.py --status
Traceback (most recent call last):
  File "/usr/local/share/dpdk/usertools/dpdk-devbind.py", line 709, in <module>
    main()
  File "/usr/local/share/dpdk/usertools/dpdk-devbind.py", line 702, in main
    get_device_details(network_devices)
  File "/usr/local/share/dpdk/usertools/dpdk-devbind.py", line 274, in get_device_details
    dev_lines = check_output(["lspci", "-Dvmmnnk"]).splitlines()
  File "/usr/local/share/dpdk/usertools/dpdk-devbind.py", line 149, in check_output
    stderr=stderr).communicate()[0]
  File "/usr/lib64/python2.7/subprocess.py", line 711, in __init__
    errread, errwrite)
  File "/usr/lib64/python2.7/subprocess.py", line 1327, in _execute_child
    raise child_exception
OSError: [Errno 2] No such file or directory

[max1976]

31 минуту назад, yKpon сказал:

собираю фильтр на 8 летнем сокете 775 с дуалкоре

скажите RTL8101/2/6E PCI Express Fast/Gigabit Ethernet controller годится?

Можете даже не пробовать. Слишком старое/слабое железо.

 

4 минуты назад, yKpon сказал:

OSError: [Errno 2] No such file or directory

Нет команды lscpi в системе.

[yKpon]

4 минуты назад, max1976 сказал:

Можете даже не пробовать. Слишком старое/слабое железо.

имеете ввижу не взлетит вообще? исходящий около 50м, входящий 400м

 

что из этого dev_pci_num

[root@extfilter dpdk-stable-17.05.1]# /usr/local/sbin/dpdk-devbind --status

Network devices using DPDK-compatible driver
============================================
<none>

Network devices using kernel driver
===================================
0000:01:00.0 'RTL8101/2/6E PCI Express Fast/Gigabit Ethernet controller 8136' if=enp1s0 drv=r8169 unused=igb_uio

Other Network devices
=====================
<none>

Crypto devices using DPDK-compatible driver
===========================================
<none>

Crypto devices using kernel driver
==================================
<none>

Other Crypto devices
====================
<none>

Eventdev devices using DPDK-compatible driver
=============================================
<none>

Eventdev devices using kernel driver
====================================
<none>

Other Eventdev devices
======================
<none>

Mempool devices using DPDK-compatible driver
============================================
<none>

Mempool devices using kernel driver
===================================
<none>

Other Mempool devices
=====================
<none>

[arhead]

58 минут назад, max1976 сказал:

Скрипт работает порядка 2 минут, из них около минуты время получения реестра с сайта.

А как я понимаю у менярезолвит постоянно записи вот долго так делает?

[NS]
resolve = 1
resolvers = 8.8.8.8, 77.88.8.8
# резолвить ли хосты в ipv6 адреса
ipv6_support = yes
# сохранять ли уже отрезолвленные записи
keep_resolved = false

 

[Antares]

2 часа назад, Huko сказал:

Старая версия скрипта (начало осени)  у меня тоже отрабатывала примерно час, новая пару минут.

Вы наверное путаете с extfilter_maker

[max1976]

1 час назад, arhead сказал:

А как я понимаю у менярезолвит постоянно записи вот долго так делает?

[NS]
resolve = 1
resolvers = 8.8.8.8, 77.88.8.8
# резолвить ли хосты в ipv6 адреса
ipv6_support = yes
# сохранять ли уже отрезолвленные записи
keep_resolved = false

 

При использовании extfilter резолвинг не нужен.

 

1 час назад, yKpon сказал:

что из этого dev_pci_num

С одной картой работать не будет, т.к. нечего подключать к dpdk. Список совместимых карт находится на официальном сайте dpdk.

[arhead]

1 минуту назад, max1976 сказал:

При использовании extfilter резолвинг не нужен.

Спасибо. У меня просто для ревизора nfqfilter стоит на всякий случай.

[yKpon]

1 час назад, max1976 сказал:

С одной картой работать не будет, т.к. нечего подключать к dpdk. Список совместимых карт находится на официальном сайте dpdk.

Intel EXPI9301CT годится? в ней чип с L буквой Intel 82574L

https://market.yandex.ru/product/4762772/spec?track=tabs

 

тут http://dpdk.org/doc/guides-1.8/rel_notes/supported_features.html вроде как упоминается о поддержке, но как точно убедиться?

среди тех кто покупал отдельные сетевухи, посоветуйте за не дорого кукую взять

 

я дико извиняюсь возможно за нубские вопросы =))

[dee]

4 часа назад, yKpon сказал:

собираю фильтр на 8 летнем сокете 775 с дуалкоре

скажите RTL8101/2/6E PCI Express Fast/Gigabit Ethernet controller годится?

ваш процессор с вероятностью 146% не поддерживает ssse3 и sse4 , которые просто необходимо для запуска экстфильтра (собрать всё получиться - запустить нет) , сам промучился с кучей старого железа увы 

[myth]

13 часов назад, dee сказал:

собрать всё получиться

не получится даже собрать. Пробовал на amd a10. 

[max1976]

15 часов назад, arhead сказал:

Спасибо. У меня просто для ревизора nfqfilter стоит на всякий случай.

Если через nfqfilter проходит весь трафик, то резолвить так же нет необходимости.

[arhead]

1 минуту назад, max1976 сказал:

Если через nfqfilter проходит весь трафик, то резолвить так же нет необходимости.

Ну он так как песочница остался для ревизора на всякий случай. А для чего нужен резолвинг тогда? Я думал для сайтов которые по https блокируются.

[max1976]

44 минуты назад, arhead сказал:

Ну он так как песочница остался для ревизора на всякий случай. А для чего нужен резолвинг тогда? Я думал для сайтов которые по https блокируются.

Для работы nfqfilter с bgp.

[yKpon]

1 час назад, myth сказал:

не получится даже собрать. Пробовал на amd a10.

ну почему же, прекрасно собралось =)

 

14 часов назад, dee сказал:

ваш процессор с вероятностью 146% не поддерживает ssse3 и sse4

https://ru.wikipedia.org/wiki/SSSE3

 

Pentium Dual-Core в списке

 

а вот про sse4 не нашёл

 

по сетевой карте подскажете? про Intel 82574L

[dee]

2 часа назад, myth сказал:

не получится даже собрать. Пробовал на amd a10. 

я собирал на атлоне2 , на феноме 1 , феноме 2 , коре2дуо 

всё отлично собиралось , но запустить не получалось , сразу ругань на не поддерживаемые инструкции цпу . 

 

56 минут назад, yKpon сказал:

ну почему же, прекрасно собралось =)

 

https://ru.wikipedia.org/wiki/SSSE3

 

Pentium Dual-Core в списке

 

а вот про sse4 не нашёл

 

по сетевой карте подскажете? про Intel 82574L

согласен в коре2дуо есть ssse3  , но sse4 точно нет , на феномах есть sse4 , но нет ssse3 . одни грабли

 

любая сетёва e1000e igb ixgbe (это из интелов) броадкомы даже не пробовал т.к не юзаю).

[yKpon]

3 часа назад, dee сказал:

любая сетёва e1000e igb ixgbe (это из интелов) броадкомы даже не пробовал т.к не юзаю).

с буквой L подойдёт или нет?

 

тут http://dpdk.org/doc/nics в списке только 82574

 

второй вопрос:

необходимо мощное железо или необходимы только возможности проца и сгодится к примеру ASUS N3050I-C mini-ITX?

[Rick]

24 минуты назад, yKpon сказал:

с буквой L подойдёт или нет?

 

тут http://dpdk.org/doc/nics в списке только 82574

У меня запустилась, но только эта карта поддерживает одну очередь.

dpdk-devbind.py --status

Network devices using DPDK-compatible driver
============================================
0000:02:00.0 '82574L Gigabit Network Connection' drv=igb_uio unused=e1000e

Network devices using kernel driver
===================================
0000:03:00.0 'RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller' if=enp3s0 drv=r8169 unused=igb_uio *Active*

Other network devices
=====================
<none>

[Стич]

 

Стоит nfqfilter

 

Может кто сталкивался

nfqfilter не видит вообще пакетов,

2018-01-12 15:41:20.343 [15176] Information Application - nDPI memory (once): 104.60 KB

2018-01-12 15:41:20.343 [15176] Information Application - nDPI memory per flow: 1.91 KB

2018-01-12 15:41:20.343 [15176] Information Application - nDPI current memory usage: 1.76 MB

2018-01-12 15:41:20.343 [15176] Information Application - nDPI maximum memory usage: 1.76 MB

2018-01-12 15:41:20.343 [15176] Information Application - Total seen packets: 0, Total seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 0.00 pps

2018-01-12 15:41:20.343 [15176] Information Application - Total matched by ip/port: 0, Total matched by ssl: 0, Total matched by ssl/ip: 0

2018-01-12 15:41:20.343 [15176] Information Application - Total redirected domains 0, Total redirected urls: 0, Total marked ssl: 0, Total marked hosts: 0, Total rst sended: 0

 

при старте пишет

2018-01-31 16:39:50.681 [23535] Error CSender - Failed to create IPv6 socket!

2018-01-31 16:39:50.700 [23535] Information nfqThread - NFQ: Binding to queue 666

2018-01-31 16:39:50.700 [23535] Information nfqThread - Setting queue length to 4096

2018-01-31 16:39:50.700 [23535] Information nfqThread - Setting nfnl bufsize to 6144000

 

пакеты в NFQUEUE поступают

 

11044 688K NFQUEUE all -- * * 0.0.0.0/0 0.0.0.0/0 NFQUEUE num 666 bypass

 

[zhenya`]

cat /proc/net/netfilter/nfnetlink_queue

[Стич]

1 час назад, zhenya` сказал:

 

cat /proc/net/netfilter/nfnetlink_queue

 

 

cat /proc/net/netfilter/nfnetlink_queue
  666  28045     0 2 65535     0     0        0  1

 

[SyJet]

Господа - тяжелоч читать и понимать то, что в итоге получилось за эти over 150 страниц.

Хотелось бы узнать, что в итоге получилось?

1. Как я понимаю доросли до intel dpdk и работаем на зеркале исходящего (входящий не нужен?)?

2. Какова производительность? Скжаем на 10gbit/s + конфигурация

3. Так и не осознал, есть dpi, а что выкачивает и разгребает списки? По факту ранее была с этим проблема.

 

ps