1. Для блокировка используем

[dddkom]

В 01.09.2017 в 08:26, sanyasi сказал:

да, то-же самое, при отправке через dpdk

 

Network devices using DPDK-compatible driver
============================================
0000:01:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
0000:01:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=

 

Error ESender - Unable to allocate buffer for the packet

стартует, все хорошо.

запускаю тест по реестру, отвечает нормально раз 100-200, после этого всегда Error ESender - Unable to allocate buffer for the packet, до рестрта

[flow-control]

32 минуты назад, dddkom сказал:

Error ESender - Unable to allocate buffer for the packet

стартует, все хорошо.

запускаю тест по реестру, отвечает нормально раз 100-200, после этого всегда Error ESender - Unable to allocate buffer for the packet, до рестрта

У меня тоже такое вылезает... Какой CPU у вас?

[dddkom]

1 час назад, flow-control сказал:

У меня тоже такое вылезает... Какой CPU у вас?

  два E5530

как начинает вылазить Error ESender - Unable to allocate buffer for the packet , то соответственно нет редиректа до перезапуска

 

[flow-control]

Хм у меня корыто на e5420. Max говорит ' нет свободной памяти в выделенном объеме под отправляемые данные. '

А система и ядро какие ?

[dddkom]

21 минуту назад, flow-control сказал:

Хм у меня корыто на e5420. Max говорит ' нет свободной памяти в выделенном объеме под отправляемые данные. '

А система и ядро какие ?

3.10.0-514.26.2.el7.x86_64 centos7

похоже она не освобождается, так как всегда работает до определенного момента

как регулировать объем этого буфера?

[max1976]

19 часов назад, dddkom сказал:

3.10.0-514.26.2.el7.x86_64 centos7

похоже она не освобождается, так как всегда работает до определенного момента

как регулировать объем этого буфера?

 

Изменения внесены в код. Обновите фильтр до 0.86.2.

[dddkom]

В 13.09.2017 в 12:40, max1976 сказал:

 

Изменения внесены в код. Обновите фильтр до 0.86.2.

Спасибо!

обновился, проверяем

[dee]

======================================================================
Core and Socket Information (as reported by '/sys/devices/system/cpu')
======================================================================

cores =  [0, 1, 2, 3]
sockets =  [0, 1]

       Socket 0    Socket 1   
       --------    --------   
Core 0 [0]         [1]        
Core 1 [2]         [3]        
Core 2 [4]         [5]        
Core 3 [6]         [7]

 

можно ли в такой конфигурации запустить ?  , такое чувство , что не нравится системе что то :

 

[bootloader]
cmdline=isolcpus=0,2,4,6 default_hugepagesz=1G hugepagesz=1G hugepages=4

core_mask = 255

[port 0]
queues = 0,0; 1,2; 2,4; 3,6

 

и при запуске выдаёт :

EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10d3 net_e1000_em
EAL: PCI device 0000:03:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:03:00.1 on NUMA socket -1
EAL:   probe driver: 8086:10fb net_ixgbe
acl context <extFilter-ipv4-acl0-0>@0x7fb576a97f40
  socket_id=0
  alg=2
  max_rules=100000
  rule_size=96
  num_rules=53
  num_categories=1
  num_tries=1
ACL: allocation of 9600904 bytes on socket 1 for ACL_extFilter-ipv4-acl1-0 failed
  
  
  
  LOG 
  
  2017-09-18 13:58:02.598 [2697] Error Application - Lcore 4 is not enabled in lcore mask
2017-09-18 13:58:12.977 [2705] Information ACL - Preparing 53 rules for IPv4 ACL
2017-09-18 13:58:12.978 [2705] Error ACL - Failed to create ACL context
2017-09-18 13:58:12.978 [2705] Error ACL - Setup acl for ipv4 with socketid 1 failed, keeping previous rules for that socket
2017-09-18 13:58:12.978 [2705] Information Application - Setting mbuf size to 16384
2017-09-18 13:58:12.989 [2705] Information Application - Allocated mbuf pool (16384 entries) on socket 0
2017-09-18 13:58:12.991 [2705] Information Application - Allocated memory pool (16384 entries) for packet info on sockets 0
2017-09-18 13:58:12.991 [2705] Fatal Application - Cannot init mbuf pool on socket 1
2017-09-18 13:58:12.991 [2705] Fatal Application - Memory initialization error

 

Памяти стоит 8 гигов , но только у одного проца  , процы 2хX5570

 

(до этого стоял проц попроще и один , поменял и получил вот это , мамаша s5500bc )

[dee]

вытащил один проц и система запустилась :

 

EAL: Detected 4 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10d3 net_e1000_em
EAL: PCI device 0000:03:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:03:00.1 on NUMA socket -1
EAL:   probe driver: 8086:10fb net_ixgbe
acl context <extFilter-ipv4-acl0-0>@0x7fcf4c297f40
  socket_id=0
  alg=2
  max_rules=100000
  rule_size=96
  num_rules=53
  num_categories=1
  num_tries=1




======================================================================
Core and Socket Information (as reported by '/sys/devices/system/cpu')
======================================================================

cores =  [0, 1, 2, 3]
sockets =  [0]

       Socket 0  
       --------  
Core 0 [0]       
Core 1 [1]       
Core 2 [2]       
Core 3 [3]


 core_mask = 15

[port 0]
queues = 0,1; 1,2; 2,3


cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4

интересно , можно как нить запустить в 2х процессорной конфе dpdk  ?

Изменено 18 сентября, 2017 пользователем dee

[max1976]

3 минуты назад, dee сказал:

cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4

Выделяется память на первом процессоре (socket 0). Для выделения памяти на другом процессоре нужны отдельные команды.

[dee]

попробовал опять поставить 2й проц , но теперь у каждого имеется по 4 гига памяти , в итоге пробую запускаться с такими параметрами :

======================================================================
Core and Socket Information (as reported by '/sys/devices/system/cpu')
======================================================================

cores =  [0, 1, 2, 3]
sockets =  [0, 1]

       Socket 0    Socket 1   
       --------    --------   
Core 0 [0]         [1]        
Core 1 [2]         [3]        
Core 2 [4]         [5]        
Core 3 [6]         [7] 


modprobe uio
insmod /usr/src/dpdk-stable-17.05.1/build/kmod/igb_uio.ko
sleep 1
umount -f /mnt/huge
sleep 1
mount -t hugetlbfs nodev /mnt/huge
echo 1000 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
sleep 1
#/usr/src/dpdk-stable-17.05.1/usertools/dpdk-devbind.py -b igb_uio 0000:01:00.0 # e1000e (eth1)
/usr/src/dpdk-stable-17.05.1/usertools/dpdk-devbind.py -b igb_uio 0000:03:00.1 # ixgbe (eth3)


cat /usr/lib/tuned/dpdk-tune/tuned.conf 
[main]
include=latency-performance

[bootloader]
cmdline=isolcpus=2,4,6 default_hugepagesz=1G hugepagesz=1G hugepages=4


core_mask = 255
[port 0]
queues = 0,2; 1,4; 2,6


rnk / # /usr/src/TEST-4/extfilter/src/extFilter -f /usr/src/TEST-4/extfilter/etc/extfilter.ini
EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10d3 net_e1000_em
EAL: PCI device 0000:03:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:03:00.1 on NUMA socket -1
EAL:   probe driver: 8086:10fb net_ixgbe
acl context <extFilter-ipv4-acl0-0>@0x7f518da97f40
  socket_id=0
  alg=2
  max_rules=100000
  rule_size=96
  num_rules=53
  num_categories=1
  num_tries=1
ACL: allocation of 9600904 bytes on socket 1 for ACL_extFilter-ipv4-acl1-0 failed
rnk / # tail -n 10 /var/log/extFilter.log
2017-09-18 15:15:18.104 [2654] Fatal Application - Cannot init mbuf pool on socket 1
2017-09-18 15:15:18.104 [2654] Fatal Application - Memory initialization error
2017-09-18 15:24:29.647 [2647] Information ACL - Preparing 53 rules for IPv4 ACL
2017-09-18 15:24:29.648 [2647] Error ACL - Failed to create ACL context
2017-09-18 15:24:29.648 [2647] Error ACL - Setup acl for ipv4 with socketid 1 failed, keeping previous rules for that socket
2017-09-18 15:24:29.648 [2647] Information Application - Setting mbuf size to 16384
2017-09-18 15:24:29.658 [2647] Information Application - Allocated mbuf pool (16384 entries) on socket 0
2017-09-18 15:24:29.660 [2647] Information Application - Allocated memory pool (16384 entries) for packet info on sockets 0
2017-09-18 15:24:29.660 [2647] Fatal Application - Cannot init mbuf pool on socket 1
2017-09-18 15:24:29.660 [2647] Fatal Application - Memory initialization error
  
  

 

29 минут назад, max1976 сказал:

Выделяется память на первом процессоре (socket 0). Для выделения памяти на другом процессоре нужны отдельные команды.

я хотел на одном проце полностью гонять extfilter ,а второй просто служебный для системы , но как то не выходит походу каменный цветок , маску гоняю 255

Изменено 18 сентября, 2017 пользователем dee

[dee]

НАшел решение тут https://media.readthedocs.org/pdf/dpdk/stable/dpdk.pdf

 

, там было описание выделения памяти для hugepages 

и аямять для нодов отдельно :

echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

 

echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

вот в 1й ноде было ноль .

[arhead]

Ребят а кто как списки новые подгружает? Заметил если делать HUP то по являются пропуски со временем, как только сделаю рестарт то все ок на след день в отчетах ревизора.

[IMPERATOR]

Добра всем !
Вчера обновился до последний версии,  заработало.
Не смог настроить что бы работало на 2-3 ядрах, процессор Q9550  (трафика мало- справляется)  . Коре маска стоит 7 , пробовал 3  , но все равно загружается только 1 ядро.  так же не понял немного по поводу очередей на сетевой карте.Сетевая Интел
Network devices using DPDK-compatible driver
============================================
0000:05:00.0 '82571EB Gigabit Ethernet Controller 105e' drv=igb_uio unused=uio_pci_generic

И еще кто и откуда выгружает списки и какие ? , надо ли что то кроме списка роскомнадзора ( вот отсюда http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl)
 

В последнее время появились пропуски , сайт bkleon100.ru его  нету в моей выгрузке, нету на сайте http://eais.rkn.gov.ru/ 

Но он есть в базе на сайте https://antizapret.info/api.php
У меня он не блочится потому что я его не выгружаю , а ревизор его проверяет
Выгрузку для extFilter делаю с помощью zapret-master скрипта.
Что нужно сделать что бы выгружать всё нужное для блокировки всех сайтов

Инфо лог работы фильтра

Спойлер

2017-09-19 09:41:10.749 [11639] Information Application - Port 0 input packets 85642787, input errors: 0, mbuf errors: 0, missed packets: 0
2017-09-19 09:41:10.749 [11639] Information Application - Worker thread on core 1 statistics:
2017-09-19 09:41:10.749 [11639] Information Application - Thread seen packets: 85643190, IP packets: 85638305 (IPv4 packets: 85637938, IPv6 packets: 367), seen bytes: 14815572310, Average packet size: 173 bytes, Traffic throughput: 53.02 K pps
2017-09-19 09:41:10.749 [11639] Information Application - Thread IPv4 fragments: 1982604, IPv6 fragments: 0, IPv4 short packets: 0
2017-09-19 09:41:10.749 [11639] Information Application - Thread matched by ip/port: 0, matched by ssl: 5578, matched by ssl/ip: 0, matched by domain: 18, matched by url: 52
2017-09-19 09:41:10.749 [11639] Information Application - Thread redirected domains: 18, redirected urls: 52, rst sended: 5578
2017-09-19 09:41:10.750 [11639] Information Application - Thread active flows: 32150 (IPv4 flows: 32150, IPv6 flows: 0), deleted flows: 1616257 already detected blocked: 0
2017-09-19 09:41:10.750 [11639] Information Application - Thread packets latency all packets: 982 cycles (347 ns), blocked packets: 22631 (7988 ns)
2017-09-19 09:41:10.750 [11639] Information Application - All worker threads seen packets: 85643190, IP packets: 85638305 (IPv4 packets: 85637938, IPv6 packets: 367), seen bytes: 14815572310, traffic throughtput: 53.02 K pps
2017-09-19 09:41:10.750 [11639] Information Application - All worker IPv4 fragments: 1982604, IPv6 fragments: 0, IPv4 short packets: 0
2017-09-19 09:41:10.750 [11639] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 5578, matched by ssl/ip: 0, matched by domain: 18,  matched by url: 52
2017-09-19 09:41:10.750 [11639] Information Application - All worker threads redirected domains: 18, redirected urls: 52, rst sended: 5578
2017-09-19 09:41:10.750 [11639] Information Application - All worker threads active flows: 32150 (IPv4 flows: 32150, IPv6 flows: 0), deletet flows: 1616257

 

Изменено 19 сентября, 2017 пользователем IMPERATOR

[arhead]

47 минут назад, IMPERATOR сказал:

В последнее время появились пропуски , сайт bkleon100.ru его  нету в моей выгрузке, нету на сайте

/usr/local/etc/extfilter/ssl_host:5129:www.bkleon100.ru
/usr/local/etc/extfilter/domains:5129:www.bkleon100.ru

 

Все делаю скриптами идущими с extfilter

[Antares]

1 час назад, arhead сказал:

Ребят а кто как списки новые подгружает? Заметил если делать HUP то по являются пропуски со временем, как только сделаю рестарт то все ок на след день в отчетах ревизора.

Нет пропусков при HUP

 

48 минут назад, IMPERATOR сказал:

В последнее время появились пропуски , сайт bkleon100.ru его  нету в моей выгрузке, нету на сайте http://eais.rkn.gov.ru/ 

Но он есть в базе на сайте https://antizapret.info/api.php
У меня он не блочится потому что я его не выгружаю , а ревизор его проверяет
Выгрузку для extFilter делаю с помощью zapret-master скрипта.
Что нужно сделать что бы выгружать всё нужное для блокировки всех сайтов

Что за zapret-master скрипт? Выгружаю скриптом от max1976, пропусков нет

[IMPERATOR]

Ну я так понимаю скрит мы используем один и тот же , от max1976 .
сделал  выгрузку с сайта в ручном режиме -  искомый сайт в ней присутвует.
Обнулил все таблицы в MYSQL базе zapret , запустил скрит , и каким то образом в базе  появился сайт bkleon100  , вывод -фигня какая то .
запустил  extfilter_maker.pl  (оставшийся от старой версии extFilter)  в сформировавшийхся файлах  не оказалось сайта bkleon100 , хотя в базе он есть.  Обновил extfilter_maker.pl  , запустил , сайт появился )
Вывод - НЕВНИМАТЕЛЬНОСТЬ.  

сайт стал блокироваться !!!

ЗЫ: для всех кто наступает на грабли , вроде меня, неплохо бы что бы кто то со светлыми мыслями в голове накатал инструкцию.

Изменено 19 сентября, 2017 пользователем IMPERATOR

[IMPERATOR]

почему через какое то время нельзя дальше редактировать своё сообщение ?  (
Суть  , начал дальше проверять сайты из списка которые прислал ревизор  - как не заблокированные
http://bk-marafon-zerkalo.ru/
http://newfonbet.com/

Не блочатся , с файлах у меня их тоже нету ( что за напастье,  посмотрите у себя , надо разобраться

Есть подозрения что не отрабатывает до конца вот это zapret.pl , т.е. из выгрузки не все сайты в базу заносятся. , с чем может быть связано .
При ручном запуске вижу вот такое:  (Centos 7)
 

Спойлер

./zapret.pl
Use of uninitialized value $lastDumpDateOld in concatenation (.) or string at ./zapret.pl line 178.
Use of uninitialized value $lastAction in concatenation (.) or string at ./zapret.pl line 179.
Use of uninitialized value $lastCode in concatenation (.) or string at ./zapret.pl line 180.
Use of uninitialized value $lastResult in concatenation (.) or string at ./zapret.pl line 181.
Use of uninitialized value $lastResult in string eq at ./zapret.pl line 189.
Use of uninitialized value $lastDumpDateOld in string eq at ./zapret.pl line 285.
Killed
Press any key to continue...

 

Изменено 19 сентября, 2017 пользователем IMPERATOR

[arhead]

3 минуты назад, IMPERATOR сказал:

Суть  , начал дальше проверять сайты из списка которые прислал ревизор  - как не заблокированные
http://bk-marafon-zerkalo.ru/
http://newfonbet.com/

grep -rn "bk-marafon-zerkalo.ru" /usr/local/etc/extfilter
/usr/local/etc/extfilter/ssl_host:21419:bk-marafon-zerkalo.ru
/usr/local/etc/extfilter/domains:21419:bk-marafon-zerkalo.ru
grep -rn "newfonbet.com" /usr/local/etc/extfilter
/usr/local/etc/extfilter/ssl_host:21402:newfonbet.com
/usr/local/etc/extfilter/domains:21402:newfonbet.com

 

Все присутствует и блочится.

 

[Antares]

56 минут назад, IMPERATOR сказал:

Есть подозрения что не отрабатывает до конца вот это zapret.pl , т.е. из выгрузки не все сайты в базу заносятся. , с чем может быть связано .

Пересоздайте базу заново

[IMPERATOR]

50 минут назад, Antares сказал:

Пересоздайте базу заново

Базу  пересоздал , запустил скрипт zapret.pl

Спойлер

./zapret.pl
Killed
Press any key to continue...

В базе в таблице  zap2_domains   25561 запись . До обеда было чуть больше 27 тыс. 
затык в выполнение скрипта , почему то не доконца он отрабатывает. Может что то надо в системе настроить , увеличить какой нибуть тайминг что бы процесс не убивался.  потому что есть мысль что Killed  - завершение принудительное .

[Antares]

А памяти на машине сколько?

 

[IMPERATOR]

2 Гб , вижу что при выполнение ей этого мало . Может не умещаться ? Это делается на Виртуалке . сейчас буду пробовать на клоне с увеличеной памятью

Изменено 19 сентября, 2017 пользователем IMPERATOR

[IMPERATOR]

Вроде на машине с 4гб памяти дело пошло дальше. 
сейчас идет парасинг выгрузки , в логи вижу такое:
2017-09-19 14:03:55 | INFO  | main  | Bad ip type: LOOPBACK for ip 127.0.0.1 host 56c13f47f81e8be0b5f193ad2d31f9627c305e35.marathonbet8.com
2017-09-19 14:04:13 | INFO  | main  | Bad ip type: LOOPBACK for ip 127.0.0.1 host www.kinofestival.net
2017-09-19 14:04:33 | INFO  | main  | Bad ip type: 6TO4 for ip 2002:5111:1ec6:0000:0000:0000:0000:0001 host zlotracker.org
2017-09-19 14:06:18 | INFO  | main  | Bad ip type: LOOPBACK for ip 127.0.0.1 host toprc.biz
2017-09-19 14:09:27 | INFO  | main  | Bad ip type: LOOPBACK for ip 127.0.0.1 host slotobar.info
2017-09-19 14:10:41 | INFO  | main  | Bad ip type: LOOPBACK for ip 127.0.0.1 host livecinema.ucoz.ua
2017-09-19 14:14:30 | INFO  | main  | Bad ip type: LOOPBACK for ip 127.0.0.1 host tula.prostitutki.red

это идет очень долго , видно по времени он один адрес пытается резольвить 3-5 минут. ..
Кто то обращал на это внимание ?

Изменено 19 сентября, 2017 пользователем IMPERATOR

[max1976]

11 минут назад, IMPERATOR сказал:

это идет очень долго , видно по времени он один адрес пытается резольвить 3-5 минут. ..
Кто то обращал на это внимание ?

Отключите резолвинг.