Jump to content
Калькуляторы
Блокировка веб ресурса  

545 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

для 300-400мбит трафика исходящего

сколько должно быть - flowhash_size

и вообще 8 ядер и 8гб оперативы хватит?

периодически ловлю пропусков по 100

 

Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС.

 

сделал

но вот все равно ловлю пропуски

например - http://www.bestgore.com/beheading/syria-man-swiftbeheading-al-nusra-jihadists/

хотя в urls он есть

единственное, патчи не применял, по 5 часов жду - и нефига. применяю командой patch

твою ссылку не блокирует, потому что такой ссылки нет в реестре, но есть другая, похожая.

Share this post


Link to post
Share on other sites

А кто нибудь может подсказать формат our_blacklist в zapret.pl?

Share this post


Link to post
Share on other sites

пробую запустить новую версию extfilter, получаю вот что

EAL: Master lcore is not enabled for DPDK

Share this post


Link to post
Share on other sites

Добрый день, предполагаю использовать nfqfilter, подскажите, есть штатные средства данной утилиты, чтобы из конфига(nfqfilter,make_files,zapret) завернуть определеные сети через bgp на сервер с nfqfilter, или использовать квагу и отдельно прописать сети?

PS:extfilter использовать не могу, трафика много, а свободных 10г портов нет

nfq не содержит внутри себя бгп демона. все скрипты умеют работает с квагой.

Share this post


Link to post
Share on other sites

Добрый день, предполагаю использовать nfqfilter, подскажите, есть штатные средства данной утилиты, чтобы из конфига(nfqfilter,make_files,zapret) завернуть определеные сети через bgp на сервер с nfqfilter, или использовать квагу и отдельно прописать сети?

PS:extfilter использовать не могу, трафика много, а свободных 10г портов нет

nfq не содержит внутри себя бгп демона. все скрипты умеют работает с квагой.

то что скрипты генерируют конфигурацию для кваги, это я понимаю, и то, что при каждом запуске скриптов они заново генерируется конфиг тоже. Соответсвенно если я захочу принудительно зарулить сети, мне придется делать скрипт который будет добавлять в конфиг кваги нужные сети после вызова всех скриптов, вот я и интересуюсь, нет ли штатных возможностей в make_files и zapret, для указании сетей который будут просто добавляться в конфиги кваги?

А кто нибудь может подсказать формат our_blacklist в zapret.pl?

#cat conf/our_blacklist

http://www.shortnews.de/beamto

https://sokrytoe.org/

https://azartplaywin.xyz/

только формат урл или домены тоже?

Share this post


Link to post
Share on other sites

пробую запустить новую версию extfilter, получаю вот что

EAL: Master lcore is not enabled for DPDK

 

Маску поменяйте, чтобы и мастер-ядро попадало (в коде прописано 0 ядро).

Edited by max1976

Share this post


Link to post
Share on other sites

Снял отчет ревизором получил пропуск https://130.185.148.34/en/,130.185.148.34, GET хотя адрес заблокирован. Но есть одно но. на Роскомсвободе дата добавления 15.03.2017, а в отчете 05 Фев, 2017 10:25:50. Блин чет у них не все нормально согласованно.

Share this post


Link to post
Share on other sites

Запустилось, но не работала фильтрация, почему то не попадает трафик на фильтр. Пришлось откатиться. Соберу стенд и потестирую завтра.

В логах такое

2017-03-16 18:36:36.806 [1300] Information Application - Setting mbuf size to 8191
2017-03-16 18:36:38.016 [1300] Information Application - Master core is 0
2017-03-16 18:36:38.952 [1300] Warning Application - Link down on port 0

Edited by Antares

Share this post


Link to post
Share on other sites

что ну? старая версия работает, а с этой трабла...конфиг тот же

Share this post


Link to post
Share on other sites

Столкнулся с тем, что по каким то причинам через tuned память не выделяется в huge. То есть dpdk и extfilter запускается только если выделить вручную:

echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

 

tuned-adm active
Current active profile: dpdk-tune

cat /lib/tuned/dpdk-tune/tuned.conf
[main]
include=latency-performance

[bootloader]
cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4

 

cat /proc/cmdline

BOOT_IMAGE=/vmlinuz-4.4.52-1.el7.elrepo.x86_64 root=/dev/mapper/cl-root ro crashkernel=auto rd.lvm.lv=cl/root rd.lvm.lv=cl/swap isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4

 

 

Во всех остальных случаях я получаю ошибки.

 

EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:07:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10fb rte_ixgbe_pmd
EAL: PCI device 0000:07:00.1 on NUMA socket -1
EAL:   probe driver: 8086:10fb rte_ixgbe_pmd
Using core 2
       Core configuration:
               Reader thread DPDK device#0: RX-Queue#0;
Using core 3
       Core configuration:
               Worker thread
RING: Cannot reserve memory
HASH: memory allocation failed

./testpmd -c 0xf -n 4 -w 07:00.0 -- -i
EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
PMD: bnxt_rte_pmd_init() called for (null)
EAL: PCI device 0000:07:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10fb rte_ixgbe_pmd
Interactive-mode selected
USER1: create a new mbuf pool <mbuf_pool_socket_0>: n=171456, size=2176, socket=0
RING: Cannot reserve memory
EAL: Error - exiting with code: 1
 Cause: Creation of mbuf pool for socket 0 failed: Cannot allocate memory

 

2017-03-16 20:54:22.874 [1682] Debug WorkerThread 1 - Allocating 251658240 bytes for flow pool
2017-03-16 20:54:22.877 [1682] Fatal WorkerThread 1 - Not enough memory for flows pool. Tried to allocate 251658240 bytes
2017-03-16 20:54:22.877 [1682] Error Application - Exception: Not enough memory for flows pool
2017-03-16 20:54:22.877 [1682] Debug Application - Shutting down

 

C чем это может быть связано?

Edited by hsvt

Share this post


Link to post
Share on other sites

Снял отчет ревизором получил пропуск https://130.185.148.34/en/,130.185.148.34, GET хотя адрес заблокирован. Но есть одно но. на Роскомсвободе дата добавления 15.03.2017, а в отчете 05 Фев, 2017 10:25:50. Блин чет у них не все нормально согласованно.

 

Что за роскмсвобода ? У вас есть dump.xml с ЭЦП, там всё написано:


/usr/bin/xml2 < /path/to/dump.xml > dump.txt
...
/reg:register/content/@id=441821                                                                                                                               
/reg:register/content/@includeTime=2017-02-05T13:25:50                                                                                                         
/reg:register/content/@entryType=1                                                                                                                             
/reg:register/content/@blockType=ip                                                                                                                            
/reg:register/content/@hash=4CA2BC0B54EA6F21DB521DAEA89A35B5                                                                                                   
/reg:register/content/decision/@date=2013-05-23                                                                                                                
/reg:register/content/decision/@number=2-1687/2013                                                                                                             
/reg:register/content/decision/@org=суд                                                                                                                        
/reg:register/content/ip=130.185.148.13                                                                                                                        
/reg:register/content/ip                                                                                                                                       
/reg:register/content/ip=130.185.148.12                                                                                                                        
/reg:register/content/ip                                                                                                                                       
/reg:register/content/ip=130.185.148.21                                                                                                                        
/reg:register/content/ip                                                                                                                                       
/reg:register/content/ip=130.185.148.24                                                                                                                        
/reg:register/content/ip                                                                                                                                       
/reg:register/content/ip=130.185.148.25                                                                                                                        
/reg:register/content/ip                                                                                                                                       
/reg:register/content/ip=130.185.148.29                                                                                                                        
/reg:register/content/ip                                                                                                                                       
/reg:register/content/ip=130.185.148.31                                                                                                                        
/reg:register/content/ip                                                                                                                                       
/reg:register/content/ip=130.185.148.32                                                                                                                        
/reg:register/content/ip                                                                                                                                       
/reg:register/content/ip=130.185.148.34
...

 

Объект добавлен 2017-02-05T13:25:50. Тип блокировки ip -- надо вообще всё блокировать по идее.

Share this post


Link to post
Share on other sites

Объект добавлен 2017-02-05T13:25:50. Тип блокировки ip -- надо вообще всё блокировать по идее.

 

У меня и блокируется по IP. Просто именно 130.185.148.34 добавили 15.3.17 а до этого там его не было. После снятия отчета проверил у меня он заблокирован. Сейчас снял отчет нарушений нет.

Edited by arhead

Share this post


Link to post
Share on other sites

Сломал голову.

При запуске вылетает с ошибкой:

 

[root@extfilter etc]# /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini

EAL: Detected 8 lcore(s)

EAL: lcore 1 unavailable

EAL: invalid coremask

 

[root@extfilter etc]# /usr/src/dpdk/tools/cpu_layout.py

============================================================

Core and Socket Information (as reported by '/proc/cpuinfo')

============================================================

 

cores = [0, 2, 1, 3]

sockets = [1]

 

Socket 1

--------

Core 0 [0, 8]

Core 2 [2, 10]

Core 1 [4, 12]

Core 3 [6, 14]

 

extfilter.ini

 

num_of_workers = 1

core_mask = 7

Share this post


Link to post
Share on other sites

Сломал голову.

При запуске вылетает с ошибкой:

 

[root@extfilter etc]# /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini

EAL: Detected 8 lcore(s)

EAL: lcore 1 unavailable

EAL: invalid coremask

 

[root@extfilter etc]# /usr/src/dpdk/tools/cpu_layout.py

============================================================

Core and Socket Information (as reported by '/proc/cpuinfo')

============================================================

 

cores = [0, 2, 1, 3]

sockets = [1]

 

Socket 1

--------

Core 0 [0, 8]

Core 2 [2, 10]

Core 1 [4, 12]

Core 3 [6, 14]

 

extfilter.ini

 

num_of_workers = 1

core_mask = 7

 

 

во как надо было:

core_mask = 21845

(‭BIN 0101010101010101‬)

 

Но теперь в логе

Fatal Application - No ethernet ports detected

 

хотя:

[root@extfilter extfilter]# /usr/src/dpdk/tools/dpdk-devbind.py -s

 

Network devices using DPDK-compatible driver

============================================

0000:02:00.1 'NetXtreme II BCM57711E 10-Gigabit PCIe' drv=igb_uio unused=bnx2x

 

Network devices using kernel driver

===================================

0000:02:00.0 'NetXtreme II BCM57711E 10-Gigabit PCIe' if=enp2s0f0 drv=bnx2x unused=igb_uio *Active*

 

Other network devices

=====================

<none>

 

Crypto devices using DPDK-compatible driver

===========================================

<none>

 

Crypto devices using kernel driver

==================================

<none>

 

Other crypto devices

====================

<none>

 

 

[root@extfilter extfilter]# /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini

EAL: Detected 8 lcore(s)

EAL: Probing VFIO support...

EAL: VFIO support initialized

и падает, а в логе:

 

2017-03-18 15:45:56.414 [10207] Information Application - Setting mbuf size to 8191

2017-03-18 15:45:56.793 [10207] Information Application - Master core is 0

2017-03-18 15:45:56.793 [10207] Fatal Application - No ethernet ports detected

Edited by oborot.bolta

Share this post


Link to post
Share on other sites

и падает, а в логе:

 

2017-03-18 15:45:56.414 [10207] Information Application - Setting mbuf size to 8191

2017-03-18 15:45:56.793 [10207] Information Application - Master core is 0

2017-03-18 15:45:56.793 [10207] Fatal Application - No ethernet ports detected

 

Не поддерживается сетевая карта. Попробуйте запустить приложение из комплекта dpdk ethtool и получите такую же ошибку.

Share this post


Link to post
Share on other sites

и падает, а в логе:

 

2017-03-18 15:45:56.414 [10207] Information Application - Setting mbuf size to 8191

2017-03-18 15:45:56.793 [10207] Information Application - Master core is 0

2017-03-18 15:45:56.793 [10207] Fatal Application - No ethernet ports detected

 

Не поддерживается сетевая карта. Попробуйте запустить приложение из комплекта dpdk ethtool и получите такую же ошибку.

 

testpmd работает

да и в boot/.config тоже есть поддержка BNX2X странно

Edited by oborot.bolta

Share this post


Link to post
Share on other sites

testpmd работает

 

Работает в стандартном режиме, через ядро linux.

Share this post


Link to post
Share on other sites

testpmd работает

 

Работает в стандартном режиме, через ядро linux.

 

так в DPDK же есть поддержка bnx2x посмотрите сами.

Она по умолчанию выключена как и pcap но можно включить.

Share this post


Link to post
Share on other sites

Добрый день.

 

Уже чего-то намучался но никак не могу победить extfilter.

 

Вот как оно сейчас принимает пакеты:

2017-03-20 09:23:31.047 [32379] Information Application - Port 0 input packets: 44459, input errors: 0, mbuf errors: 0
2017-03-20 09:23:31.048 [32379] Information Application - Reader thread on core 1 received packets: 44459, enqueued packets: 44459, missed packets: 0, traffic throughtput: 148.20 pps
2017-03-20 09:23:31.048 [32379] Information Application - Worker thread on core 2 statistics:
2017-03-20 09:23:31.048 [32379] Information Application - Thread seen packets: 44457, IP packets: 4408 (IPv4 packets: 4475, IPv6 packets: 0), seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 148.19 pps
2017-03-20 09:23:31.048 [32379] Information Application - Thread IPv4 fragments: 67, IPv6 fragments: 0, IPv4 short packets: 0
2017-03-20 09:23:31.048 [32379] Information Application - Thread matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 0, matched by url: 0
2017-03-20 09:23:31.048 [32379] Information Application - Thread redirected domains: 0, redirected urls: 0, rst sended: 0
2017-03-20 09:23:31.048 [32379] Information Application - Thread active flows: 0 (IPv4 flows: 0 IPv6 flows: 0), expired flows: 0, already detected blocked: 0
2017-03-20 09:23:31.048 [32379] Information Application - All worker threads seen packets: 44457, IP packets: 4408 (IPv4 packets: 4475, IPv6 packets: 0), seen bytes: 0, traffic throughtput: 148.19 pps
2017-03-20 09:23:31.048 [32379] Information Application - All worker IPv4 fragments: 67, IPv6 fragments: 0, IPv4 short packets: 0
2017-03-20 09:23:31.048 [32379] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 0,  matched by url: 0
2017-03-20 09:23:31.048 [32379] Information Application - All worker threads redirected domains: 0, redirected urls: 0, rst sended: 0
2017-03-20 09:23:31.048 [32379] Information Application - All worker threads active flows: 0(IPv4 flows: 0 IPv6 flows: 0), expired flows: 0

 

Не нравятся нули и pps.

 

На порт идет зеркало через Длинк:

Port     TX/sec     RX/sec   Util      Port     TX/sec     RX/sec   Util
-----  ---------- ---------- ----      -----  ---------- ---------- ---- 
1      0          0          0         21     35         2          1        
2      0          0          0         22     0          0          0        
3      0          0          0         23     0          0          0        
4      884        18700      12        24     0          0          0        
5      18570      10592      11        25     55829      51027      4        
6      38471      6414       22        26     154632     87952      10       
7      0          0          0         27     129225     199387     13       
8      13725      23095      18        28     129225     0          3        
9      68         59         1                                                
10     21936      34638      27                                               
11     0          0          0                                                
12     0          0          0                                                
13     35         0          1                                                
14     721        951        1                                                
15     0          0          0                                                
16     42         2          1                                                
17     130        99         1                                                
18     6162       6159       7                                                
19     0          0          0                                                
20     46         9          1                                                

 

28-й порт - зеркало в сторону extfilter.

27-й порт - БРАС.

 

Выглядит нормально и точно не сотня pps.

 

Собрал dpdk-17.02, poco-1.7.8-all, последний extfilter на Ubuntu 16.04.2 LTS:

Linux filter 4.4.0-66-generic #87-Ubuntu SMP Fri Mar 3 15:29:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux.

 

cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
2048


/home/hawk/dpdk-17.02/usertools/dpdk-devbind.py -s

Network devices using DPDK-compatible driver
============================================
0000:01:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv=igb_uio unused=ixgbe

Network devices using kernel driver
===================================
0000:00:19.0 '82579LM Gigabit Network Connection' if=eno1 drv=e1000e unused=igb_uio *Active*
0000:01:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection' if=enp1s0f1 drv=ixgbe unused=igb_uio 
0000:04:00.0 '82574L Gigabit Network Connection' if=enp4s0 drv=e1000e unused=igb_uio 

Other network devices
=====================
<none>

Crypto devices using DPDK-compatible driver
===========================================
<none>

Crypto devices using kernel driver
==================================
<none>

Other crypto devices
====================
<none>

 

Если интерфейс перевести в систему - то все пакеты видно что приходят на него исправно:

 

./pps.sh enp1s0f0
TX enp1s0f0: 0 pkts/s RX enp1s0f0: 137695 pkts/s
TX enp1s0f0: 0 pkts/s RX enp1s0f0: 135621 pkts/s
TX enp1s0f0: 0 pkts/s RX enp1s0f0: 139882 pkts/s
TX enp1s0f0: 0 pkts/s RX enp1s0f0: 135997 pkts/s
TX enp1s0f0: 0 pkts/s RX enp1s0f0: 130451 pkts/s
TX enp1s0f0: 0 pkts/s RX enp1s0f0: 129450 pkts/s

Share this post


Link to post
Share on other sites

А с такой фигней ни кто не сталкивался?

 

[root@extfilter etc]# /usr/src/dpdk/tools/cpu_layout.py

============================================================

Core and Socket Information (as reported by '/proc/cpuinfo')

============================================================

 

cores = [0, 2, 1, 3]

sockets = [1]

 

Socket 1

--------

Core 0 [0, 8]

Core 2 [2, 10]

Core 1 [4, 12]

Core 3 [6, 14]

 

Получается что 1,2,3,5,7,9,11,13,15 ядра просто нет! :)

Share this post


Link to post
Share on other sites

Случаем не 2-х сокетная мамка?

Share this post


Link to post
Share on other sites

так в DPDK же есть поддержка bnx2x посмотрите сами.

Она по умолчанию выключена как и pcap но можно включить.

 

Поддержка bnx2x есть, но поддержки вашей карты нет:

2.4. Supported QLogic NICs
   578xx

 

Если интерфейс перевести в систему - то все пакеты видно что приходят на него исправно:

 

Смотрите в каком виде прилетают пакеты на extfilter.

Share this post


Link to post
Share on other sites

Не нравятся нули и pps.

Случайно такого в логах нет?

Warning Application - Link down on port 0

Просто у меня такая же проблемы была с версией 0.41

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now