Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

566 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

хотя те же www.galaxysports.com и va-bank.by открываются в ie через раз. последний - так почти каждый раз.

хотя extFilter генерит ответы.

 

В последних версиях extfilter в логах есть строка missed packets. Если значение будет больше 0, то возможны пропуски в фильтровании.

 

Я добавил в wiki небольшое описание по настройке мониторинга в cacti. В данном случае можно будет видеть на сколько фильтр справляется с работой.

 

Спасибо, но нужен именно nfqfilter

 

Посмотрите (traceroute), попадает ли трафик к указанным сайтам в nfqfilter. При заходе браузером что выдается?

Изменено пользователем max1976

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

настройки программы:

0Ld2Umu.png

 

часть кода заглушки:

YRfS3oA.png

собиралась по местным рекомендациям.

вкрапления кодировки cp1251 - в наличии.

 

max1976, такое ощущение, что иногда ответы от "запрещённого" ресурса приходят чуть раньше, чем от extFilter.

этим, наверное, может быть объяснено открытие через раз то страницы заглушки, то запрещённого ресурса.

 

при этом нагрузка на extFilter - нулевая. только трафик с тестовой машины зеркалируется.

проца должно хватать Xeon® CPU E3-1230 @ 3.20GHz

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Посмотрите (traceroute), попадает ли трафик к указанным сайтам в nfqfilter. При заходе браузером что выдается?

traceroute трафик идет через nfqfilter. Через браузер открывает сайт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976, такое ощущение, что иногда ответы от "запрещённого" ресурса приходят чуть раньше, чем от extFilter.

этим, наверное, может быть объяснено открытие через раз то страницы заглушки, то запрещённого ресурса.

 

при этом нагрузка на extFilter - нулевая. только трафик с тестовой машины зеркалируется.

проца должно хватать Xeon® CPU E3-1230 @ 3.20GHz

 

Подключайте интерфейс с редиректами от extfilter как можно ближе к абонентам (лучше в ядро). Тогда будет быстрее прилетать от extfilter.

 

Посмотрите (traceroute), попадает ли трафик к указанным сайтам в nfqfilter. При заходе браузером что выдается?

traceroute трафик идет через nfqfilter. Через браузер открывает сайт.

 

Проверьте наличие указанных ссылок в файле urls и то, как они там указаны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ребят, подскажите пожалуйста по моему вопросу. Какие сетевые интерфейсы (порты) необходимы между сервером с exFilter и коммутатором куда воткнуты BRAS\NAS при условии, исходящего трафика от пользователей ~3 gbps ?

 

Если сейчас нет возможности скоммутировать физически соеденение по 10GE интерфейсам, есть ли смысл на сервере с exFilter сделать bond из двух eth по 1GE и попробовать отправить туда трафик с EX3200 или будут пропуски и захлебнётся?

Изменено пользователем hsvt

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976, запустил тест ещё раз. без каких-либо изменений. разве что extFilter перезапустил - 36 "пропусков"

fullreport показал 36 заглушек.

Подключайте интерфейс с редиректами от extfilter как можно ближе к абонентам (лучше в ядро).

всё находится в пределах одного коммутатора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

nma (Сегодня, 14:08) писал:

max1976 (Сегодня, 13:16) писал:

Посмотрите (traceroute), попадает ли трафик к указанным сайтам в nfqfilter. При заходе браузером что выдается?

 

traceroute трафик идет через nfqfilter. Через браузер открывает сайт.

 

 

Проверьте наличие указанных ссылок в файле urls и то, как они там указаны.

 

В файле urls все три ссылки присутствую в том же виде. Т.е.:

 

www.singaporepools.com.sg/en/Pages/default.aspx

akibaaqkikan.club/?p=242

www.orgmanchemical.com/products

 

PS

Может поможет

1 TCP 23.101.24.27:80 <-> 5.158.122.27:56310 [proto: 125/Skype][23 pkts/4097 bytes][Host: www.singaporepools.com.sg]

2 TCP 23.101.24.27:80 <-> 5.158.122.27:56308 [proto: 7.125/HTTP.Skype][1 pkts/66 bytes]

3 TCP 23.101.24.27:80 <-> 5.158.122.27:56304 [proto: 7.125/HTTP.Skype][1 pkts/66 bytes]

4 TCP 23.101.24.27:80 <-> 5.158.122.27:56364 [proto: 7.125/HTTP.Skype][2 pkts/140 bytes]

5 TCP 23.101.24.27:80 <-> 5.158.122.27:56366 [proto: 7.125/HTTP.Skype][2 pkts/140 bytes]

 

PSPS

Не знаю что наделал, но начал блокировать. Буду разбираться

Изменено пользователем nma

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

обновился до последний версии extfilter

получаю при запуске

/usr/local/bin/extFilter --config-file /install/extfilter/etc/extfilter.ini
EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.1 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.2 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.3 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
Using core 1
       Core configuration:
               Reader thread DPDK device#0: RX-Queue#0;
Using core 2
       Core configuration:
               Worker thread
Using core 3
       Core configuration:
               Worker thread
Using core 4
       Core configuration:
               Worker thread
Using core 5
       Core configuration:
               Worker thread
Using core 6
       Core configuration:
               Worker thread
HASH: memory allocation failed

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

cat /proc/meminfo |grep Hu
AnonHugePages:     79872 kB
HugePages_Total:      64
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

 

ulimit -l
64

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

обновился до последний версии extfilter

получаю при запуске

/usr/local/bin/extFilter --config-file /install/extfilter/etc/extfilter.ini
EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.1 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.2 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.3 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
Using core 1
       Core configuration:
               Reader thread DPDK device#0: RX-Queue#0;
Using core 2
       Core configuration:
               Worker thread
Using core 3
       Core configuration:
               Worker thread
Using core 4
       Core configuration:
               Worker thread
Using core 5
       Core configuration:
               Worker thread
Using core 6
       Core configuration:
               Worker thread
HASH: memory allocation failed

 

У вас мало памяти отведено для DPDK. Дайте больше hugepages для DPDK. И лучше сделайте 1 гигабайтные страницы.

Изменено пользователем max1976

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

обновился до последний версии extfilter

получаю при запуске

/usr/local/bin/extFilter --config-file /install/extfilter/etc/extfilter.ini
EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.1 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.2 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.3 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
Using core 1
       Core configuration:
               Reader thread DPDK device#0: RX-Queue#0;
Using core 2
       Core configuration:
               Worker thread
Using core 3
       Core configuration:
               Worker thread
Using core 4
       Core configuration:
               Worker thread
Using core 5
       Core configuration:
               Worker thread
Using core 6
       Core configuration:
               Worker thread
HASH: memory allocation failed

 

У вас мало памяти отведено для DPDK. Дайте больше hugepages для DPDK. И лучше сделайте 1 гигабайтные страницы.

Ядро пересобирать?? Со старой версией всё работало

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

обновился до последний версии extfilter

получаю при запуске

/usr/local/bin/extFilter --config-file /install/extfilter/etc/extfilter.ini
EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.1 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.2 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.3 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
Using core 1
       Core configuration:
               Reader thread DPDK device#0: RX-Queue#0;
Using core 2
       Core configuration:
               Worker thread
Using core 3
       Core configuration:
               Worker thread
Using core 4
       Core configuration:
               Worker thread
Using core 5
       Core configuration:
               Worker thread
Using core 6
       Core configuration:
               Worker thread
HASH: memory allocation failed

 

У вас мало памяти отведено для DPDK. Дайте больше hugepages для DPDK. И лучше сделайте 1 гигабайтные страницы.

Ядро пересобирать?? Со старой версией всё работало

 

Нет, не надо ничего пересобирать. Или задайте параметры при загрузке ядра, или скриптом выделите больше hugepages.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

пятница, туплю...как? ))))

 

Вы задали:

echo 64 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

 

Соответственно 64*2 Мб будет всего 128 мегабайт. У вас же 5 worker'ов, а для каждого надо не меньше 600 мегабайт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

/root/extfilter/src/extFilter --config-file=extfilter.ini
EAL: Detected 4 lcore(s)
EAL: Probing VFIO support...
EAL: WARNING: cpu flags constant_tsc=yes nonstop_tsc=no -> using unreliable clock cycles !
Zero DPDK ports are initialized. Something went wrong while initializing DPDK
Zero DPDK ports are initialized. Something went wrong while initializing DPDK
Zero DPDK ports are initialized. Something went wrong while initializing DPDK
Exception: Couldn't initialize DPDK

 

2016-11-04 17:45:16.855 [2559] Information Application - Setting mbuf size to 8191
2016-11-04 17:45:17.048 [2559] Fatal Application - Couldn't initialize DPDK!

 

/root/dpdk/tools/dpdk-devbind.py --status

Network devices using DPDK-compatible driver
============================================
0000:04:00.0 '80003ES2LAN Gigabit Ethernet Controller (Copper)' drv=igb_uio unused=

Network devices using kernel driver
===================================
0000:04:00.1 '80003ES2LAN Gigabit Ethernet Controller (Copper)' if=enp4s0f1 drv=e1000e unused=igb_uio *Active*

Other network devices
=====================
<none>

 

Подскажите пожалуйста,не запускается из-за сетевой карты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите пожалуйста,не запускается из-за сетевой карты?

 

В конфиге extfilter правильно указан номер порта в dpdk?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dpdk_port = 0

 

Что-то не нравится карта dpdk. Попробуйте другую карту.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dpdk_port = 0

 

Что-то не нравится карта dpdk. Попробуйте другую карту.

Замена помогла, спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

пятница, туплю...как? ))))

 

Вы задали:

echo 64 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

 

Соответственно 64*2 Мб будет всего 128 мегабайт. У вас же 5 worker'ов, а для каждого надо не меньше 600 мегабайт.

 

 

теперь выдает такое

самое странное, что старая версия работает без проблем

 

EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.1 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.2 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.3 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
Using core 1
       Core configuration:
               Reader thread DPDK device#0: RX-Queue#0;
Using core 2
       Core configuration:
               Worker thread
Using core 3
       Core configuration:
               Worker thread
Using core 4
       Core configuration:
               Worker thread
Using core 5
       Core configuration:
               Worker thread
Using core 6
       Core configuration:
               Worker thread
Number of cores in core mask different from workerThreadsVec size

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

пятница, туплю...как? ))))

 

Вы задали:

echo 64 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

 

Соответственно 64*2 Мб будет всего 128 мегабайт. У вас же 5 worker'ов, а для каждого надо не меньше 600 мегабайт.

 

 

теперь выдает такое

самое странное, что старая версия работает без проблем

 

EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.1 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.2 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.3 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
Using core 1
       Core configuration:
               Reader thread DPDK device#0: RX-Queue#0;
Using core 2
       Core configuration:
               Worker thread
Using core 3
       Core configuration:
               Worker thread
Using core 4
       Core configuration:
               Worker thread
Using core 5
       Core configuration:
               Worker thread
Using core 6
       Core configuration:
               Worker thread
Number of cores in core mask different from workerThreadsVec size

 

Настройте правильную маску ядер процессора в конфиге extfilter'а.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

пятница, туплю...как? ))))

 

Вы задали:

echo 64 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

 

Соответственно 64*2 Мб будет всего 128 мегабайт. У вас же 5 worker'ов, а для каждого надо не меньше 600 мегабайт.

 

 

теперь выдает такое

самое странное, что старая версия работает без проблем

 

EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.1 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.2 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
EAL: PCI device 0000:01:00.3 on NUMA socket -1
EAL:   probe driver: 8086:1521 rte_igb_pmd
Using core 1
       Core configuration:
               Reader thread DPDK device#0: RX-Queue#0;
Using core 2
       Core configuration:
               Worker thread
Using core 3
       Core configuration:
               Worker thread
Using core 4
       Core configuration:
               Worker thread
Using core 5
       Core configuration:
               Worker thread
Using core 6
       Core configuration:
               Worker thread
Number of cores in core mask different from workerThreadsVec size

 

Настройте правильную маску ядер процессора в конфиге extfilter'а.

 

этот параметр крутил, пытается запуститься только тогда, когда выставлено 7 (у меня с включеным НТ 8 ядер), но не фильтрует

 

указываю 1 и 2 ядро использовать, запускается, но не фильтрует. Напомню, что старая версия работает, новая не хочет.

Изменено пользователем Antares

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

указываю 1 и 2 ядро использовать, запускается, но не фильтрует.

 

В логах счетчики пакетов увеличиваются?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2016-11-06 18:06:33.204 [3049] Information Application - Port 0 input packets: 41577047, input errors: 0, mbuf errors: 0
2016-11-06 18:06:33.204 [3049] Information Application - Reader thread on core 1 received packets: 41577047, enqueued packets: 41577047, missed packets: 0, traffic throughtput: 78.79 K pps
2016-11-06 18:06:33.204 [3049] Information Application - Worker thread on core 2 statistics:
2016-11-06 18:06:33.204 [3049] Information Application - Thread seen packets: 41577074, IP packets: 13439 (IPv4 packets: 13113, IPv6 packets: 455), seen bytes: 6988023, Average packet size: 519 bytes, Traffic throughput: 78.78 K pps
2016-11-06 18:06:33.204 [3049] Information Application - Thread IPv4 fragments: 129, IPv6 fragments: 0, IPv4 short packets: 0
2016-11-06 18:06:33.204 [3049] Information Application - Thread matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 0, matched by url: 0
2016-11-06 18:06:33.204 [3049] Information Application - Thread redirected domains: 0, redirected urls: 0, rst sended: 0
2016-11-06 18:06:33.204 [3049] Information Application - Thread active flows: 0 (IPv4 flows: 0 IPv6 flows: 0), expired flows: 582
2016-11-06 18:06:33.204 [3049] Information Application - All worker threads seen packets: 41577074, IP packets: 13439 (IPv4 packets: 13113, IPv6 packets: 455), seen bytes: 6988023, traffic throughtput: 78.78 K pps
2016-11-06 18:06:33.204 [3049] Information Application - All worker IPv4 fragments: 129, IPv6 fragments: 0, IPv4 short packets: 0
2016-11-06 18:06:33.204 [3049] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 0,  matched by url: 0
2016-11-06 18:06:33.204 [3049] Information Application - All worker threads redirected domains: 0, redirected urls: 0, rst sended: 0
2016-11-06 18:06:33.204 [3049] Information Application - All worker threads active flows: 0(IPv4 flows: 0 IPv6 flows: 0), expired flows: 582
2016-11-06 18:07:03.205 [3049] Information Application - Port 0 input packets: 44040221, input errors: 0, mbuf errors: 0
2016-11-06 18:07:03.205 [3049] Information Application - Reader thread on core 1 received packets: 44040216, enqueued packets: 44040216, missed packets: 0, traffic throughtput: 82.10 K pps
2016-11-06 18:07:03.205 [3049] Information Application - Worker thread on core 2 statistics:
2016-11-06 18:07:03.205 [3049] Information Application - Thread seen packets: 44040252, IP packets: 13442 (IPv4 packets: 13115, IPv6 packets: 456), seen bytes: 6988083, Average packet size: 519 bytes, Traffic throughput: 82.11 K pps
2016-11-06 18:07:03.205 [3049] Information Application - Thread IPv4 fragments: 129, IPv6 fragments: 0, IPv4 short packets: 0
2016-11-06 18:07:03.205 [3049] Information Application - Thread matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 0, matched by url: 0
2016-11-06 18:07:03.205 [3049] Information Application - Thread redirected domains: 0, redirected urls: 0, rst sended: 0
2016-11-06 18:07:03.205 [3049] Information Application - Thread active flows: 0 (IPv4 flows: 0 IPv6 flows: 0), expired flows: 582
2016-11-06 18:07:03.205 [3049] Information Application - All worker threads seen packets: 44040252, IP packets: 13442 (IPv4 packets: 13115, IPv6 packets: 456), seen bytes: 6988083, traffic throughtput: 82.11 K pps
2016-11-06 18:07:03.205 [3049] Information Application - All worker IPv4 fragments: 129, IPv6 fragments: 0, IPv4 short packets: 0
2016-11-06 18:07:03.205 [3049] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 0,  matched by url: 0
2016-11-06 18:07:03.206 [3049] Information Application - All worker threads redirected domains: 0, redirected urls: 0, rst sended: 0
2016-11-06 18:07:03.206 [3049] Information Application - All worker threads active flows: 0(IPv4 flows: 0 IPv6 flows: 0), expired flows: 582

Счетчики увеличиваются, но блокировки не происходит.

 

Этот параметр задан верно?

echo 512 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

 

и какие значения выставить в конфиге если у меня установлен один 4х ядерный проц?

; dpdk порт, где анализировать трафик
dpdk_port = 0


; dpdk порт(ы), где анализировать трафик
;dpdk_ports = 0,1

; размер пула mbuf. Default: 8191
;mbuf_pool_size = 8191

; количество потоков по анализу трафика
number_of_workers=1

; Какие ядра использовать. Default: все ядра, кроме management.
;core_mask = 0,1

; файл статистики (для extfilter-cacti)
statisticsfile = /var/run/extFilter_stat

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.