Jump to content
Калькуляторы
Блокировка веб ресурса  

535 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

26 минут назад, Davion сказал:

без результата, закоментировали и 1 ставили. Уже все голову сломали.

Давай по порядку.

Модель процессора

Модель сетевой

Конфиг фильтра

Конфиг tuned

Версию ОС

И лог запуска процесса

Включен ли selinux?

Посмотри есть ли поддержка 1g hugo:

cat /proc/cpuinfo | grep pdpe1gb

Можно попробовать для начала в режиме зеркала настроить

Edited by epollia

Share this post


Link to post
Share on other sites
8 минут назад, epollia сказал:

Давай по порядку.

Модель процессора

Модель сетевой

Конфиг фильтра

Конфиг tuned

Версию ОС

И лог запуска процесса

Включен ли selinux?

Можно попробовать для начала в режиме зеркала настроить

 

Процессор: Intel(R) Core(TM) i5-3470 CPU @ 3.20GHz

Двухпортовая сетевая 01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

 

Конфиг(сейчас зеркало):

; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
;lower_host = false

domainlist = /usr/local/etc/extfilter/domains
urllist = /usr/local/etc/extfilter/urls
ssllist = /usr/local/etc/extfilter/ssl_host

; файл с ip:port для блокировки
hostlist = /usr/local/etc/extfilter/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /usr/local/etc/extfilter/ssl_ips

; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false
http_redirect = true

# если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://...
redirect_url = http://94.190.64.51

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = true

; Default: 0 - disable
statistic_interval = 300

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = true

; Какие ядра использовать. Default: все ядра, кроме management.
 core_mask = 7

; файл статистики (для extfilter-cacti)
;statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
; out_mtu = 1500
url_normalization = true

; CLI для управления или сбора статистики extfilter
; cli_port = 9999
; cli_address = 127.0.0.1
; Количество каналов памяти (для DPDK)
memory_channels = 2

; Количество повторных пакетов в сторону клиента (от 1 до 3)
 answer_duplication = 3

; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline)
 operation_mode = mirror

; Использовать jumbo frames
; jumbo_frames = false

; Максимальная длина ethernet фрейма при включенном jumbo_frames
; max_pkt_len = 9600

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a
; Пример:
[port 0]
queues = 0,1;

;[port 0]
;queues = 0,1;
;type = subscriber
;mapto = 1
;[port 1]
;queues = 0,2;
;type = network
;mapto = 0

; Порт для отправки уведомлений через dpdk
[port 1]
type = sender
; На какой mac адрес отправлять пакеты
mac = 00:01:02:03:04:05

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
 scale = 1

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
 fragmentation_ipv4_state = true
 fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
 tcp_reordering = true

[logging]
;loggers.root.level = information
loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

 

Конфиг tunned

 

[main]
include=latency-performance

[bootloader]
cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4
 

Но hugepagesz не отрабатывает  видимо из за особенности CPU, поэтому создаю с помощью echo 2048 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

 

ОС Centos 7 

Linux localhost.localdomain 3.10.0-862.14.4.el7.x86_64 #1 SMP Wed Sep 26 15:12:11 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

 

Выключен SELINUX

 

Весь лог:

2018-10-12 09:49:58.486 [1642] Debug Application - DPDK command line: extFilter
2018-10-12 09:49:58.501 [1642] Debug Application - DPDK command line: -n
2018-10-12 09:49:58.501 [1642] Debug Application - DPDK command line: 2
2018-10-12 09:49:58.501 [1642] Debug Application - DPDK command line: -c
2018-10-12 09:49:58.501 [1642] Debug Application - DPDK command line: 0x07
2018-10-12 09:49:58.501 [1642] Debug Application - DPDK command line: --master-lcore
2018-10-12 09:49:58.501 [1642] Debug Application - DPDK command line: 0

 

Share this post


Link to post
Share on other sites

Надо понять на каком этапе падает процесс.

Попробуй добавить вот что.

в файле /src/main.cpp найди вот такой кусок 

int ret = rte_eal_init(initDpdkArgc, (char**)initDpdkArgv);
	if (ret < 0)
		throw Poco::Exception("Can't initialize EAL - invalid EAL arguments");

Замени его на 

int ret = rte_eal_init(initDpdkArgc, (char**)initDpdkArgv);
	if (ret < 0)
        {
        logger().fatal("Can't initialize EAL - invalid EAL arguments");
		throw Poco::Exception("Can't initialize EAL - invalid EAL arguments");
		}

Пересобери фильтр и скинь лог после его запуска

Share this post


Link to post
Share on other sites
4 часа назад, radiotech сказал:

Конфигурация:

Для начала уберите ; в конце параметров queues. 

Share this post


Link to post
Share on other sites
10 минут назад, epollia сказал:

Надо понять на каком этапе падает процесс.

Попробуй добавить вот что.

в файле /src/main.cpp найди вот такой кусок 


int ret = rte_eal_init(initDpdkArgc, (char**)initDpdkArgv);
	if (ret < 0)
		throw Poco::Exception("Can't initialize EAL - invalid EAL arguments");

Замени его на 


int ret = rte_eal_init(initDpdkArgc, (char**)initDpdkArgv);
	if (ret < 0)
        {
        logger().fatal("Can't initialize EAL - invalid EAL arguments");
		throw Poco::Exception("Can't initialize EAL - invalid EAL arguments");
		}

Пересобери фильтр и скинь лог после его запуска

Сделал make clean. Пересобрал)

 

В логах все тоже)))

2018-10-12 10:31:53.587 [2951] Debug Application - DPDK command line: extFilter
2018-10-12 10:31:53.587 [2951] Debug Application - DPDK command line: -n
2018-10-12 10:31:53.587 [2951] Debug Application - DPDK command line: 2
2018-10-12 10:31:53.587 [2951] Debug Application - DPDK command line: -c
2018-10-12 10:31:53.587 [2951] Debug Application - DPDK command line: 0x07
2018-10-12 10:31:53.587 [2951] Debug Application - DPDK command line: --master-lcore
2018-10-12 10:31:53.587 [2951] Debug Application - DPDK command line: 0
 

Share this post


Link to post
Share on other sites
8 минут назад, max1976 сказал:

Для начала уберите ; в конце параметров queues. 

Лишнюю итерацию при инициализации параметров с пустым элементом делает?

Share this post


Link to post
Share on other sites
3 минуты назад, max1976 сказал:

Для начала уберите ; в конце параметров queues. 

Большое спасибо))) запустилось буду проверять)

 

Вот как так с кавычками накосячил))

 

Странно только в дебаге почемуто пишет что все 4 ядра использует...

2018-10-12 10:38:57.489 [3120] Information Application - Port 0 creating queues: rx queue=1, tx queue=3
2018-10-12 10:38:57.489 [3120] Information Application - port=0 tx_queueid=0 nb_txd=512 core=0
2018-10-12 10:38:57.489 [3120] Information Application - port=0 rx_queueid=0 nb_rxd=256 core=1
2018-10-12 10:38:57.489 [3120] Information Application - port=0 tx_queueid=1 nb_txd=512 core=1
2018-10-12 10:38:57.489 [3120] Information Application - port=0 tx_queueid=2 nb_txd=512 core=2
2018-10-12 10:39:07.004 [3120] Warning Application - Link down on port 0
2018-10-12 10:39:07.004 [3120] Information Application - Port 0 MAC: 90:e2:ba:29:cb:26
2018-10-12 10:39:07.004 [3120] Information Application - Port 1 creating queues: rx queue=1, tx queue=3
2018-10-12 10:39:07.004 [3120] Information Application - port=1 tx_queueid=0 nb_txd=512 core=0
2018-10-12 10:39:07.004 [3120] Information Application - port=1 tx_queueid=1 nb_txd=512 core=1
2018-10-12 10:39:07.004 [3120] Information Application - port=1 rx_queueid=0 nb_rxd=256 core=2
2018-10-12 10:39:07.004 [3120] Information Application - port=1 tx_queueid=2 nb_txd=512 core=2

 

Хотя маска 7

 

 

И еще странная запись в логе:

2018-10-12 10:38:57.312 [3120] Information ACL - Preparing 104533 rules for IPv4 ACL
2018-10-12 10:38:57.315 [3120] Error ACL - Add rules failed
2018-10-12 10:38:57.316 [3120] Error ACL - Setup acl for ipv4 with socketid 0 failed, keeping previous rules for that socket
 

Share this post


Link to post
Share on other sites

хотя судя по htop используется как и положено 1 и 2 ядро

 

3 минуты назад, zhenya` сказал:

2 очереди на одном ядре.. про 3 ядро не слова..

 

да прошу прощения показалось, смотрю все ок.

 

Пытаюсь понять что хочет:

2018-10-12 10:38:57.312 [3120] Information ACL - Preparing 104533 rules for IPv4 ACL
2018-10-12 10:38:57.315 [3120] Error ACL - Add rules failed
2018-10-12 10:38:57.316 [3120] Error ACL - Setup acl for ipv4 with socketid 0 failed, keeping previous rules for that socket
 

Share this post


Link to post
Share on other sites

я так понял привязка только к rx очередям.

port=0 rx_queueid=0 nb_rxd=256 core=1

port=1 rx_queueid=0 nb_rxd=256 core=2

Edited by epollia

Share this post


Link to post
Share on other sites

блин поздно увидел сообщения , сразу  вкралось подозрение на ; .

кстати вопрос в догонку , можно ли запустить фильтр на сетёвке без очередей (e1000e) например .

а то похоже ругается , что мол нужно не менее 3х очередей что ли ...

Share this post


Link to post
Share on other sites
5 минут назад, dee сказал:

блин поздно увидел сообщения , сразу  вкралось подозрение на ; .

кстати вопрос в догонку , можно ли запустить фильтр на сетёвке без очередей (e1000e) например .

а то похоже ругается , что мол нужно не менее 3х очередей что ли ...

Не запустить. Нужно больше очередей

Share this post


Link to post
Share on other sites
7 часов назад, radiotech сказал:

хотя судя по htop используется как и положено 1 и 2 ядро

 

да прошу прощения показалось, смотрю все ок.

 

Пытаюсь понять что хочет:

2018-10-12 10:38:57.312 [3120] Information ACL - Preparing 104533 rules for IPv4 ACL
2018-10-12 10:38:57.315 [3120] Error ACL - Add rules failed
2018-10-12 10:38:57.316 [3120] Error ACL - Setup acl for ipv4 with socketid 0 failed, keeping previous rules for that socket
 

Видимо мало оперативной памяти. 

Share this post


Link to post
Share on other sites

удвоил память на ПК, но все равно с закоментированной опцией scale ругается на нехватку памяти.

при scale=5 выдал новую ошибку

2018-10-13 13:11:18.824 [1716] Fatal Application - Unable to init FlowStorageIPV4
2018-10-13 13:11:18.824 [1716] Error Application - Exception: Unable to init FlowStorageIPV4

 

при scale=4 запускается, но так же все в missed

 

еще смущает такое в логах:

Скрытый текст

Oct 13 13:10:07 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.0 domain=0x000d address=0x00000003fc107e80 flags=0x0000]
Oct 13 13:10:16 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc0aee00 flags=0x0000]
Oct 13 13:10:16 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc08c300 flags=0x0000]
Oct 13 13:10:16 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc069800 flags=0x0000]
Oct 13 13:11:05 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.0 domain=0x000d address=0x00000003fc107e80 flags=0x0000]
Oct 13 13:11:14 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc08c300 flags=0x0000]
Oct 13 13:11:14 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc0aee00 flags=0x0000]
Oct 13 13:11:14 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc069800 flags=0x0000]
Oct 13 13:12:17 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.0 domain=0x000d address=0x00000003fc107e80 flags=0x0000]
Oct 13 13:12:26 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc0aee00 flags=0x0000]
Oct 13 13:12:26 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc08c300 flags=0x0000]
Oct 13 13:12:26 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc069800 flags=0x0000]
Oct 13 13:15:34 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.0 domain=0x000d address=0x00000003fc107e80 flags=0x0000]
Oct 13 13:15:43 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc0aee00 flags=0x0000]
Oct 13 13:15:43 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc08c300 flags=0x0000]
Oct 13 13:15:43 filter kernel: AMD-Vi: Event logged [IO_PAGE_FAULT device=22:00.1 domain=0x000d address=0x00000003fc069800 flags=0x0000]

 

Share this post


Link to post
Share on other sites

Не поверите, но я решил свою проблему с missed

последняя ошибка подсказала, как оказалось, решение.

погуглив, нашел рекомендащию добавить в загрузку вот это

iommu=amd iommu=soft

и сейчас все вроде как норм:

Скрытый текст

2018-10-13 13:59:21.119 [1658] Information Application - Port 0 input packets 231, input errors: 0, mbuf errors: 0, missed packets: 0
2018-10-13 13:59:21.119 [1658] Information Application - Port 1 input packets 6590333, input errors: 0, mbuf errors: 0, missed packets: 0
2018-10-13 13:59:21.119 [1658] Information Application - Worker thread on core 1 statistics:
2018-10-13 13:59:21.119 [1658] Information Application - Thread seen packets: 1765267, IP packets: 1765026 (IPv4 packets: 1765026, IPv6 packets: 0), seen bytes: 212669183, Average packet size: 120 bytes, Traffic throughput: 9.86 K pps
2018-10-13 13:59:21.119 [1658] Information Application - Thread IPv4 fragments: 41092, IPv6 fragments: 0, IPv4 short packets: 0
2018-10-13 13:59:21.119 [1658] Information Application - Thread matched by ip/port: 0, ssl SNI: 0, ssl/ip: 0, http IPv4: 0, http IPv6: 0
2018-10-13 13:59:21.119 [1658] Information Application - Thread redirected blocked http IPv4: 0, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 0, rst sended IPv6: 0
2018-10-13 13:59:21.119 [1658] Information Application - Worker thread on core 2 statistics:
2018-10-13 13:59:21.119 [1658] Information Application - Thread seen packets: 2115254, IP packets: 2115254 (IPv4 packets: 2115254, IPv6 packets: 0), seen bytes: 577023295, Average packet size: 272 bytes, Traffic throughput: 12.33 K pps
2018-10-13 13:59:21.119 [1658] Information Application - Thread IPv4 fragments: 710, IPv6 fragments: 0, IPv4 short packets: 0
2018-10-13 13:59:21.120 [1658] Information Application - Thread matched by ip/port: 0, ssl SNI: 0, ssl/ip: 0, http IPv4: 0, http IPv6: 0
2018-10-13 13:59:21.120 [1658] Information Application - Thread redirected blocked http IPv4: 0, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 0, rst sended IPv6: 0
2018-10-13 13:59:21.120 [1658] Information Application - Worker thread on core 3 statistics:
2018-10-13 13:59:21.120 [1658] Information Application - Thread seen packets: 2709824, IP packets: 2709824 (IPv4 packets: 2709824, IPv6 packets: 0), seen bytes: 399598027, Average packet size: 147 bytes, Traffic throughput: 12.91 K pps
2018-10-13 13:59:21.120 [1658] Information Application - Thread IPv4 fragments: 45130, IPv6 fragments: 0, IPv4 short packets: 0
2018-10-13 13:59:21.120 [1658] Information Application - Thread matched by ip/port: 0, ssl SNI: 0, ssl/ip: 0, http IPv4: 0, http IPv6: 0
2018-10-13 13:59:21.120 [1658] Information Application - Thread redirected blocked http IPv4: 0, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 0, rst sended IPv6: 0
2018-10-13 13:59:21.120 [1658] Information Application - All worker threads seen packets: 6590345, IP packets: 6590104 (IPv4 packets: 6590104, IPv6 packets: 0), seen bytes: 1189290505, traffic throughtput: 35.10 K pps
2018-10-13 13:59:21.120 [1658] Information Application - All worker IPv4 fragments: 86932, IPv6 fragments: 0, IPv4 short packets: 0
2018-10-13 13:59:21.120 [1658] Information Application - All worker threads matched by ip/port: 0, matched by ssl SNI: 0, matched by ssl/ip: 0, matched by HTTP: 0
2018-10-13 13:59:21.120 [1658] Information Application - All worker threads redirected blocked http: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 0, rst sended IPv6: 0

 

 

и даже выбрасывает на мою страницу заглушки.

Share this post


Link to post
Share on other sites

1) Подскажите рабочие связки версии dpdk с фильтром. По инструкции DPDK = 17.05.01, но на сайте ближайшая DPDK 17.05.2

2) Кто-нить поднимал эту систему на debian 9 ? tuned-adm устанавливается только из нестабильного репозитория https://packages.debian.org/sid/admin/tuned Установил, но файл тюнинга он не видит "no such file or directory", хотя он там точно есть. Зато свои предустановленные из этой же папки видит.

3) сетевая карта с 1 очередью не подойдёт в любом случае ?

Спасибо!

Share this post


Link to post
Share on other sites

1. Смотрите в архиве, есть  17.05.1

2. Раз тюнед не але, в ручную пропишите в груб

3. Не пойдет

Share this post


Link to post
Share on other sites

1) На 17.05.2 Работает

2) Не подскажу, на Centos7 без проблем работает и собирается

3) Здесь тоже, уменя обе по 8 очередей :(

Share this post


Link to post
Share on other sites

Всем привет. Подскажите, хочу сделать через systemd запуск, но что то пишет

Oct 15 14:57:02 filter extFilter: /usr/local/bin/extFilter: error while loading shared libraries: libPocoNet.so.60: cannot open shared object file: No such file or directory

где он ее ищет и не находит?

 

]# ldd /usr/local/bin/extFilter
 

Скрытый текст

        linux-vdso.so.1 =>  (0x00007fff046c9000)
        libpcap.so.1 => /lib64/libpcap.so.1 (0x00007f9fefb6a000)
        librt.so.1 => /lib64/librt.so.1 (0x00007f9fef962000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007f9fef75e000)
        libPocoNet.so.60 => /usr/local/lib/libPocoNet.so.60 (0x00007f9fef427000)
        libPocoUtil.so.60 => /usr/local/lib/libPocoUtil.so.60 (0x00007f9fef1b0000)
        libPocoFoundation.so.60 => /usr/local/lib/libPocoFoundation.so.60 (0x00007f9feedba000)
        libstdc++.so.6 => /lib64/libstdc++.so.6 (0x00007f9feeab3000)
        libm.so.6 => /lib64/libm.so.6 (0x00007f9fee7b1000)
        libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f9fee59b000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f9fee37f000)
        libc.so.6 => /lib64/libc.so.6 (0x00007f9fedfb2000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f9fefdab000)
        libPocoXML.so.60 => /usr/local/lib/libPocoXML.so.60 (0x00007f9fedd10000)
        libPocoJSON.so.60 => /usr/local/lib/libPocoJSON.so.60 (0x00007f9fedabe000)

 

Проблему решил копированием библиотек POCO

из

/usr/local/lib/

в

/usr/lib/

Share this post


Link to post
Share on other sites
56 минут назад, Cramac сказал:

Всем привет. Подскажите, хочу сделать через systemd запуск, но что то пишет

Oct 15 14:57:02 filter extFilter: /usr/local/bin/extFilter: error while loading shared libraries: libPocoNet.so.60: cannot open shared object file: No such file or directory

где он ее ищет и не находит?

Надо в каталоге /etc/ld.so.conf.d создать local_lib.conf следующего содержания:

/usr/local/lib

После этого выполнить ldconfig.

Share this post


Link to post
Share on other sites
13 часов назад, epollia сказал:

уменя обе по 8 очередей :(

Всем привет. А не подскажите что за сетевые карты используете?

А как допустим такая сетевая карта - INTEL Ethernet Server Adapter I350-T2 (I350T2BLK) 2 x RJ45, подойдет или нет.

Или лучше взять помощнее с запасом, тогда какие варианты из не дорогих можно рассмотреть?

 

Edited by Rick

Share this post


Link to post
Share on other sites
1 час назад, Rick сказал:

Всем привет. А не подскажите что за сетевые карты используете?

А как допустим такая сетевая карта - INTEL Ethernet Server Adapter I350-T2 (I350T2BLK) 2 x RJ45, подойдет или нет.

Или лучше взять помощнее с запасом, тогда какие варианты из не дорогих можно рассмотреть?

 

 

Список поддерживаемых сетевых карт можно глянуть здесь

http://core.dpdk.org/supported/

 

Количество поддерживаемых очередей в спеках самой сетевой надо смотреть. Сколько надо очередей зависит от текущего количество траифка и CPU.

У меня стоят вот такие Intel Corporation 82599ES 10-Gigabit SFI/SFP+

Share this post


Link to post
Share on other sites

Здравствуйте,

 Процесс extFilter вылетает с ошибкой:

 

 

Скрытый текст


[root@extfilter etc]# service extfilter status

Redirecting to /bin/systemctl status extfilter.service

extfilter.service - extFilter is a daemon for filtering traffic using DPDK

   Loaded: loaded (/etc/systemd/system/extfilter.service; disabled; vendor preset: disabled)

   Active: failed (Result: core-dump) since Вт 2018-10-16 21:05:35 MSK; 15s ago

  Process: 2107 ExecStart=/usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /usr/local/etc/extfilter.ini (code=exited, status=0/SUCCESS)

 Main PID: 2108 (code=dumped, signal=ABRT)

 

окт 16 21:05:35 extfilter.localdomain extFilter[2108]: 7: [/lib64/libc.so.6(__libc_start_main+0xf5) [0x7ff4842be445]]

окт 16 21:05:35 extfilter.localdomain extFilter[2108]: 6: [/usr/local/bin/extFilter() [0x4119c0]]

окт 16 21:05:35 extfilter.localdomain extFilter[2108]: 5: [/usr/local/lib/libPocoUtil.so.49(_ZN4Poco4Util11Application3runEv+0x1f) [0x7ff4854cb85f]]

окт 16 21:05:35 extfilter.localdomain extFilter[2108]: 4: [/usr/local/bin/extFilter() [0x4123db]]

окт 16 21:05:35 extfilter.localdomain extFilter[2108]: 3: [/usr/local/bin/extFilter() [0x53769e]]

окт 16 21:05:35 extfilter.localdomain extFilter[2108]: 2: [/usr/local/bin/extFilter() [0x40fd66]]

окт 16 21:05:35 extfilter.localdomain extFilter[2108]: 1: [/usr/local/bin/extFilter() [0x53bfea]]

окт 16 21:05:35 extfilter.localdomain systemd[1]: extfilter.service: main process exited, code=dumped, status=6/ABRT

окт 16 21:05:35 extfilter.localdomain systemd[1]: Unit extfilter.service entered failed state.

окт 16 21:05:35 extfilter.localdomain systemd[1]: extfilter.service failed.


 

 

В логах, при включенном дебаге, запуск процесса заканчивается "Debug Application - Preparing thread 'WorkerThrd_0'"

 

Скрытый текст

2018-10-16 21:05:31.293 [2108] Debug Application - DPDK command line: extFilter

2018-10-16 21:05:31.293 [2108] Debug Application - DPDK command line: -n

2018-10-16 21:05:31.293 [2108] Debug Application - DPDK command line: 2

2018-10-16 21:05:31.294 [2108] Debug Application - DPDK command line: -c

2018-10-16 21:05:31.294 [2108] Debug Application - DPDK command line: 0x0f

2018-10-16 21:05:31.294 [2108] Debug Application - DPDK command line: --master-lcore

2018-10-16 21:05:31.294 [2108] Debug Application - DPDK command line: 0

2018-10-16 21:05:33.590 [2108] Debug ACL - Building ACL from file /usr/local/etc/extfilter/hosts

2018-10-16 21:05:33.590 [2108] Debug ACL - IP is 186.2.162.77 port 3001

2018-10-16 21:05:33.591 [2108] Debug ACL - IP is 186.2.162.63 port 3001

2018-10-16 21:05:33.591 [2108] Debug ACL - IP is 186.2.162.77 port 4004

2018-10-16 21:05:33.591 [2108] Debug ACL - IP is 186.2.162.63 port 4004

2018-10-16 21:05:33.591 [2108] Information ACL - Preparing 4 rules for IPv4 ACL

2018-10-16 21:05:33.592 [2108] Information TriesControl - Loaded 1 lines from the domains file '/usr/local/etc/extfilter/domains'

2018-10-16 21:05:33.592 [2108] Information TriesControl - Loaded 7 lines from the urls file '/usr/local/etc/extfilter/urls'

2018-10-16 21:05:33.593 [2108] Information TriesControl - URLS: #keys 8, #nodes 9

2018-10-16 21:05:33.593 [2108] Information TriesControl - Set active trie in the slot 0

2018-10-16 21:05:33.593 [2108] Information TriesControl - Loaded 1 lines from the domains file '/usr/local/etc/extfilter/ssl_host'

2018-10-16 21:05:33.593 [2108] Information TriesControl - URLS: #keys 1, #nodes 2

2018-10-16 21:05:33.594 [2108] Information TriesControl - Set active trie in the slot 0

2018-10-16 21:05:33.594 [2108] Information Application - Setting mbuf size to 16384

2018-10-16 21:05:33.607 [2108] Information Application - Allocated mbuf pool (16384 entries) on socket 0

2018-10-16 21:05:33.608 [2108] Information Application - Set number of entries of the sender buffer to 8192

2018-10-16 21:05:33.615 [2108] Information Application - Port 0 creating queues: rx queue=1, tx queue=4

2018-10-16 21:05:33.615 [2108] Information Application - port=0 rx_queueid=0 nb_rxd=256 core=0

2018-10-16 21:05:33.615 [2108] Information Application - port=0 tx_queueid=0 nb_txd=512 core=0

2018-10-16 21:05:33.616 [2108] Information Application - port=0 tx_queueid=1 nb_txd=512 core=1

2018-10-16 21:05:33.616 [2108] Information Application - port=0 tx_queueid=2 nb_txd=512 core=2

2018-10-16 21:05:33.616 [2108] Information Application - port=0 tx_queueid=3 nb_txd=512 core=3

2018-10-16 21:05:33.618 [2108] Information Application - Port 0 MAC: 00:50:56:91:df:b3

2018-10-16 21:05:33.619 [2108] Information Application - Port 1 creating queues: rx queue=1, tx queue=4

2018-10-16 21:05:33.619 [2108] Information Application - port=1 rx_queueid=0 nb_rxd=256 core=0

2018-10-16 21:05:33.619 [2108] Information Application - port=1 tx_queueid=0 nb_txd=512 core=0

2018-10-16 21:05:33.620 [2108] Information Application - port=1 tx_queueid=1 nb_txd=512 core=1

2018-10-16 21:05:33.620 [2108] Information Application - port=1 tx_queueid=2 nb_txd=512 core=2

2018-10-16 21:05:33.620 [2108] Information Application - port=1 tx_queueid=3 nb_txd=512 core=3

2018-10-16 21:05:33.622 [2108] Information Application - Port 1 MAC: 00:50:56:91:8d:bf

2018-10-16 21:05:33.623 [2108] Information Application - Create pool 'DPIHTTPPool' for the http dissector with number of entries: 70000, element size 960 size: 67200000 bytes

2018-10-16 21:05:33.633 [2108] Information Application - Create pool 'DPISSLPool' for the ssl dissector with number of entries: 150000, element size 320 size: 48000000 bytes

2018-10-16 21:05:33.655 [2108] Information Application - Allocating 4032000000 bytes (9000000 entries) for ipv4 flow pool

2018-10-16 21:05:34.780 [2108] Information Application - Allocating 44800000 bytes (100000 entries) for ipv6 flow pool

2018-10-16 21:05:34.792 [2108] Information FlowStorageIPV4 - Allocate 27000000 bytes (1687500 entries, element size 16) for flow hash ipv4

2018-10-16 21:05:34.799 [2108] Information FlowStorageIPV4 - Allocating 13500000 bytes (1687500 entries) for ipv4_flows

2018-10-16 21:05:34.840 [2108] Information FlowStorageIPV4 - Allocate 27000000 bytes (1687500 entries, element size 16) for flow hash ipv4

2018-10-16 21:05:34.846 [2108] Information FlowStorageIPV4 - Allocating 13500000 bytes (1687500 entries) for ipv4_flows

2018-10-16 21:05:34.889 [2108] Information FlowStorageIPV4 - Allocate 27000000 bytes (1687500 entries, element size 16) for flow hash ipv4

2018-10-16 21:05:34.895 [2108] Information FlowStorageIPV4 - Allocating 13500000 bytes (1687500 entries) for ipv4_flows

2018-10-16 21:05:34.936 [2108] Information FlowStorageIPV4 - Allocate 27000000 bytes (1687500 entries, element size 16) for flow hash ipv4

2018-10-16 21:05:34.942 [2108] Information FlowStorageIPV4 - Allocating 13500000 bytes (1687500 entries) for ipv4_flows

2018-10-16 21:05:34.985 [2108] Information FlowStorageIPV6 - Allocate 1800000 bytes (37500 entries, element size 48) for flow hash ipv6

2018-10-16 21:05:34.985 [2108] Information FlowStorageIPV6 - Allocating 300000 bytes (37500 entries) for ipv6_flows

2018-10-16 21:05:34.986 [2108] Information FlowStorageIPV6 - Allocate 1800000 bytes (37500 entries, element size 48) for flow hash ipv6

2018-10-16 21:05:34.987 [2108] Information FlowStorageIPV6 - Allocating 300000 bytes (37500 entries) for ipv6_flows

2018-10-16 21:05:34.988 [2108] Information FlowStorageIPV4 - Allocate 27000000 bytes (1687500 entries, element size 16) for flow hash ipv4

2018-10-16 21:05:34.994 [2108] Information FlowStorageIPV4 - Allocating 13500000 bytes (1687500 entries) for ipv4_flows

2018-10-16 21:05:35.036 [2108] Information FlowStorageIPV4 - Allocate 27000000 bytes (1687500 entries, element size 16) for flow hash ipv4

2018-10-16 21:05:35.042 [2108] Information FlowStorageIPV4 - Allocating 13500000 bytes (1687500 entries) for ipv4_flows

2018-10-16 21:05:35.082 [2108] Information FlowStorageIPV4 - Allocate 27000000 bytes (1687500 entries, element size 16) for flow hash ipv4

2018-10-16 21:05:35.088 [2108] Information FlowStorageIPV4 - Allocating 13500000 bytes (1687500 entries) for ipv4_flows

2018-10-16 21:05:35.131 [2108] Information FlowStorageIPV4 - Allocate 27000000 bytes (1687500 entries, element size 16) for flow hash ipv4

2018-10-16 21:05:35.138 [2108] Information FlowStorageIPV4 - Allocating 13500000 bytes (1687500 entries) for ipv4_flows

2018-10-16 21:05:35.181 [2108] Information FlowStorageIPV6 - Allocate 1800000 bytes (37500 entries, element size 48) for flow hash ipv6

2018-10-16 21:05:35.182 [2108] Information FlowStorageIPV6 - Allocating 300000 bytes (37500 entries) for ipv6_flows

2018-10-16 21:05:35.183 [2108] Information FlowStorageIPV6 - Allocate 1800000 bytes (37500 entries, element size 48) for flow hash ipv6

2018-10-16 21:05:35.183 [2108] Information FlowStorageIPV6 - Allocating 300000 bytes (37500 entries) for ipv6_flows

2018-10-16 21:05:35.184 [2108] Debug Application - Preparing thread 'WorkerThrd_0'

 

Подскажите пожалуйста, в чем может быть дело?

Share this post


Link to post
Share on other sites
3 часа назад, vrf_red сказал:

Подскажите пожалуйста, в чем может быть дело?

По представленным логам понять невозможно. Возможно что-то некорректно указано в конфиге.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now