1. Для блокировка используем

[Cramac]

Всем привет. Работает фильтр, вроде все норм. Но пропуски есть, в среднем до 10 за день.

[toropyga]

Добрый день! Есть отлаженный скрипт, который скачивает и разархивирует дамп реестра и все это крутится на фряхе. Подскажите как из полученного дампа приготовить конфигурационные файлы для extfilter, может есть готовое решение?

[Cramac]

@toropyga есть готовый в исходниках фильтра, посмотрите, подгоните под свою базу

[toropyga]

У меня нет базы, есть dump.xml и задача приготовить из него конфигурационные файлы для extfilter. Пробовал через zapret.pl сделать, выдает: 140059611510592:error:02001002:system library:fopen:No such file or directory:crypto/bio/bss_file.c:69:fopen('./cert.pem','r')
140059611510592:error:2006D080:BIO routines:BIO_new_file:no such file:crypto/bio/bss_file.c:76:
unable to load certificate

Изменено 15 февраля, 2021 пользователем toropyga

[Cramac]

@toropyga запрет сам за дампом лезет и грузит в базу. А найти не может вашу подпись 

[toropyga]

т.е. если я правильно понял reg_template.xml это обычный файл запроса, а сертификат нужно сконвертировать с помощью P12FromGostSCP и куда то положить, тогда  вопрос куда положить и нужно ли подписывать файл запроса?

[Cramac]

@toropyga да, только еще обработать опенссл с поддержкой госта

[toropyga]

@Cramac Разобрался, спасибо!

Изменено 15 февраля, 2021 пользователем toropyga

[toropyga]

При запуске extfilter получаю: 

EAL: Detected 4 lcore(s)
EAL: Probing VFIO support...
EAL: WARNING: cpu flags constant_tsc=yes nonstop_tsc=no -> using unreliable clock cycles !
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:01:00.1 on NUMA socket -1
EAL:   probe driver: 8086:10c9 net_e1000_igb
Out of range

 

В логах: 

2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: extFilter
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: -n
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: 2
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: -c
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: 0x07
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: --master-lcore
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: 0
Подскажите в чем может быть дело?

Изменено 15 февраля, 2021 пользователем toropyga

[toropyga]

dpdk status 

Скрытый текст

Network devices using DPDK-compatible driver
============================================
0000:01:00.0 '82576 Gigabit Network Connection 10c9' drv=igb_uio unused=
0000:01:00.1 '82576 Gigabit Network Connection 10c9' drv=igb_uio unused=

Network devices using kernel driver
===================================
0000:03:00.0 'RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller 8168' if=ens33 drv=r8169 unused=igb_uio *Active*

 

tuned.conf

Скрытый текст

[main]
include=latency-performance

[bootloader]
cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4

 

 

[Morphus]

10 часов назад, toropyga сказал:

При запуске extfilter получаю: 

EAL: Detected 4 lcore(s)
EAL: Probing VFIO support...
EAL: WARNING: cpu flags constant_tsc=yes nonstop_tsc=no -> using unreliable clock cycles !
EAL: PCI device 0000:01:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:01:00.1 on NUMA socket -1
EAL:   probe driver: 8086:10c9 net_e1000_igb
Out of range

 

В логах: 

2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: extFilter
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: -n
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: 2
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: -c
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: 0x07
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: --master-lcore
2021-02-15 17:43:02.291 [1779] Debug Application - DPDK command line: 0
Подскажите в чем может быть дело?

 

конфиг полностью покажите

[toropyga]

Пошарив в ветке нашел проблему, стояли ';' после queues. Теперь фильтр запускается, но через несколько секунд падает с ошибкой: 

Fatal Application - Cannot init mbuf pool on socket 0

 

Изменено 16 февраля, 2021 пользователем toropyga

[admf]

В 15.02.2021 в 05:11, Morphus сказал:

Подскажите mac адрес чего вы указывали для отправки ответов ?

 

у меня на витруалке в режиме моста, там не надо адрес указывать

 

5 часов назад, toropyga сказал:

Fatal Application - Cannot init mbuf pool on socket 0

 

А Вы когда dpdk собирали, прибили сетевые карты к нему? 

http://doc.dpdk.org/guides-17.05/linux_gsg/build_dpdk.html

Изменено 16 февраля, 2021 пользователем admf
link install dpdk 17.05

[toropyga]

1 час назад, admf сказал:

А Вы когда dpdk собирали, прибили сетевые карты к нему? 

http://doc.dpdk.org/guides-17.05/linux_gsg/build_dpdk.html

 

ну как бы вот:

[localhost]# ./dpdk-devbind.py --status

Network devices using DPDK-compatible driver
============================================
0000:01:00.0 '82576 Gigabit Network Connection 10c9' drv=igb_uio unused=
0000:01:00.1 '82576 Gigabit Network Connection 10c9' drv=igb_uio unused=

[admf]

Попробуйте запустить еще  testpmd в dpdk-setup.sh  - он более подробно пишет про ошибки. Как мне кажется это в сторону dpdk надо покапать.

[toropyga]

Развернул все на другом железе (DL360G6 32G оперативы, 2xE5540, Centos7), стартует и почти сразу падает

extFilter.log

Скрытый текст

2021-02-18 13:40:27.741 [1818] Debug Application - Uninitializing subsystem: Logging Subsystem
2021-02-18 15:21:25.603 [1810] Debug Application - DPDK command line: extFilter
2021-02-18 15:21:25.609 [1810] Debug Application - DPDK command line: -n
2021-02-18 15:21:25.609 [1810] Debug Application - DPDK command line: 2
2021-02-18 15:21:25.609 [1810] Debug Application - DPDK command line: -c
2021-02-18 15:21:25.609 [1810] Debug Application - DPDK command line: 0x07
2021-02-18 15:21:25.609 [1810] Debug Application - DPDK command line: --master-lcore
2021-02-18 15:21:25.609 [1810] Debug Application - DPDK command line: 0
2021-02-18 15:21:25.848 [1810] Information ACL - Memory usage before acl read: realmem 8284 peakrealmem: 8284 curVirtMem: 78224 peakVirtMem: 78224
2021-02-18 15:21:25.848 [1810] Information ACL - Building ACL from file /usr/local/etc/extfilter/config/hosts
2021-02-18 15:21:25.856 [1810] Information ACL - Used 32768 bytes of memory for acl4 rules (334 entries)
2021-02-18 15:21:25.856 [1810] Information ACL - Used 0 bytes of memory for acl6 rules (0 entries)
2021-02-18 15:21:25.856 [1810] Information ACL - Memory usage after acl read: realmem 8388 peakrealmem: 8388 curVirtMem: 78224 peakVirtMem: 78224
2021-02-18 15:21:25.856 [1810] Information ACL - Memory usage bedore acl setup: realmem 8464 peakrealmem: 8464 curVirtMem: 78224 peakVirtMem: 78224
2021-02-18 15:21:25.859 [1810] Information ACL - Memory usage after acl setup: realmem 8500 peakrealmem: 10512 curVirtMem: 78224 peakVirtMem: 86416
2021-02-18 15:21:25.982 [1810] Information TriesControl - Loaded 222871 lines from the domains file '/usr/local/etc/extfilter/config/domains'
2021-02-18 15:21:26.086 [1810] Information TriesControl - Loaded 115218 lines from the urls file '/usr/local/etc/extfilter/config/urls'
2021-02-18 15:21:26.162 [1810] Information TriesControl - Masked domains: #keys 79071, #nodes 111992
2021-02-18 15:21:26.645 [1810] Information TriesControl - URLS: #keys 337657, #nodes 485524
2021-02-18 15:21:26.645 [1810] Information TriesControl - Set active trie in the slot 0
2021-02-18 15:21:26.750 [1810] Information TriesControl - Loaded 244138 lines from the domains file '/usr/local/etc/extfilter/config/ssl_host'
2021-02-18 15:21:26.822 [1810] Information TriesControl - Masked domains: #keys 79071, #nodes 111992
2021-02-18 15:21:27.083 [1810] Information TriesControl - URLS: #keys 238766, #nodes 336550
2021-02-18 15:21:27.083 [1810] Information TriesControl - Set active trie in the slot 0
2021-02-18 15:21:27.083 [1810] Information Application - Setting mbuf size to 16384
2021-02-18 15:21:27.085 [1810] Fatal Application - Cannot init mbuf pool on socket 0
2021-02-18 15:21:27.085 [1810] Fatal Application - Memory initialization error
2021-02-18 15:21:27.085 [1810] Debug Application - Shutting down
2021-02-18 15:21:27.085 [1810] Debug Application - Uninitializing subsystem: Logging Subsystem
 

Цитата

Попробуйте запустить еще  testpmd в dpdk-setup.sh  - он более подробно пишет про ошибки. Как мне кажется это в сторону dpdk надо покапать.

testpmd выдает: 

Launching app
sudo: /app/testpmd: command not found

 

extfiltr.ini

Скрытый текст

; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
;lower_host = false

domainlist = /usr/src/extfilter/cfg_files/domains
urllist = /usr/src/extfilter/cfg_files/urls
ssllist = /usr/src/extfilter/cfg_files/ssl_host

; файл с ip:port для блокировки
hostlist = /usr/src/extfilter/cfg_files/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /usr/src/extfilter/cfg_files/ssl_ips

; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false
http_redirect = true

# если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://...
redirect_url = http://exemple.com

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = false

; Default: 0 - disable
statistic_interval = 300

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = false

; Какие ядра использовать. Default: все ядра, кроме management.
core_mask = 7

; файл статистики (для extfilter-cacti)
;statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
; out_mtu = 1500

; CLI для управления или сбора статистики extfilter
; cli_port = 9999
; cli_address = 127.0.0.1

; Количество каналов памяти (для DPDK)
; memory_channels = 2

; Количество повторных пакетов в сторону клиента (от 1 до 3)
; answer_duplication = 1

; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline)
 operation_mode = inline

; Использовать jumbo frames
; jumbo_frames = false

; Максимальная длина ethernet фрейма при включенном jumbo_frames
; max_pkt_len = 9600

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a
; Пример:
[port 0]
queues = 0,1
type = subscriber
mapto = 1

; Порт для отправки уведомлений через dpdk
[port 1]
queues = 0,2
type = network
mapto = 0

; На какой mac адрес отправлять пакеты
;mac = 00:01:02:03:04:05

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
; scale = 2

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
; fragmentation_ipv4_state = true
; fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
; tcp_reordering = true

[logging]
loggers.root.level = information
loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local
 

 

Понимаю что отрубается из-за нехватки памяти, но где не пойму.Я думаю это связано с настройкой hugepages.

До запуска фильтра:

grep Huge /proc/meminfo:

AnonHugePages:     71680 kB
HugePages_Total:       4
HugePages_Free:        4
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

 

После:

AnonHugePages:     71680 kB
HugePages_Total:       4
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
Помогите разобраться в чем дело.

Изменено 18 февраля, 2021 пользователем toropyga

[Cramac]

Памяти мало?!

[toropyga]

5 минут назад, Cramac сказал:

Памяти мало?!

32Гб мало? Сейчас сделал:  echo 2048 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages. Фильтр запустился, но хотелось бы разобраться. 

[arhead]

2 минуты назад, toropyga сказал:

32Гб мало? Сейчас сделал:  echo 2048 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages. Фильтр запустился, но хотелось бы разобраться. 

Там для загрузки блок листов много нужно. Потом кушать мало начинает.

Изменено 18 февраля, 2021 пользователем arhead

[toropyga]

Хорошо, тогда подскажите сколько нужно и какие параметры указать в tuned.conf 

[arhead]

1 минуту назад, toropyga сказал:

Хорошо, тогда подскажите сколько нужно и какие параметры указать в tuned.conf 

Тут зависит сколько будет заблокировано. Поставьте 2048 понаблюдайте будет ли вылетать фильтр при HUP. Если будет вылетать,то увеличить. Если не ошибаюсь то echo 2048 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages это получается вы отдаете не все 32 гб, а только часть под hugepages.

cat /proc/meminfo | grep Huge там видно будет сколько вы выделили.

[ИгорьАА]

у меня тюнед не заработал, я в груб прописал в загрузку

 

isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=16

[Cramac]

Всем привет. Подскажите, все равно остаются пропуски.

Сейчас вот проверил, в отчете есть ссылки

 

Скрытый текст

 

280276  http://www.28365365.tw/ ФНС

463678 http://crc07.com ФНС
 

и еще несколько адресов.

В таблице доменов или урлов записей с таким ИД нет. Где их искать?

 

или вот такой есть, в доменах, но не хочет блочится

Скрытый текст

yh3313.com

 

[arhead]

36 минут назад, Cramac сказал:

Всем привет. Подскажите, все равно остаются пропуски.

 Сейчас вот проверил, в отчете есть ссылки

 

  Скрыть содержимое

 

280276  http://www.28365365.tw/ ФНС

463678 http://crc07.com ФНС
 

и еще несколько адресов.

В таблице доменов или урлов записей с таким ИД нет. Где их искать?

 

или вот такой есть, в доменах, но не хочет блочится

  Скрыть содержимое

yh3313.com

 

Эти блокировать только по IP. Они переадресованы с других блоченых которые есть в списках. И их увы DPI не блокирует.

[admf]

8 минут назад, arhead сказал:

Эти блокировать только по IP. Они переадресованы с других блоченых которые есть в списках. И их увы DPI не блокирует.

У некоторых из них довольно часто меняются ip адреса, как выход можно блочить при помощи днс, если у вас например unbound то таким скриптом:

https://github.com/myth11/unbound_rkn  

Либо прописать статикой эти узлы с ответом ip страницы с блокировкой.

 

на порту к ревизору зарезать возможность обращения к другим днс, кроме вашего. Хотя они должны использовать только те днс, что получили по dhcp