1. Для блокировка используем

[Nickollla]

12 минут назад, epollia сказал:

Но одно ядро в изоляции Вам бы помогло)

Изоляция 1 ядра ничего не изменило

[Piyoz]

3 часа назад, Morphus сказал:

Подскажите по zapret.pl  Провожу эксперименты. При запуске стопорится тут:

flock() on unopened filehandle DATA at /opt/app-root/src/script/zapret.pl line 218

Что соответствует строке в zapret.pl

flock(DATA,LOCK_EX|LOCK_NB) or die "This script ($0) is already running!";

Но никак не могу найти где этот дискриптор файла DATA определяется. Где этот файл и по какому пути находится ?

Столкнулся с таким, когда скопировал zapret.pl методом copy/paste. Скачал версию raw ( https://github.com/max197616/zapret/raw/master/zapret.pl ) - скрипт заработал.

[epollia]

56 минут назад, Nickollla сказал:

Изоляция 1 ядра ничего не изменило

а маску тоже для 1 ядра оставлял? Попробуй coremask = 2

[Nickollla]

3 минуты назад, epollia сказал:

а маску тоже для 1 ядра оставлял? Попробуй coremask = 2

Я ранее писал с четными масками dpdk не запускается и меньше 3 не указать

[epollia]

по докам dpdk функция rte_lcore_count Return the number of execution units (lcores) on the system.

 

В вашем случае всегда 1 очередь, а функция видимо возвращает значение больше 1.

попробуйте вернуть 

nb_tx_queue = nb_rx_queue; 

и пересобрать)

[aalexanderr]

Подскажите в какую сторону копать. Пытаюсь стартануть extfilter

В наличии 

2 сокета, 6 ядер на каждом проце, ht выключен.

lscpu:

Скрытый текст

Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                12
On-line CPU(s) list:   0-11
Thread(s) per core:    1
Core(s) per socket:    6
Socket(s):             2
NUMA node(s):          2
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 44
Model name:            Intel(R) Xeon(R) CPU           X5650  @ 2.67GHz
Stepping:              2
CPU MHz:               2666.000
CPU max MHz:           2666.0000
CPU min MHz:           1600.0000
BogoMIPS:              5333.42
Virtualization:        VT-x
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              12288K
NUMA node0 CPU(s):     0,2,4,6,8,10
NUMA node1 CPU(s):     1,3,5,7,9,11
Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt aes lahf_lm epb ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid dtherm ida arat spec_ctrl intel_stibp flush_l1d
 

 

./cpu_layout.py

Скрытый текст

======================================================================
Core and Socket Information (as reported by '/sys/devices/system/cpu')
======================================================================

cores =  [0, 8, 2, 10, 1, 9]
sockets =  [0, 1]

        Socket 0    Socket 1
        --------    --------
Core 0  [0]         [1]
Core 8  [2]         [3]
Core 2  [4]         [5]
Core 10 [6]         [7]
Core 1  [8]         [9]
Core 9  [10]        [11]

 

dpdk-devbind --status

Скрытый текст

0000:04:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' if=ens1f0 drv=igb_uio
0000:04:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' if=ens1f1 drv=igb_uio

 

numa_node

Скрытый текст

 

cat /sys/class/net/ens1f0/device/numa_node

-1

cat /sys/class/net/ens1f1/device/numa_node

-1

numactl --show
policy: default
preferred node: current
physcpubind: 0 1 2 3
cpubind: 0 1
nodebind: 0 1
membind: 0 1
 numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 2 4 6 8 10
node 0 size: 16373 MB
node 0 free: 6118 MB
node 1 cpus: 1 3 5 7 9 11
node 1 size: 16383 MB
node 1 free: 9691 MB
node distances:
node   0   1
  0:  10  20
  1:  20  10

 

 

boot:

Скрытый текст

BOOT_IMAGE=/vmlinuz-3.10.0-862.14.4.el7.x86_64 root=/dev/mapper/centos-root ro crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb intremap=off ipv6.disable=1 selinux=0 quiet bnx2.disable_msi=1 LANG=en_US.UTF-8 isolcpus=???? default_hugepagesz=1G hugepagesz=1G hugepages=8

 

extfiter с гита.

На сетевой карте сделал 6 MQ очередей. Хотелось бы изолировать 6 ядер привязать их к 6 очередям.

Не могу понять по какой причине отображаются не все ядра в cpu_layout.py с каким-то странным порядком.

 

При попытке запуска extFilter:

Скрытый текст

EAL: Detected 12 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:04:00.0 on NUMA socket -1
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:04:00.1 on NUMA socket -1
EAL:   probe driver: 8086:10fb net_ixgbe
acl context <extFilter-ipv4-acl0-0>@0x7f0d3f010380
  socket_id=0
  alg=2
  max_rules=100000
  rule_size=96
  num_rules=12
  num_categories=1
  num_tries=1
acl context <extFilter-ipv4-acl1-0>@0x7f0bff6d8000
  socket_id=1
  alg=2
  max_rules=100000
  rule_size=96
  num_rules=12
  num_categories=1
  num_tries=1
PMD: ixgbe_dev_link_status_print():  Port 0: Link Down
PMD: ixgbe_dev_link_status_print(): Port 1: Link Up - speed 0 Mbps - half-duplex
RING: Cannot reserve memory

 

куда копать не пойму.

Изменено 9 ноября, 2018 пользователем aalexanderr

[Nickollla]

44 минуты назад, aalexanderr сказал:

куда копать не пойму.

Я конечно дилетант, но extfilter вроде жалуется на память.

А выделилась ли она при загрузки?

cat /proc/meminfo | grep Huge

И второй момент может её просто не хватает ? попробуйте выставить для теста scale 1

 

Так же хотел бы спросить у общественности. По прежнему актуально правило extfilter dpdk = 17.05.01  или уже работает на 18 версии?

Изменено 9 ноября, 2018 пользователем Nickollla

[max1976]

2 часа назад, Nickollla сказал:

По прежнему актуально правило extfilter dpdk = 17.05.01  или уже работает на 18 версии?

Можно собрать на 18.05, поправив makefile.am. 18.08 не поддерживается, т. к. там изменён api. 

[aalexanderr]

5 часов назад, Nickollla сказал:

Я конечно дилетант, но extfilter вроде жалуется на память.

А выделилась ли она при загрузки?

cat /proc/meminfo | grep Huge

И второй момент может её просто не хватает ? попробуйте выставить для теста scale 1

 

Так же хотел бы спросить у общественности. По прежнему актуально правило extfilter dpdk = 17.05.01  или уже работает на 18 версии?

 

cat /proc/meminfo | grep Huge
AnonHugePages:   3422208 kB
HugePages_Total:       8
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:    1048576 kB
 

При scale = 1 всё нормально стартует.

 

Выбрал ядра 6,7,8,9,10,11.

Они живут на разных сокетах:

socket:  0   1

     cpu:  6   7

     cpu:  8   9

     cpu: 10 11

 

Считаем маску

11 10 9 8 7 6 5 4 3 2 1 0

  1   1 1 1 1 1 0 0 0 0 0 0

получается 4032, но с 4032 не стартует, почему-то обязательно надо добавлять 0  процессор, т.е. в таком виде:

11 10 9 8 7 6 5 4 3 2 1 0

  1   1 1 1 1 1 0 0 0 0 0 1

получается 4033 - так стартует.

cpumask=4033

[port 0]
queues = 0,6; 1,7; 2,8; 3,9; 4,10; 5,11
 

Очереди на данном порту это очереди сетевой карты ? аналогично MQ tr/rx очереди для драйвера ixgbe ? задавая тут 6 очередей мы задаём передачу трафика по 6  очередям - каждая очередь своему процессору ?

 

Что тогда такое scale ?

Изменено 9 ноября, 2018 пользователем aalexanderr

[Nickollla]

11 часов назад, aalexanderr сказал:

Что тогда такое scale ?

Сам не знаю, что такое scale. Из сообщений в этой теме стало ясно, что scale выставляют в зависимости от нагрузки(объема трафика,pps. Который нужно обработать.). Это влияет на память, которую extfilter берет. В теме писалось, что значение scale = 1 равно 1 Гбиту(грубо). Значение это выставляют те кто упирается в ошибки с памятью. Тут или scale понижать или hugapage увеличивать. Это лишь сугубо мое наблюдение

 

11 часов назад, aalexanderr сказал:

Очереди на данном порту это очереди сетевой карты ? аналогично MQ tr/rx очереди для драйвера ixgbe ? задавая тут 6 очередей мы задаём передачу трафика по 6  очередям - каждая очередь своему процессору ?

Да. Только очереди rx. Как я понимаю очереди tx не используются. По крайней мере для порта с зеркалом. Что касается порта с ответами то не знаю на каком ядре оно висит. В конфиге это не задается(вариант с зеркалом). Да и вообще я использую extfilter с зеркалом. Что там с вариантом как мост я не знаю

 

11 часов назад, aalexanderr сказал:

почему-то обязательно надо добавлять 0  процессор, т.е. в таком виде

У меня та же проблема. Работает нормально.

[Morphus]

Кто ключ/сертификат доставал для подписания запроса ?

Дочитал что из крипто-про можно экспортировать в понятный для openssl pfm формат через утилиты p12fromGostSCP

Сделал, получил pfm файл. Пытаюсь превратить его в pem:

[root@fd78fa30cc74 app]# openssl pkcs12 -in p12_ITK.pfx -out cert.pem -password pass:123
Mac verify error: invalid password?

Пароль точно этот.

Через стандартный диалог экспорта получал ошибку алгоритма, что в данном случае норма. Но утилита должна экспортировать как надо.

Кто как делал ?

Ключь и сертификат в отдельных файлах или в один 

Изменено 12 ноября, 2018 пользователем Morphus

[admf]

 

48 минут назад, Morphus сказал:

Кто ключ/сертификат доставал для подписания запроса ?

Дочитал что из крипто-про можно экспортировать в понятный для openssl pfm формат через утилиты p12fromGostSCP

Сделал, получил pfm файл. Пытаюсь превратить его в pem:

[root@fd78fa30cc74 app]# openssl pkcs12 -in p12_ITK.pfx -out cert.pem -password pass:123
Mac verify error: invalid password?

Пароль точно этот.

Через стандартный диалог экспорта получал ошибку алгоритма, что в данном случае норма. Но утилита должна экспортировать как надо.

Кто как делал ?

 

все тоже самое делаю, только ключ перегоняю по другому,  без кодировки и пароль задаю не явно ключом, а он его спрашивает в ходе диалога

 

openssl pkcs12 -in in.pfx -out cert.pem -nodes

[Morphus]

Такая же ошибка, как пароль не задавай. Ключ -nodes не решает проблемы.

Изменено 12 ноября, 2018 пользователем Morphus

[alibek]

Я использую такую строку:

openssl pkcs12 -in p12.pfx -out key.pem -nodes -clcerts

Пароль ввожу интерактивно.

 

[Morphus]

4 минуты назад, alibek сказал:

Я использую такую строку:

Такую я тоже пробовал.

Скорее всего дело в pfx. Получаете его через p12fromGostSCP ?

Изменено 12 ноября, 2018 пользователем Morphus

[alibek]

Да.

Точнее утилита называется P12FromGostCSP.exe.

Размер 749816 байт, подписан LISSI-Crypto Co.Ltd., версия от 2012 года.

[bike]

2 часа назад, Morphus сказал:

Такую я тоже пробовал.

Скорее всего дело в pfx. Получаете его через p12fromGostSCP ?

 

Строка верная, сам недавно менял сертификат, получаем его через p12fromGostSCP.

Какой у Вас openssl поддерживает ГОСТ, системный или отдельно скомпилирован?

У меня он отдельно лежит и строка имеет вид -

/gost-ssl/bin/openssl pkcs12 -in ./p12.pfx -out ./provider.pem  -nodes -clcerts

[YuryD]

8 часов назад, alibek сказал:

Да.

Точнее утилита называется P12FromGostCSP.exe.

Размер 749816 байт, подписан LISSI-Crypto Co.Ltd., версия от 2012 года.

  Уже писал - ныне платная, с лицензией на год. Поэтому если чуть пораньше ключ купить, то практически её хватит на два раза. Древние P12FromGostCSP.exe с древних времён у меня просто не работали, не извлекали, пришлось в прошлом годе это купить. openssl ессессно давно перекомпиллирован с гостом.

[bike]

24 минуты назад, YuryD сказал:

  Уже писал - ныне платная, с лицензией на год. Поэтому если чуть пораньше ключ купить, то практически её хватит на два раза. Древние P12FromGostCSP.exe с древних времён у меня просто не работали, не извлекали, пришлось в прошлом годе это купить. openssl ессессно давно перекомпиллирован с гостом.

 

8 часов назад, alibek сказал:

Да.

Точнее утилита называется P12FromGostCSP.exe.

Размер 749816 байт, подписан LISSI-Crypto Co.Ltd., версия от 2012 года.

Она самая, версии 1.0.0.0 - работает без проблем с 2012 года.

[alibek]

Новую ЭЦП получал летом, pem извлек без проблем.

Посмотрим, что будет в следующем году.

[Morphus]

21 час назад, alibek сказал:

Да.

Точнее утилита называется P12FromGostCSP.exe.

Размер 749816 байт, подписан LISSI-Crypto Co.Ltd., версия от 2012 года.

Размер совпадает. И всё такая же ошибка 

Mac verify error: invalid password?

Может кто проверить утилитой из этого архива ? Или поделиться утилиткой... -_-

 

19 часов назад, bike сказал:

Какой у Вас openssl поддерживает ГОСТ, системный или отдельно скомпилирован?

Отдельно скомпилирован. Всё нормально вроде. OPENSSL_VERSION=1.1.0g

Скрытый текст

[root@fd78fa30cc74 app]# openssl ciphers
ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA384:DHE-RSA-AES256-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-RSA-AES256-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES128-SHA:DHE-RSA-AES128-SHA:RSA-PSK-AES256-GCM-SHA384:DHE-PSK-AES256-GCM-SHA384:RSA-PSK-CHACHA20-POLY1305:DHE-PSK-CHACHA20-POLY1305:ECDHE-PSK-CHACHA20-POLY1305:AES256-GCM-SHA384:PSK-AES256-GCM-SHA384:PSK-CHACHA20-POLY1305:RSA-PSK-AES128-GCM-SHA256:DHE-PSK-AES128-GCM-SHA256:AES128-GCM-SHA256:PSK-AES128-GCM-SHA256:AES256-SHA256:AES128-SHA256:ECDHE-PSK-AES256-CBC-SHA384:ECDHE-PSK-AES256-CBC-SHA:SRP-RSA-AES-256-CBC-SHA:SRP-AES-256-CBC-SHA:RSA-PSK-AES256-CBC-SHA384:DHE-PSK-AES256-CBC-SHA384:RSA-PSK-AES256-CBC-SHA:DHE-PSK-AES256-CBC-SHA:GOST2012-GOST8912-GOST8912:GOST2001-GOST89-GOST89:AES256-SHA:PSK-AES256-CBC-SHA384:PSK-AES256-CBC-SHA:ECDHE-PSK-AES128-CBC-SHA256:ECDHE-PSK-AES128-CBC-SHA:SRP-RSA-AES-128-CBC-SHA:SRP-AES-128-CBC-SHA:RSA-PSK-AES128-CBC-SHA256:DHE-PSK-AES128-CBC-SHA256:RSA-PSK-AES128-CBC-SHA:DHE-PSK-AES128-CBC-SHA:AES128-SHA:PSK-AES128-CBC-SHA256:PSK-AES128-CBC-SHA

 

UPD:

Любопытная вещь: вывод команды 

openssl asn1parse -in p12_itk.pfx -inform DER

Скрытый текст

3154:d=1  hl=2 l=  62 cons: SEQUENCE          
 3156:d=2  hl=2 l=  46 cons: SEQUENCE          
 3158:d=3  hl=2 l=  10 cons: SEQUENCE          
 3160:d=4  hl=2 l=   6 prim: OBJECT            :GOST R 34.11-94
 3168:d=4  hl=2 l=   0 prim: NULL              
 3170:d=3  hl=2 l=  32 prim: OCTET STRING      [HEX DUMP]:1C14097DD26E6EB861743B84F7C8AEF43E6A436F9302A69C8D4A5A8C4FDE32E5
 3204:d=2  hl=2 l=   8 prim: OCTET STRING      [HEX DUMP]:772C7434E1861542
 3214:d=2  hl=2 l=   2 prim: INTEGER           :0800
 

 

говорит о том что сертфиикат сделан по старому госту, а openssl новый и 94 госта в движке, с которым я его собрал нет.

Но если взглянуть на сертификат, то там такие строки:

Алгоритм подписи: ГОСТ Р 34.11/34.10-2001
Хэш-алгоритм подписи: ГОСТ Р 34.11-94

Какой из этих строк верить ? Вроде как 2001 гост, который у меня есть. Толи это утилита косячит...

P12FromGostCSP.zip

Изменено 13 ноября, 2018 пользователем Morphus

[Nickollla]

В 09.11.2018 в 10:30, epollia сказал:

попробуйте вернуть 

nb_tx_queue = nb_rx_queue; 

и пересобрать)

Удалось все таки запустить новую версию с кучкой костылей как в самом extfilter так в dpdk.

А так похоже все проблемы от dpdk. Простая пересборка dpdk проблем не решает. Похоже рано или поздно все же придется разбираться с dpdk.

[Cramac]

Приветствую. Опять пошли пропуски по отчету ревизора.

Как с таким бороться? в extfilter есть домен (online.stepashka.com), блокируется (в хроме в обычном режиме открывает, в инкогнито блокирует, wget тоже показывает 302 moved)

а в ревизоре он есть

271750 http://www.online.stepashka.
com, 104.28.1.89, GET Мосгорсуд 19 Фев, 2016 09:07:57 200

 

или вот http://www.uniongang.net/

а в extfilter есть только 

[root@filter extfilter]# cat domains | grep uniongang.net
uniongang.net
 

 

Может архив выгрузки сохранять? Чтоб было чем оперировать?

[Стич]

Подскажите зеркалировать на extfilter

нужно толко исходящий от клиента трафик или всё.

[Cramac]

41 минуту назад, Стич сказал:

Подскажите зеркалировать на extfilter

нужно толко исходящий от клиента трафик или всё.

 

Только исходящий.