marsellus Опубликовано 7 ноября, 2019 · Жалоба 17 minutes ago, max1976 said: Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk. Да, постфактум у меня тоже блокируется. Я предполагаю, что в момент пропуска трафик не отзеркалировался в extfilter (может был microburst). Пытаюсь собрать инфу pdump-ом, но пока безуспешно. Не запускается. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 ноября, 2019 · Жалоба 8 минут назад, marsellus сказал: Да, постфактум у меня тоже блокируется. Я предполагаю, что в момент пропуска трафик не отзеркалировался в extfilter (может был microburst). Пытаюсь собрать инфу pdump-ом, но пока безуспешно. Не запускается. Если на фильтр не поступает весь исходящий трафик, то тут уж ничего не поможет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
overty Опубликовано 7 ноября, 2019 · Жалоба 32 minutes ago, max1976 said: Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk. Не блокируется, еще раз проверил. Если убрать null route на бордере, то RST мне присылает вышестоящий оператор. curl -v 34.248.222.69 * About to connect() to 34.248.222.69 port 80 (#0) * Trying 34.248.222.69... 10:23:46.958190 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435778989 ecr 0,nop,wscale 7], length 0 10:23:47.960700 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435779992 ecr 0,nop,wscale 7], length 0 10:23:49.966837 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435781998 ecr 0,nop,wscale 7], length 0 Работаю два ExtFilter на двух разных физических машинах в режиме зеркала и не один не присылает RST, если префикс короче /32 Ошибок в логах нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 ноября, 2019 · Жалоба 4 минуты назад, overty сказал: Не блокируется, еще раз проверил. Если убрать null route на бордере, то RST мне присылает вышестоящий оператор. curl -v 34.248.222.69 * About to connect() to 34.248.222.69 port 80 (#0) * Trying 34.248.222.69... 10:23:46.958190 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435778989 ecr 0,nop,wscale 7], length 010:23:47.960700 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435779992 ecr 0,nop,wscale 7], length 010:23:49.966837 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435781998 ecr 0,nop,wscale 7], length 0 Работаю два ExtFilter на двух разных физических машинах в режиме зеркала и не один не присылает RST, если префикс короче /32 Ошибок в логах нет. У меня работает с любым префиксом - блокируется всё согласно списку. Какая версия DPDK? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
overty Опубликовано 7 ноября, 2019 · Жалоба 13 minutes ago, max1976 said: У меня работает с любым префиксом - блокируется всё согласно списку. Какая версия DPDK? dpdk-stable-17.05.2 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
overty Опубликовано 7 ноября, 2019 · Жалоба 23 minutes ago, max1976 said: У меня работает с любым префиксом - блокируется всё согласно списку. Какая версия DPDK? Отбой, сам виноват, нулится резервным роутером, по префиксам короче /32. НЕ попадает трафик во внешний канал, соответственно до ExtFilter SYN пакеты не доходят. А /32 и все префиксы отправляю по BGP на основной бородер. ExtFilter стоит между ними. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 7 ноября, 2019 · Жалоба 2 часа назад, max1976 сказал: Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk. Понял. Спасибо. видимо надо подкинуть памяти к этому процу. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 11 ноября, 2019 · Жалоба Цитата Unable to allocate memory for the ssl buffer Данная проблема регулируется с помощью scale и настройки max active flows? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 12 ноября, 2019 (изменено) · Жалоба 10 часов назад, swsn сказал: Данная проблема регулируется с помощью scale и настройки max active flows? поидеи да. Ну и можно попробовать выделить памяти больше. Вообще можно замониторить использоване ssl buffer, и будет видно чего не хватает. Либо самого буфера, либо памяти выделенного для него. Изменено 12 ноября, 2019 пользователем epollia Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 12 ноября, 2019 · Жалоба 6 часов назад, epollia сказал: поидеи да. Ну и можно попробовать выделить памяти больше. Вообще можно замониторить использоване ssl buffer, и будет видно чего не хватает. Либо самого буфера, либо памяти выделенного для него. ssl_entries выпилили из конфига, а я и не заметил. Проблема на 1.7 млн пакетов возникает. Будем поднимать и наблюдать когда опять несколько аплинков упадет Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 13 ноября, 2019 · Жалоба В 11.11.2019 в 18:28, swsn сказал: Данная проблема регулируется с помощью scale и настройки max active flows? Нет. Это параметр ssl_entries. Рассчитывается автоматически или задается в конфиге. Увеличьте значение. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 18 ноября, 2019 (изменено) · Жалоба Подскажите, в скрипте zapret.pl есть проверка запущен уже скрипт или нет: flock(DATA,LOCK_EX|LOCK_NB) or die "This script ($0) is already running!"; где определяется DATA ? Где создаётся этот файл ? Изменено 18 ноября, 2019 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 18 ноября, 2019 · Жалоба 2 минуты назад, Morphus сказал: Подскажите, в скрипте zapret.pl есть проверка запущен уже скрипт или нет: flock(DATA,LOCK_EX|LOCK_NB) or die "This script ($0) is already running!"; Есть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 18 ноября, 2019 · Жалоба @max1976 я случайно не дописал вопрос. Хотел узнать где создаётся этот файл, поскольку не могу найти определение DATA в скрпте Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
evgen.v Опубликовано 18 ноября, 2019 · Жалоба @Morphus https://www.perl.com/article/2/2015/11/4/Run-only-one-instance-of-a-program-at-a-time/#avoiding-external-files http://mycpp.ru/perl/cookbook/cont.php?id=91 Как я понял - скрипт лочит сам себя, используя файловый манипулятор, указывающий на данные, находящиеся после основного кода. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 18 ноября, 2019 · Жалоба @evgen.v Благодарю, то что нужно! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 18 ноября, 2019 (изменено) · Жалоба zapret нормально выкачивает ? Скрипт просто висит. 2019-11-18 21:51:56 | INFO | main | Starting RKN at 1574085116 И больше ничего нет. Висит бесконечно. Из функции parseDump не выходит. Вывод строки Parse dump 2 я вижу, а вот c 3 уже нет UPD: Обновление с гитхаба помогло! Спасибо @max1976 Изменено 18 ноября, 2019 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
admf Опубликовано 20 ноября, 2019 · Жалоба Подскажите, как расшифровать строку в логе и уменьшить время прохождения пакета (сюдя по другим сообщениям в теме, должно быть минимум в 10ть раз меньше): 2019-11-20 19:54:56.391 [37514] Information Application - Thread packets latency all packets: 4862 cycles (2215 ns), unblocked packets: 4271 cycles (1946 ns), blocked packets: 6738 (3070 ns) extFilter version 0.99.4, работа в режиме моста с блокировкой ip, суммарно трафика: 2019-11-20 19:54:56.391 [37514] Information Application - All worker threads seen packets: 19796986, IP packets: 13161946 (IPv4 packets: 13161946, IPv6 packets: 0), seen bytes: 1229408162, traffic throughtput: 138.21 pps Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 20 ноября, 2019 · Жалоба Процессор поменять? Убедитесь, что про все энергосберегайки выключены. В сервере сколько цпу? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
admf Опубликовано 20 ноября, 2019 (изменено) · Жалоба Чувствую сейчас закидают помидорами: сервак на виртуалке exsi (cpu 2xCPU E5-2430), за сервером прибито 5 ядер физического процессора. На виртуалке больше нечего нет, т.е. один этот сервер. все энергосберегайки вырублены по возможности везде. Нагрузка в 140 пакетов не кажется космической, поэтому и возник вопрос куда копать + blocked packets: 6738 (3070 ns) немного пугает Изменено 20 ноября, 2019 пользователем admf неточность в значениях Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bl_cK Опубликовано 25 ноября, 2019 (изменено) · Жалоба пытаюсь запустить свежий extfilter по-минимуму в mirror. Со старым конфигом не стартует, с новым ругается то на Fatal Application - The senders port is not defined in the mirror operation mode, то Fatal Application - No cores defined in the configuration file, то на Fatal Application - Number of tx queues 3 exceeds max number of tx queues 1 for port 0 Fatal Application - Cannot initialize port 0 изолировано 3 ядра из 4 (1,2,3), в дпдк одна сетевуха, чётные маски не работают вообще (invalid EAL arguments) Жаль, что документации, хотя бы в общих чертах "что и как должно быть сконфигурировано" никакой по этим тонкостям нет. конфиг под последнюю ошибку: core_mask = 7 operation_mode = mirror [port 0] queues = 0,1 [port 1] type = sender ./dpdk-devbind.py --status Network devices using DPDK-compatible driver 0000:00:13.0 '82540EM Gigabit Ethernet Controller' drv=igb_uio unused=e1000 Network devices using kernel driver 0000:00:12.0 '82540EM Gigabit Ethernet Controller' if=ens18 drv=e1000 unused=igb_uio *Active* Старый прекрасно работает с закомменченым [port1]: Information WorkerThread-1 - -- lcoreid=1 portid=0 rxqueueid=0 Как запустить новенького? Изменено 25 ноября, 2019 пользователем Bl_cK Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 25 ноября, 2019 · Жалоба 22 минуты назад, Bl_cK сказал: пытаюсь запустить свежий extfilter по-минимуму в mirror. Со старым конфигом не стартует, с новым ругается то на Fatal Application - The senders port is not defined in the mirror operation mode, то Fatal Application - No cores defined in the configuration file, то на Fatal Application - Number of tx queues 3 exceeds max number of tx queues 1 for port 0 Fatal Application - Cannot initialize port 0 изолировано 3 ядра из 4 (1,2,3), в дпдк одна сетевуха, чётные маски не работают вообще (invalid EAL arguments) Жаль, что документации, хотя бы в общих чертах "что и как должно быть сконфигурировано" никакой по этим тонкостям нет. конфиг под последнюю ошибку: core_mask = 7 operation_mode = mirror [port 0] queues = 0,1 [port 1] type = sender ./dpdk-devbind.py --status Network devices using DPDK-compatible driver 0000:00:13.0 '82540EM Gigabit Ethernet Controller' drv=igb_uio unused=e1000 Network devices using kernel driver 0000:00:12.0 '82540EM Gigabit Ethernet Controller' if=ens18 drv=e1000 unused=igb_uio *Active* Старый прекрасно работает с закомменченым [port1]: Information WorkerThread-1 - -- lcoreid=1 portid=0 rxqueueid=0 Как запустить новенького? надо две сетевые. как раз вторая для отпавки rst пакетов Network devices using DPDK-compatible driver ============================================ 0000:02:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused= 0000:05:00.1 'I350 Gigabit Network Connection 1521' drv=igb_uio unused= Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 25 ноября, 2019 · Жалоба https://ru.aliexpress.com/item/32908013209.html?spm=a2g0o.productlist.0.0.42d94b4fssxXsq&algo_pvid=d7eb055e-4dda-44c4-b14e-fd6cc1385fdd&algo_expid=d7eb055e-4dda-44c4-b14e-fd6cc1385fdd-18&btsid=29e93949-3b1c-4fab-a7b8-4233acb2fed3&ws_ab_test=searchweb0_0,searchweb201602_7,searchweb201603_52 вот на этих сетёвках всё будет огонь (с запасом) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 26 ноября, 2019 · Жалоба Подскажите как бороться с такой ошибкой? Error ESender - Can't send packet. Buffer is full. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bl_cK Опубликовано 26 ноября, 2019 · Жалоба 23 hours ago, epollia said: надо две сетевые. как раз вторая для отпавки rst пакетов Network devices using DPDK-compatible driver ============================================ 0000:02:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused= 0000:05:00.1 'I350 Gigabit Network Connection 1521' drv=igb_uio unused= MAC в конфиге - это мак второй сетевухи? есть у кого-то нормальная сборка openssl с 2012 гостом? заманался уж ошибки получать, пол-дня пробую завести это говно под вин, а ещё же на линух надо будет вкорячить:D Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...