Jump to content
Калькуляторы
Блокировка веб ресурса  

538 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

17 minutes ago, max1976 said:


 

 

 

Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk.

Да, постфактум у меня тоже блокируется. Я предполагаю, что в момент пропуска трафик не отзеркалировался в extfilter (может был microburst). Пытаюсь собрать инфу pdump-ом, но пока безуспешно. Не запускается.

Share this post


Link to post
Share on other sites
8 минут назад, marsellus сказал:

Да, постфактум у меня тоже блокируется. Я предполагаю, что в момент пропуска трафик не отзеркалировался в extfilter (может был microburst). Пытаюсь собрать инфу pdump-ом, но пока безуспешно. Не запускается.

Если на фильтр не поступает весь исходящий трафик, то тут уж ничего не поможет.

Share this post


Link to post
Share on other sites
32 minutes ago, max1976 said:


 

 

 

Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk.

Не блокируется, еще раз проверил.

Если убрать null route на бордере, то RST мне присылает вышестоящий оператор.

 

curl -v 34.248.222.69
* About to connect() to 34.248.222.69 port 80 (#0)
*   Trying 34.248.222.69...

 

10:23:46.958190 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435778989 ecr 0,nop,wscale 7], length 0
10:23:47.960700 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435779992 ecr 0,nop,wscale 7], length 0
10:23:49.966837 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435781998 ecr 0,nop,wscale 7], length 0

 

Работаю два ExtFilter на двух разных физических машинах в режиме зеркала и не один не присылает RST, если префикс короче /32

Ошибок в логах нет.

Share this post


Link to post
Share on other sites
4 минуты назад, overty сказал:

Не блокируется, еще раз проверил.

Если убрать null route на бордере, то RST мне присылает вышестоящий оператор.

 

curl -v 34.248.222.69
* About to connect() to 34.248.222.69 port 80 (#0)
*   Trying 34.248.222.69...

 

10:23:46.958190 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435778989 ecr 0,nop,wscale 7], length 0
10:23:47.960700 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435779992 ecr 0,nop,wscale 7], length 0
10:23:49.966837 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435781998 ecr 0,nop,wscale 7], length 0

 

Работаю два ExtFilter на двух разных физических машинах в режиме зеркала и не один не присылает RST, если префикс короче /32

Ошибок в логах нет.

У меня работает с любым префиксом - блокируется всё согласно списку. Какая версия DPDK?

 

Share this post


Link to post
Share on other sites
13 minutes ago, max1976 said:

У меня работает с любым префиксом - блокируется всё согласно списку. Какая версия DPDK?

 

dpdk-stable-17.05.2

Share this post


Link to post
Share on other sites
23 minutes ago, max1976 said:

У меня работает с любым префиксом - блокируется всё согласно списку. Какая версия DPDK?

 

Отбой, сам виноват, нулится резервным роутером, по префиксам короче /32. НЕ попадает трафик во внешний канал, соответственно до ExtFilter SYN пакеты не доходят.

А /32 и все префиксы отправляю по BGP на основной бородер. ExtFilter стоит между ними.

 

Share this post


Link to post
Share on other sites
2 часа назад, max1976 сказал:

Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk.

Понял. Спасибо. видимо надо подкинуть памяти к этому процу.

Share this post


Link to post
Share on other sites
Цитата

Unable to allocate memory for the ssl buffer

Данная проблема регулируется с помощью scale и настройки max active flows?

Share this post


Link to post
Share on other sites
10 часов назад, swsn сказал:

Данная проблема регулируется с помощью scale и настройки max active flows?

поидеи да. Ну и можно попробовать выделить памяти больше.

Вообще можно замониторить использоване ssl buffer, и будет видно чего не хватает. Либо самого буфера, либо памяти выделенного для него.

Edited by epollia

Share this post


Link to post
Share on other sites
6 часов назад, epollia сказал:

поидеи да. Ну и можно попробовать выделить памяти больше.

Вообще можно замониторить использоване ssl buffer, и будет видно чего не хватает. Либо самого буфера, либо памяти выделенного для него.

 

 ssl_entries  выпилили из конфига, а я и не заметил. Проблема на 1.7 млн пакетов возникает. Будем поднимать и наблюдать когда опять несколько аплинков упадет

Share this post


Link to post
Share on other sites
В 11.11.2019 в 18:28, swsn сказал:

Данная проблема регулируется с помощью scale и настройки max active flows? 

Нет. Это параметр ssl_entries. Рассчитывается автоматически  или задается в конфиге. Увеличьте значение.

Share this post


Link to post
Share on other sites

Подскажите, в скрипте zapret.pl есть проверка запущен уже скрипт или нет:

flock(DATA,LOCK_EX|LOCK_NB) or die "This script ($0) is already running!";
 
где определяется DATA ? Где создаётся этот файл ?
Edited by Morphus

Share this post


Link to post
Share on other sites
2 минуты назад, Morphus сказал:

Подскажите, в скрипте zapret.pl есть проверка запущен уже скрипт или нет:

flock(DATA,LOCK_EX|LOCK_NB) or die "This script ($0) is already running!";

Есть.

Share this post


Link to post
Share on other sites

@max1976 я случайно не дописал вопрос. Хотел узнать где создаётся этот файл, поскольку не могу найти определение DATA в скрпте

Share this post


Link to post
Share on other sites

@Morphus 

https://www.perl.com/article/2/2015/11/4/Run-only-one-instance-of-a-program-at-a-time/#avoiding-external-files

http://mycpp.ru/perl/cookbook/cont.php?id=91

Как я понял - скрипт лочит сам себя, используя файловый манипулятор, указывающий на данные, находящиеся после основного кода.

Share this post


Link to post
Share on other sites

zapret нормально выкачивает ? Скрипт просто висит. 

2019-11-18 21:51:56 | INFO  | main  | Starting RKN at 1574085116

И больше ничего нет. Висит бесконечно.

 

Из функции parseDump не выходит. Вывод строки Parse dump 2 я вижу, а вот c 3 уже нет

parsedump.thumb.png.2263584aaf596519fd3befb6c25928c1.png

 

UPD: Обновление с гитхаба помогло! Спасибо @max1976

Edited by Morphus

Share this post


Link to post
Share on other sites

Подскажите, как расшифровать строку в логе и уменьшить время прохождения пакета (сюдя по другим сообщениям в теме, должно быть минимум в 10ть раз меньше):

2019-11-20 19:54:56.391 [37514] Information Application - Thread packets latency all packets: 4862 cycles (2215 ns), unblocked packets: 4271 cycles (1946 ns), blocked packets: 6738 (3070 ns)

extFilter version 0.99.4, работа в режиме моста с блокировкой ip, суммарно трафика:

2019-11-20 19:54:56.391 [37514] Information Application - All worker threads seen packets: 19796986, IP packets: 13161946 (IPv4 packets: 13161946, IPv6 packets: 0), seen bytes: 1229408162, traffic throughtput: 138.21 pps

Share this post


Link to post
Share on other sites

Процессор поменять? Убедитесь, что про все энергосберегайки выключены. В сервере сколько цпу?

Share this post


Link to post
Share on other sites

Чувствую сейчас закидают помидорами: сервак на виртуалке exsi (cpu 2xCPU E5-2430), за сервером прибито 5 ядер физического процессора. На виртуалке больше нечего нет, т.е. один этот сервер.

все энергосберегайки вырублены по возможности везде.

Нагрузка в 140 пакетов не кажется космической, поэтому и возник вопрос куда копать + 

blocked packets: 6738 (3070 ns)

немного пугает

Edited by admf
неточность в значениях

Share this post


Link to post
Share on other sites

пытаюсь запустить свежий extfilter по-минимуму в mirror. Со старым конфигом не стартует, с новым ругается то на 

Fatal Application - The senders port is not defined in the mirror operation mode,

то Fatal Application - No cores defined in the configuration file,
то на 

Fatal Application - Number of tx queues 3 exceeds max number of tx queues 1 for port 0
Fatal Application - Cannot initialize port 0


изолировано 3 ядра из 4 (1,2,3), в дпдк одна сетевуха, чётные маски не работают вообще (invalid EAL arguments)

 

Жаль, что документации, хотя бы в общих чертах "что и как должно быть сконфигурировано" никакой по этим тонкостям нет.

конфиг под последнюю ошибку:

core_mask = 7

operation_mode = mirror

[port 0]
queues = 0,1
[port 1]
type = sender
 

 ./dpdk-devbind.py --status

Network devices using DPDK-compatible driver
0000:00:13.0 '82540EM Gigabit Ethernet Controller' drv=igb_uio unused=e1000

Network devices using kernel driver
0000:00:12.0 '82540EM Gigabit Ethernet Controller' if=ens18 drv=e1000 unused=igb_uio *Active*

 

Старый прекрасно работает с закомменченым [port1]: Information WorkerThread-1 - -- lcoreid=1 portid=0 rxqueueid=0

 

Как запустить новенького?

Edited by Bl_cK

Share this post


Link to post
Share on other sites
22 минуты назад, Bl_cK сказал:

пытаюсь запустить свежий extfilter по-минимуму в mirror. Со старым конфигом не стартует, с новым ругается то на 

Fatal Application - The senders port is not defined in the mirror operation mode,

то Fatal Application - No cores defined in the configuration file,
то на 

Fatal Application - Number of tx queues 3 exceeds max number of tx queues 1 for port 0
Fatal Application - Cannot initialize port 0


изолировано 3 ядра из 4 (1,2,3), в дпдк одна сетевуха, чётные маски не работают вообще (invalid EAL arguments)

 

Жаль, что документации, хотя бы в общих чертах "что и как должно быть сконфигурировано" никакой по этим тонкостям нет.

конфиг под последнюю ошибку:

core_mask = 7

operation_mode = mirror

[port 0]
queues = 0,1
[port 1]
type = sender
 

 ./dpdk-devbind.py --status

Network devices using DPDK-compatible driver
0000:00:13.0 '82540EM Gigabit Ethernet Controller' drv=igb_uio unused=e1000

Network devices using kernel driver
0000:00:12.0 '82540EM Gigabit Ethernet Controller' if=ens18 drv=e1000 unused=igb_uio *Active*

 

Старый прекрасно работает с закомменченым [port1]: Information WorkerThread-1 - -- lcoreid=1 portid=0 rxqueueid=0

 

Как запустить новенького?

 

надо две сетевые. как раз вторая для отпавки rst пакетов

Network devices using DPDK-compatible driver
============================================
0000:02:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
0000:05:00.1 'I350 Gigabit Network Connection 1521' drv=igb_uio unused=

Share this post


Link to post
Share on other sites

Подскажите как бороться с такой ошибкой?

Error ESender - Can't send packet. Buffer is full.

Share this post


Link to post
Share on other sites
23 hours ago, epollia said:

надо две сетевые. как раз вторая для отпавки rst пакетов

Network devices using DPDK-compatible driver
============================================
0000:02:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
0000:05:00.1 'I350 Gigabit Network Connection 1521' drv=igb_uio unused=

MAC в конфиге - это мак второй сетевухи?

есть у кого-то нормальная сборка openssl с 2012 гостом? заманался уж ошибки получать, пол-дня пробую завести это говно под вин, а ещё же на линух надо будет вкорячить:D

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now