Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

17 minutes ago, max1976 said:


 

 

 

Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk.

Да, постфактум у меня тоже блокируется. Я предполагаю, что в момент пропуска трафик не отзеркалировался в extfilter (может был microburst). Пытаюсь собрать инфу pdump-ом, но пока безуспешно. Не запускается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 минут назад, marsellus сказал:

Да, постфактум у меня тоже блокируется. Я предполагаю, что в момент пропуска трафик не отзеркалировался в extfilter (может был microburst). Пытаюсь собрать инфу pdump-ом, но пока безуспешно. Не запускается.

Если на фильтр не поступает весь исходящий трафик, то тут уж ничего не поможет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

32 minutes ago, max1976 said:


 

 

 

Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk.

Не блокируется, еще раз проверил.

Если убрать null route на бордере, то RST мне присылает вышестоящий оператор.

 

curl -v 34.248.222.69
* About to connect() to 34.248.222.69 port 80 (#0)
*   Trying 34.248.222.69...

 

10:23:46.958190 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435778989 ecr 0,nop,wscale 7], length 0
10:23:47.960700 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435779992 ecr 0,nop,wscale 7], length 0
10:23:49.966837 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435781998 ecr 0,nop,wscale 7], length 0

 

Работаю два ExtFilter на двух разных физических машинах в режиме зеркала и не один не присылает RST, если префикс короче /32

Ошибок в логах нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

4 минуты назад, overty сказал:

Не блокируется, еще раз проверил.

Если убрать null route на бордере, то RST мне присылает вышестоящий оператор.

 

curl -v 34.248.222.69
* About to connect() to 34.248.222.69 port 80 (#0)
*   Trying 34.248.222.69...

 

10:23:46.958190 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435778989 ecr 0,nop,wscale 7], length 0
10:23:47.960700 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435779992 ecr 0,nop,wscale 7], length 0
10:23:49.966837 IP 91.109.200.254.35124 > 34.248.222.69.80: Flags , seq 3512681898, win 29200, options [mss 1460,sackOK,TS val 435781998 ecr 0,nop,wscale 7], length 0

 

Работаю два ExtFilter на двух разных физических машинах в режиме зеркала и не один не присылает RST, если префикс короче /32

Ошибок в логах нет.

У меня работает с любым префиксом - блокируется всё согласно списку. Какая версия DPDK?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

13 minutes ago, max1976 said:

У меня работает с любым префиксом - блокируется всё согласно списку. Какая версия DPDK?

 

dpdk-stable-17.05.2

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

23 minutes ago, max1976 said:

У меня работает с любым префиксом - блокируется всё согласно списку. Какая версия DPDK?

 

Отбой, сам виноват, нулится резервным роутером, по префиксам короче /32. НЕ попадает трафик во внешний канал, соответственно до ExtFilter SYN пакеты не доходят.

А /32 и все префиксы отправляю по BGP на основной бородер. ExtFilter стоит между ними.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, max1976 сказал:

Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk.

Понял. Спасибо. видимо надо подкинуть памяти к этому процу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

Unable to allocate memory for the ssl buffer

Данная проблема регулируется с помощью scale и настройки max active flows?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

10 часов назад, swsn сказал:

Данная проблема регулируется с помощью scale и настройки max active flows?

поидеи да. Ну и можно попробовать выделить памяти больше.

Вообще можно замониторить использоване ssl buffer, и будет видно чего не хватает. Либо самого буфера, либо памяти выделенного для него.

Изменено пользователем epollia

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

6 часов назад, epollia сказал:

поидеи да. Ну и можно попробовать выделить памяти больше.

Вообще можно замониторить использоване ssl buffer, и будет видно чего не хватает. Либо самого буфера, либо памяти выделенного для него.

 

 ssl_entries  выпилили из конфига, а я и не заметил. Проблема на 1.7 млн пакетов возникает. Будем поднимать и наблюдать когда опять несколько аплинков упадет

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 11.11.2019 в 18:28, swsn сказал:

Данная проблема регулируется с помощью scale и настройки max active flows? 

Нет. Это параметр ssl_entries. Рассчитывается автоматически  или задается в конфиге. Увеличьте значение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите, в скрипте zapret.pl есть проверка запущен уже скрипт или нет:

flock(DATA,LOCK_EX|LOCK_NB) or die "This script ($0) is already running!";
 
где определяется DATA ? Где создаётся этот файл ?
Изменено пользователем Morphus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 минуты назад, Morphus сказал:

Подскажите, в скрипте zapret.pl есть проверка запущен уже скрипт или нет:

flock(DATA,LOCK_EX|LOCK_NB) or die "This script ($0) is already running!";

Есть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@max1976 я случайно не дописал вопрос. Хотел узнать где создаётся этот файл, поскольку не могу найти определение DATA в скрпте

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@Morphus 

https://www.perl.com/article/2/2015/11/4/Run-only-one-instance-of-a-program-at-a-time/#avoiding-external-files

http://mycpp.ru/perl/cookbook/cont.php?id=91

Как я понял - скрипт лочит сам себя, используя файловый манипулятор, указывающий на данные, находящиеся после основного кода.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

zapret нормально выкачивает ? Скрипт просто висит. 

2019-11-18 21:51:56 | INFO  | main  | Starting RKN at 1574085116

И больше ничего нет. Висит бесконечно.

 

Из функции parseDump не выходит. Вывод строки Parse dump 2 я вижу, а вот c 3 уже нет

parsedump.thumb.png.2263584aaf596519fd3befb6c25928c1.png

 

UPD: Обновление с гитхаба помогло! Спасибо @max1976

Изменено пользователем Morphus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите, как расшифровать строку в логе и уменьшить время прохождения пакета (сюдя по другим сообщениям в теме, должно быть минимум в 10ть раз меньше):

2019-11-20 19:54:56.391 [37514] Information Application - Thread packets latency all packets: 4862 cycles (2215 ns), unblocked packets: 4271 cycles (1946 ns), blocked packets: 6738 (3070 ns)

extFilter version 0.99.4, работа в режиме моста с блокировкой ip, суммарно трафика:

2019-11-20 19:54:56.391 [37514] Information Application - All worker threads seen packets: 19796986, IP packets: 13161946 (IPv4 packets: 13161946, IPv6 packets: 0), seen bytes: 1229408162, traffic throughtput: 138.21 pps

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Процессор поменять? Убедитесь, что про все энергосберегайки выключены. В сервере сколько цпу?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Чувствую сейчас закидают помидорами: сервак на виртуалке exsi (cpu 2xCPU E5-2430), за сервером прибито 5 ядер физического процессора. На виртуалке больше нечего нет, т.е. один этот сервер.

все энергосберегайки вырублены по возможности везде.

Нагрузка в 140 пакетов не кажется космической, поэтому и возник вопрос куда копать + 

blocked packets: 6738 (3070 ns)

немного пугает

Изменено пользователем admf
неточность в значениях

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

пытаюсь запустить свежий extfilter по-минимуму в mirror. Со старым конфигом не стартует, с новым ругается то на 

Fatal Application - The senders port is not defined in the mirror operation mode,

то Fatal Application - No cores defined in the configuration file,
то на 

Fatal Application - Number of tx queues 3 exceeds max number of tx queues 1 for port 0
Fatal Application - Cannot initialize port 0


изолировано 3 ядра из 4 (1,2,3), в дпдк одна сетевуха, чётные маски не работают вообще (invalid EAL arguments)

 

Жаль, что документации, хотя бы в общих чертах "что и как должно быть сконфигурировано" никакой по этим тонкостям нет.

конфиг под последнюю ошибку:

core_mask = 7

operation_mode = mirror

[port 0]
queues = 0,1
[port 1]
type = sender
 

 ./dpdk-devbind.py --status

Network devices using DPDK-compatible driver
0000:00:13.0 '82540EM Gigabit Ethernet Controller' drv=igb_uio unused=e1000

Network devices using kernel driver
0000:00:12.0 '82540EM Gigabit Ethernet Controller' if=ens18 drv=e1000 unused=igb_uio *Active*

 

Старый прекрасно работает с закомменченым [port1]: Information WorkerThread-1 - -- lcoreid=1 portid=0 rxqueueid=0

 

Как запустить новенького?

Изменено пользователем Bl_cK

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

22 минуты назад, Bl_cK сказал:

пытаюсь запустить свежий extfilter по-минимуму в mirror. Со старым конфигом не стартует, с новым ругается то на 

Fatal Application - The senders port is not defined in the mirror operation mode,

то Fatal Application - No cores defined in the configuration file,
то на 

Fatal Application - Number of tx queues 3 exceeds max number of tx queues 1 for port 0
Fatal Application - Cannot initialize port 0


изолировано 3 ядра из 4 (1,2,3), в дпдк одна сетевуха, чётные маски не работают вообще (invalid EAL arguments)

 

Жаль, что документации, хотя бы в общих чертах "что и как должно быть сконфигурировано" никакой по этим тонкостям нет.

конфиг под последнюю ошибку:

core_mask = 7

operation_mode = mirror

[port 0]
queues = 0,1
[port 1]
type = sender
 

 ./dpdk-devbind.py --status

Network devices using DPDK-compatible driver
0000:00:13.0 '82540EM Gigabit Ethernet Controller' drv=igb_uio unused=e1000

Network devices using kernel driver
0000:00:12.0 '82540EM Gigabit Ethernet Controller' if=ens18 drv=e1000 unused=igb_uio *Active*

 

Старый прекрасно работает с закомменченым [port1]: Information WorkerThread-1 - -- lcoreid=1 portid=0 rxqueueid=0

 

Как запустить новенького?

 

надо две сетевые. как раз вторая для отпавки rst пакетов

Network devices using DPDK-compatible driver
============================================
0000:02:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
0000:05:00.1 'I350 Gigabit Network Connection 1521' drv=igb_uio unused=

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите как бороться с такой ошибкой?

Error ESender - Can't send packet. Buffer is full.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

23 hours ago, epollia said:

надо две сетевые. как раз вторая для отпавки rst пакетов

Network devices using DPDK-compatible driver
============================================
0000:02:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
0000:05:00.1 'I350 Gigabit Network Connection 1521' drv=igb_uio unused=

MAC в конфиге - это мак второй сетевухи?

есть у кого-то нормальная сборка openssl с 2012 гостом? заманался уж ошибки получать, пол-дня пробую завести это говно под вин, а ещё же на линух надо будет вкорячить:D

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.