Блокировка сайтов провайдерами

[nevsik]

В 21.04.2022 в 05:16, ne-vlezay80 сказал:

Он может даже mtu минимальный поставить и не будет. Смотрите в сторону suricata в режиме nfq.

Правильно ли я вас понял. Человек у себя а компьютере, в сетевом адаптере менять mtu с 1500 например на 1200 и ndpi не будет детектировать его трафик и соответственно не будет блокировать?

[Умник]

В 21.04.2022 в 11:13, nevsik сказал:

Правильно ли я вас понял. Человек у себя а компьютере, в сетевом адаптере менять mtu с 1500 например на 1200 и ndpi не будет детектировать его трафик и соответственно не будет блокировать?

nDPI умеет собирать из частей сообщения L7-протоколов. Это может быть необходимо независимо от размера MTU. Реализовано в диссекторах протоколов. См. например: https://github.com/ntop/nDPI/search?q=max_extra_packets_to_check

 

Но собирать в правильную последовательность байт абстрактные L4-потоки nDPI действительно не умеет.

[aalexanderr]

В 21.04.2022 в 00:12, aalexanderr сказал:

И такой глупый вопрос кто-нибудь использует 1 фильтр на 2 браса ?

 

В текущий момент схема mirror, 1 брас, линк 10g, трафика 6 гигов.

 

  Показать содержимое

 

Хотелось бы разделить нагрузку по схеме mirror: 2 браса, 2 порта 10g, 1 порт sender. Я правильно понимаю, что extfilter в схеме mirror так будет работать с 2мя брасами и 2мя входящими портами ?

 

  Показать содержимое

 

И так же вопрос с 2мя брасами схема inline, настройка портов в таком случае будет выглядеть так ?:

0 ядро так же уходит в зрительный зал для работы основного процесса ? и допустим по 4 ядра на порт этого достаточно, чтобы прокачать 3-4 гига в схеме inline ? или лучше оставаться на зеркале ?

 

[port 0]
queues = 0,2;1,3;2,4;3,5
type = subscriber
mapto = 1

 

[port 1] =
queues = 0,6;1,7;2,8;3,9
type = network
mapto = 0

 

[port 2]
queues = 0,10;1,11;2,12;3,13
type = subscriber
mapto = 3

 

[port 3]
queues = 0,14;1,15;2,16;3,17
type = network
mapto = 2

 

  Показать содержимое

 

 

По моему вопросу кто-нибудь подскажет ?

[nevsik]

В 22.04.2022 в 00:41, aalexanderr сказал:

По моему вопросу кто-нибудь подскажет ?

Добрый день.

У меня с пяти брасов зеркало льется (в пике 800 Мбит/с, сумма входящих на брасах), в один порт приемник.

Тоже хочу попробовать, на фильтре сделать еще один порт для приема. 

[pc045]

В 22.04.2022 в 00:41, aalexanderr сказал:

По моему вопросу кто-нибудь подскажет ?

долгие годы работает в режиме три порта на прием зеркалированного трафика

[aalexanderr]

В 22.04.2022 в 08:15, nevsik сказал:

Добрый день.

У меня с пяти брасов зеркало льется (в пике 800 Мбит/с, сумма входящих на брасах), в один порт приемник.

Тоже хочу попробовать, на фильтре сделать еще один порт для приема. 

mac в порту приёмника мы указываете не браса/брасов, а asbr, к которому брасы подключены ? те фильтр отправляет rst пакеты на dst mac asbr'a ? 

а если допустим 2 вышестоящих оператора связи и соответственно 2 линка вверх, 2 разных мака и стоит rp check, то не будет ли asbr отбрасывать пакеты потому, что они прилетели не на тот интерфейс ?

В 22.04.2022 в 11:24, pc045 сказал:

долгие годы работает в режиме три порта на прием зеркалированного трафика

тот же вопрос, что выше написал..

 

А inline никто не использует ? только зеркало ?

[Duty IT]

Добрый день.

Ситуация следующая. ExtFilter был настроен и работал без проблем годами. В какой-то момент, в сети штормонуло и работать extFilter перестал. 

Сейчас, при запуске, в логах такое:

Скрытый текст

2022-05-03 15:35:00.682 [24399] Debug Application - HTTP code set to 302
2022-05-03 15:35:00.682 [24399] Debug Application - URL additional info set to none
2022-05-03 15:35:00.682 [24399] Debug Application - DPDK command line: extFilter
2022-05-03 15:35:00.682 [24399] Debug Application - DPDK command line: -n
2022-05-03 15:35:00.682 [24399] Debug Application - DPDK command line: 1
2022-05-03 15:35:00.683 [24399] Debug Application - DPDK command line: -c
2022-05-03 15:35:00.683 [24399] Debug Application - DPDK command line: 0x00
2022-05-03 15:35:00.683 [24399] Debug Application - DPDK command line: --master-lcore
2022-05-03 15:35:00.683 [24399] Debug Application - DPDK command line: 0

Конфиг:

Скрытый текст

; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
;lower_host = false

domainlist = /usr/local/etc/extfilter/domains
urllist = /usr/local/etc/extfilter/urls
ssllist = /usr/local/etc/extfilter/ssl_host

; файл с ip:port для блокировки
hostlist = /usr/local/etc/extfilter/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /usr/local/etc/extfilter/ssl_ips

; если false, то будет послан rst пакет вместо редиректа. Default: false
http_redirect = true

redirect_url = http://172.16.0.68/

; HTTP код ответа. default: 302 Moved Temporarily
; http_code = 302 Found
http_code = 302

; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего
url_additional_info = none

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = false

; Default: 0 - disable
statistic_interval = 60

; Default: false
match_url_exactly = false

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = false

; Какие ядра использовать. Default: все ядра, кроме management.
;core_mask = 0x3

; файл статистики (для extfilter-cacti)
statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
out_mtu = 1500

; количество тредов для отсылки уведомлений о блокировке
num_of_senders = 1

; делать ли нормализацию url
url_normalization = true

; удалять ли точку в конце имени хоста
; remove_dot = false

; CLI для управления или сбора статистики extfilter
cli_port = 9999
cli_address = 127.0.0.1

; Количество каналов памяти (для DPDK)
memory_channels = 1

; notify_enabled = false
; Формат файла ip/mask @group_id, где group_id группа оповещения. Например:
; 192.168.0.0/24 @0
; 10.0.0.0/24 @0
; 10.20.0.0/24 @1
; notify_acl_file = /usr/local/etc/extfilter/notify_acl

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a
; Пример:
[port 0]
queues = 0,1

; Порт для отправки уведомлений через dpdk
#[port 0]
#queues = 0,0
#type = sender
; На какой mac адрес отправлять пакеты
#mac = 90:e2:ba:37:de:08

; Группа оповещения 0
;[notify 0]
;http_code = 302 Found
;redirect_url = http://announce.example.com/?
;rst_to_server = false
; через какое время делать редирект (секунды)
;period = 1800
; количество редиректов, если 0 - не ограничено
;repeat = 0

[dpi]
; Максимальное количество обрабатываемых потоков (flow)
max_active_flows_ipv4 = 3500000
; max_active_flows_ipv6 = 1000000

; Собирать и анализировать фрагментированные пакеты
fragmentation_ipv6_state = true
; fragmentation_ipv4_state = true
fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
tcp_reordering = true

[logging]
;loggers.root.level = information
loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

Кто-нибудь может подсказать, куда смотреть?

Edited May 3, 2022 by Duty IT

[aalexanderr]

В 03.05.2022 в 05:33, Duty IT сказал:

[port 0]
queues = 0,1

; Порт для отправки уведомлений через dpdk
#[port 0]
#queues = 0,0
#type = sender
; На какой mac адрес отправлять пакеты
#mac = 90:e2:ba:37:de:08

 

Порт для приёма есть, а для отправки нету ? Режим работы какой ? Версия extfilter ?

[Duty IT]

В 04.05.2022 в 07:26, aalexanderr сказал:

Порт для приёма есть, а для отправки нету ? Режим работы какой ? Версия extfilter ?

Режим зеркало.

Версия

extFilter -v
extFilter version 0.99a

Когда сервер поднимался, была еще возможность отсылать ответы через систему, а не через дпдк.

 

В конфиге раскомментил core_mask = 0x3 - загрузка чуть дальше прошла. Теперь в логах ругается, что не определен порт отправителя

2022-05-05 14:32:10.360 [6232] Debug Application - HTTP code set to 302
2022-05-05 14:32:10.361 [6232] Debug Application - DPDK command line: extFilter
2022-05-05 14:32:10.361 [6232] Debug Application - DPDK command line: -n
2022-05-05 14:32:10.361 [6232] Debug Application - DPDK command line: 1
2022-05-05 14:32:10.361 [6232] Debug Application - DPDK command line: -c
2022-05-05 14:32:10.361 [6232] Debug Application - DPDK command line: 0x0f
2022-05-05 14:32:10.361 [6232] Debug Application - DPDK command line: --master-lcore
2022-05-05 14:32:10.361 [6232] Debug Application - DPDK command line: 0
2022-05-05 14:32:12.032 [6232] Fatal Application - The senders port is not defined in the mirror operation mode

 

[Morphus]

В 05.05.2022 в 12:43, Duty IT сказал:

core_mask = 0x3

поставьте 15

В 05.05.2022 в 12:43, Duty IT сказал:

extFilter version 0.99a

у меня

extFilter version 0.99.1

последняя вроде 0.99.4 , лучше обновитесь

В 05.05.2022 в 12:43, Duty IT сказал:

Теперь в логах ругается, что не определен порт отправителя

у вас в конфиге он не указан потому что. Попробуйте добавить в конфиг ещё:

operation_mode = mirror

ну и по портам как-то так должно быть

[port 0]
queues = 0,1


; Порт для отправки уведомлений через dpdk
[port 1]
type = sender
mac = 00:0f:f8:c9:50:00

 

[dee]

у меня какая то проблема с extFilter в лог много пишет записей 

Скрытый текст

2022-05-05 11:21:27.515 [1821362] Error ESender - Can't send packet. Buffer is full.
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58705
2022-05-05 11:21:27.515 [1821362] Error ESender - Can't send packet. Buffer is full.
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58681
2022-05-05 11:21:27.515 [1821362] Error ESender - Can't send packet. Buffer is full.
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58785
2022-05-05 11:21:27.515 [1821362] Error ESender - Can't send packet. Buffer is full.
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58738
2022-05-05 11:21:27.515 [1821362] Error ESender - Can't send packet. Buffer is full.
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58929
2022-05-05 11:21:27.515 [1821362] Error ESender - Can't send packet. Buffer is full.
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58756
2022-05-05 11:21:27.515 [1821362] Error ESender - Can't send packet. Buffer is full.
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58931
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58819
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58947
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58703
2022-05-05 11:21:27.515 [1821362] Debug ESender - Trying to send packet to 217.17.163.27 port 58727

 

в целом смотрю что всё работает (адреса не мои)

что за буфер не пойму 

если что  то в конфиге стоит : rst_to_server = false (но есть подозрение что что то пытается отправить всё равно)

 

странно , поставил http_redirect = false (было true) и всё пропало

ещё нашел проблему с роутингом пары сегментов (на них не было blackhole и при обращении несуществующих адресов была попяо в мирроре )

Edited May 5, 2022 by dee

[Duty IT]

В 05.05.2022 в 15:09, Morphus сказал:

поставьте 15

у меня

extFilter version 0.99.1

последняя вроде 0.99.4 , лучше обновитесь

у вас в конфиге он не указан потому что. Попробуйте добавить в конфиг ещё:

operation_mode = mirror

ну и по портам как-то так должно быть

[port 0]
queues = 0,1


; Порт для отправки уведомлений через dpdk
[port 1]
type = sender
mac = 00:0f:f8:c9:50:00

 

Так оно до того, как отвалилось отправляло через интерфейс системы. Хотелось бы восстановить работоспособность такого метода.

Но для проверки да, я сделал как Вы пишите, кроме обновления экстфильтра. Запустилось, проработало часа 4, после чего начало сыпать сообщениями

2022-05-05 19:37:11.841 [9619] Error WorkerThrd_0 - Unable to extract flow_infos
2022-05-05 19:37:11.841 [9619] Error WorkerThrd_1 - Unable to extract flow_infos
2022-05-05 19:37:11.841 [9619] Error WorkerThrd_2 - Unable to extract flow_infos
2022-05-05 19:37:11.841 [9619] Error WorkerThrd_0 - Unable to extract flow_infos
2022-05-05 19:37:11.841 [9619] Error WorkerThrd_1 - Unable to extract flow_infos

В итоге стопнул, запускаю заново - почти сразу стопается

Скрытый текст

2022-05-05 22:05:57.462 [10192] Information FlowStorageIPV4 - Allocate 1749984 bytes (109374 entries, element size 16) for flow hash ipv4
2022-05-05 22:05:57.463 [10192] Information FlowStorageIPV4 - Allocating 874992 bytes (109374 entries) for ipv4_flows
2022-05-05 22:05:57.465 [10192] Information FlowStorageIPV4 - Allocate 1749984 bytes (109374 entries, element size 16) for flow hash ipv4
2022-05-05 22:05:57.465 [10192] Information FlowStorageIPV4 - Allocating 874992 bytes (109374 entries) for ipv4_flows
2022-05-05 22:05:57.467 [10192] Information FlowStorageIPV4 - Allocate 1749984 bytes (109374 entries, element size 16) for flow hash ipv4
2022-05-05 22:05:57.467 [10192] Information FlowStorageIPV4 - Allocating 874992 bytes (109374 entries) for ipv4_flows
2022-05-05 22:05:57.469 [10192] Information FlowStorageIPV4 - Allocate 1749984 bytes (109374 entries, element size 16) for flow hash ipv4
2022-05-05 22:05:57.470 [10192] Information FlowStorageIPV4 - Allocating 874992 bytes (109374 entries) for ipv4_flows
2022-05-05 22:05:57.472 [10192] Information FlowStorageIPV4 - Allocate 1749984 bytes (109374 entries, element size 16) for flow hash ipv4
2022-05-05 22:05:57.472 [10192] Fatal FlowStorageIPV4 - Unable to create ipv4 flow hash

 

[Morphus]

В 05.05.2022 в 20:08, Duty IT сказал:

В итоге стопнул, запускаю заново - почти сразу стопается

может памяти мало выделено ?

В секции dpi ещё scale должен быть

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
scale = 10

 

В 05.05.2022 в 20:08, Duty IT сказал:

через интерфейс системы

так уже давно не работает, только через dpdk. Как работало у вас не знаю, лучше обновите фильтр.

[Duty IT]

В 06.05.2022 в 15:02, Morphus сказал:

может памяти мало выделено ?

В секции dpi ещё scale должен быть

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
scale = 10

 

так уже давно не работает, только через dpdk. Как работало у вас не знаю, лучше обновите фильтр.

Выставил scale, обновил фильтр до версии с гита - вываливается в ошибку, что и до этого. 

Кстати, во время работы, использование памяти дошло до ~9 гигов, после чего начались ошибки. В системе всего 16. 

Добавлять тут? 

GRUB_CMDLINE_LINUX="domdadm elevator=noop default_hugepagesz=2M hugepagesz=2M hugepages=8"

Edited May 7, 2022 by Duty IT

[Morphus]

В 07.05.2022 в 07:53, Duty IT сказал:

Добавлять тут?

Да. У меня 32 Гб, я выдал 25

[bootloader]
cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=25

 

[atdp03]

Добрый всем.

 

Две одинаковых по железу и софту машинки, с различающимся вдвое уровнем трафика, начали подсыпать пропуски.

 

В логах из аномалий такое:

2022-05-22 11:28:47.717 [28895] Error ESender - Can't send packet. Buffer is full.
2022-05-22 11:28:47.717 [28895] Error ESender - Can't send packet. Buffer is full.
2022-05-22 11:29:07.826 [28895] Error ESender - Can't send packet. Buffer is full.
2022-05-22 11:29:07.827 [28895] Error ESender - Can't send packet. Buffer is full.

 

Режим зеркала, разные локации, разные свичи.

Я один такой везучий?

[Morphus]

у меня стал примерно раз в 2, 2.5 недели вылетать фильтр с ошибкой:

2022-05-23 21:00:11.234 [479] Error WorkerThrd_0 - Unable to allocate memory for the ssl buffer

после рестарта всё нормально. Добавить памяти? Хотя после рестарта хватает же получается. Было у кого?

[atdp03]

On 5/24/2022 at 4:12 AM, Morphus said:

у меня стал примерно раз в 2, 2.5 недели вылетать фильтр с ошибкой:

2022-05-23 21:00:11.234 [479] Error WorkerThrd_0 - Unable to allocate memory for the ssl buffer

после рестарта всё нормально. Добавить памяти? Хотя после рестарта хватает же получается. Было у кого?

Решение тут:

 

[Morphus]

В 24.05.2022 в 20:38, atdp03 сказал:

Решение тут:

У меня глупый вопрос в связи с этим. Мой вывод команды такой:

Скрытый текст

[root@localhost ~]# { echo "show worker stats all"; sleep 1; } | telnet 127.0.0.1 9999 2>/dev/null | grep -A 19 Worker
Worker 'WorkerThrd_0' on core 1
  Seen packets: 74857935439
  IP packets: 74857825687 (IPv4 packets: 74857821123, IPv6 packets: 4564)
  Total bytes: 7401188074118
  HTTP packets: 4990058492
  SSL/TLS packets: 32427693573
  SSL/TLS partial packets: 29201
  DPI parsers:
    Allocs:
      HTTP: 12327884
      SSL: 192104270
    Memory pools usage:
      HTTP: 11106
      SSL: 299831
    Memory pools free:
      HTTP: 238895
      SSL: 170169
  DPI errors:
    No memory http: 0
    No memory ssl: 0
--
Worker 'WorkerThrd_1' on core 3
  Seen packets: 0
  IP packets: 0 (IPv4 packets: 0, IPv6 packets: 0)
  Total bytes: 0
  HTTP packets: 0
  SSL/TLS packets: 0
  SSL/TLS partial packets: 0
  DPI parsers:
    Allocs:
      HTTP: 0
      SSL: 0
    Memory pools usage:
      HTTP: 11105
      SSL: 299828
    Memory pools free:
      HTTP: 238895
      SSL: 170172
  DPI errors:
    No memory http: 0
    No memory ssl: 0

 

Я пологаю что:

Memory pools usage SSL - это сколько я сейчас использую по факту ?

Memory pools free SSL - это сколько у меня запас остался ?

В таком случае не понимаю значение   Allocs - SLL ..

От какого значения мне отталкиваться ? Спасибо.

 

[max1976]

В 24.05.2022 в 04:12, Morphus сказал:

после рестарта всё нормально. Добавить памяти? Хотя после рестарта хватает же получается.

Увеличить scale либо увеличить dpi.ssl_entries, например, до 2 млн.

[Morphus]

Доброго. У вас блокируются эти ресурсы ?

https://www.abdwap.work/d/BWbLHfmho1Y/1.html (172.67.141.15)

https://hrex.info/too/a516jH6WnYB5YqY/why-convert-muslim-women-want-the-khilafah.html  (103.224.182.242)

https://rxwab.com/videos/watch/LlrZcarIdDA (172.67.141.176)

https://www.dndnha.net/download/mvuDW4swoRE.html

 

Записей много вообще, большая часть на доменах выше. Началось вчера в 4 утра.

Причём иногда бывает при проверке в браузере, получаю ресет, а через несколько секунд (3-4 сек) сайт вдруг открывается. Хотя страница уже всё, ничего не делает по идее.

missed packets по нулям.

Было у кого что подобное ?

Edited July 21, 2022 by Morphus

[nevsik]

В 21.07.2022 в 09:37, Morphus сказал:

Доброго. У вас блокируются эти ресурсы ?

https://www.abdwap.work/d/BWbLHfmho1Y/1.html (172.67.141.15)

https://hrex.info/too/a516jH6WnYB5YqY/why-convert-muslim-women-want-the-khilafah.html  (103.224.182.242)

https://rxwab.com/videos/watch/LlrZcarIdDA (172.67.141.176)

https://www.dndnha.net/download/mvuDW4swoRE.html

 

Записей много вообще, большая часть на доменах выше. Началось вчера в 4 утра.

Причём иногда бывает при проверке в браузере, получаю ресет, а через несколько секунд (3-4 сек) сайт вдруг открывается. Хотя страница уже всё, ничего не делает по идее.

missed packets по нулям.

Было у кого что подобное ?

 

Добрый день.
У меня блокируется (сбрасывается соединение) и если обновлять то так же не открываются эти ресурсы.

[Стич]

Пользователи начали жаловаться на не доступность потоков с ilook.tv EDEM TV.

 

У кого нибудь есть такая проблема?

[Morphus]

Подскажите как правильно реагировать, в пропусках домены:

http://zakyiv.com/

http://joycasino2020.xyz/

http://ribak-money.ru/

http://v4co2.com/

 

Все они в браузере выдают ERR_ADDRESS_UNREACHABLE, dns их резолвит норомально.

Но если адрес не доступен, то и обращений к нему нет со стороны браузера и следовательно блокировки нет.

Я правильно рассуждаю ?

[alibek]

В 28.07.2022 в 04:55, Morphus сказал:

Я правильно рассуждаю ?

Нет. Вы считаете, что Ревизор или пользователи будут использовать тот же DNS-сервер, что и вы (ваш браузер).

Это не всегда так.