1. Для блокировка используем

[epollia]

3 минуты назад, Cramac сказал:

Спасибо, запустился.

напомните, в сендер надо ставить мак адрес сетевой, которую зеркалю? 

Мак адрес на который надо отправлять rst пакеты (dst mac). В моем случае это мак интерфейса машратизатора. 

[Cramac]

Спасибо, попробую

[Morphus]

33 минуты назад, Cramac сказал:

напомните, в сендер надо ставить мак адрес сетевой, которую зеркалю? 

Выше вам правильно ответили. Как правило это порт в  L3 режиме. И его мак прописываете.

[Cramac]

Что то пока не хочет.

Схема у меня простая абонент - циска nexus 3000 (шлюз по умолчанию для абонов и маршрут всего на 10.10.10.1) - НАС (10.10.10.1)

НАС воткнут в циску в порт 2, что смотрит в сеть

фильтр в 33 и 34 порт

 

 

на циске оба порта в транке (так ли?), зеркалю так:

Скрытый текст

 sh monitor ses 2
   session 2
---------------
type              : local
state             : up
acl-name          : acl-name not specified
source intf       :
    rx            : Eth1/2
    tx            :
    both          :
source VLANs      :
    rx            :
destination ports : Eth1/33

Legend: f = forwarding enabled, l = learning enabled

 

в логе фильтра

Скрытый текст

2021-02-08 11:26:48.314 [7428] Information Application - Port 0 input packets 22118432, input errors: 0, mbuf errors: 0, missed packets: 0
2021-02-08 11:26:48.314 [7428] Information Application - Port 1 input packets 255, input errors: 0, mbuf errors: 0, missed packets: 2941
2021-02-08 11:26:48.314 [7428] Information Application - Worker thread on core 1 statistics:
2021-02-08 11:26:48.314 [7428] Information Application - Thread seen packets: 22118801, IP packets: 22118100 (IPv4 packets: 22118100, IPv6 packets: 0), seen bytes: 16445374808, Average packet size: 743 bytes, Traffic throughput: 73.73 K pps
2021-02-08 11:26:48.314 [7428] Information Application - Thread IPv4 fragments: 80, IPv6 fragments: 0, IPv4 short packets: 0
2021-02-08 11:26:48.314 [7428] Information Application - Thread matched by ip/port: 0, ssl SNI: 0, ssl/ip: 0, http IPv4: 0, http IPv6: 0
2021-02-08 11:26:48.314 [7428] Information Application - Thread redirected blocked http IPv4: 0, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 0, rst sended IPv6: 0
2021-02-08 11:26:48.314 [7428] Information Application - All worker threads seen packets: 22118801, IP packets: 22118100 (IPv4 packets: 22118100, IPv6 packets: 0), seen bytes: 16445374808, traffic throughtput: 73.73 K pps
2021-02-08 11:26:48.315 [7428] Information Application - All worker IPv4 fragments: 80, IPv6 fragments: 0, IPv4 short packets: 0
2021-02-08 11:26:48.315 [7428] Information Application - All worker threads matched by ip/port: 0, matched by ssl SNI: 0, matched by ssl/ip: 0, matched by HTTP: 0
2021-02-08 11:26:48.315 [7428] Information Application - All worker threads redirected blocked http: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 0, rst sended IPv6: 

 

Включил дебаг, почему то шлет все на один адрес почти

2021-02-08 13:13:54.682 [1783] Debug ESender - Trying to send packet to 10.255.25.207 port 58365
2021-02-08 13:13:54.683 [1783] Debug ESender - Trying to send packet to 10.255.25.207 port 49177
2021-02-08 13:13:54.683 [1783] Debug ESender - Trying to send packet to 10.255.25.207 port 49177
2021-02-08 13:13:54.685 [1783] Debug ESender - Trying to send packet to 10.255.25.207 port 45510
2021-02-08 13:13:54.685 [1783] Debug ESender - Trying to send packet to 10.255.25.207 port 45510
2021-02-08 13:13:54.708 [1783] Debug ESender - Trying to send packet to 10.255.25.207 port 48106
2021-02-08 13:13:54.708 [1783] Debug ESender - Trying to send packet to 10.255.25.207 port 48106

 

иногда проскакивает тестовый пк, на котором проверяю, но в тспдамп не видит пакета от фильтра.

 

Чет перепробовал маки НАСа, Циски, не приходит, хотя по логам фильтра, он отправляет.

 

UPD. Оказывается все работает, для серых адресов, а белые, для которых шлюзом является НАС (на нем поднял интерфейс), пропускает.

[Cramac]

Подскажите еще, как обновляете файлы фильтра? запустил перл nfqfilter, файлы создает из базы, а как extfilter послать HUP? и как часто запускать nfqfilter?

[Morphus]

6 часов назад, Cramac сказал:

как extfilter послать HUP?

Используйте скрипт https://github.com/max197616/extfilter/tree/master/scripts/extfilter-maker   он и шлёт сам сигнал HUP когда сформирует конфиги.

6 часов назад, Cramac сказал:

как часто запускать

у меня раз в 15 минут: запуск выгрузки && запуск формирования новых файлов

[Cramac]

Спасибо

[Cramac]

запустил майкер, файлы обновляются, а фильтр чет не ХУПает, в логах нет про это. В ручную запуская задачу крона, ХУП проходит.

[admf]

так HUP только тогда, когда есть изменения в выгрузке. 

[Cramac]

Подскажите, получается в 0 свести пропуски? или укладываться в допустимые?

Завтра посмотрю отчет, сегодня первый день работает. Но пробовал сам, иногда пропускает, открываются ссылки. 

[admf]

Есть некоторые сайты, которые открываются через exfilter, их заблочил по ип. А так все по 0. Кстати, мне куратор сказал что сейчас у них разрешенный процент по пропускам, всего 0,4% и каждый год они его будут снижать на 1 десятую, т.е. через четыре года, должно быть 0 пропусков.

[Cramac]

посмотрел отчет, 190 пропусков.

 

Такой вопрос, есть ли смысл поставить два фильтра?

 

Если статистика накопительная:

Скрытый текст

2021-02-10 08:53:23.329 [10035] Information Application - Port 0 input packets 1746311746, input errors: 0, mbuf errors: 0, missed packets: 0
2021-02-10 08:53:23.329 [10035] Information Application - Port 1 input packets 255, input errors: 0, mbuf errors: 0, missed packets: 199495
2021-02-10 08:53:23.329 [10035] Information Application - Worker thread on core 1 statistics:
2021-02-10 08:53:23.329 [10035] Information Application - Thread seen packets: 577219831, IP packets: 577050147 (IPv4 packets: 576899256, IPv6 packets: 150891), seen bytes: 70896256401, Average packet size: 122 bytes, Traffic throughput: 7.76 K pps
2021-02-10 08:53:23.329 [10035] Information Application - Thread IPv4 fragments: 4254516, IPv6 fragments: 0, IPv4 short packets: 0
2021-02-10 08:53:23.329 [10035] Information Application - Thread matched by ip/port: 222, ssl SNI: 101019, ssl/ip: 0, http IPv4: 121267, http IPv6: 0
2021-02-10 08:53:23.329 [10035] Information Application - Thread redirected blocked http IPv4: 121267, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 101241, rst sended IPv6: 0
2021-02-10 08:53:23.329 [10035] Information Application - Thread packets latency all packets: 514 cycles (177 ns), unblocked packets: 511 cycles (176 ns), blocked packets: 6405 (2206 ns)
2021-02-10 08:53:23.329 [10035] Information Application - Worker thread on core 2 statistics:
2021-02-10 08:53:23.329 [10035] Information Application - Thread seen packets: 583413716, IP packets: 583282012 (IPv4 packets: 583082982, IPv6 packets: 199030), seen bytes: 71417188308, Average packet size: 122 bytes, Traffic throughput: 9.68 K pps
2021-02-10 08:53:23.329 [10035] Information Application - Thread IPv4 fragments: 3681652, IPv6 fragments: 0, IPv4 short packets: 0
2021-02-10 08:53:23.329 [10035] Information Application - Thread matched by ip/port: 106, ssl SNI: 114702, ssl/ip: 0, http IPv4: 156691, http IPv6: 0
2021-02-10 08:53:23.329 [10035] Information Application - Thread redirected blocked http IPv4: 156691, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 114814, rst sended IPv6: 0
2021-02-10 08:53:23.329 [10035] Information Application - Thread packets latency all packets: 504 cycles (174 ns), unblocked packets: 501 cycles (173 ns), blocked packets: 6142 (2115 ns)
2021-02-10 08:53:23.329 [10035] Information Application - Worker thread on core 3 statistics:
2021-02-10 08:53:23.329 [10035] Information Application - Thread seen packets: 585679348, IP packets: 585652762 (IPv4 packets: 585504547, IPv6 packets: 148215), seen bytes: 64039892198, Average packet size: 109 bytes, Traffic throughput: 11.24 K pps
2021-02-10 08:53:23.329 [10035] Information Application - Thread IPv4 fragments: 4012193, IPv6 fragments: 0, IPv4 short packets: 0
2021-02-10 08:53:23.329 [10035] Information Application - Thread matched by ip/port: 165, ssl SNI: 104190, ssl/ip: 0, http IPv4: 159816, http IPv6: 0
2021-02-10 08:53:23.329 [10035] Information Application - Thread redirected blocked http IPv4: 159816, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 104488, rst sended IPv6: 0
2021-02-10 08:53:23.329 [10035] Information Application - Thread packets latency all packets: 521 cycles (179 ns), unblocked packets: 518 cycles (178 ns), blocked packets: 6349 (2186 ns)
2021-02-10 08:53:23.329 [10035] Information Application - All worker threads seen packets: 1746312895, IP packets: 1745984921 (IPv4 packets: 1745486785, IPv6 packets: 498136), seen bytes: 206353336907, traffic throughtput: 28.68 K pps
2021-02-10 08:53:23.329 [10035] Information Application - All worker IPv4 fragments: 11948361, IPv6 fragments: 0, IPv4 short packets: 0
2021-02-10 08:53:23.329 [10035] Information Application - All worker threads matched by ip/port: 493, matched by ssl SNI: 319911, matched by ssl/ip: 0, matched by HTTP: 437774
2021-02-10 08:53:23.329 [10035] Information Application - All worker threads redirected blocked http: 437774, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 320543, rst sended IPv6: 0

 

текущий конфиг такой:

Скрытый текст

# cat extfilter.ini
; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
lower_host = true

domainlist = /home/nqfilter/domains
urllist = /home/nqfilter/urls
ssllist = /home/nqfilter/ssl_host

; файл с ip:port для блокировки
hostlist = /home/nqfilter/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /home/nqfilter/ssl_ips

; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false
http_redirect = true

# если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://...
redirect_url = http://block.yotabit.ru?

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = false

; Default: 0 - disable
statistic_interval = 300

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = false

; Какие ядра использовать. Default: все ядра, кроме management.
 core_mask = 15

; файл статистики (для extfilter-cacti)
;statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
; out_mtu = 1500

; CLI для управления или сбора статистики extfilter
; cli_port = 9999
; cli_address = 127.0.0.1

; Количество каналов памяти (для DPDK)
; memory_channels = 2

; Количество повторных пакетов в сторону клиента (от 1 до 3)
 answer_duplication = 3

; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline)
 operation_mode = mirror

; Использовать jumbo frames
; jumbo_frames = false

; Максимальная длина ethernet фрейма при включенном jumbo_frames
; max_pkt_len = 9600

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a
; Пример:
[port 0]
queues = 0,1; 1,2; 2,3

; Порт для отправки уведомлений через dpdk
[port 1]
type = sender
; На какой mac адрес отправлять пакеты
; mac cisco vlan
mac = 4c:00:82:d2:ee:01

;mac cisco port
;mac = 4c:00:82:d2:ed:e9

; mac нас сетевая в сеть
;mac = f8:f2:1e:77:aa:a4

; mac нас сетевая в global
;mac = f8:f2:1e:77:aa:a5

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
 scale = 5

; Собирать и анализировать фрагментированные пакеты
 fragmentation_ipv6_state = true
 fragmentation_ipv4_state = true
 fragmentation_ipv4_table_size = 512
 fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
 tcp_reordering = true

[logging]
loggers.root.level = information
;loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

 

Пробовал сам открывать, все ссылки блокируются.

[admf]

 

34 минуты назад, Cramac сказал:

посмотрел отчет, 190 пропусков.

 

А пропуски точно по фильтру, я имею ввиду не  например блокировки по IP?
И по времени совпадает с работой фильтра, может пропуски нахватались до запуска фильтра 

 Например, ресурсы которые отдельно по ип или днс блокируем (надеюсь без последствий будет, выложил картинкой):

Скрытый текст

 

 

 

 

 

На сколько понял по статистике, она не накопительная, а за 300 секунд

Лично у нас 2 ядра не используется под фильтр(первое и последнее), оставили на генерацию конфига и служебные нужды

 

так же мы отправляем только один пакет в сторону абонента(ревизора)

и отдельно, дополнительно фильтруем в режиме моста еще (это по поводу установки двух фильтров). Зато можно безболезненно производить работы на сети, так как в режиме моста и IP фильтруются тоже.

 

 

Кстати по поводу HUP, например за вечер вчера и утро сегодня фильтр перечитывал конфиг всего несколько раз:

 

Скрытый текст

2021-02-09 21:22:57.737 [1860] Information Application - Got HUP signal - reload data
2021-02-09 21:42:59.311 [1860] Information Application - Got HUP signal - reload data
2021-02-09 23:03:01.432 [1860] Information Application - Got HUP signal - reload data
2021-02-10 00:03:00.288 [1860] Information Application - Got HUP signal - reload data
2021-02-10 02:22:58.787 [1860] Information Application - Got HUP signal - reload data

 

Изменено 10 февраля, 2021 пользователем admf
неточность в значениях

[Cramac]

А по железу оба одинаковые? фильтры. По отчету в основном домены в хттп или хттпс

[admf]

20 минут назад, Cramac сказал:

А по железу оба одинаковые? фильтры. По отчету в основном домены в хттп или хттпс

второй фильтр чисто на ревизора, поднят на виртуалке, так сказать страховка.

[Morphus]

18 часов назад, admf сказал:

второй фильтр чисто на ревизора, поднят на виртуалке

оО, реально на ВМ фильтр работает ? Без косяков ?

Что-то тоже захотелось так перестраховаться. У меня на ВМ только дополнительно самопальная блокировка ip адресов стоит.

[admf]

2 часа назад, Morphus сказал:

оО, реально на ВМ фильтр работает ? Без косяков ?

Что-то тоже захотелось так перестраховаться. У меня на ВМ только дополнительно самопальная блокировка ip адресов стоит.

Да все отлично, уже 2й год трудиться.

[arhead]

4 часа назад, admf сказал:

Да все отлично, уже 2й год трудиться.

А сетевые ему отдельные ставили? Или виртуальные интерфейсы. Что за вирт сервер?

[admf]

11 часов назад, arhead сказал:

А сетевые ему отдельные ставили? Или виртуальные интерфейсы. Что за вирт сервер?

сетевые отдельно не ставились, использовались те что на hp proliant g8, виртуальные интерфейсы добавлялись как адаптер VMXNET. Гиппервизор VMware exsi 6.2. Пакет собирался на рекомендуемом Centos

[Piyoz]

Проверьте, пожалуйста, блокирует ли у вас extfilter адрес https://аптека-потенция.рф

[arhead]

Только что, Piyoz сказал:

Проверьте, пожалуйста, блокирует ли у вас extfilter адрес

Блокирует.

 

9 часов назад, admf сказал:

сетевые отдельно не ставились, использовались те что на hp proliant g8, виртуальные интерфейсы добавлялись как адаптер VMXNET. Гиппервизор VMware exsi 6.2. Пакет собирался на рекомендуемом Centos

Понятно. Спасибо. На Qemu-kvm мне кажется так не получится.  Получалось только если весь интерфейс отдавать и к нему терялся доступ Гипервизора. Надо как нить попробовать заняться. Т.к. для ревизора nfqfilter мне кажется уже не хватает

[nevsik]

1 час назад, Piyoz сказал:

Проверьте, пожалуйста, блокирует ли у вас extfilter адрес https://аптека-потенция.рф

Да блокируется.

[Piyoz]

@nevsik @arhead Спасибо, нашёл у себя косяк.

[admf]

8 часов назад, arhead сказал:

для ревизора nfqfilter мне кажется уже не хватает

100% не хватает, до этого стоял он, т.к. не было серверов свободных с поддержкой SSE4.2

 

8 часов назад, arhead сказал:

Получалось только если весь интерфейс отдавать и к нему терялся доступ Гипервизора.

Не знаю, есть ли такое в qemu, но в exsi есть режим promiscuous mode, с ним не надо отдавать сетевую целиком.

[Morphus]

В 12.02.2021 в 22:52, admf сказал:

с ним не надо отдавать сетевую целиком.

Подскажите mac адрес чего вы указывали для отправки ответов ?

В esxi думаю тоже на хосте bridge интерфейс для виртуалок стоит ?