1. Для блокировка используем

[Morphus]

В 16.02.2021 в 18:57, admf сказал:

у меня на витруалке в режиме моста, там не надо адрес указывать

просто стоит sender и всё ?

[port 1]
type = sender

 

[admf]

4 часа назад, Morphus сказал:

просто стоит sender и всё ?

[port 1]
type = sender

 

[port 0]
queues = 0,1; 1,3
type = network
mapto = 1

 

[port 1]
queues = 0,2; 1,4
type = subscriber
mapto = 0
 

[toropyga]

Настроил автозагрузку модулей и фильтра, перестала работать блокировка, когда запускал руками все работало. Настроено в режиме моста.

конфиг с каким запускаю:

Скрытый текст

; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
;lower_host = false

domainlist = /usr/local/etc/extfilter/config/domains
urllist = /usr/local/etc/extfilter/config/urls
ssllist = /usr/local/etc/extfilter/config/ssl_host

; файл с ip:port для блокировки
hostlist = /usr/local/etc/extfilter/config/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /usr/local/etc/extfilter/config/ssl_ips

; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false
http_redirect = true

# если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://...
redirect_url = http://example.com

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = false

; Default: 0 - disable
statistic_interval = 300

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = false

; Какие ядра использовать. Default: все ядра, кроме management.
core_mask = 0xff

; файл статистики (для extfilter-cacti)
;statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
; out_mtu = 1500

; CLI для управления или сбора статистики extfilter
; cli_port = 9999
; cli_address = 127.0.0.1

; Количество каналов памяти (для DPDK)
 memory_channels = 2

; Количество повторных пакетов в сторону клиента (от 1 до 3)
 answer_duplication = 1

; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline)
 operation_mode = inline

; Использовать jumbo frames
; jumbo_frames = false

; Максимальная длина ethernet фрейма при включенном jumbo_frames
; max_pkt_len = 9600

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a
; Пример:
;[port 0]
;queues = 0,1; 1,2

[port 0]
queues = 0,1;1,2;2,3;3,4;4,5
type = subscriber
mapto = 1

[port 1]
queues = 0,2;1,3;2,4;3,5;4,6
type = network
mapto = 0

; Порт для отправки уведомлений через dpdk
;[port 1]
;type = sender
; На какой mac адрес отправлять пакеты
;mac = 00:01:02:03:04:05

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
 scale = 1

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
; fragmentation_ipv4_state = true
; fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
; tcp_reordering = true

[logging]
loggers.root.level = information
#loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local
 

 В чем может быть причина?

[admf]

1 час назад, toropyga сказал:

Настроил автозагрузку модулей и фильтра, перестала работать блокировка, когда запускал руками все работало. Настроено в режиме моста.

конфиг с каким запускаю:

  Показать содержимое

; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
;lower_host = false

domainlist = /usr/local/etc/extfilter/config/domains
urllist = /usr/local/etc/extfilter/config/urls
ssllist = /usr/local/etc/extfilter/config/ssl_host

; файл с ip:port для блокировки
hostlist = /usr/local/etc/extfilter/config/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /usr/local/etc/extfilter/config/ssl_ips

; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false
http_redirect = true

# если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://...
redirect_url = http://example.com

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = false

; Default: 0 - disable
statistic_interval = 300

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = false

; Какие ядра использовать. Default: все ядра, кроме management.
core_mask = 0xff

; файл статистики (для extfilter-cacti)
;statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
; out_mtu = 1500

; CLI для управления или сбора статистики extfilter
; cli_port = 9999
; cli_address = 127.0.0.1

; Количество каналов памяти (для DPDK)
 memory_channels = 2

; Количество повторных пакетов в сторону клиента (от 1 до 3)
 answer_duplication = 1

; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline)
 operation_mode = inline

; Использовать jumbo frames
; jumbo_frames = false

; Максимальная длина ethernet фрейма при включенном jumbo_frames
; max_pkt_len = 9600

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a
; Пример:
;[port 0]
;queues = 0,1; 1,2

[port 0]
queues = 0,1;1,2;2,3;3,4;4,5
type = subscriber
mapto = 1

[port 1]
queues = 0,2;1,3;2,4;3,5;4,6
type = network
mapto = 0

; Порт для отправки уведомлений через dpdk
;[port 1]
;type = sender
; На какой mac адрес отправлять пакеты
;mac = 00:01:02:03:04:05

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
 scale = 1

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
; fragmentation_ipv4_state = true
; fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
; tcp_reordering = true

[logging]
loggers.root.level = information
#loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local
 

 В чем может быть причина?

Лично у меня была проблема, что запускался с неправильным конфигом,  если автозапуск через сервис, какой конфиг подсовывается можно глянуть тут:

/etc/systemd/system/extfilter.service

Изменено 24 февраля, 2021 пользователем admf

[toropyga]

Нет, конфиг подхватывает верный, да и другого у меня нет, а совсем без конфига он бы не стартанул. Значит дело в чем то другом...

[admf]

т.е. systemctl status extfilter говорит, что сервис запущен?

 

я так запускаюсь:

 

#!/bin/bash

#extFilter
sleep 10

modprobe uio
insmod /usr/src/dpdk-stable-17.05.2/build/kmod/igb_uio.ko
echo 2048 >/sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

sleep 10

/usr/src/dpdk-stable-17.05.2/usertools/dpdk-devbind.py --bind=igb_uio 0000:0b:00.0
/usr/src/dpdk-stable-17.05.2/usertools/dpdk-devbind.py --bind=igb_uio 0000:13:00.0

sleep 10
cd /usr/src/extfilter/scripts/extfilter-maker/ && perl extfilter_maker.pl > /dev/null 2>&1

sleep 10
systemctl start extfilter.service

 

[toropyga]

все через systemd запускается

# systemctl status extfilter
 

Скрытый текст

extfilter.service - extFilter is a daemon for filtering traffic using DPDK
   Loaded: loaded (/etc/systemd/system/extfilter.service; enabled; vendor preset: disabled)
   Active: active (running) since ─ 2021-02-24 11:42:39 MSK; 58min ago
  Process: 1958 ExecStart=/usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /usr/local/etc/extfilter/etc/extfilter.ini (code=exited, status=0/SUCCESS)
 Main PID: 1959 (extFilter)
   CGroup: /system.slice/extfilter.service
           ─1959 /usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /usr/local/etc/extfilter/etc/extfilter.ini

24 11:42:39 localhost.localdomain systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK...
24 11:42:39 localhost.localdomain systemd[1]: Can't open PID file /var/run/extFilter.pid (yet?) after start: No such file or directory
24 11:42:39 localhost.localdomain systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK.
24 11:42:39 localhost.localdomain extFilter[1959]: EAL: Probing VFIO support...
24 11:42:44 localhost.localdomain extFilter[1959]: EAL: PCI device 0000:07:00.0 on NUMA socket -1
24 11:42:44 localhost.localdomain extFilter[1959]: EAL:   probe driver: 8086:1521 net_e1000_igb
24 11:42:44 localhost.localdomain extFilter[1959]: EAL: PCI device 0000:07:00.1 on NUMA socket -1
24 11:42:44 localhost.localdomain extFilter[1959]: EAL:   probe driver: 8086:1521 net_e1000_igb

 

[metalsoft]

Всего доброго!
Настраиваю связку perl-скрипта (zapret.pl) для обновления реестра + squid. В реестре встречаются записи вида *.1xbet.com (насколько я понимаю, сквидом они не обрабатываются ) и 1xbet.com (эти ок). Если звездочку отрезаем, сквид ругается:

ERROR: '.1xbet.com' is a subdomain of '1xbet.com'
ERROR: You need to remove '.1xbet.com' from the ACL named 'blocked2'
FATAL: Bungled //etc/squid.conf line 18: acl blocked2 ssl::server_name  "/etc/squid/all_domains.txt"

Таких пар несколько.

Но есть домены, для которых есть записи со звездочкой, и нет записи нормальной и получается пропуск. Как тут правильно поступить?

Изменено 25 февраля, 2021 пользователем metalsoft

[st_re]

всегда отрезать *. и склеивать повторы ?

[edo]

2 часа назад, metalsoft сказал:

Настраиваю связку perl-скрипта (zapret.pl) для обновления реестра + squid

пробовал делать на squid, ложится он на больших списках.

сделал через роутинг, всё хорошо.

 

правда, я решал обратную задачу: чтобы из локалки показывались заблокированные сайты, но при этом основной трафик шёл напрямую.

 

P. S. сейчас подумал, что можно попробовать перед squid'ом поставить nginx и на нём делать фильтрацию по имени.

[metalsoft]

17 часов назад, st_re сказал:

всегда отрезать *. и склеивать повторы ?

Извините, не понял, какие повторы склеивать? Искать все повторяющиеся записи по всему реесту?

 

14 часов назад, edo сказал:

пробовал делать на squid, ложится он на больших списках.

сделал через роутинг, всё хорошо.

То есть резолвили все домены?

[st_re]

2 часа назад, metalsoft сказал:

Извините, не понял, какие повторы склеивать? Искать все повторяющиеся записи по всему реесту?

 

 

да как угодно.. перл же уже есть ? имена в хеш, потом выдать из хеша. да хоть

cat LIST | uniq

 

[toropyga]

Подскажите как к zabbix4 прикрутить, а то шаблон я так понимаю для 2 версии. При импортировании шаблона zabbix ругается:

• Ошибочный тег "/zabbix_export/templates/template(1)/discovery_rules/discovery_rule(1)/filter/conditions/condition(1)": тег "formulaid" пропущен.

[Cramac]

Всем привет. Подскажите, вот никак не хочет в 0 работать :)

каждый день 5-8 ссылок, причем одни и теже. Может их по другому закрыть (как) ?

 

Скрытый текст

http://www.28365365.tw/, 119.28.87.149, GET 

http://crc07.com, 154.13.30.5,GET 

http://crc07.com, 154.13.30.4,GET 

http://crc07.com, 154.13.30.3,GET 

 

И попутный вопрос, чет после ребута, фильтр не запускается. В ручную норм

запускаю так:

service extfilter start

 

При этом сетевые биндятся, модуль загружен уже.

[epollia]

2 часа назад, Cramac сказал:

Всем привет. Подскажите, вот никак не хочет в 0 работать :)

каждый день 5-8 ссылок, причем одни и теже. Может их по другому закрыть (как) ?

 

  Показать содержимое

http://www.28365365.tw/, 119.28.87.149, GET 

http://crc07.com, 154.13.30.5,GET 

http://crc07.com, 154.13.30.4,GET 

http://crc07.com, 154.13.30.3,GET 

 

И попутный вопрос, чет после ребута, фильтр не запускается. В ручную норм

запускаю так:

service extfilter start

 

При этом сетевые биндятся, модуль загружен уже.

эти сайты только по ip блокировать. Они по хитрому работают. Выше в теме разбирали уже.

[nevsik]

Все добрый вечер.

Правильно ли понимаю, что при запуске фильтр создает два этих пула, где содержатся списки ссылок и доменов для блокировки?

Как можно увеличить значения этих списков?

2021-03-19 18:19:18.388 [1314] Information Application - Create pool 'URLPool-2' for urls with number of entries: 204000, size: 122604000 bytes
2021-03-19 18:19:18.391 [1314] Information Application - Create pool 'DPIPool-2' for http dissector with number of entries: 204000, size: 6528000 bytes

 

[toropyga]

Доброго времени суток. Кто-нибудь использует файл собственной блокировки для zapret.pl , который указывается в zapret.conf. Пытаюсь в него запихнуть всякие crc07.com и protonmail.com, чтоб фильтровалось все в одном месте. Не получается в 0 фильтровать и не хочется городить огород из дополнительных систем типа прокси.

[Morphus]

43 минуты назад, toropyga сказал:

Доброго времени суток. Кто-нибудь использует файл собственной блокировки для zapret.pl , который указывается в zapret.conf. Пытаюсь в него запихнуть всякие crc07.com и protonmail.com, чтоб фильтровалось все в одном месте. Не получается в 0 фильтровать и не хочется городить огород из дополнительных систем типа прокси.

использую, но только для IP тех сайтов, которые "хитро" работают, как выше писал epollia.

протон блокирувется нормально без всяких ухищрений вроде.

[toropyga]

Странно, а у меня протон не хочет блокировать и еще какие-то вроде обычные сайты, порядка 300 пропусков в среднем :( . А формат записи IPшников такой: ip://*.*.*.* ?

[max1976]

В 19.03.2021 в 18:58, nevsik сказал:

Все добрый вечер.

Правильно ли понимаю, что при запуске фильтр создает два этих пула, где содержатся списки ссылок и доменов для блокировки?

Как можно увеличить значения этих списков?

2021-03-19 18:19:18.388 [1314] Information Application - Create pool 'URLPool-2' for urls with number of entries: 204000, size: 122604000 bytes
2021-03-19 18:19:18.391 [1314] Information Application - Create pool 'DPIPool-2' for http dissector with number of entries: 204000, size: 6528000 bytes

 

Не правильно. Это количество одновременно обрабатываемых потоков http. Параметр увеличивается автоматически при увеличении scale. Так же можно задать отдельно в конфиге при помощи параметра dpi.http_entries.

[himikrzn]

Добрый день.

кто нибудь сталкивался с такой ошибкой?

 

[root@localhost dpdk]# modprobe uio
[root@localhost dpdk]# insmod /root/dpdk/build/kmod/igb_uio.ko
insmod: ERROR: could not insert module /root/dpdk/build/kmod/igb_uio.ko: Required key not available

 

centos 7.9

сетевая 82576 (раньше работала на другом блокировщике extfilter нормально)

Изменено 27 марта, 2021 пользователем himikrzn

[ixi]

В 27.03.2021 в 09:13, himikrzn сказал:

insmod: ERROR: could not insert module /root/dpdk/build/kmod/igb_uio.ko: Required key not available

UEFI + secure boot ?

[himikrzn]

В 29.03.2021 в 09:07, ixi сказал:

UEFI + secure boot ?

да, спасибо, в этом как раз и была проблема.

[himikrzn]

может кто сталкивался...

запускаю extFilter, все нормально, пока на запрещенный ресурс не обращаешься

Скрытый текст

[root@localhost src]# /usr/local/bin/extFilter --config-file /root/extfilter-master/etc/extfilter.ini
EAL: Detected 8 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:03:00.0 on NUMA socket -1
EAL:   probe driver: 8086:1526 net_e1000_igb
EAL: PCI device 0000:03:00.1 on NUMA socket -1
EAL:   probe driver: 8086:1526 net_e1000_igb
EAL: PCI device 0000:04:00.0 on NUMA socket -1
EAL:   probe driver: 8086:1526 net_e1000_igb
EAL: PCI device 0000:04:00.1 on NUMA socket -1
EAL:   probe driver: 8086:1526 net_e1000_igb
acl context <extFilter-ipv4-acl0-0>@0x7f3f3ffc3fc0
  socket_id=0
  alg=3
  max_rules=334
  rule_size=64
  num_rules=334
  num_categories=1
  num_tries=1
Aborted (core dumped)

 

в логах только попытка отправить ответ

Скрытый текст

2021-03-30 22:15:27.831 [27110] Debug ReloadTask - Starting reload task...
2021-03-30 22:15:27.832 [27110] Debug ESender - Trying to send packet to x.x.x.x port 55895

 

часть конфига(мак сендера указан верно, шлюз по умолчанию для сервера)

Скрытый текст

[port 0]
queues = 0,1; 1,2; 2,3

[port 1]
type = sender
; На какой mac адрес отправлять пакеты
mac = 58:f3:9c:a6:e9:41

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
scale = 3

; Собирать и анализировать фрагментированные пакеты
fragmentation_ipv6_state = true
fragmentation_ipv4_state = true
fragmentation_ipv4_table_size = 512
fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
tcp_reordering = true

 

[swsn]

Всем привет. Столкнулся непонятной блокировкой. в клиенте облачного 1с

 

из дампа трафика:

Destination: 185.246.90.254

[Request URI: http://sql2.1caero.ru:1089/test/e1cib/sdc?sysver=8.3.18.1289&confver=363c4de3ad2855489387eeae1cf1d39b00000000]

 

Location: http://block.provider.net/rkn.php?uri=http%3A%2F%2F%2Ftest%2Fe1cib%2Fsdc%3Fsysver%3D8.3.18.1289%26confver%3D363c4de3ad2855489387eeae1cf1d39b00000000\r\n

Как такое возможно?

Причем редирект в браузере или курлом не удалось воспроизвести.

Изменено 1 апреля, 2021 пользователем swsn