Morphus Опубликовано 24 февраля, 2021 · Жалоба В 16.02.2021 в 18:57, admf сказал: у меня на витруалке в режиме моста, там не надо адрес указывать просто стоит sender и всё ? [port 1] type = sender Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
admf Опубликовано 24 февраля, 2021 · Жалоба 4 часа назад, Morphus сказал: просто стоит sender и всё ? [port 1] type = sender [port 0] queues = 0,1; 1,3 type = network mapto = 1 [port 1] queues = 0,2; 1,4 type = subscriber mapto = 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 24 февраля, 2021 · Жалоба Настроил автозагрузку модулей и фильтра, перестала работать блокировка, когда запускал руками все работало. Настроено в режиме моста. конфиг с каким запускаю: Скрытый текст ; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения. ;lower_host = false domainlist = /usr/local/etc/extfilter/config/domains urllist = /usr/local/etc/extfilter/config/urls ssllist = /usr/local/etc/extfilter/config/ssl_host ; файл с ip:port для блокировки hostlist = /usr/local/etc/extfilter/config/hosts ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /usr/local/etc/extfilter/config/ssl_ips ; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false http_redirect = true # если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://... redirect_url = http://example.com ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = false ; Default: 0 - disable statistic_interval = 300 ; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false block_ssl_no_sni = false ; Какие ядра использовать. Default: все ядра, кроме management. core_mask = 0xff ; файл статистики (для extfilter-cacti) ;statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 ; out_mtu = 1500 ; CLI для управления или сбора статистики extfilter ; cli_port = 9999 ; cli_address = 127.0.0.1 ; Количество каналов памяти (для DPDK) memory_channels = 2 ; Количество повторных пакетов в сторону клиента (от 1 до 3) answer_duplication = 1 ; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline) operation_mode = inline ; Использовать jumbo frames ; jumbo_frames = false ; Максимальная длина ethernet фрейма при включенном jumbo_frames ; max_pkt_len = 9600 ; здесь задаются порты, с которых необходимо снимать трафик ; формат: ; [port n] ; queues = a,b; a1,b1... ; n - номер порта dpdk ; a - номер очереди ; b - ядро, обрабатывающее очередь a ; Пример: ;[port 0] ;queues = 0,1; 1,2 [port 0] queues = 0,1;1,2;2,3;3,4;4,5 type = subscriber mapto = 1 [port 1] queues = 0,2;1,3;2,4;3,5;4,6 type = network mapto = 0 ; Порт для отправки уведомлений через dpdk ;[port 1] ;type = sender ; На какой mac адрес отправлять пакеты ;mac = 00:01:02:03:04:05 [dpi] ; Масштабирование количества обрабатываемых потоков 1..10 scale = 1 ; Собирать и анализировать фрагментированные пакеты ; fragmentation_ipv6_state = true ; fragmentation_ipv4_state = true ; fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком ; tcp_reordering = true [logging] loggers.root.level = information #loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/extFilter.log channels.fileChannel.rotation = 1 M channels.fileChannel.purgeCount = 4 channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local В чем может быть причина? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
admf Опубликовано 24 февраля, 2021 (изменено) · Жалоба 1 час назад, toropyga сказал: Настроил автозагрузку модулей и фильтра, перестала работать блокировка, когда запускал руками все работало. Настроено в режиме моста. конфиг с каким запускаю: Показать содержимое ; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения. ;lower_host = false domainlist = /usr/local/etc/extfilter/config/domains urllist = /usr/local/etc/extfilter/config/urls ssllist = /usr/local/etc/extfilter/config/ssl_host ; файл с ip:port для блокировки hostlist = /usr/local/etc/extfilter/config/hosts ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /usr/local/etc/extfilter/config/ssl_ips ; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false http_redirect = true # если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://... redirect_url = http://example.com ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = false ; Default: 0 - disable statistic_interval = 300 ; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false block_ssl_no_sni = false ; Какие ядра использовать. Default: все ядра, кроме management. core_mask = 0xff ; файл статистики (для extfilter-cacti) ;statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 ; out_mtu = 1500 ; CLI для управления или сбора статистики extfilter ; cli_port = 9999 ; cli_address = 127.0.0.1 ; Количество каналов памяти (для DPDK) memory_channels = 2 ; Количество повторных пакетов в сторону клиента (от 1 до 3) answer_duplication = 1 ; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline) operation_mode = inline ; Использовать jumbo frames ; jumbo_frames = false ; Максимальная длина ethernet фрейма при включенном jumbo_frames ; max_pkt_len = 9600 ; здесь задаются порты, с которых необходимо снимать трафик ; формат: ; [port n] ; queues = a,b; a1,b1... ; n - номер порта dpdk ; a - номер очереди ; b - ядро, обрабатывающее очередь a ; Пример: ;[port 0] ;queues = 0,1; 1,2 [port 0] queues = 0,1;1,2;2,3;3,4;4,5 type = subscriber mapto = 1 [port 1] queues = 0,2;1,3;2,4;3,5;4,6 type = network mapto = 0 ; Порт для отправки уведомлений через dpdk ;[port 1] ;type = sender ; На какой mac адрес отправлять пакеты ;mac = 00:01:02:03:04:05 [dpi] ; Масштабирование количества обрабатываемых потоков 1..10 scale = 1 ; Собирать и анализировать фрагментированные пакеты ; fragmentation_ipv6_state = true ; fragmentation_ipv4_state = true ; fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком ; tcp_reordering = true [logging] loggers.root.level = information #loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/extFilter.log channels.fileChannel.rotation = 1 M channels.fileChannel.purgeCount = 4 channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local В чем может быть причина? Лично у меня была проблема, что запускался с неправильным конфигом, если автозапуск через сервис, какой конфиг подсовывается можно глянуть тут: /etc/systemd/system/extfilter.service Изменено 24 февраля, 2021 пользователем admf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 24 февраля, 2021 · Жалоба Нет, конфиг подхватывает верный, да и другого у меня нет, а совсем без конфига он бы не стартанул. Значит дело в чем то другом... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
admf Опубликовано 24 февраля, 2021 · Жалоба т.е. systemctl status extfilter говорит, что сервис запущен? я так запускаюсь: #!/bin/bash #extFilter sleep 10 modprobe uio insmod /usr/src/dpdk-stable-17.05.2/build/kmod/igb_uio.ko echo 2048 >/sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages sleep 10 /usr/src/dpdk-stable-17.05.2/usertools/dpdk-devbind.py --bind=igb_uio 0000:0b:00.0 /usr/src/dpdk-stable-17.05.2/usertools/dpdk-devbind.py --bind=igb_uio 0000:13:00.0 sleep 10 cd /usr/src/extfilter/scripts/extfilter-maker/ && perl extfilter_maker.pl > /dev/null 2>&1 sleep 10 systemctl start extfilter.service Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 24 февраля, 2021 · Жалоба все через systemd запускается # systemctl status extfilter Скрытый текст extfilter.service - extFilter is a daemon for filtering traffic using DPDK Loaded: loaded (/etc/systemd/system/extfilter.service; enabled; vendor preset: disabled) Active: active (running) since ─ 2021-02-24 11:42:39 MSK; 58min ago Process: 1958 ExecStart=/usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /usr/local/etc/extfilter/etc/extfilter.ini (code=exited, status=0/SUCCESS) Main PID: 1959 (extFilter) CGroup: /system.slice/extfilter.service ─1959 /usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /usr/local/etc/extfilter/etc/extfilter.ini 24 11:42:39 localhost.localdomain systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK... 24 11:42:39 localhost.localdomain systemd[1]: Can't open PID file /var/run/extFilter.pid (yet?) after start: No such file or directory 24 11:42:39 localhost.localdomain systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK. 24 11:42:39 localhost.localdomain extFilter[1959]: EAL: Probing VFIO support... 24 11:42:44 localhost.localdomain extFilter[1959]: EAL: PCI device 0000:07:00.0 on NUMA socket -1 24 11:42:44 localhost.localdomain extFilter[1959]: EAL: probe driver: 8086:1521 net_e1000_igb 24 11:42:44 localhost.localdomain extFilter[1959]: EAL: PCI device 0000:07:00.1 on NUMA socket -1 24 11:42:44 localhost.localdomain extFilter[1959]: EAL: probe driver: 8086:1521 net_e1000_igb Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
metalsoft Опубликовано 25 февраля, 2021 (изменено) · Жалоба Всего доброго! Настраиваю связку perl-скрипта (zapret.pl) для обновления реестра + squid. В реестре встречаются записи вида *.1xbet.com (насколько я понимаю, сквидом они не обрабатываются ) и 1xbet.com (эти ок). Если звездочку отрезаем, сквид ругается: ERROR: '.1xbet.com' is a subdomain of '1xbet.com' ERROR: You need to remove '.1xbet.com' from the ACL named 'blocked2' FATAL: Bungled //etc/squid.conf line 18: acl blocked2 ssl::server_name "/etc/squid/all_domains.txt" Таких пар несколько. Но есть домены, для которых есть записи со звездочкой, и нет записи нормальной и получается пропуск. Как тут правильно поступить? Изменено 25 февраля, 2021 пользователем metalsoft Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 25 февраля, 2021 · Жалоба всегда отрезать *. и склеивать повторы ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
edo Опубликовано 25 февраля, 2021 · Жалоба 2 часа назад, metalsoft сказал: Настраиваю связку perl-скрипта (zapret.pl) для обновления реестра + squid пробовал делать на squid, ложится он на больших списках. сделал через роутинг, всё хорошо. правда, я решал обратную задачу: чтобы из локалки показывались заблокированные сайты, но при этом основной трафик шёл напрямую. P. S. сейчас подумал, что можно попробовать перед squid'ом поставить nginx и на нём делать фильтрацию по имени. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
metalsoft Опубликовано 26 февраля, 2021 · Жалоба 17 часов назад, st_re сказал: всегда отрезать *. и склеивать повторы ? Извините, не понял, какие повторы склеивать? Искать все повторяющиеся записи по всему реесту? 14 часов назад, edo сказал: пробовал делать на squid, ложится он на больших списках. сделал через роутинг, всё хорошо. То есть резолвили все домены? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 26 февраля, 2021 · Жалоба 2 часа назад, metalsoft сказал: Извините, не понял, какие повторы склеивать? Искать все повторяющиеся записи по всему реесту? да как угодно.. перл же уже есть ? имена в хеш, потом выдать из хеша. да хоть cat LIST | uniq Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 1 марта, 2021 · Жалоба Подскажите как к zabbix4 прикрутить, а то шаблон я так понимаю для 2 версии. При импортировании шаблона zabbix ругается: Ошибочный тег "/zabbix_export/templates/template(1)/discovery_rules/discovery_rule(1)/filter/conditions/condition(1)": тег "formulaid" пропущен. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 3 марта, 2021 · Жалоба Всем привет. Подскажите, вот никак не хочет в 0 работать :) каждый день 5-8 ссылок, причем одни и теже. Может их по другому закрыть (как) ? Скрытый текст http://www.28365365.tw/, 119.28.87.149, GET http://crc07.com, 154.13.30.5,GET http://crc07.com, 154.13.30.4,GET http://crc07.com, 154.13.30.3,GET И попутный вопрос, чет после ребута, фильтр не запускается. В ручную норм запускаю так: service extfilter start При этом сетевые биндятся, модуль загружен уже. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 3 марта, 2021 · Жалоба 2 часа назад, Cramac сказал: Всем привет. Подскажите, вот никак не хочет в 0 работать :) каждый день 5-8 ссылок, причем одни и теже. Может их по другому закрыть (как) ? Показать содержимое http://www.28365365.tw/, 119.28.87.149, GET http://crc07.com, 154.13.30.5,GET http://crc07.com, 154.13.30.4,GET http://crc07.com, 154.13.30.3,GET И попутный вопрос, чет после ребута, фильтр не запускается. В ручную норм запускаю так: service extfilter start При этом сетевые биндятся, модуль загружен уже. эти сайты только по ip блокировать. Они по хитрому работают. Выше в теме разбирали уже. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nevsik Опубликовано 19 марта, 2021 · Жалоба Все добрый вечер. Правильно ли понимаю, что при запуске фильтр создает два этих пула, где содержатся списки ссылок и доменов для блокировки? Как можно увеличить значения этих списков? 2021-03-19 18:19:18.388 [1314] Information Application - Create pool 'URLPool-2' for urls with number of entries: 204000, size: 122604000 bytes 2021-03-19 18:19:18.391 [1314] Information Application - Create pool 'DPIPool-2' for http dissector with number of entries: 204000, size: 6528000 bytes Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 22 марта, 2021 · Жалоба Доброго времени суток. Кто-нибудь использует файл собственной блокировки для zapret.pl , который указывается в zapret.conf. Пытаюсь в него запихнуть всякие crc07.com и protonmail.com, чтоб фильтровалось все в одном месте. Не получается в 0 фильтровать и не хочется городить огород из дополнительных систем типа прокси. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 22 марта, 2021 · Жалоба 43 минуты назад, toropyga сказал: Доброго времени суток. Кто-нибудь использует файл собственной блокировки для zapret.pl , который указывается в zapret.conf. Пытаюсь в него запихнуть всякие crc07.com и protonmail.com, чтоб фильтровалось все в одном месте. Не получается в 0 фильтровать и не хочется городить огород из дополнительных систем типа прокси. использую, но только для IP тех сайтов, которые "хитро" работают, как выше писал epollia. протон блокирувется нормально без всяких ухищрений вроде. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 22 марта, 2021 · Жалоба Странно, а у меня протон не хочет блокировать и еще какие-то вроде обычные сайты, порядка 300 пропусков в среднем :( . А формат записи IPшников такой: ip://*.*.*.* ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 марта, 2021 · Жалоба В 19.03.2021 в 18:58, nevsik сказал: Все добрый вечер. Правильно ли понимаю, что при запуске фильтр создает два этих пула, где содержатся списки ссылок и доменов для блокировки? Как можно увеличить значения этих списков? 2021-03-19 18:19:18.388 [1314] Information Application - Create pool 'URLPool-2' for urls with number of entries: 204000, size: 122604000 bytes 2021-03-19 18:19:18.391 [1314] Information Application - Create pool 'DPIPool-2' for http dissector with number of entries: 204000, size: 6528000 bytes Не правильно. Это количество одновременно обрабатываемых потоков http. Параметр увеличивается автоматически при увеличении scale. Так же можно задать отдельно в конфиге при помощи параметра dpi.http_entries. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
himikrzn Опубликовано 27 марта, 2021 (изменено) · Жалоба Добрый день. кто нибудь сталкивался с такой ошибкой? [root@localhost dpdk]# modprobe uio [root@localhost dpdk]# insmod /root/dpdk/build/kmod/igb_uio.ko insmod: ERROR: could not insert module /root/dpdk/build/kmod/igb_uio.ko: Required key not available centos 7.9 сетевая 82576 (раньше работала на другом блокировщике extfilter нормально) Изменено 27 марта, 2021 пользователем himikrzn Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ixi Опубликовано 29 марта, 2021 · Жалоба В 27.03.2021 в 09:13, himikrzn сказал: insmod: ERROR: could not insert module /root/dpdk/build/kmod/igb_uio.ko: Required key not available UEFI + secure boot ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
himikrzn Опубликовано 30 марта, 2021 · Жалоба В 29.03.2021 в 09:07, ixi сказал: UEFI + secure boot ? да, спасибо, в этом как раз и была проблема. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
himikrzn Опубликовано 30 марта, 2021 · Жалоба может кто сталкивался... запускаю extFilter, все нормально, пока на запрещенный ресурс не обращаешься Скрытый текст [root@localhost src]# /usr/local/bin/extFilter --config-file /root/extfilter-master/etc/extfilter.ini EAL: Detected 8 lcore(s) EAL: Probing VFIO support... EAL: PCI device 0000:03:00.0 on NUMA socket -1 EAL: probe driver: 8086:1526 net_e1000_igb EAL: PCI device 0000:03:00.1 on NUMA socket -1 EAL: probe driver: 8086:1526 net_e1000_igb EAL: PCI device 0000:04:00.0 on NUMA socket -1 EAL: probe driver: 8086:1526 net_e1000_igb EAL: PCI device 0000:04:00.1 on NUMA socket -1 EAL: probe driver: 8086:1526 net_e1000_igb acl context <extFilter-ipv4-acl0-0>@0x7f3f3ffc3fc0 socket_id=0 alg=3 max_rules=334 rule_size=64 num_rules=334 num_categories=1 num_tries=1 Aborted (core dumped) в логах только попытка отправить ответ Скрытый текст 2021-03-30 22:15:27.831 [27110] Debug ReloadTask - Starting reload task... 2021-03-30 22:15:27.832 [27110] Debug ESender - Trying to send packet to x.x.x.x port 55895 часть конфига(мак сендера указан верно, шлюз по умолчанию для сервера) Скрытый текст [port 0] queues = 0,1; 1,2; 2,3 [port 1] type = sender ; На какой mac адрес отправлять пакеты mac = 58:f3:9c:a6:e9:41 [dpi] ; Масштабирование количества обрабатываемых потоков 1..10 scale = 3 ; Собирать и анализировать фрагментированные пакеты fragmentation_ipv6_state = true fragmentation_ipv4_state = true fragmentation_ipv4_table_size = 512 fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком tcp_reordering = true Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 1 апреля, 2021 (изменено) · Жалоба Всем привет. Столкнулся непонятной блокировкой. в клиенте облачного 1с из дампа трафика: Destination: 185.246.90.254 [Request URI: http://sql2.1caero.ru:1089/test/e1cib/sdc?sysver=8.3.18.1289&confver=363c4de3ad2855489387eeae1cf1d39b00000000] Location: http://block.provider.net/rkn.php?uri=http%3A%2F%2F%2Ftest%2Fe1cib%2Fsdc%3Fsysver%3D8.3.18.1289%26confver%3D363c4de3ad2855489387eeae1cf1d39b00000000\r\n Как такое возможно? Причем редирект в браузере или курлом не удалось воспроизвести. Изменено 1 апреля, 2021 пользователем swsn Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...