layNiko

Тут интересный момент выяснил: Сендер подключил к центральному шлюзу напрямую. В фильтре настраиваю отправку на MAC адрес интерфейса обращенного в сторону центрального шлюза любого NASa и !ВУАЛЯ! - все блокировки проходят отлично, причем не важно к какому NASу подключена тестровая машина.

Можно зеркалировать его трафик на принимающем порту.

Изменился он в повторном пакете Dec/25/2018 firewall,info in:Extfilter out:NAS1, src-mac a0:36:9f:85:9f:29, proto TCP (ACK,PSH), 104.18.40.52:80->192.168.0.20:53100, NAT (104.18.40.52:80->104.18.40.52:58)->192.168.0.20:53100, len 205 но в первом ответе был правильный порт: Dec/25/2018 firewall,info in:Extfilter out:NAS1, src-mac a0:36:9f:85:9f:29, proto TCP (ACK,PSH), 104.18.40.52:80->192.168.0.20:53100, len 205 с HTTPS такого не происходит. Центральный знает где находится какой IP - здесь проблем нет.

Так и сделал: Сендер в свитч и в прямой влан до центрального. Разницы нет. в фильтре поменял ; Количество повторных пакетов в сторону клиента (от 1 до 3) answer_duplication = 3 на ; Количество повторных пакетов в сторону клиента (от 1 до 3) answer_duplication = 1 Картина такая с http: На клиенте: wget http://looo.ch/project/f006/ --2018-12-25 http://looo.ch/project/f006/ Распознаётся looo.ch (looo.ch)… 104.18.40.52, 104.18.41.52, 2606:4700:30::6812:2834, ... Подключение к looo.ch (looo.ch)|104.18.40.52|:80... соединение установлено. HTTP-запрос отправлен. Ожидание ответа… 302 Found Адрес: http://block.runnet.ru/block_msknew.php [переход] --2018-12-25 http://block.runnet.ru/block_msknew.php Распознаётся block.runnet.ru (block.runnet.ru)… 85.142.29.248 Подключение к block.runnet.ru (block.runnet.ru)|85.142.29.248|:80... соединение установлено. HTTP-запрос отправлен. Ожидание ответа… 403 Forbidden 2018-12-25 ОШИБКА 403: Forbidden. Центральный шлюз: Dec/25/2018 firewall,info in:Extfilter out:ISP, src-mac a0:36:9f:85:9f:29, proto TCP (RST), 192.168.0.20:80->104.18.40.52:53100, len 40 Dec/25/2018 firewall,info in:Extfilter out:NAS1, src-mac a0:36:9f:85:9f:29, proto TCP (ACK,PSH), 104.18.40.52:80->192.168.0.20:53100, len 205 Dec/25/2018 firewall,info in:Extfilter out:NAS1, src-mac a0:36:9f:85:9f:29, proto TCP (ACK,PSH), 104.18.40.52:80->192.168.0.20:53100, NAT (104.18.40.52:80->104.18.40.52:58)->192.168.0.20:53100, len 205 На клиенте: tcpdump host 104.18.40.52 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on enp3s0, link-type EN10MB (Ethernet), capture size 262144 bytes 11:04:50.089382 IP mysite.com.53100 > 104.18.40.52.http: Flags [S], seq 1019955412, win 29200, options [mss 1460,sackOK,TS val 992011504 ecr 0,nop,wscale 7], length 0 11:04:50.130205 IP 104.18.40.52.http > mysite.com.53100: Flags [S.], seq 2794421704, ack 1019955413, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 10], length 0 11:04:50.130250 IP mysite.com.53100 > 104.18.40.52.http: Flags [.], ack 1, win 229, length 0 11:04:50.130345 IP mysite.com.53100 > 104.18.40.52.http: Flags [P.], seq 1:148, ack 1, win 229, length 147: HTTP: GET /project/f006/ HTTP/1.1 11:04:50.131175 IP 104.18.40.52.58 > mysite.com.53100: Flags [P.], seq 2794421705:2794421870, ack 1019955560, win 229, length 165 11:04:50.131190 IP mysite.com.53100 > 104.18.40.52.58: Flags [R], seq 1019955560, win 0, length 0 11:04:50.131195 IP 104.18.40.52.58 > mysite.com.53100: Flags [P.], seq 0:165, ack 1, win 229, length 165 На центральном почему-то натятся только повторные пакеты. Первый не натится. Может какая-то разница в пакетах, @max1976 ? Теперь HTTPS: На клиенте: wget https://www.legalherbalshop.com --no-check-certificate --2018-12-25 11:21:37-- https://www.legalherbalshop.com/ Распознаётся www.legalherbalshop.com (www.legalherbalshop.com)… 18.222.42.231 Подключение к www.legalherbalshop.com (www.legalherbalshop.com)|18.222.42.231|:443... соединение установлено. Не удаётся установить SSL-соединение. Центральный шлюз: Dec/25/2018 in:Extfilter out:NAS1, src-mac a0:36:9f:85:9f:29, proto TCP (RST), 18.222.42.231:443->192.168.0.20:34334, len 40 Dec/25/2018 in:Extfilter out:ISP, src-mac a0:36:9f:85:9f:29, proto TCP (RST), 192.168.0.20:443->18.222.42.231:34334, len 40 Dec/25/2018 in:Extfilter out:NAS1, src-mac a0:36:9f:85:9f:29, proto TCP (RST), 18.222.42.231:443->192.168.0.20:34334, len 40 На клиенте: tcpdump host 18.222.42.231 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on enp3s0, link-type EN10MB (Ethernet), capture size 262144 bytes 11:21:38.696730 IP mysite.com.34334 > ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https: Flags [S], seq 3730308821, win 29200, options [mss 1460,sackOK,TS val 561055197 ecr 0,nop,wscale 7], length 0 11:21:38.837131 IP ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https > mysite.com.34334: Flags [S.], seq 3780411036, ack 3730308822, win 26847, options [mss 1460,sackOK,TS val 1595712449 ecr 561055197,nop,wscale 7], length 0 11:21:38.837167 IP mysite.com.34334 > ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https: Flags [.], ack 1, win 229, options [nop,nop,TS val 561055337 ecr 1595712449], length 0 11:21:38.837407 IP mysite.com.34334 > ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https: Flags [P.], seq 1:209, ack 1, win 229, options [nop,nop,TS val 561055337 ecr 1595712449], length 208 11:21:38.837693 IP ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https > mysite.com.34334: Flags [R], seq 3780411037, win 0, length 0 11:21:38.837706 IP ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https > mysite.com.34334: Flags [R], seq 3780411037, win 0, length 0 11:21:38.977683 IP ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https > mysite.com.34334: Flags [.], ack 209, win 219, options [nop,nop,TS val 1595712485 ecr 561055337], length 0 11:21:38.977719 IP mysite.com.34334 > ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https: Flags [R], seq 3730309030, win 0, length 0 11:21:38.979016 IP ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https > mysite.com.34334: Flags [P.], seq 1:3247, ack 209, win 219, options [nop,nop,TS val 1595712485 ecr 561055337], length 3246 11:21:38.979030 IP mysite.com.34334 > ec2-18-222-42-231.us-east-2.compute.amazonaws.com.https: Flags [R], seq 3730309030, win 0, length 0 К HTTPS притензий нет....

Знать-то он знает, но вот нашел в чем косяк, NAT на центральном похоже поганит всё. В логах такую хрень нашел: in:ExtFilter out:NAS1, src-mac a0:36:9f:85:9f:29, proto TCP (ACK,PSH), 104.18.41.52:80->192.168.0.20:48030, NAT (104.18.41.52:80->104.18.41.52:64)->192.168.0.20:48030, len 205 in:ExtFilter out:NAS1, src-mac a0:36:9f:85:9f:29, proto TCP (ACK,PSH), 104.18.41.52:80->192.168.0.20:48030, NAT (104.18.41.52:80->104.18.41.52:64)->192.168.0.20:48030, len 205 in:ExtFilter out:NAS1, src-mac a0:36:9f:85:9f:29, proto TCP (ACK,PSH), 104.18.41.52:80->192.168.0.20:48030, NAT (104.18.41.52:80->104.18.41.52:64)->192.168.0.20:48030, len 205 NAT какого-то черта меняет порт с 80 на рандомый....

11:58:49.394517 IP mysite.com.44916 > 148.66.136.60.http: Flags [P.], seq 1:379, ack 1, win 229, options [nop,nop,TS val 3919089996 ecr 627586432], length 378: HTTP: GET /ore/kupit-marihuana-tyumen.html, HTTP/1.1 11:58:49.394829 IP 148.66.136.60.http > mysite.com.44916: Flags [P.], seq 1:189, ack 379, win 229, length 188: HTTP: HTTP/1.1 302 Moved Temporarily 11:58:49.394851 IP 148.66.136.60.http > mysite.com.44916: Flags [P.], seq 1:189, ack 379, win 229, length 188: HTTP: HTTP/1.1 302 Moved Temporarily 11:58:49.394862 IP 148.66.136.60.http > mysite.com.44916: Flags [P.], seq 1:189, ack 379, win 229, length 188: HTTP: HTTP/1.1 302 Moved Temporarily 11:58:49.394870 IP 148.66.136.60.http > mysite.com.44916: Flags [P.], seq 1:189, ack 379, win 229, length 188: HTTP: HTTP/1.1 302 Moved Temporarily 11:58:50.116839 IP 148.66.136.60.http > mysite.com.44916: Flags [P.], seq 1:497, ack 379, win 122, options [nop,nop,TS val 627587243 ecr 3919089996], length 496: HTTP: HTTP/1.1 200 OK Перенаправляет

@max1976 , похоже нашел в чем проблема... проведу пару тестов, подготовлю картинки схем включения "сэндера" и отпишусь. ПС: 99,99% что проблема в схеме включения В итоге: В приложенной схеме не приходят редиректы. Тестовая машина включена через NAS1 и сендеру назначена отправка на MAC1. Но если порт-сендер переключить в свитч, в любой влан идущий через NAS1 и указать MAC NASa, то редиректы прибегают... может я что-то не так настраиваю на шлюзе, но каждый порт у него не связан с другими через коммутационную матрицу имея собственные...

grep Huge /proc/meminfo AnonHugePages: 67584 kB ShmemHugePages: 0 kB HugePages_Total: 3448 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB Hugetlb: 7061504 kB cat ./extfilter.ini ; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения. ;lower_host = false domainlist = /usr/local/etc/extfilter/domains urllist = /usr/local/etc/extfilter/urls ssllist = /usr/local/etc/extfilter/ssl_host ; файл с ip:port для блокировки hostlist = /usr/local/etc/extfilter/hosts ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /usr/local/etc/extfilter/ssl_ips ; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false http_redirect = true # если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://... redirect_url = http://roskomnadzor.xxxx.net ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = true ; Default: 0 - disable statistic_interval = 300 ; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false block_ssl_no_sni = false ; Какие ядра использовать. Default: все ядра, кроме management. core_mask = 7 ; файл статистики (для extfilter-cacti) statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 ; out_mtu = 1500 ; CLI для управления или сбора статистики extfilter ; cli_port = 9999 ; cli_address = 127.0.0.1 ; Количество каналов памяти (для DPDK) ;memory_channels = 2 ; Количество повторных пакетов в сторону клиента (от 1 до 3) answer_duplication = 3 ; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline) operation_mode = mirror ; Использовать jumbo frames ; jumbo_frames = false ; Максимальная длина ethernet фрейма при включенном jumbo_frames ; max_pkt_len = 9600 ; здесь задаются порты, с которых необходимо снимать трафик ; формат: ; [port n] ; queues = a,b; a1,b1... ; n - номер порта dpdk ; a - номер очереди ; b - ядро, обрабатывающее очередь a ; Пример: [port 0] queues = 0,1;1,2 ; Порт для отправки уведомлений через dpdk [port 1] type = sender ; На какой mac адрес отправлять пакеты mac = d4:xx:xx:xx:xx:xx [dpi] ; Масштабирование количества обрабатываемых потоков 1..10 scale = 3 ; Собирать и анализировать фрагментированные пакеты ;fragmentation_ipv6_state = false ;fragmentation_ipv4_state = false ; fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком ;tcp_reordering = false [logging] loggers.root.level = information ;loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/extFilter.log channels.fileChannel.rotation = 1 M channels.fileChannel.purgeCount = 4 channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local /dpdk/usertools/dpdk-devbind.py --status Network devices using DPDK-compatible driver ============================================ 0000:01:00.0 'I350 Gigabit Network Connection 1521' drv=igb_uio unused= 0000:01:00.1 'I350 Gigabit Network Connection 1521' drv=igb_uio unused= Network devices using kernel driver =================================== 0000:01:00.2 'I350 Gigabit Network Connection 1521' if=enp1s0f2 drv=igb unused=igb_uio 0000:01:00.3 'I350 Gigabit Network Connection 1521' if=enp1s0f3 drv=igb unused=igb_uio 0000:02:00.0 'RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller 8168' if=enp2s0 drv=r8169 unused=igb_uio *Active* Other Network devices ===================== <none> Crypto devices using DPDK-compatible driver =========================================== <none> Crypto devices using kernel driver ================================== <none> Other Crypto devices ==================== 0000:00:1a.0 'Atom/Celeron/Pentium Processor x5-E8000/J3xxx/N3xxx Series Trusted Execution Engine 2298' unused=igb_uio Eventdev devices using DPDK-compatible driver ============================================= <none> Eventdev devices using kernel driver ==================================== <none> Other Eventdev devices ====================== <none> Mempool devices using DPDK-compatible driver ============================================ <none> Mempool devices using kernel driver =================================== <none> Other Mempool devices ===================== <none> cat /var/run/extFilter_stat worker.core.1.total_packets=91329729 worker.core.1.ip_packets=12283123 worker.core.1.ipv4_packets=12272152 worker.core.1.ipv6_packets=10971 worker.core.1.total_bytes=1303629589 worker.core.1.matched_ip_port=0 worker.core.1.matched_ssl_sni=44 worker.core.1.matched_ssl_ip=0 worker.core.1.matched_http_bl_ipv4=158 worker.core.1.matched_http_bl_ipv6=0 worker.core.1.ipv4_fragments=3064 worker.core.1.ipv6_fragments=0 worker.core.1.ipv4_short_packets=0 worker.core.2.total_packets=13888318 worker.core.2.ip_packets=13885456 worker.core.2.ipv4_packets=13873507 worker.core.2.ipv6_packets=11949 worker.core.2.total_bytes=6013916780 worker.core.2.matched_ip_port=0 worker.core.2.matched_ssl_sni=40 worker.core.2.matched_ssl_ip=0 worker.core.2.matched_http_bl_ipv4=30 worker.core.2.matched_http_bl_ipv6=0 worker.core.2.ipv4_fragments=6811 worker.core.2.ipv6_fragments=0 worker.core.2.ipv4_short_packets=0 allworkers.total_packets=105218047 allworkers.ip_packets=26168579 allworkers.ipv4_packets=26145659 allworkers.ipv6_packets=22920 allworkers.total_bytes=7317546369 allworkers.matched_ip_port=0 allworkers.matched_ssl_sni=84 allworkers.matched_ssl_ip=0 allworkers.matched_http_bl=188 allworkers.ipv4_fragments=9875 allworkers.ipv6_fragments=0 allworkers.ipv4_short_packets=0 allports.received_packets=105217582 allports.missed_packets=0 allports.rx_nombuf=0 allports.ierrors=0

@arhead Читал твой пост. Пробовал и с IP и без - нет разницы

@max1976 Подскажи пожалуйста. Поменял сетевую и перешел на обновленный фильтр. HTTPS - блокирует на ура, а вот HTTP пропускает. Фильтр одним портом подключен к зеркалу, а вторым в свободный порт центрального шлюза. В конфиге фильтра вписан MAC порта шлюза. Но редиректы не доходят до "клиента"

Жаль... Будем менять железо

И его не вернуть?

@max1976 , можно вернуть функционал отправки редиректов через тот же порт которым "слушается" трафик или это уже "дела давно минувших дней"? Если я правильно понял: в моём случае падение обусловлено попыткой отправить редирект через несуществующий порт....

фильтр стартует, но как только я пытаюсь зайти на любую страницу из списка - вылетает фильтр и в логах пусто включил дебаг: после этого фильтр вылетает в кору...

Подскажите пожалуйста по новому ini экстфильтра: предисловие: в сонфиге теперь есть такой параметр: У меня экстфильтр стоит в режиме зеркала (на него зеркалируется трафик от пользователей). Без настройки Порт1 фильтр не стартует, но у меня порт в DPDK только один, при попытке настроить его нет отсылки на страницу блокировки. Так же, для чего нужно: При 10 у меня не стартует ругаясь на малое количество памяти...

Доброго всем дня. Скачал extfilter заново. при попытке сделать make выдаёт: Система: ..... Прошу прощения - при конфигурировании упустил "--enable-native-code"

Странно, но через гитклон не обновляло сам zapret.pl Скачал, перекинул на сервер и теперь всё работает Спасибо!

обновлен, база пересоздана заново (пустая)

Всем доброго времени суток. Столкнулся с проблемой при работе скрипта выгрузки реестра: Не могу понять что не так....

Прошу прощения за некомпетентность, но можно чуть подробнее об процедуре получения этого файла? Нашел: ulimit -c unlimited Сделал. Теперь, если правильно понимаю, ждать падения фильтра....

Честно говоря не вижу связи между доступом к файлам и процессором. Будь проблема с железом это происходило бы при каждой перезагрузке. Памяти 8 Гигабайт

Intel Celeron N3150 1.6 ГГц. Железо не особо высокой производительности - трфик не большой примерно 500Мбит. Статистика фильтра выдает 0 пропусков.

Все пути верны, файлы созданы скриптом и имеют права на чтение для всех. Происходит это при перезапуске фильтра скриптом мэйкером но не постоянно - может отработать трое суток или меньше. Скрипт запускается раз в два часа.

Доброго всем дня! Отдельное !спасибо! Максу за труды и всем кто хоть как-то принял участие в разработке. Периодически падает фильтр и в логах вот это: А так же очень много жалуется в логах на дублирующиеся записи. Очистил базу, удалил файлы с доменами и прочим запустил запрет.пл потом мэйкер, запустл фильтр и снова в логах море

"брудфорс" победил )) перебирал различные вариации и даже с вызовом скрипта, но решение оказалось куда проще. Команда должна выглядеть так: :execute {/tool fetch url="https://api.telegram.org/bot30(...)4/sendMessage\?chat_id=-1(...)2&text=ТЕСТ" keep-result=no} соответственно Чат_ИД и Бота подставляем своих