Antares Опубликовано 30 ноября, 2016 · Жалоба killall -HUP extFilter killall -HUP extFilter bash: killall: command not found yum install psmisc Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 30 ноября, 2016 (изменено) · Жалоба nfqfilter пишет Error CSender - sendto() failed to xxx.xxx.xx.xxx:36971 errno: 90 Подскажите что это такое Наверное слишком большой размер пакета получился, когда подставляете в конфиге: url_additional_info=url Это баг, т.к. не проверяется размер сформированного пакета. Вы правы поставил url_additional_info=none Сообщение об ошибке исчезло. Заметил ещё что url двоит в ответе Вы планирует это поправить? Изменено 30 ноября, 2016 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AN111 Опубликовано 30 ноября, 2016 · Жалоба нарисую как смогу. Все равно непонятно количество логических линков между верхним и нижним квадратами, где NAT и где терминация клиентов. Предположу: ------------- Верхний box - тазик с Linux/FreeBSD/Cisco (как border ?), pppoe клиенты терминируются и натятся где-то справа на другой коробке Нижний box - тазик с Linux (с nfqfilter) с 2-мя логическими интерфейсами к border Для нижнего box: - eth0 - линк на бордер с default - eth2.2 - линк на тот же бордер с bgp neighbor с анонсами IP для фильтрации ------------- Ок. Маршрут на свои сети (в сторону pppoe клиентов) уходит в eth2.2 default остается на eth0. На бордере (на линке в сторону nfqfilter.eth0) на input вешаете правило для форварда всех пакетов в аплинк. ( FORWARD для ipfw FreeBSD, FORWARD для iptables Linux, PBR для Cisco IOS) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 30 ноября, 2016 (изменено) · Жалоба NAT и pppoe терминируются на верхней коробке. Нижний - да, 2 логических интерфейса к верхней. Маршрут на запрещенные ip указывает на eth2.2 и пакеты туда приходят. Но приходят туда же и пакеты, отправленные с eth0, в результате чего получается петля. Если повесить этот ip на lo, ip начинает пинговаться, петли нет. Вот и вопрос - как сделать так, чтоб пакеты с default на eth0 не возвращались назад, а шли в аплинк. Изменено 30 ноября, 2016 пользователем myth Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
micol Опубликовано 30 ноября, 2016 (изменено) · Жалоба NAT и pppoe терминируются на верхней коробке. Так перед коробкой есть коммутатор, где можно отзеркалировать весь трафик с/на коробку? Если нет, можно по идее через iptables в mangle -j TEE попробовать, но лучше до коробки отзеркалить... И заменить nfqfilter на extFilter, чем городить костыли с ip rule/route Еще вариант пустить весь 80/443 трафик на nfqfilter, но справится ли не знаю, нет данных ни по трафику ни по мощностям тазиков, но это опять костыли c mangle и ip rule Есть мысль, но ход потерял пока писал пост) На тачку с nfq абоненты попадают с серыми адресами?? Изменено 30 ноября, 2016 пользователем micol Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 30 ноября, 2016 · Жалоба И белые, и серые. Схема с nfqfilter идеологически нравится больше, да и тазик мощный не нужен. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
cREoz Опубликовано 1 декабря, 2016 · Жалоба Что-то я не понимаю логики((( Рядом с nfqfilter поствил extfliter, и после того как отработал zapret.pl запускаю по очереди: nfqfilter_config/make_files.pl extfilter-maker/extfilter_maker.pl extfilter-quagga/extfilter_quagga.pl По логам получается, что: nfqfilter_config - Quagga updated: added 28763 ipv4 ips, deleted 175 ipv4 ips extfilter-quagga - Quagga updated: added 174 ipv4 ips, deleted 28764 ipv4 ips В чём может быть проблема? ==> /var/log/zapret/rkn.log <== 2016-12-01 09:32:17 | INFO | main | Adding 8080 to http protocol 2016-12-01 09:32:18 | INFO | main | Adding 16869 to https protocol 2016-12-01 09:32:18 | INFO | main | Adding 81 to http protocol 2016-12-01 09:32:19 | INFO | main | Adding 888 to http protocol 2016-12-01 09:32:19 | INFO | main | Adding 16869 to https protocol 2016-12-01 09:32:19 | INFO | main | Adding 8080 to http protocol 2016-12-01 09:32:19 | INFO | main | Adding 81 to http protocol 2016-12-01 09:32:19 | INFO | main | Adding 8080 to http protocol 2016-12-01 09:32:20 | INFO | main | Adding 8001 to http protocol 2016-12-01 09:32:21 | INFO | main | Adding 16869 to https protocol 2016-12-01 09:32:21 | INFO | main | Adding 16869 to https protocol 2016-12-01 09:33:47 | INFO | main | Quagga configuration successfully updated: added 28763 ipv4 ips, added 0 ipv6 ips, deleted 175 ipv4 ips, deleted 0 ipv6 ips, added 0 ipv4 routes to blackhole, added 0 ipv6 routes to blackhole, deleted 0 ipv4 routes from blackhole, deleted 0 ipv6 routes from blackhole. ==> /var/log/extfilter/maker.log <== 2016-12-01 09:34:01 | INFO | main | Adding 8080 to http protocol 2016-12-01 09:34:04 | INFO | main | Adding 16869 to https protocol 2016-12-01 09:34:05 | INFO | main | Adding 81 to http protocol 2016-12-01 09:34:11 | INFO | main | Adding 888 to http protocol 2016-12-01 09:34:12 | INFO | main | Adding 16869 to https protocol 2016-12-01 09:34:14 | INFO | main | Adding 8080 to http protocol 2016-12-01 09:34:16 | INFO | main | Adding 81 to http protocol 2016-12-01 09:34:16 | INFO | main | Adding 8080 to http protocol 2016-12-01 09:34:20 | INFO | main | Adding 8001 to http protocol 2016-12-01 09:34:27 | INFO | main | Adding 16869 to https protocol 2016-12-01 09:34:29 | INFO | main | Adding 16869 to https protocol ==> /var/log/extfilter/quagga.log <== 2016-12-01 09:36:14 | INFO | main | Quagga configuration successfully updated: added 174 ipv4 ips, added 0 ipv6 ips, deleted 28764 ipv4 ips, deleted 0 ipv6 ips, added 0 ipv4 routes to blackhole, added 0 ipv6 routes to blackhole, deleted 0 ipv4 routes from blackhole, deleted 0 ipv6 routes from blackhole. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
micol Опубликовано 1 декабря, 2016 · Жалоба идеологически нравится больше А мне меньше... многие ресурсы очень часто меняют IP, вам придется очень часто резолвить, добавлять в базу, перегенерировать конфиги, анонсить на NAS. С зеркалированием все сильно проще... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 1 декабря, 2016 · Жалоба Какой тогда требуется тазик на 2гБита аплинка? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
micol Опубликовано 1 декабря, 2016 (изменено) · Жалоба nfqfilter_config - Quagga updated: added 28763 ipv4 ips, deleted 175 ipv4 ips extfilter-quagga - Quagga updated: added 174 ipv4 ips, deleted 28764 ipv4 ips в принципиальной логике работы фильтров... nfq должен анонсить все IP адреса трафик на которые надо проверить extfilter только те, которые надо блокировать по IP, заворачивая их в blackhole Какой тогда требуется тазик на 2гБита аплинка? вы блокируете не аплинк в 2гБита тут скорее показателем будет количество пакетов в секунду, для 80 порта это будут исходящие пакеты на 80 порт, для HTTPS будут входящие с 443 (для разбора имени сертификата) все остальные не нужные пакеты будут просто читаться процессорным ядром и игнорироваться вам вполне хватит Core i5 ivi bridge и 4гб RAM, лучше чтоб она была не одной планкой, а по количеству канальности контроллера памяти главное "зарядить dpdk" :) Изменено 1 декабря, 2016 пользователем micol Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 1 декабря, 2016 (изменено) · Жалоба Тоже проскочило: 2016-12-01 15:26:24.982 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/embed/storage4/2364/1/0J%2FQvtGB0LvQtdC00L3Rj9GPINGE0LDQvdGC0LDQt9C40Y86INCR0YDQsNGC0YHRgtCy0L4gLSAxINGB0LXRgN C40Y8g0KHRgtGD0LTQuNC50L3QsNGPINCx0LDQvdC00LAgQUQ%3D/%event4%' 2016-12-01 15:26:32.509 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/embed/storage4/2364/1/0J%2FQvtGB0LvQtdC00L3Rj9GPINGE0LDQvdGC0LDQt9C40Y86INCR0YDQsNGC0YHRgtCy0L4gLSAxINGB0LXRgN C40Y8g0KHRgtGD0LTQuNC50L3QsNGPINCx0LDQvdC00LAgQUQ%3D/%event5%' 2016-12-01 15:16:41.531 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event3%' 2016-12-01 15:16:42.027 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event1%' 2016-12-01 15:16:47.037 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event4%' 2016-12-01 15:16:52.043 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event5%' 2016-12-01 15:16:57.044 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event6%' 2016-12-01 15:17:02.097 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event7%' Изменено 1 декабря, 2016 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 2 декабря, 2016 · Жалоба Автору всех благ! CentOS Linux release 7.2.1511 (Core) 1) Сразу после перезапуска extfilter работает. Запускаю проверку, и примерно 1000..6000 ссылок из файла url блокирует, дальше пропускает (не отправляются редиректы в мой адрес). При этом, на другие адреса абонентов, редиректы отправляются. На вход отправляются только исходящие от пользователей пакеты, в сторону BGP бордера, после ната. Выхлоп отправляется в агрегацию. На заблокированный сервер пакеты не отправляются, так как снова попадут на вход фильтру. Да... при запуске ругается, что есть дубли в URL и доменах. Это просто предупреждение, или повод не работать? 2) В инструкции по dpdk есть sed -ri 's,(PMD_PCAP=).*,\1y,' build/.config Это надо делать при сборке dpdk? 3) надо ли до подключения сетевой к dpdk поднимать ее, и менять параметры ethtool? Если да, то что меняете 4) Покажите, пожалуйста, все изменения, которые вносите в настройки системы для extfilter, sysctl итп. Подробности Intel® Core i5-4570 CPU @ 3.20GHz ls /sys/devices/system/node/node0/hugepages/ hugepages-1048576kB cat /sys/devices/system/node/node0/hugepages/hugepages-1048576kB/nr_hugepages 4 cat /proc/meminfo |grep Hu AnonHugePages: 387072 kB HugePages_Total: 4 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 1048576 kB /usr/src/dpdk/tools/dpdk-devbind.py --status Network devices using DPDK-compatible driver ============================================ 0000:01:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection' drv=igb_uio unused= Network devices using kernel driver =================================== 0000:01:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection' if=enp1s0f1 drv=ixgbe unused=igb_uio 0000:03:00.0 'RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller' if=enp3s0 drv=r8169 unused=igb_uio *Active* Other network devices ===================== <none> cat /run/extFilter_stat port.0.input_packets=3945456052 port.0.input_errors=0 port.0.rx_nombuf=0 reader.core.1.received_packets=3945456049 reader.core.1.enqueued_packets=3945456049 reader.core.1.missed_packets=0 worker.core.2.total_packets=3945456065 worker.core.2.ip_packets=3843967415 worker.core.2.ipv4_packets=3945451467 worker.core.2.total_bytes=575164649940 worker.core.2.matched_ip_port=0 worker.core.2.matched_ssl=3584 worker.core.2.matched_ssl_ip=0 worker.core.2.matched_domains=2 worker.core.2.matched_ulrs=415 worker.core.2.active_flows=55294 worker.core.2.expired_flows=25397033 worker.core.2.ipv4_fragments=101484052 worker.core.2.ipv6_fragments=0 worker.core.2.ipv4_short_packets=0 allworkers.total_packets=3945456065 allworkers.ip_packets=3843967415 allworkers.ipv4_packets=3945451467 allworkers.ipv6_packets=0 allworkers.total_bytes=575164649940 allworkers.matched_ip_port=0 allworkers.matched_ssl=3584 allworkers.matched_ssl_ip=0 allworkers.matched_domains=2 allworkers.matched_ulrs=415 allworkers.active_flows=55294 allworkers.expired_flows=25397033 allworkers.ipv4_fragments=101484052 allworkers.ipv6_fragments=0 allworkers.ipv4_short_packets=0 allreaders.received_packets=3945456049 allreaders.enqueued_packets=3945456049 allreaders.missed_packets=0 2016-12-02 08:59:38.386 [13770] Information Application - Port 0 input packets: 3945456052, input errors: 0, mbuf errors: 0 2016-12-02 08:59:38.387 [13770] Information Application - Reader thread on core 1 received packets: 3945456049, enqueued packets: 3945456049, missed packets: 0, traffic throughtput: 135.15 K pps 2016-12-02 08:59:38.387 [13770] Information Application - Worker thread on core 2 statistics: 2016-12-02 08:59:38.387 [13770] Information Application - Thread seen packets: 3945456065, IP packets: 3843967415 (IPv4 packets: 3945451467, IPv6 packets: 0), seen bytes: 575164649940, Average packet size: 149 bytes, Traffic throughput: 135.15 K pps 2016-12-02 08:59:38.387 [13770] Information Application - Thread IPv4 fragments: 101484052, IPv6 fragments: 0, IPv4 short packets: 0 2016-12-02 08:59:38.387 [13770] Information Application - Thread matched by ip/port: 0, matched by ssl: 3584, matched by ssl/ip: 0, matched by domain: 2, matched by url: 415 2016-12-02 08:59:38.387 [13770] Information Application - Thread redirected domains: 2, redirected urls: 415, rst sended: 3584 2016-12-02 08:59:38.387 [13770] Information Application - Thread active flows: 55294 (IPv4 flows: 55294 IPv6 flows: 0), expired flows: 25397033 2016-12-02 08:59:38.387 [13770] Information Application - All worker threads seen packets: 3945456065, IP packets: 3843967415 (IPv4 packets: 3945451467, IPv6 packets: 0), seen bytes: 575164649940, traffic throughtput: 135.15 K pps 2016-12-02 08:59:38.387 [13770] Information Application - All worker IPv4 fragments: 101484052, IPv6 fragments: 0, IPv4 short packets: 0 2016-12-02 08:59:38.387 [13770] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 3584, matched by ssl/ip: 0, matched by domain: 2, matched by url: 415 2016-12-02 08:59:38.387 [13770] Information Application - All worker threads redirected domains: 2, redirected urls: 415, rst sended: 3584 2016-12-02 08:59:38.387 [13770] Information Application - All worker threads active flows: 55294(IPv4 flows: 55294 IPv6 flows: 0), expired flows: 25397033 rc.local modprobe uio insmod /usr/src/dpdk/build/kmod/igb_uio.ko /usr/src/dpdk/tools/dpdk-devbind.py --bind=igb_uio 0000:01:00.0 chrt -f 50 extFilter --config-file /isp/extfilter/extfilter.ini --daemon --pidfile=/isp/extfilter/extFilter.pid tuned.conf [main] include=latency-performance [bootloader] cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4 [sysctl] kernel.sched_min_granularity_ns = 10000000 kernel.sched_migration_cost_ns = 5000000 net.ipv4.conf.default.rp_filter = 0 net.ipv4.conf.all.rp_filter = 0 что-то работает 08:41:42.541260 IP 64.233.164.198.http > x.x.x.13.41167: Flags [F.], seq 3487645923:3487646001, ack 3112859101, win 5840, length 78 .P....@...u.P...1...HTTP/1.1 302 Found Location: http://x.x.x.3/?id=396 Connection: close Конфиг ; Переводить имя хоста в прописные буквы. lower_host = true domainlist = /isp/extfilter/etc/domains urllist = /isp/extfilter/etc/urls ssllist = /isp/extfilter/etc/ssl_host ; Файл с портами для nDPI. ;protocols = /isp/extfilter/etc/protos ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если sslips = /isp/extfilter/etc/ssl_ips ; если false, то будет послан rst пакет вместо редиректа. Default: false http_redirect = true redirect_url = http://х.х.х.3/? ; HTTP код ответа. default: 302 Moved Temporarily http_code = 302 Found ; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего url_additional_info=line ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = false ; Default: 0 - disable statistic_interval = 300 ; Default: false match_url_exactly = false ; Default: false block_undetected_ssl = false ; dpdk порт, где анализировать трафик dpdk_port = 0 rx_queues = 2 ; размер пула mbuf. Default: 8191 ; mbuf_pool_size = 8191 ; количество потоков по анализу трафика ;num_of_workers=1 ; Какие ядра использовать. Default: все ядра, кроме management. ;core_mask = 7 ; файл статистики (для extfilter-cacti) statisticsfile = /var/run/extFilter_stat Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
micol Опубликовано 2 декабря, 2016 · Жалоба На вход отправляются только исходящие от пользователей пакеты А как вы SSL CN будете искать? Оно в ответе прилетает же Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 2 декабря, 2016 · Жалоба А как вы SSL CN будете искать? Оно в ответе прилетает же Не знаю, как больше 10 гигабит входящего трафика послать на одну 10G сетевую... Получается надо посылать весь трафик между ядром и бордером? У меня пока http не блокируются (перестают, через время). с небольшим исходящим трафиком. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
micol Опубликовано 2 декабря, 2016 · Жалоба больше 10 гигабит входящего трафика послать на одну 10G сетевую. Второй порт только втыкать, либо может не все заворачивать, а только нужные VLAN-ы, ну если какой-то транзит есть Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 2 декабря, 2016 · Жалоба Тоже проскочило: 2016-12-01 15:26:24.982 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/embed/storage4/2364/1/0J%2FQvtGB0LvQtdC00L3Rj9GPINGE0LDQvdGC0LDQt9C40Y86INCR0YDQsNGC0YHRgtCy0L4gLSAxINGB0LXRgN C40Y8g0KHRgtGD0LTQuNC50L3QsNGPINCx0LDQvdC00LAgQUQ%3D/%event4%' 2016-12-01 15:26:32.509 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/embed/storage4/2364/1/0J%2FQvtGB0LvQtdC00L3Rj9GPINGE0LDQvdGC0LDQt9C40Y86INCR0YDQsNGC0YHRgtCy0L4gLSAxINGB0LXRgN C40Y8g0KHRgtGD0LTQuNC50L3QsNGPINCx0LDQvdC00LAgQUQ%3D/%event5%' 2016-12-01 15:16:41.531 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event3%' 2016-12-01 15:16:42.027 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event1%' 2016-12-01 15:16:47.037 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event4%' 2016-12-01 15:16:52.043 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event5%' 2016-12-01 15:16:57.044 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event6%' 2016-12-01 15:17:02.097 [12690] Debug WorkerThread 1 - An SyntaxException occured: 'Syntax error: URI encoding: not a hex digit' on URI: 'http://player.adcdn.tv/imbed/storage4/1841/20/%event7%' Как я уже писал, это ни на что не влияет. В продакшене не надо включать debug, это ведет к сильному замедлению работы фильтра. На вход отправляются только исходящие от пользователей пакеты А как вы SSL CN будете искать? Оно в ответе прилетает же Если имеете в виду SSL SNI, то это в запросе от клиента. Поэтому нет необходимости в анализе трафика в сторону абонента. Запускаю проверку, и примерно 1000..6000 ссылок из файла url блокирует, дальше пропускает (не отправляются редиректы в мой адрес). Каким образом проверяете? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 2 декабря, 2016 (изменено) · Жалоба Каким образом проверяете? саt start #!/bin/bash > noblock > noblock0 L=0 cat lst.url | grep -v '^$' | grep '\.html$' | while read line; do let L=$L+1 echo $L $line ./poller "$line" & sleep 0.1 done sleep 5 killall poller cat poller #!/bin/bash MD=`curl --connect-timeout 3 -skL "$1"` ERR=$? if [[ "$ERR" == "0" ]]; then X=`echo $MD | grep hlejW9mNgtYz11b2 | wc -l` if [[ "$X" != "1" ]]; then D=`echo $1 | cut -d'/' -f3` [[ $(dig $D A +short | grep -v x.x.x.3) ]] && echo $1 >> noblock fi else echo [$ERR] $1 >> noblock0 fi Изменено 2 декабря, 2016 пользователем sanyasi Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 2 декабря, 2016 · Жалоба D=`echo $1 | cut -d'/' -f3` Здесь ошибка, если вы хотите получить домен, то надо D=`echo $1 | cut -d'/' -f1` Чем формируете список lst.url ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 2 декабря, 2016 (изменено) · Жалоба Чем формируете список lst.url ? просто ссылки из xml вытягиваю. в этом листе они с http:// echo "http://www.yandex.ru/index.html" | cut -d'/' -f3 www.yandex.ru echo "http://www.yandex.ru/indexhtml" | cut -d'/' -f1 http: Так как там и файлы есть, просто ограничился страницами .html из общего списка. Но если фильтр перестал отвечать - то это навсегда. Конкретно с моим ип он уже не работает. Изменено 2 декабря, 2016 пользователем sanyasi Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 2 декабря, 2016 · Жалоба Но если фильтр перестал отвечать - то это навсегда. Конкретно с моим ип он уже не работает. Такого функционала в нем нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 2 декабря, 2016 · Жалоба транный выхлоп, в сторону абонентов... Он что... рвет все соединения вподряд? Это не ответ от фильтра. Если фильтр будет завершать соединение, то там будет установлен rst флаг. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 2 декабря, 2016 · Жалоба У меня кстати kernel panic после /usr/bin/chrt -f 50 /usr/local/bin/extFilter , так что смотрите аккуратней. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
micol Опубликовано 2 декабря, 2016 · Жалоба У меня все ровно... не отваливается, но на всякий случай kernel.panic=1 стоит изначально Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RadioSintetica Опубликовано 2 декабря, 2016 · Жалоба Подтверждаю странное поведение: http не блокирует. точнее блокирует пару секунд при запуске. Потом нет. https - на ура... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kisa Опубликовано 2 декабря, 2016 (изменено) · Жалоба Обнаружил проблемы с блокировкой nfqfilter'ом url c точкой на конце. Проблема возникает с ревизором и подтверждается проверочным скриптом на perl. В файле с списком url для nfqfilter у меня добавляются два варианта url с точкой и без, т.к. браузеры выполняют нормализацию url и убирают точки, а ревизор этого не делает (этого не делает и проверочный скрипт на перл). В итоге, браузеры блокируют страницу нормально, а ревизор замечает пропуск. Такое ощущение, что где-то внутри nfqfilter тоже выполняются преобразования с url, точка на конце удаляется и в его списке для проверки оказывается только один вариант url без точки. А хотелось бы, чтобы у nfqfilter было две записи: одна для ревизора, вторая - для браузеров. Изменено 2 декабря, 2016 пользователем kisa Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...