KsenZ

Что то уже второй день не могу ладу дать с extFilter. Уже вроде се перепроверил, но сервис не стартует. # systemctl status extfilter ● extfilter.service - extFilter is a daemon for filtering traffic using DPDK Loaded: loaded (/etc/systemd/system/extfilter.service; disabled; vendor preset: disabled) Active: failed (Result: exit-code) since Fri 2017-06-23 14:15:05 +07; 4s ago Process: 24318 ExecStart=/usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /usr/local/etc/extfilter.ini (code=exited, status=0/SUCCESS) Main PID: 24319 (code=exited, status=1/FAILURE) Jun 23 14:15:05 zapret.mekad.net systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK... Jun 23 14:15:05 zapret.mekad.net systemd[1]: PID file /var/run/extFilter.pid not readable (yet?) after start. Jun 23 14:15:05 zapret.mekad.net systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK. Jun 23 14:15:05 zapret.mekad.net systemd[1]: extfilter.service: main process exited, code=exited, status=1/FAILURE Jun 23 14:15:05 zapret.mekad.net systemd[1]: Unit extfilter.service entered failed state. Jun 23 14:15:05 zapret.mekad.net systemd[1]: extfilter.service failed. В логе с включенным дебагом, только это: 2017-06-23 14:09:25.773 [24276] Debug Application - HTTP code set to 302 Found 2017-06-23 14:09:25.773 [24276] Debug Application - URL additional info set to none 2017-06-23 14:09:25.773 [24276] Debug Application - DPDK command line: extFilter 2017-06-23 14:09:25.773 [24276] Debug Application - DPDK command line: -n 2017-06-23 14:09:25.773 [24276] Debug Application - DPDK command line: 2 2017-06-23 14:09:25.773 [24276] Debug Application - DPDK command line: -c 2017-06-23 14:09:25.773 [24276] Debug Application - DPDK command line: 0x00 2017-06-23 14:09:25.773 [24276] Debug Application - DPDK command line: --master-lcore 2017-06-23 14:09:25.773 [24276] Debug Application - DPDK command line: 0 Может кто знает, куда копать дальше?

Вот за это спасибо! Судя по описанию, действительно стоящая и отличная разработка, даже HTTPS блокирует! И как по тестам? Все блокирует? С ходу не совсем понял, как ее внедрить. Так же как SCE, в "разрыв" трафика?

Добавь use utf8; #!/usr/bin/perl use utf8; use strict; use warnings; use Net::IDN::Encode ':all'; use URL::Encode ':all'; my $U = 'http://сптр-в-орске.рф/доставка-алкоголя-503752.htm'; $U =~ /http\:\/\/(.+)\/(.+)$/; my $domain = domain_to_ascii($1); my $url = url_encode_utf8($2); print "$domain/$url\n"; Вывод: xn-----elcnyxdiedhf.xn--p1ai/%D0%B4%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B0-%D0%B0%D0%BB%D0%BA%D0%BE%D0%B3%D0%BE%D0%BB%D1%8F-503752.htm

Да, блокируется. И как вы генерируете список для SCE?

zhenya` а в чем заключается ерунда? У меня, к примеру, резолвятся совершенно другие IP. На соседнем компьютере третьи. В чем ерунда то? Речь идет о блокировке, и если блокировать только адреса которые есть в выгрузке, то youtube как открывался, так и будет открываться. P.S. если вы про адреса, которые я написал выше, 64.15.125.123 и 208.117.255.123, то я взял их наугад, если так можно выразиться.

Он не знает что его залочили. Чисто по моим наблюдениям, происходит примерно так: запрос на yuotube.com, резолвится адрес 64.15.125.123, который заблокирован, соответственно страница не открывается. Обновляешь страницу, и уже резовится адрес 208.117.255.123, который не заблокирован, и youtube.com открывается. Наблюдал лично на своем компьютере. По какому принципу резолвятся разные IP, я не копал. Думаю Round robin, и AS... Так же не стоит забывать про ДНС кеш, если в кеше сидит адрес 64.15.125.123, то после сброса кеша, вполне может зарезолвится и попасть в кеш другой адрес. И не ясно, какие адреса сидят в кеше у клиентов, поэтому блокировке нескольких IP youtube, они попросту не замечают.

Дело в том, что у youtube очень много IP адресов, и когда ты блокируешь один его IP, то ссылка просто начинает открываться с другого IP. А если заблокировать все IP, то съедят, т.к. yuotube не будет открываться вообще, только через всякие VPN и прокси. =youtube&commit=Search"]Пруф, по поводу того, что у youtube очень много IP, не одна тысяча IPv4 и столько же IPv6, плюс автономки

Тогда весь yuotube был бы заблокирован, а это не вариант, клиенты "съедят"

Насколько я понимаю по доке, то можно так *domain.com/media* , т.е. будут блокироваться все URL для домена domain.com попадающие под маску /media* http://www.cisco.com/c/en/us/td/docs/cable/serv_exch/serv_control/broadband_app/rel37x/blacklist/URL_DB_QSG2.html#wp41497

А HTTPS это оборудование будет блокировать? Оффтоп:

Ну это не большая проблема, в качестве исключения можно ограничивать полностью домен а не URL. Либо делать проверку на длину, и если больше, то обрезать до домена.

В данный момент, меня это не сильно интересует. Меня интересует, привести домены и URL из выгрузки, к удобоваримому виду для SCE

Подходящей темы не нашел, видать не верные вопросы задаю поисковику (ткните носом, если есть такая тема). Вопрос в следующем: Есть ли верное, и оригинальное решение, как из доменов и URL, которые имеются в выгрузке, сгенерировать список для Cisco SCE? Т.е. чтобы получалось следующее: *domain.com *domain.com/?url Я делаю примерно так: mysql -e "SELECT domain FROM domain" | sed -e 's/^www.//' | sed -e 's/^/*/' > sce_zapret_all.csv mysql -e "SELECT url FROM url" | sed -e 's/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/' | sed -e 's/^www.//' | sed -e 's/^/*/' >> sce_zapret_all.csv но тут есть пару проблем: 1. idn домены. Т.е. домен президент.рф Cisco не понимает. Нужно переводить idn в punycode 2. Не так давно, после всех этих sed'ов, в списке появилась просто "*", и как результат Cisco начала блокировать ВСЁ. Все это я обошел топорным способом: cat sce_zapret_all.csv | grep -v "рф" | grep -vx '^\*$' | uniq > sce_zapret.csv Как реализовать генерацию списка для SCE, более правильно?

Подходящей темы не нашел, видать не верные вопросы задаю поисковику (ткните носом, если есть такая тема). Вопрос в следующем: Есть ли верное, и оригинальное решение, как из доменов и URL, которые имеются в выгрузке, сгенерировать список для Cisco SCE? Т.е. чтобы получалось следующее: *domain.com *domain.com/?url Я делаю примерно так: mysql -e "SELECT domain FROM domain" | sed -e 's/^www.//' | sed -e 's/^/*/' > sce_zapret_all.csv mysql -e "SELECT url FROM url" | sed -e 's/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/' | sed -e 's/^www.//' | sed -e 's/^/*/' >> sce_zapret_all.csv но тут есть пару проблем: 1. idn домены. Т.е. домен президент.рф Cisco не понимает. Нужно переводить idn в punycode 2. Не так давно, после всех этих sed'ов, в списке появилась просто "*", и как результат Cisco начала блокировать ВСЁ. Все это я обошел топорным способом: cat sce_zapret_all.csv | grep -v "рф" | grep -vx '^\*$' | uniq > sce_zapret.csv Как реализовать генерацию списка для SCE, более правильно?

Если несложно, просьба повторно выложить. Все качается