ne-vlezay80 Опубликовано 11 ноября, 2015 · Жалоба Какая версия libnetfilter_queue? На centos скомпелировалась. Как сделать фильтрацию только на url без ip:host Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Megas Опубликовано 17 ноября, 2015 · Жалоба Народ, тыкните пальцем плиз, через сколько роском выносит из списоков где добавление было по решению суда. У нас жалобы не поступили, а клиент свалил в другой хостинг, а ипы заблочены. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 18 ноября, 2015 · Жалоба Народ, тыкните пальцем плиз, через сколько роском выносит из списоков где добавление было по решению суда. У нас жалобы не поступили, а клиент свалил в другой хостинг, а ипы заблочены. Когда под раздачу с ваххабайтским сайтом попали адреса вебморды speedtest, то после уведомления, что злобные урюки свалили с чертям, а на адресе теперь остались только мирные абрикосы, из списка адреса удалили в течении 2 дней. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 18 ноября, 2015 · Жалоба А как в nfq_filter по повуду с ipv6 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 18 ноября, 2015 · Жалоба Кстати, в nfq_filter от max1976 я заметил, если попытаться открывать сайт на https используя старый браузер, или старую операционную систему, то сайт посиму-то не блокируется. По http блокируется нормально Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 19 ноября, 2015 · Жалоба Кстати, в nfq_filter от max1976 я заметил, если попытаться открывать сайт на https используя старый браузер, или старую операционную систему, то сайт посиму-то не блокируется. По http блокируется нормально Попробуйте обновлённую версию фильтра, добавив в конфиг send_rst=true. Так же исправлен небольшой баг в формирователе конфигов для фильтра. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 20 ноября, 2015 · Жалоба А как у nfq_filter дела с фрагментированными пакетами Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 20 ноября, 2015 · Жалоба max1976, как идея сделать в nfq_filter блокировку внутри proxy и поддержку ipv6 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 20 ноября, 2015 · Жалоба max1976, как идея сделать в nfq_filter блокировку внутри proxy и поддержку ipv6 Прокси бывают разные, например с использованием ssl, тогда фильтровать невозможно. IPv6 скоро допилю. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 21 ноября, 2015 · Жалоба max1976, как идея сделать в nfq_filter блокировку внутри proxy и поддержку ipv6 Прокси бывают разные, например с использованием ssl, тогда фильтровать невозможно. IPv6 скоро допилю. Фильтровать только в HTTP прокси Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 21 ноября, 2015 · Жалоба В nfq_filter от max1976 был найден баг: при редиректе, браузер пишет либо: соединение было сброшено, обнаруженно бесконечное перенаправление. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 21 ноября, 2015 · Жалоба Это скорее ваша страничка не там находится. Или редирект кривой. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 22 ноября, 2015 · Жалоба В nfq_filter от max1976 был найден баг: при редиректе, браузер пишет либо: соединение было сброшено, обнаруженно бесконечное перенаправление. Это не баг. Редиректить надо на другой хост, т.к. в параметр url подставляется блокированный url и происходит зацикливание фильтра (фича, о которой вы просили - фильтрация прокси). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 22 ноября, 2015 (изменено) · Жалоба В nfq_filter от max1976 был найден баг: при редиректе, браузер пишет либо: соединение было сброшено, обнаруженно бесконечное перенаправление. Это не баг. Редиректить надо на другой хост, т.к. в параметр url подставляется блокированный url и происходит зацикливание фильтра (фича, о которой вы просили - фильтрация прокси). Сейчас, какой-то странное повидение: в реестре: admin@mg-rtr:~$ cat /etc/nfq/urls |grep ukraina4u ukraina4u.info/avto/prochee/44866.html ukraina4u.info/avto/vodnyy_transport/prodam/44860.html ukraina4u.info/promyshlennost/pishevaya_promyshlennost/alkogol/44990.html ukraina4u.info/promyshlennost/pishevaya_promyshlennost/koncentraty/44987.html ukraina4u.info/promyshlennost/pishevaya_promyshlennost/konditerskie_izdeliya/44989.html www.ukraina4u.info/avto/gruzovye_avtomobili/prodam/44857.html www.ukraina4u.info/avto/legkovye_avtomobili/inomarki/prodam/44856.html www.ukraina4u.info/nedvizhimost/2/ Если зайти через браузер - блокирует Но если зайти вначале на сайт, потом на www.ukraina4u.info, и перейти в этот разбел, то блокировка перестаёт работать. Как я понял, это очередной баг. UPG: Разобрался. Оказавается, я всё это время заходил ukraina4u.info. И по этому не блочило. Также я установил: max_pending_packets = 1000000. С этим значением почиму то не блокировались url Изменено 22 ноября, 2015 пользователем ne-vlezay80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 22 ноября, 2015 · Жалоба Допилил в nfqfilter поддержку ipv6. С http работает, с https пока нет, т.к. в nDPI нашелся баг в обработке ssl протокола при использовании ipv6. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 22 ноября, 2015 · Жалоба Допилил в nfqfilter поддержку ipv6. С http работает, с https пока нет, т.к. в nDPI нашелся баг в обработке ssl протокола при использовании ipv6. Да, кстати мой скрипт для создания копии реестра запрещённых сайтов: #!/bin/bashSOURCE=DUMP=/opt/dump.csvNFQ_FILTER_URLS=/etc/nfq/urlsNFQ_FILTER_CONF=/etc/nfqfilter.iniTMP=/tmp/urlsbuild_dump (){if ls $DUMP 2>/dev/null >/dev/nullthen trueelse if wget "https://raw.githubusercontent.com/zapret-info/z-i/master/dump.csv" -O- >$DUMP 2>/dev/null then true else exit 1 fifi}build_nfq_rules (){rm $NFQ_FILTER_URLS 2>/dev/null >/dev/nullrm $TMP 2>/dev/null >/dev/nullif ls $DUMP 2>/dev/null >/dev/nullthen cat $DUMP|iconv -f cp1251 -t utf8|tr ' |' ' '|tr ' ' ','|tr ';' ' '|awk '{print $3}'|grep http|tr ',' '~'|sed 's/~~~/ /'|tr ' ' '\n'|sort -u|nfq_uri >>$TMP cat $TMP|sed '1d' >$NFQ_FILTER_URLSelse exit 1fi}start_nfq_filter (){LD_LIBRARY_PATH="/usr/local/lib" nohup nfqfilter -c $NFQ_FILTER_CONF &}stop_nfq_filter (){if [ "$(ps ax|grep nfqfilter|grep -v grep)" != "" ]then PROC=$(ps ax|grep nfqfilter|grep -v grep|awk '{print $1}') kill $PROCelse true exit 1fi}case $1 instart) build_dump build_nfq_rules start_nfq_filter ;;stop) stop_nfq_filter ;;esac И библиотека nfq_uri: #!/bin/bashSTD=/dev/stdinfor a in $(cat $STD)do VAIL0=$(echo $a|tr '/' ' '|awk '{print $3}') if [ "$VAIL0" == "" ] then URL=$(echo $a|tr '/' ' '|awk '{print $2 "/" }') else URL=$(echo $a|sed 's/\// /'|sed 's/\// /'|awk '{print $2}') fi UR=$(echo $URL) HOST=$(echo $UR|sed 's/\// /'|awk '{print $1}'|idn) URI=$(echo $UR|sed 's/\// /'|awk '{print $2}'|python -c "import urllib, sys; print urllib.quote(sys.argv[1])" "$(cat /dev/stdin)") UR0=$(echo $HOST'/' $URI|tr -d ' ')echo $UR0done Написан правда довольно кривовато. Есть баги с кириличискими url Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 23 ноября, 2015 · Жалоба Если зайти через браузер - блокирует Но если зайти вначале на сайт, потом на www.ukraina4u.info, и перейти в этот разбел, то блокировка перестаёт работать. Как я понял, это очередной баг. Это не баг, это http keep-alive + не допиленность этой штуки, очевидно она не видит ничего дальше первого запроса. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 23 ноября, 2015 · Жалоба Если зайти через браузер - блокирует Но если зайти вначале на сайт, потом на www.ukraina4u.info, и перейти в этот разбел, то блокировка перестаёт работать. Как я понял, это очередной баг. Это не баг, это http keep-alive + не допиленность этой штуки, очевидно она не видит ничего дальше первого запроса. Во первых всё блокирует. Во вторых, я по невнимательности заходил на ukraina4u.info, а блокировка работает только на www.ukraina4u.info, так-как в правилах вильтрассылка только с www Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 ноября, 2015 · Жалоба Если зайти через браузер - блокирует Но если зайти вначале на сайт, потом на www.ukraina4u.info, и перейти в этот разбел, то блокировка перестаёт работать. Как я понял, это очередной баг. Это не баг, это http keep-alive + не допиленность этой штуки, очевидно она не видит ничего дальше первого запроса. Главное чтобы проверяющие были удовлетворены. А так, любой фильтр, основанный на анализе пакетов, можно обойти (например, используя https прокси). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 23 ноября, 2015 · Жалоба Если зайти через браузер - блокирует Но если зайти вначале на сайт, потом на www.ukraina4u.info, и перейти в этот разбел, то блокировка перестаёт работать. Как я понял, это очередной баг. Это не баг, это http keep-alive + не допиленность этой штуки, очевидно она не видит ничего дальше первого запроса. Главное чтобы проверяющие были удовлетворены. А так, любой фильтр, основанный на анализе пакетов, можно обойти (например, используя https прокси). По идее nfq_filter вполне хватит для того, чтобы удовлетворить проверяющих. Кстати, всеми любимый Carbon Reductor не умеет блочить внутри прокси. По идее, если нужно заблочить url внутри прокси, то вполне достаточно использовать pcre. На счёт imq_filter, при желании похдо допилить блокировку внутри прокси. Но, вполне достаточно блокировать только трафик на 80 порту. По идее проверяющен не используют прокси. Главное, что они могут, это поставить гугловский DNS. Блокировать, или не блокировать внутри прокси, каждый решает сам. Например, если использовать suricat'у и подключить к ней lua-скрипт который парсит запрещённые сайты, то можно сспокойно залезть в прокси. Кстати, вот образец запроса для сайта: Обычный HTTP: GET / HTTP/1.1 Host: www.kasparov.ru HTTP-прокси: GET http://www.kasparov.ru/ HTTP/1.1 Host: www.kasparov.ru max1976, предлагаю допилить данный функционал в nfq_filter. Хотя, блокировка внутри прокси, это личная прихать провайдера. max1976, кстати, что в твоём nfq_filter отвечает за парсинг http Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 ноября, 2015 · Жалоба Фикс для nDPI (ipv6+ssl) готов max1976, кстати, что в твоём nfq_filter отвечает за парсинг http За парсинг отвечает Poco::Net::HTTPRequest. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 23 ноября, 2015 (изменено) · Жалоба max1976, я также заметил, что nfq_filter не умеет собироть пакеты. Изменено 23 ноября, 2015 пользователем ne-vlezay80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 ноября, 2015 · Жалоба max1976, я также заметил, что nfq_filter не умеет собироть пакеты. Он это и не пытается делать. У вас возникли трудности с блокировкой? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 23 ноября, 2015 (изменено) · Жалоба max1976, я также заметил, что nfq_filter не умеет собироть пакеты. Он это и не пытается делать. У вас возникли трудности с блокировкой? На данный момент нет. Просто интересно, как собрать пакет средствами системы в linux. Дело в том, вдруг у пользователя окажится напремер dns туннель Изменено 23 ноября, 2015 пользователем ne-vlezay80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 23 ноября, 2015 (изменено) · Жалоба max1976, я также заметил, что nfq_filter не умеет собироть пакеты. Он это и не пытается делать. У вас возникли трудности с блокировкой? На данный момент нет. Просто интересно, как собрать пакет средствами системы в linux. Дело в том, вдруг у пользователя окажится напремер dns туннель Я в nfq_filter от max1976 обнаружил следующий баг: если на интерфейсе поставить mtu 67, то первое время на запрещённые сайты пускает. Также в elinks почему-то не отображается заглушка о том, что сайт запрещён, если фильтр работает. UPD: Действительно, блокировка не работает, если у клиента MTU начиная от 67 до 128. Так-же я не проверял, будет ли работать блокировка клиентов за маскарадингом. Изменено 24 ноября, 2015 пользователем ne-vlezay80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...