Jump to content
Калькуляторы
Блокировка веб ресурса  

537 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Вопрос к коллегам: сколько вы маршрутов заливаете на фильтрующий сервер?

RIB entries 17640, using 1103 KiB of memory

Share this post


Link to post
Share on other sites

А почему выбрана квага вместе bird-а? с ним как-то мне кажется будет проще, сгенерировать файл с сетями в виде фильтра на экспорт, подцепляется include-ом - что не требует редактирования основного конфига. Есть и небольшое API для управления (перечитать конфиг и применить например). Релоад будет занимать 1-2 секунды, из которых 1 секунда будет уходить на генерацию собственно фильтра сетей на экспорт. С квагой это дюже долго и ресурсоемко...

 

Как руки дойдут переведусь на bird. Или я чего-то недоглядел?

Share this post


Link to post
Share on other sites

max1976 Приветсвую!

Собрал nDPI (1.7.0-1.7-stable-180-a121161), пропатчил, пересобрал nfqfilter. Проблема осталась. Какая у Вас версия ndpi, если не секрет.

Причем, ndpiReader класифицирует номарльно, даже в dev.

1	TCP 109.110.45.10:13319 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
2	TCP 109.110.45.10:13316 <-> 173.194.219.132:80 [proto: 7/HTTP][83 pkts/50142 bytes][Host: konan-vesti.blogspot.ru]
3	TCP 109.110.45.10:13320 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
4	TCP 109.110.45.10:13324 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
5	TCP 109.110.45.10:16808 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]

Edited by Zarin

Share this post


Link to post
Share on other sites

max1976 Приветсвую!

Собрал nDPI (1.7.0-1.7-stable-180-a121161), пропатчил, пересобрал nfqfilter. Проблема осталась. Какая у Вас версия ndpi, если не секрет.

Причем, ndpiReader класифицирует номарльно, даже в dev.

1	TCP 109.110.45.10:13319 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
2	TCP 109.110.45.10:13316 <-> 173.194.219.132:80 [proto: 7/HTTP][83 pkts/50142 bytes][Host: konan-vesti.blogspot.ru]
3	TCP 109.110.45.10:13320 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
4	TCP 109.110.45.10:13324 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
5	TCP 109.110.45.10:16808 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]

 

Здесь как раз и нет проблемы, т.к. указано 7.126, где 7 это протокол HTTP.

Share this post


Link to post
Share on other sites

max1976 Приветсвую!

Собрал nDPI (1.7.0-1.7-stable-180-a121161), пропатчил, пересобрал nfqfilter. Проблема осталась. Какая у Вас версия ndpi, если не секрет.

Причем, ndpiReader класифицирует номарльно, даже в dev.

1	TCP 109.110.45.10:13319 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
2	TCP 109.110.45.10:13316 <-> 173.194.219.132:80 [proto: 7/HTTP][83 pkts/50142 bytes][Host: konan-vesti.blogspot.ru]
3	TCP 109.110.45.10:13320 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
4	TCP 109.110.45.10:13324 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
5	TCP 109.110.45.10:16808 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]

 

Здесь как раз и нет проблемы, т.к. указано 7.126, где 7 это протокол HTTP.

 

Это понятно. Проблема в том, что nfqfilter говорит в дебаге, что это Unknown/Google (0/126).

Share this post


Link to post
Share on other sites

Это понятно. Проблема в том, что nfqfilter говорит в дебаге, что это Unknown/Google (0/126).

 

Проверьте соответствие include файлов линкуемой библиотеке. Именно такой эффект получается при использовании файлов из разных версий nDPI. ndpiReader собирается из исходников nDPI, а nfqfilter из системных каталогов.

Edited by max1976

Share this post


Link to post
Share on other sites

Это понятно. Проблема в том, что nfqfilter говорит в дебаге, что это Unknown/Google (0/126).

 

Проверьте соответствие include файлов линкуемой библиотеке. Именно такой эффект получается при использовании файлов из разных версий nDPI. ndpiReader собирается из исходников nDPI, а nfqfilter из системных каталогов.

 

Проверил, вроде все верно. Библиотека и заголовки из одной сборки.

И все-таки, какая у вас версия ndpi ? :)

Share this post


Link to post
Share on other sites

Добрый день, вопрос к max1976.

На хост установлен nDPI и nfqfilter.

Трафик на чистилку доставляется при помощи bgp.

 

В файлике contrib/domains там, где лежит инфа о заблокированных доменах, есть домены:

1. online.stepashka.com

2. www.online.stepashka.com

(Это две разные записи в xml'ke от РКН, ip адреса от этого домена присутствую в quagga'e)

Так вот, не одна из этих записей не блокируется (остальные-те что проверялись выборочно, блокируются)

В файлике nfqfilter.ini, match_host_exactly = false - ставлю в true - тоже самое, домен не блокируется.

В чем может быть проблема?

Share this post


Link to post
Share on other sites

А никто не настраивал для целей блокировки связку dansguardian + tinyproxy ?

я написал перловый скрипт - который выгрызает из дампа url и домен. запихивает это все дело по конфигам danceguardian.

+ nslookup выдираю ип для доменов - потому что в дампе роскомнадзора обычно старые ip.

ну и через bird анонсирую на bras сетки которые надо блочить.

 

в целом даже все работает. НО

заметил что есть домены - например kinovo.tv на которых стоит 302 redirect location который кажет на kinovo.me.

И при обрщении тебя без проблем редиректит на kinovo.me(а этого сайта нет в списке ркн).

 

Я всю голову сломал почему danceguardian не аффектит 302 редирект.

Может мне кто нибудь объяснить ? а то не комильфо выходит. С одной стороны - сайта на который редиректит - нет в списке ркн. но особенно бесит что это происходит при обращении на сайт который есть в списке.

Edited by alexxx71

Share this post


Link to post
Share on other sites

Добрый день, вопрос к max1976.

На хост установлен nDPI и nfqfilter.

Трафик на чистилку доставляется при помощи bgp.

 

В файлике contrib/domains там, где лежит инфа о заблокированных доменах, есть домены:

1. online.stepashka.com

2. www.online.stepashka.com

(Это две разные записи в xml'ke от РКН, ip адреса от этого домена присутствую в quagga'e)

Так вот, не одна из этих записей не блокируется (остальные-те что проверялись выборочно, блокируются)

В файлике nfqfilter.ini, match_host_exactly = false - ставлю в true - тоже самое, домен не блокируется.

В чем может быть проблема?

 

У меня блокируются оба. Вы точно уверены что пакет попадает на фильтр?

Share this post


Link to post
Share on other sites

Добрый день, вопрос к max1976.

На хост установлен nDPI и nfqfilter.

Трафик на чистилку доставляется при помощи bgp.

 

В файлике contrib/domains там, где лежит инфа о заблокированных доменах, есть домены:

1. online.stepashka.com

2. www.online.stepashka.com

(Это две разные записи в xml'ke от РКН, ip адреса от этого домена присутствую в quagga'e)

Так вот, не одна из этих записей не блокируется (остальные-те что проверялись выборочно, блокируются)

В файлике nfqfilter.ini, match_host_exactly = false - ставлю в true - тоже самое, домен не блокируется.

В чем может быть проблема?

 

У меня блокируются оба. Вы точно уверены что пакет попадает на фильтр?

Как посмотреть отправляются ли эти пакеты в 0 очередь?

 

Я вижу запросы tcpdump'om трафик приходит на хост.(в quagga ip адреса от этих узлов присутствуют)

Эти адреса за cdn - cloudflare

Трафик на nfqfilter заворачиваю так -

 

*mangle
:PREROUTING ACCEPT [321749:235672019]
:INPUT ACCEPT [56949:15296370]
:FORWARD ACCEPT [21135930:2554829724]
:OUTPUT ACCEPT [58148:24364420]
:POSTROUTING ACCEPT [21191749:2578637994]
-A PREROUTING -i vlan298 -p tcp -m tcp -j NFQUEUE --queue-num 0 --queue-bypass

vlan298 это интерфейс откуда приходит трафик

выходит трафик в inet через default

Не знаю куда копать, ибо не фильтруются похоже только они!

Share this post


Link to post
Share on other sites

Не знаю куда копать, ибо не фильтруются похоже только они!

Ставьте nDPI этой версии

Спасибо, все работает.

Обновите пожалуйста файл README на github, а то народ будет качать dev версию nDPI.

Share this post


Link to post
Share on other sites

И все-таки, какая у вас версия ndpi ? :)

 

Версия 1.7.

 

Попробую поставить его. Stable в git новее почти на 3 месяца https://github.com/ntop/nDPI/tree/1.7-stable

Последний коммит, аж в декабре.

 

Added missing HEP initialization
lucaderi committed on 5 Dec 2015

 

Вроде в коммитах нечего криминально. Но тем не менее, возможно поможет :) Отпишу по результату.

Edited by Zarin

Share this post


Link to post
Share on other sites

taf_321, так он изначально был заявлен как 64-only.

Товарищи коллеги, я правильно понимаю, что на Debian 8 с архитектурой i686 даже не стоит пытаться собирать? Ткните носом, где написано 64-only

Edited by apog

Share this post


Link to post
Share on other sites

max1976 приветствую. Поставил из sourceforge + патч. Google начал определяться верно.

 

Теперь есть следующие веселые URL, проверьте пожалуйста у себя.

 

https://static1.e621.net/data/d1/00/d100146df07c78366c10ae89787dcbc8.jpg
https://casino.bwin.com
https://ru.partypoker.com/

 

Все три определяются как TOR.

Not http protocol. Protocol is 0/163 from 109.110.59.12:39137 to 104.25.118.23:443

Share this post


Link to post
Share on other sites

apog, у меня собралось на Debian 8 с архитектурой i686, но работало некорректно.

сейчас в виртуалке с 64 битами работает, но в наличии некоторые пропуски. Как с ними бороться и почему на некоторых записях не срабатывает блокировка - у меня пока нет соображений. Частично - из-за кривости запросов софта для проверки.

Edited by dnvk

Share this post


Link to post
Share on other sites

max1976 приветствую. Поставил из sourceforge + патч. Google начал определяться верно.

 

Теперь есть следующие веселые URL, проверьте пожалуйста у себя.

 

https://static1.e621.net/data/d1/00/d100146df07c78366c10ae89787dcbc8.jpg
https://casino.bwin.com
https://ru.partypoker.com/

 

Все три определяются как TOR.

Not http protocol. Protocol is 0/163 from 109.110.59.12:39137 to 104.25.118.23:443

 

Да, есть такое дело, думаю надо и детектированный как TOR проверять.

 

apog, у меня собралось на Debian 8 с архитектурой i686, но работало некорректно.

сейчас в виртуалке с 64 битами работает, но в наличии некоторые пропуски. Как с ними бороться и почему на некоторых записях не срабатывает блокировка - у меня пока нет соображений. Частично - из-за кривости запросов софта для проверки.

 

Снимите дамп запросов, которые не блокируются, попробую посмотреть что не так.

Share this post


Link to post
Share on other sites

Все три определяются как TOR.

 

На github'е версия с фиксом. Теперь блокируются.

Share this post


Link to post
Share on other sites

 

На github'е версия с фиксом. Теперь блокируются.

 

Обновил, теперь блокируются. Подросла загрузка CPU.

Каким образом увеличить количество тредов ? Не нашел крутилки в коде. Он определяет от количество доступных ядер ?

Share this post


Link to post
Share on other sites

Спасибо dnvk, буду пробовать на amd64. Авторам тоже респект.

А про параллельные процессы можно в ридми упомянуть.

Share this post


Link to post
Share on other sites

max1976:

 

./zapret.pl
URI version 1.69 required--this is only version 1.60 at ./zapret.pl line 11.
BEGIN failed--compilation aborted at ./zapret.pl line 11.

 

Оно обязательно 1.69 ? Я уже и на Debian wheezy и CentOS 7 пытаюсь запустить скрипт, но в первом дистре она только 1.64 jessie или вообще 1.60 wheezy и 1.71-1 stretch, а на центосе 1.60.

 

./zapret.pl
Can't exec "/usr/local/gost-ssl/bin/openssl": Ðет такого файла или каталога at ./zapret.pl line 359.
Subroutine _call redefined at (eval 166) line 50.
Subroutine OperatorRequestService::want_som redefined at (eval 166) line 92.
Subroutine AUTOLOAD redefined at (eval 166) line 109.
Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 166) line 107.
Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 166) line 107.
Subroutine OperatorRequestService::sendRequest redefined at (eval 166) line 107.
Subroutine OperatorRequestService::getResult redefined at (eval 166) line 107.
Subroutine _call redefined at (eval 187) line 50.
Subroutine OperatorRequestService::want_som redefined at (eval 187) line 92.
Subroutine AUTOLOAD redefined at (eval 187) line 109.
Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 187) line 107.
Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 187) line 107.
Subroutine OperatorRequestService::sendRequest redefined at (eval 187) line 107.
Subroutine OperatorRequestService::getResult redefined at (eval 187) line 107.

 

В логе:

 

2016-03-02 02:49:30 | INFO  | main  | Starting RKN at Wed Mar  2 02:49:30 2016
2016-03-02 02:49:31 | ERROR | main  | Can not get result: некорректное значение ЭП (информация по обратной связи для разрешения проблем приведена в Памятке оператору связи в разделе http://eais.rkn.gov.ru/tooperators/)

 

На пхп самопальный скрипт отрабатывает с этим же файлом запроса и подписи, куда копнуть?

Edited by hsvt

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now