Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

518 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Вопрос к коллегам: сколько вы маршрутов заливаете на фильтрующий сервер?

RIB entries 17640, using 1103 KiB of memory

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А почему выбрана квага вместе bird-а? с ним как-то мне кажется будет проще, сгенерировать файл с сетями в виде фильтра на экспорт, подцепляется include-ом - что не требует редактирования основного конфига. Есть и небольшое API для управления (перечитать конфиг и применить например). Релоад будет занимать 1-2 секунды, из которых 1 секунда будет уходить на генерацию собственно фильтра сетей на экспорт. С квагой это дюже долго и ресурсоемко...

 

Как руки дойдут переведусь на bird. Или я чего-то недоглядел?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976 Приветсвую!

Собрал nDPI (1.7.0-1.7-stable-180-a121161), пропатчил, пересобрал nfqfilter. Проблема осталась. Какая у Вас версия ndpi, если не секрет.

Причем, ndpiReader класифицирует номарльно, даже в dev.

1	TCP 109.110.45.10:13319 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
2	TCP 109.110.45.10:13316 <-> 173.194.219.132:80 [proto: 7/HTTP][83 pkts/50142 bytes][Host: konan-vesti.blogspot.ru]
3	TCP 109.110.45.10:13320 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
4	TCP 109.110.45.10:13324 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
5	TCP 109.110.45.10:16808 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]

Изменено пользователем Zarin

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976 Приветсвую!

Собрал nDPI (1.7.0-1.7-stable-180-a121161), пропатчил, пересобрал nfqfilter. Проблема осталась. Какая у Вас версия ndpi, если не секрет.

Причем, ndpiReader класифицирует номарльно, даже в dev.

1	TCP 109.110.45.10:13319 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
2	TCP 109.110.45.10:13316 <-> 173.194.219.132:80 [proto: 7/HTTP][83 pkts/50142 bytes][Host: konan-vesti.blogspot.ru]
3	TCP 109.110.45.10:13320 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
4	TCP 109.110.45.10:13324 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
5	TCP 109.110.45.10:16808 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]

 

Здесь как раз и нет проблемы, т.к. указано 7.126, где 7 это протокол HTTP.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976 Приветсвую!

Собрал nDPI (1.7.0-1.7-stable-180-a121161), пропатчил, пересобрал nfqfilter. Проблема осталась. Какая у Вас версия ndpi, если не секрет.

Причем, ndpiReader класифицирует номарльно, даже в dev.

1	TCP 109.110.45.10:13319 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
2	TCP 109.110.45.10:13316 <-> 173.194.219.132:80 [proto: 7/HTTP][83 pkts/50142 bytes][Host: konan-vesti.blogspot.ru]
3	TCP 109.110.45.10:13320 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
4	TCP 109.110.45.10:13324 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]
5	TCP 109.110.45.10:16808 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes]

 

Здесь как раз и нет проблемы, т.к. указано 7.126, где 7 это протокол HTTP.

 

Это понятно. Проблема в том, что nfqfilter говорит в дебаге, что это Unknown/Google (0/126).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это понятно. Проблема в том, что nfqfilter говорит в дебаге, что это Unknown/Google (0/126).

 

Проверьте соответствие include файлов линкуемой библиотеке. Именно такой эффект получается при использовании файлов из разных версий nDPI. ndpiReader собирается из исходников nDPI, а nfqfilter из системных каталогов.

Изменено пользователем max1976

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это понятно. Проблема в том, что nfqfilter говорит в дебаге, что это Unknown/Google (0/126).

 

Проверьте соответствие include файлов линкуемой библиотеке. Именно такой эффект получается при использовании файлов из разных версий nDPI. ndpiReader собирается из исходников nDPI, а nfqfilter из системных каталогов.

 

Проверил, вроде все верно. Библиотека и заголовки из одной сборки.

И все-таки, какая у вас версия ndpi ? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день, вопрос к max1976.

На хост установлен nDPI и nfqfilter.

Трафик на чистилку доставляется при помощи bgp.

 

В файлике contrib/domains там, где лежит инфа о заблокированных доменах, есть домены:

1. online.stepashka.com

2. www.online.stepashka.com

(Это две разные записи в xml'ke от РКН, ip адреса от этого домена присутствую в quagga'e)

Так вот, не одна из этих записей не блокируется (остальные-те что проверялись выборочно, блокируются)

В файлике nfqfilter.ini, match_host_exactly = false - ставлю в true - тоже самое, домен не блокируется.

В чем может быть проблема?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А никто не настраивал для целей блокировки связку dansguardian + tinyproxy ?

я написал перловый скрипт - который выгрызает из дампа url и домен. запихивает это все дело по конфигам danceguardian.

+ nslookup выдираю ип для доменов - потому что в дампе роскомнадзора обычно старые ip.

ну и через bird анонсирую на bras сетки которые надо блочить.

 

в целом даже все работает. НО

заметил что есть домены - например kinovo.tv на которых стоит 302 redirect location который кажет на kinovo.me.

И при обрщении тебя без проблем редиректит на kinovo.me(а этого сайта нет в списке ркн).

 

Я всю голову сломал почему danceguardian не аффектит 302 редирект.

Может мне кто нибудь объяснить ? а то не комильфо выходит. С одной стороны - сайта на который редиректит - нет в списке ркн. но особенно бесит что это происходит при обращении на сайт который есть в списке.

Изменено пользователем alexxx71

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день, вопрос к max1976.

На хост установлен nDPI и nfqfilter.

Трафик на чистилку доставляется при помощи bgp.

 

В файлике contrib/domains там, где лежит инфа о заблокированных доменах, есть домены:

1. online.stepashka.com

2. www.online.stepashka.com

(Это две разные записи в xml'ke от РКН, ip адреса от этого домена присутствую в quagga'e)

Так вот, не одна из этих записей не блокируется (остальные-те что проверялись выборочно, блокируются)

В файлике nfqfilter.ini, match_host_exactly = false - ставлю в true - тоже самое, домен не блокируется.

В чем может быть проблема?

 

У меня блокируются оба. Вы точно уверены что пакет попадает на фильтр?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день, вопрос к max1976.

На хост установлен nDPI и nfqfilter.

Трафик на чистилку доставляется при помощи bgp.

 

В файлике contrib/domains там, где лежит инфа о заблокированных доменах, есть домены:

1. online.stepashka.com

2. www.online.stepashka.com

(Это две разные записи в xml'ke от РКН, ip адреса от этого домена присутствую в quagga'e)

Так вот, не одна из этих записей не блокируется (остальные-те что проверялись выборочно, блокируются)

В файлике nfqfilter.ini, match_host_exactly = false - ставлю в true - тоже самое, домен не блокируется.

В чем может быть проблема?

 

У меня блокируются оба. Вы точно уверены что пакет попадает на фильтр?

Как посмотреть отправляются ли эти пакеты в 0 очередь?

 

Я вижу запросы tcpdump'om трафик приходит на хост.(в quagga ip адреса от этих узлов присутствуют)

Эти адреса за cdn - cloudflare

Трафик на nfqfilter заворачиваю так -

 

*mangle
:PREROUTING ACCEPT [321749:235672019]
:INPUT ACCEPT [56949:15296370]
:FORWARD ACCEPT [21135930:2554829724]
:OUTPUT ACCEPT [58148:24364420]
:POSTROUTING ACCEPT [21191749:2578637994]
-A PREROUTING -i vlan298 -p tcp -m tcp -j NFQUEUE --queue-num 0 --queue-bypass

vlan298 это интерфейс откуда приходит трафик

выходит трафик в inet через default

Не знаю куда копать, ибо не фильтруются похоже только они!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не знаю куда копать, ибо не фильтруются похоже только они!

Ставьте nDPI этой версии

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не знаю куда копать, ибо не фильтруются похоже только они!

Ставьте nDPI этой версии

Спасибо, все работает.

Обновите пожалуйста файл README на github, а то народ будет качать dev версию nDPI.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И все-таки, какая у вас версия ndpi ? :)

 

Версия 1.7.

 

Попробую поставить его. Stable в git новее почти на 3 месяца https://github.com/ntop/nDPI/tree/1.7-stable

Последний коммит, аж в декабре.

 

Added missing HEP initialization
lucaderi committed on 5 Dec 2015

 

Вроде в коммитах нечего криминально. Но тем не менее, возможно поможет :) Отпишу по результату.

Изменено пользователем Zarin

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

taf_321, так он изначально был заявлен как 64-only.

Товарищи коллеги, я правильно понимаю, что на Debian 8 с архитектурой i686 даже не стоит пытаться собирать? Ткните носом, где написано 64-only

Изменено пользователем apog

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976 приветствую. Поставил из sourceforge + патч. Google начал определяться верно.

 

Теперь есть следующие веселые URL, проверьте пожалуйста у себя.

 

https://static1.e621.net/data/d1/00/d100146df07c78366c10ae89787dcbc8.jpg
https://casino.bwin.com
https://ru.partypoker.com/

 

Все три определяются как TOR.

Not http protocol. Protocol is 0/163 from 109.110.59.12:39137 to 104.25.118.23:443

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

apog, у меня собралось на Debian 8 с архитектурой i686, но работало некорректно.

сейчас в виртуалке с 64 битами работает, но в наличии некоторые пропуски. Как с ними бороться и почему на некоторых записях не срабатывает блокировка - у меня пока нет соображений. Частично - из-за кривости запросов софта для проверки.

Изменено пользователем dnvk

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976 приветствую. Поставил из sourceforge + патч. Google начал определяться верно.

 

Теперь есть следующие веселые URL, проверьте пожалуйста у себя.

 

https://static1.e621.net/data/d1/00/d100146df07c78366c10ae89787dcbc8.jpg
https://casino.bwin.com
https://ru.partypoker.com/

 

Все три определяются как TOR.

Not http protocol. Protocol is 0/163 from 109.110.59.12:39137 to 104.25.118.23:443

 

Да, есть такое дело, думаю надо и детектированный как TOR проверять.

 

apog, у меня собралось на Debian 8 с архитектурой i686, но работало некорректно.

сейчас в виртуалке с 64 битами работает, но в наличии некоторые пропуски. Как с ними бороться и почему на некоторых записях не срабатывает блокировка - у меня пока нет соображений. Частично - из-за кривости запросов софта для проверки.

 

Снимите дамп запросов, которые не блокируются, попробую посмотреть что не так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Все три определяются как TOR.

 

На github'е версия с фиксом. Теперь блокируются.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

На github'е версия с фиксом. Теперь блокируются.

 

Обновил, теперь блокируются. Подросла загрузка CPU.

Каким образом увеличить количество тредов ? Не нашел крутилки в коде. Он определяет от количество доступных ядер ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо dnvk, буду пробовать на amd64. Авторам тоже респект.

А про параллельные процессы можно в ридми упомянуть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976:

 

./zapret.pl
URI version 1.69 required--this is only version 1.60 at ./zapret.pl line 11.
BEGIN failed--compilation aborted at ./zapret.pl line 11.

 

Оно обязательно 1.69 ? Я уже и на Debian wheezy и CentOS 7 пытаюсь запустить скрипт, но в первом дистре она только 1.64 jessie или вообще 1.60 wheezy и 1.71-1 stretch, а на центосе 1.60.

 

./zapret.pl
Can't exec "/usr/local/gost-ssl/bin/openssl": Ðет такого файла или каталога at ./zapret.pl line 359.
Subroutine _call redefined at (eval 166) line 50.
Subroutine OperatorRequestService::want_som redefined at (eval 166) line 92.
Subroutine AUTOLOAD redefined at (eval 166) line 109.
Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 166) line 107.
Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 166) line 107.
Subroutine OperatorRequestService::sendRequest redefined at (eval 166) line 107.
Subroutine OperatorRequestService::getResult redefined at (eval 166) line 107.
Subroutine _call redefined at (eval 187) line 50.
Subroutine OperatorRequestService::want_som redefined at (eval 187) line 92.
Subroutine AUTOLOAD redefined at (eval 187) line 109.
Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 187) line 107.
Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 187) line 107.
Subroutine OperatorRequestService::sendRequest redefined at (eval 187) line 107.
Subroutine OperatorRequestService::getResult redefined at (eval 187) line 107.

 

В логе:

 

2016-03-02 02:49:30 | INFO  | main  | Starting RKN at Wed Mar  2 02:49:30 2016
2016-03-02 02:49:31 | ERROR | main  | Can not get result: некорректное значение ЭП (информация по обратной связи для разрешения проблем приведена в Памятке оператору связи в разделе http://eais.rkn.gov.ru/tooperators/)

 

На пхп самопальный скрипт отрабатывает с этим же файлом запроса и подписи, куда копнуть?

Изменено пользователем hsvt

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас