KaraVan Опубликовано 24 февраля, 2016 · Жалоба Вопрос к коллегам: сколько вы маршрутов заливаете на фильтрующий сервер? RIB entries 17640, using 1103 KiB of memory Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
micol Опубликовано 24 февраля, 2016 · Жалоба А почему выбрана квага вместе bird-а? с ним как-то мне кажется будет проще, сгенерировать файл с сетями в виде фильтра на экспорт, подцепляется include-ом - что не требует редактирования основного конфига. Есть и небольшое API для управления (перечитать конфиг и применить например). Релоад будет занимать 1-2 секунды, из которых 1 секунда будет уходить на генерацию собственно фильтра сетей на экспорт. С квагой это дюже долго и ресурсоемко... Как руки дойдут переведусь на bird. Или я чего-то недоглядел? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 24 февраля, 2016 (изменено) · Жалоба max1976 Приветсвую! Собрал nDPI (1.7.0-1.7-stable-180-a121161), пропатчил, пересобрал nfqfilter. Проблема осталась. Какая у Вас версия ndpi, если не секрет. Причем, ndpiReader класифицирует номарльно, даже в dev. 1 TCP 109.110.45.10:13319 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] 2 TCP 109.110.45.10:13316 <-> 173.194.219.132:80 [proto: 7/HTTP][83 pkts/50142 bytes][Host: konan-vesti.blogspot.ru] 3 TCP 109.110.45.10:13320 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] 4 TCP 109.110.45.10:13324 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] 5 TCP 109.110.45.10:16808 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] Изменено 24 февраля, 2016 пользователем Zarin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 24 февраля, 2016 · Жалоба max1976 Приветсвую! Собрал nDPI (1.7.0-1.7-stable-180-a121161), пропатчил, пересобрал nfqfilter. Проблема осталась. Какая у Вас версия ndpi, если не секрет. Причем, ndpiReader класифицирует номарльно, даже в dev. 1 TCP 109.110.45.10:13319 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] 2 TCP 109.110.45.10:13316 <-> 173.194.219.132:80 [proto: 7/HTTP][83 pkts/50142 bytes][Host: konan-vesti.blogspot.ru] 3 TCP 109.110.45.10:13320 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] 4 TCP 109.110.45.10:13324 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] 5 TCP 109.110.45.10:16808 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] Здесь как раз и нет проблемы, т.к. указано 7.126, где 7 это протокол HTTP. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 24 февраля, 2016 · Жалоба max1976 Приветсвую! Собрал nDPI (1.7.0-1.7-stable-180-a121161), пропатчил, пересобрал nfqfilter. Проблема осталась. Какая у Вас версия ndpi, если не секрет. Причем, ndpiReader класифицирует номарльно, даже в dev. 1 TCP 109.110.45.10:13319 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] 2 TCP 109.110.45.10:13316 <-> 173.194.219.132:80 [proto: 7/HTTP][83 pkts/50142 bytes][Host: konan-vesti.blogspot.ru] 3 TCP 109.110.45.10:13320 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] 4 TCP 109.110.45.10:13324 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] 5 TCP 109.110.45.10:16808 <-> 173.194.219.132:80 [proto: 7.126/HTTP.Google][6 pkts/412 bytes] Здесь как раз и нет проблемы, т.к. указано 7.126, где 7 это протокол HTTP. Это понятно. Проблема в том, что nfqfilter говорит в дебаге, что это Unknown/Google (0/126). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 24 февраля, 2016 (изменено) · Жалоба Это понятно. Проблема в том, что nfqfilter говорит в дебаге, что это Unknown/Google (0/126). Проверьте соответствие include файлов линкуемой библиотеке. Именно такой эффект получается при использовании файлов из разных версий nDPI. ndpiReader собирается из исходников nDPI, а nfqfilter из системных каталогов. Изменено 24 февраля, 2016 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 25 февраля, 2016 · Жалоба Это понятно. Проблема в том, что nfqfilter говорит в дебаге, что это Unknown/Google (0/126). Проверьте соответствие include файлов линкуемой библиотеке. Именно такой эффект получается при использовании файлов из разных версий nDPI. ndpiReader собирается из исходников nDPI, а nfqfilter из системных каталогов. Проверил, вроде все верно. Библиотека и заголовки из одной сборки. И все-таки, какая у вас версия ndpi ? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 февраля, 2016 · Жалоба И все-таки, какая у вас версия ndpi ? :) Версия 1.7. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hirurg2000 Опубликовано 25 февраля, 2016 · Жалоба Добрый день, вопрос к max1976. На хост установлен nDPI и nfqfilter. Трафик на чистилку доставляется при помощи bgp. В файлике contrib/domains там, где лежит инфа о заблокированных доменах, есть домены: 1. online.stepashka.com 2. www.online.stepashka.com (Это две разные записи в xml'ke от РКН, ip адреса от этого домена присутствую в quagga'e) Так вот, не одна из этих записей не блокируется (остальные-те что проверялись выборочно, блокируются) В файлике nfqfilter.ini, match_host_exactly = false - ставлю в true - тоже самое, домен не блокируется. В чем может быть проблема? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexxx71 Опубликовано 25 февраля, 2016 (изменено) · Жалоба А никто не настраивал для целей блокировки связку dansguardian + tinyproxy ? я написал перловый скрипт - который выгрызает из дампа url и домен. запихивает это все дело по конфигам danceguardian. + nslookup выдираю ип для доменов - потому что в дампе роскомнадзора обычно старые ip. ну и через bird анонсирую на bras сетки которые надо блочить. в целом даже все работает. НО заметил что есть домены - например kinovo.tv на которых стоит 302 redirect location который кажет на kinovo.me. И при обрщении тебя без проблем редиректит на kinovo.me(а этого сайта нет в списке ркн). Я всю голову сломал почему danceguardian не аффектит 302 редирект. Может мне кто нибудь объяснить ? а то не комильфо выходит. С одной стороны - сайта на который редиректит - нет в списке ркн. но особенно бесит что это происходит при обращении на сайт который есть в списке. Изменено 25 февраля, 2016 пользователем alexxx71 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 февраля, 2016 · Жалоба Добрый день, вопрос к max1976. На хост установлен nDPI и nfqfilter. Трафик на чистилку доставляется при помощи bgp. В файлике contrib/domains там, где лежит инфа о заблокированных доменах, есть домены: 1. online.stepashka.com 2. www.online.stepashka.com (Это две разные записи в xml'ke от РКН, ip адреса от этого домена присутствую в quagga'e) Так вот, не одна из этих записей не блокируется (остальные-те что проверялись выборочно, блокируются) В файлике nfqfilter.ini, match_host_exactly = false - ставлю в true - тоже самое, домен не блокируется. В чем может быть проблема? У меня блокируются оба. Вы точно уверены что пакет попадает на фильтр? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hirurg2000 Опубликовано 25 февраля, 2016 · Жалоба Добрый день, вопрос к max1976. На хост установлен nDPI и nfqfilter. Трафик на чистилку доставляется при помощи bgp. В файлике contrib/domains там, где лежит инфа о заблокированных доменах, есть домены: 1. online.stepashka.com 2. www.online.stepashka.com (Это две разные записи в xml'ke от РКН, ip адреса от этого домена присутствую в quagga'e) Так вот, не одна из этих записей не блокируется (остальные-те что проверялись выборочно, блокируются) В файлике nfqfilter.ini, match_host_exactly = false - ставлю в true - тоже самое, домен не блокируется. В чем может быть проблема? У меня блокируются оба. Вы точно уверены что пакет попадает на фильтр? Как посмотреть отправляются ли эти пакеты в 0 очередь? Я вижу запросы tcpdump'om трафик приходит на хост.(в quagga ip адреса от этих узлов присутствуют) Эти адреса за cdn - cloudflare Трафик на nfqfilter заворачиваю так - *mangle :PREROUTING ACCEPT [321749:235672019] :INPUT ACCEPT [56949:15296370] :FORWARD ACCEPT [21135930:2554829724] :OUTPUT ACCEPT [58148:24364420] :POSTROUTING ACCEPT [21191749:2578637994] -A PREROUTING -i vlan298 -p tcp -m tcp -j NFQUEUE --queue-num 0 --queue-bypass vlan298 это интерфейс откуда приходит трафик выходит трафик в inet через default Не знаю куда копать, ибо не фильтруются похоже только они! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 февраля, 2016 · Жалоба Не знаю куда копать, ибо не фильтруются похоже только они! Ставьте nDPI этой версии Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hirurg2000 Опубликовано 26 февраля, 2016 · Жалоба Не знаю куда копать, ибо не фильтруются похоже только они! Ставьте nDPI этой версии Спасибо, все работает. Обновите пожалуйста файл README на github, а то народ будет качать dev версию nDPI. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 26 февраля, 2016 (изменено) · Жалоба И все-таки, какая у вас версия ndpi ? :) Версия 1.7. Попробую поставить его. Stable в git новее почти на 3 месяца https://github.com/ntop/nDPI/tree/1.7-stable Последний коммит, аж в декабре. Added missing HEP initialization lucaderi committed on 5 Dec 2015 Вроде в коммитах нечего криминально. Но тем не менее, возможно поможет :) Отпишу по результату. Изменено 26 февраля, 2016 пользователем Zarin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
apog Опубликовано 27 февраля, 2016 (изменено) · Жалоба taf_321, так он изначально был заявлен как 64-only. Товарищи коллеги, я правильно понимаю, что на Debian 8 с архитектурой i686 даже не стоит пытаться собирать? Ткните носом, где написано 64-only Изменено 27 февраля, 2016 пользователем apog Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 29 февраля, 2016 · Жалоба max1976 приветствую. Поставил из sourceforge + патч. Google начал определяться верно. Теперь есть следующие веселые URL, проверьте пожалуйста у себя. https://static1.e621.net/data/d1/00/d100146df07c78366c10ae89787dcbc8.jpg https://casino.bwin.com https://ru.partypoker.com/ Все три определяются как TOR. Not http protocol. Protocol is 0/163 from 109.110.59.12:39137 to 104.25.118.23:443 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dnvk Опубликовано 29 февраля, 2016 (изменено) · Жалоба apog, у меня собралось на Debian 8 с архитектурой i686, но работало некорректно. сейчас в виртуалке с 64 битами работает, но в наличии некоторые пропуски. Как с ними бороться и почему на некоторых записях не срабатывает блокировка - у меня пока нет соображений. Частично - из-за кривости запросов софта для проверки. Изменено 29 февраля, 2016 пользователем dnvk Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 29 февраля, 2016 · Жалоба max1976 приветствую. Поставил из sourceforge + патч. Google начал определяться верно. Теперь есть следующие веселые URL, проверьте пожалуйста у себя. https://static1.e621.net/data/d1/00/d100146df07c78366c10ae89787dcbc8.jpg https://casino.bwin.com https://ru.partypoker.com/ Все три определяются как TOR. Not http protocol. Protocol is 0/163 from 109.110.59.12:39137 to 104.25.118.23:443 Да, есть такое дело, думаю надо и детектированный как TOR проверять. apog, у меня собралось на Debian 8 с архитектурой i686, но работало некорректно. сейчас в виртуалке с 64 битами работает, но в наличии некоторые пропуски. Как с ними бороться и почему на некоторых записях не срабатывает блокировка - у меня пока нет соображений. Частично - из-за кривости запросов софта для проверки. Снимите дамп запросов, которые не блокируются, попробую посмотреть что не так. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 29 февраля, 2016 · Жалоба Все три определяются как TOR. На github'е версия с фиксом. Теперь блокируются. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Zarin Опубликовано 29 февраля, 2016 · Жалоба На github'е версия с фиксом. Теперь блокируются. Обновил, теперь блокируются. Подросла загрузка CPU. Каким образом увеличить количество тредов ? Не нашел крутилки в коде. Он определяет от количество доступных ядер ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 29 февраля, 2016 · Жалоба Запускайте несколько бинарников и параллельте Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
apog Опубликовано 29 февраля, 2016 · Жалоба Спасибо dnvk, буду пробовать на amd64. Авторам тоже респект. А про параллельные процессы можно в ридми упомянуть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
banec Опубликовано 1 марта, 2016 · Жалоба а с nDPI от вот этого парня будет работать https://www.linux.org.ru/forum/admin/12019204/ ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 1 марта, 2016 (изменено) · Жалоба max1976: ./zapret.pl URI version 1.69 required--this is only version 1.60 at ./zapret.pl line 11. BEGIN failed--compilation aborted at ./zapret.pl line 11. Оно обязательно 1.69 ? Я уже и на Debian wheezy и CentOS 7 пытаюсь запустить скрипт, но в первом дистре она только 1.64 jessie или вообще 1.60 wheezy и 1.71-1 stretch, а на центосе 1.60. ./zapret.pl Can't exec "/usr/local/gost-ssl/bin/openssl": Ðет такого файла или каталога at ./zapret.pl line 359. Subroutine _call redefined at (eval 166) line 50. Subroutine OperatorRequestService::want_som redefined at (eval 166) line 92. Subroutine AUTOLOAD redefined at (eval 166) line 109. Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 166) line 107. Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 166) line 107. Subroutine OperatorRequestService::sendRequest redefined at (eval 166) line 107. Subroutine OperatorRequestService::getResult redefined at (eval 166) line 107. Subroutine _call redefined at (eval 187) line 50. Subroutine OperatorRequestService::want_som redefined at (eval 187) line 92. Subroutine AUTOLOAD redefined at (eval 187) line 109. Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 187) line 107. Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 187) line 107. Subroutine OperatorRequestService::sendRequest redefined at (eval 187) line 107. Subroutine OperatorRequestService::getResult redefined at (eval 187) line 107. В логе: 2016-03-02 02:49:30 | INFO | main | Starting RKN at Wed Mar 2 02:49:30 2016 2016-03-02 02:49:31 | ERROR | main | Can not get result: некорректное значение ЭП (информация по обратной связи для разрешения проблем приведена в Памятке оператору связи в разделе http://eais.rkn.gov.ru/tooperators/) На пхп самопальный скрипт отрабатывает с этим же файлом запроса и подписи, куда копнуть? Изменено 1 марта, 2016 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...