1. Для блокировка используем

[arhead]

htop показывает загрузку ядер проца на 100% которые отведены под потоки, это нормально или что то нет так? Так все отлично блокируется. Убедился что если натить то зеркалировать лучше до BRAS если после, то кто за натом спокойно проходит на запрещенные сайты. И после обновления списков так же надо перезапускать extFilter? Просто он секунд 15-20 пропускает за запрещенные сайты.

[max1976]

htop показывает загрузку ядер проца на 100% которые отведены под потоки, это нормально или что то нет так? Так все отлично блокируется. Убедился что если натить то зеркалировать лучше до BRAS если после, то кто за натом спокойно проходит на запрещенные сайты. И после обновления списков так же надо перезапускать extFilter? Просто он секунд 15-20 пропускает за запрещенные сайты.

 

При использовании DPDK рабочие ядра всегда загружены на 100% (в виду постоянного опроса сетевой карты), что считается нормальным. Пока надо перезапускать extFilter, но позже я допилю перезагрузку списков на лету.

[max1976]

Для extfilter добавил поддержку обработки сигнала HUP для перезагрузки данных из файлов.

[arhead]

Не находит reloadtask.h

 

 

root@proxy:/usr/src/extfilter# make

Making all in src

make[1]: вход в каталог «/usr/src/extfilter/src»

g++ -DHAVE_CONFIG_H -I. -I../include -I.././PcapPlusPlus/Dist/header -I../nDPI/src/include -std=c++0x -O2 -pthread -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp

main.cpp:23:24: fatal error: reloadtask.h: Нет такого файла или каталога

#include "reloadtask.h"

^

compilation terminated.

Makefile:388: ошибка выполнения рецепта для цели «main.o»

make[1]: *** [main.o] Ошибка 1

make[1]: выход из каталога «/usr/src/extfilter/src»

Makefile:332: ошибка выполнения рецепта для цели «all-recursive»

make: *** [all-recursive] Ошибка 1

 

 

[max1976]

Не находит reloadtask.h

 

Исправлено.

[alibek]

У реестре уже пара десятка доменов с маской.

У кого как они блокируются?

[Rick]

max1976 Подскажите пожалуйста. А можно вывести в строке на переводимую страницу заглушки только url из файла( без вывода в адресной строке страницы самой заглушки)?

[oborot.bolta]

Как и обещал, представляю вашему вниманию фильтр extFilter, использующий DPDK, и работающий с зеркалом исходящего трафика от пользователей.

 

Есть несколько вопросов:

 

1. Обязательно ставить из исходников, или можно из пэкаджей (dpdk dpdk-devel dpdk-tools)

2. ./configure --with-dpdk_target=<target> --with-dpdk_home=<path_to_compiled_dpdk> <target>=туда где распаковали dpdk? <path_to_compiled_dpdk>=тут что?

[max1976]

max1976 Подскажите пожалуйста. А можно вывести в строке на переводимую страницу заглушки только url из файла( без вывода в адресной строке страницы самой заглушки)?

 

На данный момент нельзя. Если дописать код, делающий это, то можно.

 

 

Есть несколько вопросов:

 

1. Обязательно ставить из исходников, или можно из пэкаджей (dpdk dpdk-devel dpdk-tools)

2. ./configure --with-dpdk_target=<target> --with-dpdk_home=<path_to_compiled_dpdk> <target>=туда где распаковали dpdk? <path_to_compiled_dpdk>=тут что?

 

1. У меня в centos'е устаревшая версия dpdk, поэтому я собираю из исходников.

2. path_to_compiled_dpdk - это путь, где находятся исходники. target - подкаталог в path_to_compiled_dpdk где находится собранный dpdk. (например ./configure --with-dpdk_target=/home/max/dpdk --with-dpdk_home=build)

 

У кого как они блокируются?

extFilter блокирует их как надо, как и всё остальное.

[oborot.bolta]

 

1. У меня в centos'е устаревшая версия dpdk, поэтому я собираю из исходников.

 

Спасибо!

 

Как я понял в dpdk нужно добавить только тот интерфейс = который слушает на зеркальном порту, так?

А не подскажите какой командой можно добавить только один интерфейс в dpdk?

[dnvk]

max1976, extFilter только для 64-бит? или на 32-бит операционке тоже будет работать?

[arhead]

Как я понял в dpdk нужно добавить только тот интерфейс = который слушает на зеркальном порту, так?

А не подскажите какой командой можно добавить только один интерфейс в dpdk?

Смотрите какие сетевые есть

path/to/dpdk/tools/dpdk-devbind.py --status

 

 

Network devices using DPDK-compatible driver

============================================

 

 

Network devices using kernel driver

===================================

0000:05:00.0 '82576 Gigabit Network Connection' if=eth4 drv=igb unused=igb_uio,uio_pci_generic

0000:05:00.1 '82576 Gigabit Network Connection' if=eth5 drv=igb unused=igb_uio,uio_pci_generic

 

Other network devices

=====================

<none>

 

 

Network devices using kernel driver это интерфейсы которые использует ядро Linux

 

Настраиваете интерфейсы

 

path/to/dpdk/tools/dpdk-devbind.py --bind=uio_pci_generic 05:00.0

 

где 05:00.0 это из статуса.

Не забыть перед этим модули подгрузить

modprobe igb_uio

modprobe uio_pci_generic

Изменено 20 сентября, 2016 пользователем arhead

[max1976]

max1976, extFilter только для 64-бит? или на 32-бит операционке тоже будет работать?

 

По идее, должно работать и на 32-битной, но я не пробовал.

[taf_321]

По идее, должно работать и на 32-битной, но я не пробовал.

К сожалению не собирается:

 

qdpi.cpp: In function 'ndpi_detection_module_struct* init_ndpi()':
qdpi.cpp:77:152: error: invalid conversion from 'void* (*)(long unsigned int)' to 'void* (*)(size_t) {aka void* (*)(unsigned int)}' [-fpermissive]
 struct ndpi_detection_module_struct* my_ndpi_struct = ndpi_init_detection_module(detection_tick_resolution, malloc_wrapper, free_wrapper, debug_printf);
                                                                                                                                                       ^
In file included from ../include/qdpi.h:22:0,
                from qdpi.cpp:20:
/usr/include/libndpi/ndpi_api.h:77:40: note:   initializing argument 2 of 'ndpi_detection_module_struct* ndpi_init_detection_module(u_int32_t, void* (*)(size_t), void (*)(void*), ndpi_debug_function_ptr)'
  struct ndpi_detection_module_struct *ndpi_init_detection_module(u_int32_t ticks_per_second,
                                       ^
In file included from main.cpp:23:0:
../include/main.h: In constructor 'nfqFilter::nfqFilter()':
../include/main.h:167:15: warning: 'nfqFilter::_errorHandler' will be initialized after [-Wreorder]
 ErrorHandler _errorHandler;
              ^
../include/main.h:164:6: warning:   'int nfqFilter::_cmd_queueNum' [-Wreorder]
 int _cmd_queueNum;
     ^
main.cpp:59:1: warning:   when initialized here [-Wreorder]
nfqFilter::nfqFilter():
^
make[1]: *** [qdpi.o] Error 1
make[1]: *** Waiting for unfinished jobs....
make[1]: Leaving directory `/usr/src/RPM/BUILD/nfqfilter-0.2/src'
make: *** [all-recursive] Error 1
make: Leaving directory `/usr/src/RPM/BUILD/nfqfilter-0.2'
error: Bad exit status from /usr/src/tmp/rpm-tmp.21186 (%build)

 

Компилятор путается в ожидаемых размерностях типов в программе и nDPI. Аналогичная проблема возникла в соседней программе fastnetmon

[Rick]

max1976 Подскажите пожалуйста. А можно вывести в строке на переводимую страницу заглушки только url из файла( без вывода в адресной строке страницы самой заглушки)?

 

На данный момент нельзя. Если дописать код, делающий это, то можно.

 

 

max1976 подскажите пожалуйста в каком направлении копать, extFilter,Pcap,nDPI ... ?

 

И ещё вопрос: не появляется страница заглушки при блокировки HTTPS, хотя сессия разрывается(похоже вышестоящий провайдер весь https блокирует по ip), можно просто сразу страницу блокировки выдавать как в случаи с http, без каких либо проверок подписей и ip ? Ведь всё равно https трафик блокируется по домену целиком.

Изменено 20 сентября, 2016 пользователем Rick

[zhenya`]

Нельзя редиректнуть с хттпс сайта на хттп без MITM

[oborot.bolta]

Не забыть перед этим модули подгрузить

modprobe igb_uio

modprobe uio_pci_generic

 

Спасибо!

 

но как то не выходит аленький цветочек:

 

[root@blackbox kmod]# ls -al

итого 9984

drwxr-xr-x. 2 root root 40 сен 19 21:01 .

drwxr-xr-x. 7 root root 4096 сен 19 21:01 ..

-rw-r--r--. 1 root root 236711 сен 19 21:00 igb_uio.ko

-rw-r--r--. 1 root root 9977869 сен 19 21:01 rte_kni.ko

 

[root@blackbox kmod]# modprobe igb_uio

modprobe: FATAL: Module igb_uio not found.

[root@blackbox kmod]#

[oborot.bolta]

0000:05:00.0 '82576 Gigabit Network Connection' if=eth4 drv=igb unused=igb_uio,uio_pci_generic

0000:05:00.1 '82576 Gigabit Network Connection' if=eth5 drv=igb unused=igb_uio,uio_pci_generic

 

И еще - а если адаптер не igb, а vmxnet3 ?

[Rick]

Не забыть перед этим модули подгрузить

modprobe igb_uio

modprobe uio_pci_generic

 

Спасибо!

 

но как то не выходит аленький цветочек:

 

[root@blackbox kmod]# ls -al

итого 9984

drwxr-xr-x. 2 root root 40 сен 19 21:01 .

drwxr-xr-x. 7 root root 4096 сен 19 21:01 ..

-rw-r--r--. 1 root root 236711 сен 19 21:00 igb_uio.ko

-rw-r--r--. 1 root root 9977869 сен 19 21:01 rte_kni.ko

 

[root@blackbox kmod]# modprobe igb_uio

modprobe: FATAL: Module igb_uio not found.

[root@blackbox kmod]#

 

Попробуй так: modprobe uio

[Rick]

max1976 Подскажите пожалуйста, а есть ли у extFilter-а режим debug в журнал ?

У меня такое ощущение что на моей машине как-то может не правильно собралось по поводу HTTPS.

Я попробовал на валидном сайте с https и получил то же самое в браузере "Соединение сброшено ..." (ERR_CONNECTION_RESET).

[GDCTester]

Большое спасибо max1976 за продукт!

Установил, но есть вопросы.

http блокируются, перенаправляются, https сбрасывается по-доменно, весь хост. С youtube - проблема. Ни одна ссылка не блокируется. В реестре они http://www.ютьюб, при заходе идёт перенаправление на https, которое уже не обрабатывается.

В логах при включенном debug

2016-09-21 14:30:24.699 [23288] Debug PktAnalyzer 2 - Guessing protocol...

2016-09-21 14:30:24.699 [23288] Debug PktAnalyzer 2 - Protocol is 0/2

2016-09-21 14:30:24.699 [23288] Debug PktAnalyzer 2 - nDPI protocol detection occupied [ERRFMT] us

2016-09-21 14:30:24.699 [23288] Debug PktAnalyzer 2 - Not http protocol. Protocol is 0/2 from x.y.z.150:36787 to 185.79.118.172:110

Прочитал все сообщения ветки, решение вроде бы в стороне версии nDPI. Ставилась с Вашего nfqfilter/configure, там четко прописано -b 1.7-stable, потом патч на неё. Пробовал 1.8 ставить, пробовал 1.7 с гита, то же самое..

Вопроса три. Первое - Должен ли блокироваться именно https url, или весь хост? Второе- Что делать с youtube? Третье - список минюста (к клиенту пришла прокуратура, в других ветках подробные обсуждения), как его получить и интегрировать - кто делал и как?

Изменено 21 сентября, 2016 пользователем GDCTester

[alibek]

В реестре они http://www.ютьюб, при заходе идёт перенаправление на https, которое уже не обрабатывается.

Оно не обрабатывается, потому что перенаправление осуществляет браузер, а не сервер.

https://ru.wikipedia.org/wiki/HSTS

 

Первое - Должен ли блокироваться именно https url, или весь хост?

В HTTPS технически невозможно заблокировать отдельную страницу.

Только весь хост.

 

Второе- Что делать с youtube?

Если в реестре есть HTTPS-ссылка, значит нужно блокировать весь ресурс.

 

как его получить и интегрировать

http://minjust.ru/ru/extremist-materials

[GDCTester]

спасибо за быстрый ответ. Так как же быть с ютьюб все-таки `как-нибудь так` - прокуратура требует блокировки. Может, сквидом как-то можно мелкий список хостов?

По минюстувопрос касался удобочитаемого полного реестра. В этот сайт прокуратура и тычет пальчиком, только как оттуда спарсить всё неясно, в большинстве решений ссылочек-то нет, только описание.

[alibek]

Так как же быть с ютьюб все-таки `как-нибудь так` - прокуратура требует блокировки.

Что именно требует?

Блокировать доступ к ресурсам, указанным в ЕРДИ и ФСЭМ, провайдер обязан сам, без всякого требования прокуратуры.

Если прокуратура требует заблокировать доступ к ресурсу, которого нет в ЕРДИ и ФСЭМ, то устные требования игнорировать, а письменные отправлять в суд.

Если будет решение суда о блокировке, значит будете блокировать весь YouTube, т.к. отдельные страницы в нем не закрыть (без подмены сертификата).

 

только как оттуда спарсить всё неясно

Глазами и руками.

В большинстве решений ссылки есть.

[GDCTester]

Если открываю ссылку youtube из реестра с телефона (мега), то меня перенаправляет на заглушку 'запрещено', причём на сертификат не ругается. Перенаправляет-то браузер, но для выполнения кода перенаправления на хттпс надо сначала запустить код хттп. Http url YT есть в urls, почему срабатывает перенаправление на https? Если бы я сначала открыл YT, а потом с хттпс уже перешел на хттпс, я бы понял, ан нет, я сразу ввожу ссылку хттп и получаю открывающийся хттпс.

Что скажете по поводу ошибок nDPI в логах? IP именно гугловский, а nDPI пишет, что протокол не http, и ошибка всё-таки имеет место быть.