Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

566 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

не везет с установкой... где накосячил?

 

 

root@ban:~/setup/extfilter-master# make
Making all in src
make[1]: вход в каталог «/root/setup/extfilter-master/src»
g++ -DHAVE_CONFIG_H -I. -I../include  -I.././PcapPlusPlus/Dist/header -I../nDPI/src/include -I/root/setup/dpdk-stable-16.07.2/build/include   -std=c++11 -O2 -Wall -pthread -msse -msse2 -msse3 -mssse3 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
mv -f .deps/main.Tpo .deps/main.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I.././PcapPlusPlus/Dist/header -I../nDPI/src/include -I/root/setup/dpdk-stable-16.07.2/build/include   -std=c++11 -O2 -Wall -pthread -msse -msse2 -msse3 -mssse3 -MT worker.o -MD -MP -MF .deps/worker.Tpo -c -o worker.o worker.cpp
mv -f .deps/worker.Tpo .deps/worker.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I.././PcapPlusPlus/Dist/header -I../nDPI/src/include -I/root/setup/dpdk-stable-16.07.2/build/include   -std=c++11 -O2 -Wall -pthread -msse -msse2 -msse3 -mssse3 -MT AhoCorasickPlus.o -MD -MP -MF .deps/AhoCorasickPlus.Tpo -c -o AhoCorasickPlus.o AhoCorasickPlus.cpp
mv -f .deps/AhoCorasickPlus.Tpo .deps/AhoCorasickPlus.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I.././PcapPlusPlus/Dist/header -I../nDPI/src/include -I/root/setup/dpdk-stable-16.07.2/build/include   -std=c++11 -O2 -Wall -pthread -msse -msse2 -msse3 -mssse3 -MT ahocorasick.o -MD -MP -MF .deps/ahocorasick.Tpo -c -o ahocorasick.o ahocorasick.cpp
mv -f .deps/ahocorasick.Tpo .deps/ahocorasick.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I.././PcapPlusPlus/Dist/header -I../nDPI/src/include -I/root/setup/dpdk-stable-16.07.2/build/include   -std=c++11 -O2 -Wall -pthread -msse -msse2 -msse3 -mssse3 -MT node.o -MD -MP -MF .deps/node.Tpo -c -o node.o node.cpp
node.cpp: In function ‘int node_has_matchstr(AC_NODE_t*, AC_PATTERN_t*)’:
node.cpp:145:20: warning: comparison between signed and unsigned integer expressions [-Wsign-compare]
        for (j=0; j<str->length; j++)
                   ^
node.cpp:149:15: warning: comparison between signed and unsigned integer expressions [-Wsign-compare]
        if (j == str->length)
              ^
mv -f .deps/node.Tpo .deps/node.Po
gcc -DHAVE_CONFIG_H -I. -I../include  -I.././PcapPlusPlus/Dist/header -I../nDPI/src/include -I/root/setup/dpdk-stable-16.07.2/build/include   --pedantic -Wall -O2 -MT patricia.o -MD -MP -MF .deps/patricia.Tpo -c -o patricia.o patricia.c
patricia.c: In function ‘New_Prefix2’:
patricia.c:167:6: warning: C++ style comments are not allowed in ISO C90
     //for some reason, compiler is getting
     ^
patricia.c:167:6: warning: (this will be reported only once per input file)
patricia.c: At top level:
patricia.c:16:13: warning: ‘copyright’ defined but not used [-Wunused-variable]
static char copyright[] =
            ^
mv -f .deps/patricia.Tpo .deps/patricia.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I.././PcapPlusPlus/Dist/header -I../nDPI/src/include -I/root/setup/dpdk-stable-16.07.2/build/include   -std=c++11 -O2 -Wall -pthread -msse -msse2 -msse3 -mssse3 -MT patr.o -MD -MP -MF .deps/patr.Tpo -c -o patr.o patr.cpp
mv -f .deps/patr.Tpo .deps/patr.Po
g++ -DHAVE_CONFIG_H -I. -I../include  -I.././PcapPlusPlus/Dist/header -I../nDPI/src/include -I/root/setup/dpdk-stable-16.07.2/build/include   -std=c++11 -O2 -Wall -pthread -msse -msse2 -msse3 -mssse3 -MT qdpi.o -MD -MP -MF .deps/qdpi.Tpo -c -o qdpi.o qdpi.cpp
qdpi.cpp: In function ‘ndpi_detection_module_struct* init_ndpi()’:
qdpi.cpp:84:32: error: invalid conversion from ‘void* (*)(long unsigned int)’ to ‘void* (*)(size_t) {aka void* (*)(unsigned int)}’ [-fpermissive]
 set_ndpi_malloc(malloc_wrapper);
                               ^
In file included from ../include/qdpi.h:22:0,
                from qdpi.cpp:20:
../nDPI/src/include/ndpi_api.h:652:8: note: initializing argument 1 of ‘void set_ndpi_malloc(void* (*)(size_t))’
  void set_ndpi_malloc(void* (*__ndpi_malloc)(size_t size));
       ^
Makefile:391: ошибка выполнения рецепта для цели «qdpi.o»
make[1]: *** [qdpi.o] Ошибка 1
make[1]: выход из каталога «/root/setup/extfilter-master/src»
Makefile:333: ошибка выполнения рецепта для цели «all-recursive»
make: *** [all-recursive] Ошибка 1
root@ban:~/setup/extfilter-master#

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Кстати не факт что их чекалка не пихнет с решеткой (это браузер не пихает, а с чекалки станется. как минимум в логах от роботов # идут часто.)... т.е. надо отрезать # и далее из URL от клиента перед поиском..

урлы с решетками в реестре есть и их полно, прецедентов пихания пока не было, так что не думаю.

да и как отреагирует веб сервер, который никаких решеток не ждет.

к томуже они пропуски подтверждают скринотами вроде как.

Изменено пользователем swelf

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Стич (16 января 2017 - 15:16) писал:

Подниму вопрос к max1976

 

Планируется ли версия nfqfilter с новым ndpi?

Или развития nfqfilter не стоит ждать?

 

Я этот фильтр уже не использую, поэтому не буду заниматься его развитием.

Я тут внес пару изменений под себя + прикрутил nDPI новой версии по аналогии с extfilter:

https://github.com/Vans1/nfqfilter

Замечания и комментарии приветствуются.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Vans, работает ли ваш вариант без файла protocols, но с файлом hostlist?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Без файла protocols работает. С hostlist еще не разбирался плотно, но если кто пояснит - попробуем допилить быстрее. Он в nfqfilter вроде и так был изначально.

Изменено пользователем Vans

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

есть вариант, что на виртуалку на esxi можно поставить? или лучше сразу на чистый сервак?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dnvk, хотелось бы у вас уточнить по поводу ссылки https://www.7ed51b7efdd7970...e.htm

вы получаете заглушку или reset ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dnvk, хотелось бы у вас уточнить по поводу ссылки https://www.7ed51b7efdd7970...e.htm

вы получаете заглушку или reset ?

 

Отвечу я - блокируется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Стич (16 января 2017 - 15:16) писал:

Подниму вопрос к max1976

 

Планируется ли версия nfqfilter с новым ndpi?

Или развития nfqfilter не стоит ждать?

 

Я этот фильтр уже не использую, поэтому не буду заниматься его развитием.

Я тут внес пару изменений под себя + прикрутил nDPI новой версии по аналогии с extfilter:

https://github.com/Vans1/nfqfilter

Замечания и комментарии приветствуются.

А можете рассказать какие именно изменения внесены?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А там в коммитах расписано.

1. В отладочных сообщениях исправлена ошибка при выводе номера строки в файле с доменными именами для блокировки.

2. При блокировке по домену в параметр url при редиректе теперь передается не имя домена, а полный URL. Тут спроно нужно ли, т.к. пользователь не найдет блокировку по url.

3. При блокировке в параметр url при редиректе теперь передается URL в закодированном виде, иначе фигня получается, если в блокированном URL есть параметры.

4. Взята та же версия nDPI, что и в extfilter с соответствующими изменениями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

root@zapret:/home/_script/nfqfilter_config-master# ./make_files.pl
Can't open '/home/max/nfqfilter/contrib/domains': �е� �акого �айла или ка�алога at ./make_files.pl line 380.
root@zapret:/home/_script/nfqfilter_config-master# touch /home/max/nfqfilter/contrib/domains
root@zapret:/home/_script/nfqfilter_config-master# ./make_files.pl
Can't open '/home/max/nfqfilter/contrib/urls': �е� �акого �айла или ка�алога at ./make_files.pl line 380.
root@zapret:/home/_script/nfqfilter_config-master# touch /home/max/nfqfilter/contrib/urls
root@zapret:/home/_script/nfqfilter_config-master# ./make_files.pl
Can't open '/home/max/nfqfilter/contrib/ssl_host': �е� �акого �айла или ка�алога at ./make_files.pl line 380.
root@zapret:/home/_script/nfqfilter_config-master# touch /home/max/nfqfilter/contrib/ssl_host
root@zapret:/home/_script/nfqfilter_config-master# ./make_files.pl
Can't open '': �е� �акого �айла или ка�алога at ./make_files.pl line 380.
root@zapret:/home/_script/nfqfilter_config-master#

 

так и не понял, какого файла ему не хватает.

как победить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А там в коммитах расписано.

1. В отладочных сообщениях исправлена ошибка при выводе номера строки в файле с доменными именами для блокировки.

2. При блокировке по домену в параметр url при редиректе теперь передается не имя домена, а полный URL. Тут спроно нужно ли, т.к. пользователь не найдет блокировку по url.

3. При блокировке в параметр url при редиректе теперь передается URL в закодированном виде, иначе фигня получается, если в блокированном URL есть параметры.

4. Взята та же версия nDPI, что и в extfilter с соответствующими изменениями.

поставил себе посмотрю пару тройку дней может чтото изменится )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Стич (16 января 2017 - 15:16) писал:

Подниму вопрос к max1976

 

Планируется ли версия nfqfilter с новым ndpi?

Или развития nfqfilter не стоит ждать?

 

Я этот фильтр уже не использую, поэтому не буду заниматься его развитием.

 

Я тут внес пару изменений под себя + прикрутил nDPI новой версии по аналогии с extfilter:

https://github.com/Vans1/nfqfilter

Замечания и комментарии приветствуются.

 

Классно.

Подскажите ndpi отдельно ставить надо?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Rick, там же https. залушку в любом случае не получить.

 

результат в браузере вот такой:

 

7MULIAL.png

 

конечный адрес в адресной строке несколько иной.

 

трафик с фильтрующего сервака:

 

11:34:41.073499 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56819: Flags [R.], seq 2887830957, ack 2285047772, win 0, length 0
11:34:41.073513 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56819 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.119242 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56820: Flags [R.], seq 2612963015, ack 191698791, win 0, length 0
11:34:41.119251 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56820 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.165136 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56821: Flags [R.], seq 297639068, ack 328209988, win 0, length 0
11:34:41.165145 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56821 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.211512 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56822: Flags [R.], seq 24083138, ack 684435096, win 0, length 0
11:34:41.211520 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56822 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.257792 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56823: Flags [R.], seq 4065817526, ack 4236414674, win 0, length 0
11:34:41.257801 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56823 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.302657 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56824: Flags [R.], seq 1844725424, ack 1020234201, win 0, length 0
11:34:41.302666 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56824 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.348853 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56825: Flags [R.], seq 1755422733, ack 2794413325, win 0, length 0
11:34:41.348862 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56825 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.394711 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56826: Flags [R.], seq 3047151690, ack 2244437401, win 0, length 0
11:34:41.394719 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56826 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.439087 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56827: Flags [R.], seq 442772884, ack 866039858, win 0, length 0
11:34:41.439095 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56827 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.483141 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56828: Flags [R.], seq 3664420904, ack 526690494, win 0, length 0
11:34:41.483149 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56828 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0
11:34:41.527548 0c:c4:7a:08:42:97 > 00:25:22:c4:87:b1, ethertype IPv4 (0x0800), length 54: 104.16.114.52.443 > 10.10.10.32.56829: Flags [R.], seq 4261898472, ack 2343053797, win 0, length 0
11:34:41.527557 0c:c4:7a:08:42:97 > 36:37:65:34:36:64, ethertype IPv4 (0x0800), length 54: 10.10.10.32.56829 > 104.16.114.52.443: Flags [R.], seq 1, ack 0, win 0, length 0

7MULIAL.png

Изменено пользователем dnvk

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Стич (16 января 2017 - 15:16) писал:

Подниму вопрос к max1976

 

Планируется ли версия nfqfilter с новым ndpi?

Или развития nfqfilter не стоит ждать?

 

Я этот фильтр уже не использую, поэтому не буду заниматься его развитием.

 

Я тут внес пару изменений под себя + прикрутил nDPI новой версии по аналогии с extfilter:

https://github.com/Vans1/nfqfilter

Замечания и комментарии приветствуются.

 

Классно.

Подскажите ndpi отдельно ставить надо?

 

он сам собирается в процессе сборки nfqfilter

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, подскажите. Не собирается nfqfilter:

ERROR: Missing libpcap(-dev) library required to compile the example application
ERROR: Please install it and try again
make: *** No targets specified and no makefile found.  Stop.
/usr/src/nfqfilter
yes
checking for compiling with nDPI... configure: error: Linking with nDPI failed!

 

Библиотека вроде присутствует:

 

[root@rkn nfqfilter]# rpm -qa | grep libcap
libcap-2.22-8.el7.x86_64
libcap-ng-0.7.5-4.el7.x86_64
libcap-ng-devel-0.7.5-4.el7.x86_64
libcap-devel-2.22-8.el7.x86_64

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, подскажите. Не собирается nfqfilter:

ERROR: Missing libpcap(-dev) library required to compile the example application
ERROR: Please install it and try again
make: *** No targets specified and no makefile found.  Stop.
/usr/src/nfqfilter
yes
checking for compiling with nDPI... configure: error: Linking with nDPI failed!

 

Библиотека вроде присутствует:

 

[root@rkn nfqfilter]# rpm -qa | grep libcap
libcap-2.22-8.el7.x86_64
libcap-ng-0.7.5-4.el7.x86_64
libcap-ng-devel-0.7.5-4.el7.x86_64
libcap-devel-2.22-8.el7.x86_64

 

Вопрос снимается. Не была установлена libpcap-devel

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Народ, кто сколько трафика фильтрует (интересует вариант с dpdk) и на какой конфигурации железа?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день! max1976 - еще раз спасибо за прекрасный extFilter. Остался один вопрос - при отправке HUP - происходят пропуски. Прочитал уже что можно еще один инстанс поднять. но чтот не понял как. Это поднятие еще одного процесса на соседней сетевой карте?

 

Так и происходят до сих пор ? У кого какое время запуска скриптов (extfilter_maker.pl, extfilter_quagga.pl) в кроне стоит ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день! max1976 - еще раз спасибо за прекрасный extFilter. Остался один вопрос - при отправке HUP - происходят пропуски. Прочитал уже что можно еще один инстанс поднять. но чтот не понял как. Это поднятие еще одного процесса на соседней сетевой карте?

 

Так и происходят до сих пор ? У кого какое время запуска скриптов (extfilter_maker.pl, extfilter_quagga.pl) в кроне стоит ?

 

При HUP не должно быть пропусков, т.к. списки проверки подменяются очень быстро.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, сегодня, после долгих мучений, запустил nfqfilter (max1976, большое спасибо). Подскажите, какой теперь порядок действий. Я так понимаю:

 

1. Запускаю zapret.pl для получения свежего списка запрещенных сайтов

2. Запускаю make_file.pl для обновления конфигов для nfqfilter и quaga

3. Пере запускаю nfqfilter

 

Так?

 

Если мне нужно какой то домен внести в черный список руками, то как поступить, ведь файл с доменами каждый раз обновляется?

 

З.Ы. У меня make_files.pl сначала не запускался. Ругался на отсутствие файла с описанием протоколов, пришлось в rkn.conf создать новую строку с путем до него (почему-то не было).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Еще подскажите, при повторном запуске (через 10 мин после первого запуска) скрпит zapret.pl выдает в логах:

 

2017-02-01 15:59:27 | INFO  | main  | Starting RKN at Wed Feb  1 15:59:27 2017
2017-02-01 15:59:27 | INFO  | main  | lastDumpDate <= prev. dump date. Exiting.

 

Что это значит? Что я слишком часто обращаюсь к серверу РКН?

Изменено пользователем fox_m

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Еще подскажите, при повторном запуске (через 10 мин после первого запуска) скрпит zapret.pl выдает в логах:

 

2017-02-01 15:59:27 | INFO  | main  | Starting RKN at Wed Feb  1 15:59:27 2017
2017-02-01 15:59:27 | INFO  | main  | lastDumpDate <= prev. dump date. Exiting.

 

Что это значит? Что я слишком часто обращаюсь к серверу РКН?

 

Это говорит о том, что данные в дампе не обновились с момента получения последнего дампа.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, а почему nfqfilter может не блокировать ссылки на youtube.com вида:

 

www.youtube.com/watch?v=wOktiQwGA_0

www.youtube.com/watch?v=zGVnZShlZ1E

www.youtube.com/watch?v=jFMJxhOLgAo

www.youtube.com/watch?v=ylg86fCUOs4

www.youtube.com/watch?v=1zw7f0QQDK0

 

Сами ссылки находятся в файле urls. Правило в iptables добавлено.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, поделитесь опытом, кто как блокирует отдельные ролики на youtube.com при помощи nfqfilter?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.