Jump to content
Калькуляторы
Блокировка веб ресурса  

536 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Подскажите как его обновить по человечески?

Я не особо линуксойд, изначально скачал архив с гитхаба, распаковал и мэйкинсталлклин.

Share this post


Link to post
Share on other sites

ну вы в принципе правильно все описали, iBGP с серой AS по вкусу

 

на джуне отдельный интерфейс от сервера фильтрации и в нём PBR - всё что принимаем на этот фейс выпихиваем в мир не глядя

чтобы не было петли

 

 

при фильтрации ютуба через nfqfilter ходит только трафик его фронтенда, этого достаточно для блокировки роликов

 

Можете подробней, на одном интерфейсе (выходном) делаю internal BGP с Juniper и вписываю настройки в nfqfilter_config rkn.conf [bGP] ? Второй интерфейс входной в сторону NAS, какой конфиг должен быть на стороне NAS чтобы принять анонсы? Без PBR только с анонсами тоже должно работать?

Share this post


Link to post
Share on other sites

Примерно так:

 

1. Локальная сторона блокирующего сервера: поднимаем iBGP, анонсим маршруты серверам доступа (пограничный маршрутизатор в этом банкете не участвует!), трафик для проверки на блокировку заворачивается серверами доступа по полученным маршрутам на блокирующий сервер.

2. Внешняя сторона блокирующего сервера: тупо дефолт на пограничный маршрутизатор.

 

Если есть NAT - не забыть сделать обвод серых ip мимо фильтров на пограничнике или организовать прямой роутинг серых адресов обратно на сервера доступа, например по тому же ibgp

Share this post


Link to post
Share on other sites

Лучше все так ebgp сразу делать, чтобы на случай появления второго бордера анонсы тоже ушли туда..

Share this post


Link to post
Share on other sites

Наперлил тут скрипт для проверки блокировки сайтов из реестра, для собственного пользования, решил поделиться, может кому пригодится

https://github.com/J...ess/zapret_test

Спасибо, добрый человек. Но там надо небольшой патчик приложить, иначе ничего не работает:

 

diff --git a/zapret_test.pl b/zapret_test.pl
index 96380ce..27d43da 100755
--- a/zapret_test.pl
+++ b/zapret_test.pl
@@ -126,4 +126,5 @@ sub checkUrl {
                       print REPORT $num, "\t", $url, "\n";
                       $logger->error("URL not blocked: ".$url);
               }
+       }
}

Share this post


Link to post
Share on other sites

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

Share this post


Link to post
Share on other sites

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

 

Используется больше одной nf очереди?

Share this post


Link to post
Share on other sites

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

 

Используется больше одной nf очереди?

 

Да, собирался использовать несколько очередей.

Перед перезапуском основной инстанции nfqfilter запускается другая, с другим номером очереди, трафик временно передаю в другую очередь, пока не перезагрузится основная.

Edited by overty

Share this post


Link to post
Share on other sites

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

 

Используется больше одной nf очереди?

 

Да, собирался использовать несколько очередей.

Перед перезапуском основной инстанции nfqfilter запускается другая, с другим номером очереди, трафик временно передаю в другую очередь, пока не перезагрузится основная.

 

Пока как решение проблемы - или использовать одну очередь и многопоточность, или использовать несколько очередей и один поток.

Share this post


Link to post
Share on other sites

вот так мусорит в syslog и очень туго пропускает трафик

Mar 17 20:25:34 skyprox-main kernel: [1231305.738692] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.741752] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743651] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743727] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.746363] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.754211] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.765932] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.722655] net_ratelimit: 2159 callbacks suppressed
Mar 17 20:25:39 skyprox-main kernel: [1231310.722662] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.727175] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737532] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737590] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737616] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737816] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.739285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.742900] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747859] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747875] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733251] net_ratelimit: 2362 callbacks suppressed
Mar 17 20:25:44 skyprox-main kernel: [1231315.733271] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733296] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733400] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733415] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.738621] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.740608] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.747497] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.748339] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.758425] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.734338] net_ratelimit: 2126 callbacks suppressed
Mar 17 20:25:49 skyprox-main kernel: [1231320.734360] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.752488] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.754992] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760660] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760686] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760707] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760743] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775005] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775043] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.777687] nf_queue: full at 400000 entries, dropping packets(s)

лечится?

как?

Share this post


Link to post
Share on other sites

лечится?

как?

 

Наверное слишком много трафика попадает на фильтр. Пускайте на фильтр только трафик, предназначенный для проверки.

Share this post


Link to post
Share on other sites

лечится?

как?

 

Наверное слишком много трафика попадает на фильтр. Пускайте на фильтр только трафик, предназначенный для проверки.

как показывает практика если заворачивать только с IP из реестра, больше пропусков, меняются IP

 

да и трафик то у меня всего 40-60 мегабит

Edited by yKpon

Share this post


Link to post
Share on other sites

лечится?

как?

 

Наверное слишком много трафика попадает на фильтр. Пускайте на фильтр только трафик, предназначенный для проверки.

как показывает практика если заворачивать только с IP из реестра, больше пропусков, меняются IP

 

да и трафик то у меня всего 40-60 мегабит

 

Это какого трафика у вас 40-60 мегабит ? 80+443 порты от клиента в сеть или всего ? В любом случае это "сквидовые" скорости, т.е. ядерный фильтр IMHO должен больше пережёвывать.

Share this post


Link to post
Share on other sites

Это какого трафика у вас 40-60 мегабит ? 80+443 порты от клиента в сеть или всего ? В любом случае это "сквидовые" скорости, т.е. ядерный фильтр IMHO должен больше пережёвывать.

всего

 

на nfqfilter завёрнуто все

 

сервер на базе десктопа, камень i3-6100

Edited by yKpon

Share this post


Link to post
Share on other sites

Это какого трафика у вас 40-60 мегабит ? 80+443 порты от клиента в сеть или всего ? В любом случае это "сквидовые" скорости, т.е. ядерный фильтр IMHO должен больше пережёвывать.

всего

 

на nfqfilter завёрнуто все

 

сервер на базе десктопа, камень i3-6100

 

Всёравно мало, тут люди 1-2 гигабита на TPROXY делали (отчёты об этом вроде были). Сквидой версии 2.7 фильтровали и всё работало. Правда, в то время реестр был меньше.

 

Зачем весь трафик сливать ? Может хватит того, чтобы лить tcp со списком портов из реестра ? Не думаю, что там больше шестнадцати уникальных портов -- в одно редиректа правило влезет. Т.е. в РС лить можно весь трафик, а в nfqueue заворачивать только tcp и список портов. Остальной трафик просто роутить.

Share this post


Link to post
Share on other sites

вот так мусорит в syslog и очень туго пропускает трафик

Mar 17 20:25:34 skyprox-main kernel: [1231305.738692] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.734338] net_ratelimit: 2126 callbacks suppressed
Mar 17 20:25:49 skyprox-main kernel: [1231320.734360] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.777687] nf_queue: full at 400000 entries, dropping packets(s)

лечится?

как?

Похоже на роутинговую петлю, или отсутствие маршрута (дефолта ?)

Из-за этого nf_queue начинает тупить (испытано на себе)

 

Проверить:

текущий размер очереди - 3-я колонка в выводе

cat /proc/net/netfilter/nfnetlink_queue

Share this post


Link to post
Share on other sites

yKpon, фильтр отправляет http-запросы на заглушку.

а трафик на ip c этой заглушкой у вас тоже попадает в фильтр?

Share this post


Link to post
Share on other sites

yKpon, фильтр отправляет http-запросы на заглушку.

а трафик на ip c этой заглушкой у вас тоже попадает в фильтр?

нет, с заглушки мимо фильтра

 

что выше написали, проверю, спасиб

Share this post


Link to post
Share on other sites

Покажите свои правила (iptables-save -c). Можете перед правилом отправки пакета в nfqueue добавить правило с таргетом NFLOG, чтобы посмотреть этот трафик в tcpdump'е дабы убедиться, что всё правильно льётся.

 

вот так мусорит в syslog и очень туго пропускает трафик

Mar 17 20:25:34 skyprox-main kernel: [1231305.738692] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.741752] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743651] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743727] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.746363] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.754211] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.765932] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.722655] net_ratelimit: 2159 callbacks suppressed
Mar 17 20:25:39 skyprox-main kernel: [1231310.722662] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.727175] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737532] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737590] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737616] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737816] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.739285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.742900] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747859] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747875] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733251] net_ratelimit: 2362 callbacks suppressed
Mar 17 20:25:44 skyprox-main kernel: [1231315.733271] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733296] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733400] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733415] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.738621] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.740608] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.747497] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.748339] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.758425] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.734338] net_ratelimit: 2126 callbacks suppressed
Mar 17 20:25:49 skyprox-main kernel: [1231320.734360] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.752488] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.754992] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760660] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760686] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760707] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760743] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775005] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775043] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.777687] nf_queue: full at 400000 entries, dropping packets(s)

лечится?

как?

Share this post


Link to post
Share on other sites

Есть ссылка http://www.tudou.com/programs/view/GRnpYUjUvcw/?FR=LIAN

Используем Cisco SCE. На версии 3.8.5 блокируется, версия 4.1.0 пропускает.

 

На 3.8.5:

SCE2000#>sh int li 0 sce-url-database all-entries | inc tudou.com
22845.  tudou.com:/programs/view/grnpyujuvcw/:*:fr=lian*        208
22846.  *.tudou.com:/programs/view/grnpyujuvcw/:*:fr=lian*      208

 

На 4.1.0:

SCE2000#>sh int li 0 sce-url-database all-entries | inc tudou.com
22847.  tudou.com:/programs/view/GRnpYUjUvcw/:*:FR=LIAN*        208
22848.  *.tudou.com:/programs/view/GRnpYUjUvcw/:*:FR=LIAN*      208

 

Как быть? Преобразовывать всё в нижний регистр? Но тогда херятся ссылки с кириллицей. Может на SCE 4.1.0 есть опция отключающая такое поведение?

Share this post


Link to post
Share on other sites

Разобрался. На 4.1.0 был выключен URL Normalization.

 

Рано радовался. 4.1.0 всё-равно пропускает.

Edited by Voronok

Share this post


Link to post
Share on other sites

Доброго времени суток!

 

Такой вопрос.А,под Centos 6 вообще можно nfqfilter собрать? Сколько пытаюсь,ошибки только сыпятся

make
Making all in src
make[1]: Entering directory `/root/nfqfilter-master/src'
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -pthread -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
main.cpp: In member function ‘virtual int nfqFilter::main(const ArgVec&)’:
main.cpp:255:20: error: aggregate ‘nfqFilter::main(const ArgVec&)::sigaction handler’ has incomplete type and cannot be defined
  struct sigaction handler;
                   ^
main.cpp:258:31: error: ‘sigemptyset’ was not declared in this scope
  sigemptyset(&handler.sa_mask);
                              ^
main.cpp:259:13: error: ‘SIGHUP’ was not declared in this scope
  sigaction(SIGHUP, &handler, NULL);
            ^
main.cpp:259:35: error: invalid use of incomplete type ‘struct nfqFilter::main(const ArgVec&)::sigaction’
  sigaction(SIGHUP, &handler, NULL);
                                  ^
main.cpp:255:10: error: forward declaration of ‘struct nfqFilter::main(const ArgVec&)::sigaction’
  struct sigaction handler;
         ^
make[1]: *** [main.o] Ошибка 1

GCC старая версия?

gcc version 4.8.2 20140120 (Red Hat 4.8.2-15) (GCC)

Share this post


Link to post
Share on other sites

GCC старая версия?

 

Да, на этой версии не соберется.

Share this post


Link to post
Share on other sites

Тогда ещё поинтересуюсь.

 

А, сервер с фильтром обязательно должен быть маршрутизатором? Можно ли на сервере с двумя сетевыми картами запустить фильтр в режиме "моста" ? Т.е сервер с фильтром в "разрыв" включить между бордером и абонентами.

Share this post


Link to post
Share on other sites

Тогда ещё поинтересуюсь.

 

А, сервер с фильтром обязательно должен быть маршрутизатором? Можно ли на сервере с двумя сетевыми картами запустить фильтр в режиме "моста" ? Т.е сервер с фильтром в "разрыв" включить между бордером и абонентами.

 

nfqueue не предназначен для обработки больших объемов трафика, поэтому не рекомендуется пускать через него весь трафик.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now