Jump to content
Калькуляторы
Блокировка веб ресурса  

565 members have voted

  1. 1. Для блокировка используем


Блокировка сайтов провайдерами маневры с DNS

Reply to this topic

KaraVan   

KaraVan
Posted · Report post

Подскажите как его обновить по человечески?

Я не особо линуксойд, изначально скачал архив с гитхаба, распаковал и мэйкинсталлклин.

Share this post

Link to post
Share on other sites

hsvt   

hsvt
Posted · Report post

ну вы в принципе правильно все описали, iBGP с серой AS по вкусу

 

на джуне отдельный интерфейс от сервера фильтрации и в нём PBR - всё что принимаем на этот фейс выпихиваем в мир не глядя

чтобы не было петли

 

 

при фильтрации ютуба через nfqfilter ходит только трафик его фронтенда, этого достаточно для блокировки роликов

 

Можете подробней, на одном интерфейсе (выходном) делаю internal BGP с Juniper и вписываю настройки в nfqfilter_config rkn.conf [bGP] ? Второй интерфейс входной в сторону NAS, какой конфиг должен быть на стороне NAS чтобы принять анонсы? Без PBR только с анонсами тоже должно работать?

Share this post

Link to post
Share on other sites

LKr   

LKr
Posted · Report post

Примерно так:

 

1. Локальная сторона блокирующего сервера: поднимаем iBGP, анонсим маршруты серверам доступа (пограничный маршрутизатор в этом банкете не участвует!), трафик для проверки на блокировку заворачивается серверами доступа по полученным маршрутам на блокирующий сервер.

2. Внешняя сторона блокирующего сервера: тупо дефолт на пограничный маршрутизатор.

 

Если есть NAT - не забыть сделать обвод серых ip мимо фильтров на пограничнике или организовать прямой роутинг серых адресов обратно на сервера доступа, например по тому же ibgp

Share this post

Link to post
Share on other sites

taf_321   

taf_321
Posted · Report post

Наперлил тут скрипт для проверки блокировки сайтов из реестра, для собственного пользования, решил поделиться, может кому пригодится

https://github.com/J...ess/zapret_test

Спасибо, добрый человек. Но там надо небольшой патчик приложить, иначе ничего не работает:

 

diff --git a/zapret_test.pl b/zapret_test.pl
index 96380ce..27d43da 100755
--- a/zapret_test.pl
+++ b/zapret_test.pl
@@ -126,4 +126,5 @@ sub checkUrl {
                       print REPORT $num, "\t", $url, "\n";
                       $logger->error("URL not blocked: ".$url);
               }
+       }
}

Share this post

Link to post
Share on other sites

overty   

overty
Posted · Report post

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

Share this post

Link to post
Share on other sites

max1976   

max1976
Posted · Report post

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

 

Используется больше одной nf очереди?

Share this post

Link to post
Share on other sites

overty   

overty
Posted (edited) · Report post

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

 

Используется больше одной nf очереди?

 

Да, собирался использовать несколько очередей.

Перед перезапуском основной инстанции nfqfilter запускается другая, с другим номером очереди, трафик временно передаю в другую очередь, пока не перезагрузится основная.

Edited by overty

Share this post

Link to post
Share on other sites

max1976   

max1976
Posted · Report post

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

 

Используется больше одной nf очереди?

 

Да, собирался использовать несколько очередей.

Перед перезапуском основной инстанции nfqfilter запускается другая, с другим номером очереди, трафик временно передаю в другую очередь, пока не перезагрузится основная.

 

Пока как решение проблемы - или использовать одну очередь и многопоточность, или использовать несколько очередей и один поток.

Share this post

Link to post
Share on other sites

yKpon   

yKpon
Posted · Report post

вот так мусорит в syslog и очень туго пропускает трафик 

Mar 17 20:25:34 skyprox-main kernel: [1231305.738692] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.741752] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743651] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743727] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.746363] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.754211] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.765932] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.722655] net_ratelimit: 2159 callbacks suppressed
Mar 17 20:25:39 skyprox-main kernel: [1231310.722662] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.727175] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737532] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737590] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737616] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737816] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.739285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.742900] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747859] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747875] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733251] net_ratelimit: 2362 callbacks suppressed
Mar 17 20:25:44 skyprox-main kernel: [1231315.733271] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733296] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733400] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733415] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.738621] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.740608] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.747497] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.748339] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.758425] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.734338] net_ratelimit: 2126 callbacks suppressed
Mar 17 20:25:49 skyprox-main kernel: [1231320.734360] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.752488] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.754992] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760660] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760686] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760707] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760743] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775005] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775043] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.777687] nf_queue: full at 400000 entries, dropping packets(s)

лечится?

как?

Share this post

Link to post
Share on other sites

max1976   

max1976
Posted · Report post

лечится?

как?

 

Наверное слишком много трафика попадает на фильтр. Пускайте на фильтр только трафик, предназначенный для проверки.

Share this post

Link to post
Share on other sites

yKpon   

yKpon
Posted (edited) · Report post

лечится?

как?

 

Наверное слишком много трафика попадает на фильтр. Пускайте на фильтр только трафик, предназначенный для проверки.

как показывает практика если заворачивать только с IP из реестра, больше пропусков, меняются IP

 

да и трафик то у меня всего 40-60 мегабит

Edited by yKpon

Share this post

Link to post
Share on other sites

wtyd   

wtyd
Posted · Report post

лечится?

как?

 

Наверное слишком много трафика попадает на фильтр. Пускайте на фильтр только трафик, предназначенный для проверки.

как показывает практика если заворачивать только с IP из реестра, больше пропусков, меняются IP

 

да и трафик то у меня всего 40-60 мегабит

 

Это какого трафика у вас 40-60 мегабит ? 80+443 порты от клиента в сеть или всего ? В любом случае это "сквидовые" скорости, т.е. ядерный фильтр IMHO должен больше пережёвывать.

Share this post

Link to post
Share on other sites

yKpon   

yKpon
Posted (edited) · Report post

Это какого трафика у вас 40-60 мегабит ? 80+443 порты от клиента в сеть или всего ? В любом случае это "сквидовые" скорости, т.е. ядерный фильтр IMHO должен больше пережёвывать.

всего

 

на nfqfilter завёрнуто все

 

сервер на базе десктопа, камень i3-6100

Edited by yKpon

Share this post

Link to post
Share on other sites

wtyd   

wtyd
Posted · Report post

Это какого трафика у вас 40-60 мегабит ? 80+443 порты от клиента в сеть или всего ? В любом случае это "сквидовые" скорости, т.е. ядерный фильтр IMHO должен больше пережёвывать.

всего

 

на nfqfilter завёрнуто все

 

сервер на базе десктопа, камень i3-6100

 

Всёравно мало, тут люди 1-2 гигабита на TPROXY делали (отчёты об этом вроде были). Сквидой версии 2.7 фильтровали и всё работало. Правда, в то время реестр был меньше.

 

Зачем весь трафик сливать ? Может хватит того, чтобы лить tcp со списком портов из реестра ? Не думаю, что там больше шестнадцати уникальных портов -- в одно редиректа правило влезет. Т.е. в РС лить можно весь трафик, а в nfqueue заворачивать только tcp и список портов. Остальной трафик просто роутить.

Share this post

Link to post
Share on other sites

AN111   

AN111
Posted · Report post

вот так мусорит в syslog и очень туго пропускает трафик 

Mar 17 20:25:34 skyprox-main kernel: [1231305.738692] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.734338] net_ratelimit: 2126 callbacks suppressed
Mar 17 20:25:49 skyprox-main kernel: [1231320.734360] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.777687] nf_queue: full at 400000 entries, dropping packets(s)

лечится?

как?

Похоже на роутинговую петлю, или отсутствие маршрута (дефолта ?)

Из-за этого nf_queue начинает тупить (испытано на себе)

 

Проверить:

текущий размер очереди - 3-я колонка в выводе

cat /proc/net/netfilter/nfnetlink_queue

Share this post

Link to post
Share on other sites

yKpon   

yKpon
Posted · Report post

yKpon, фильтр отправляет http-запросы на заглушку.

а трафик на ip c этой заглушкой у вас тоже попадает в фильтр?

нет, с заглушки мимо фильтра

 

что выше написали, проверю, спасиб

Share this post

Link to post
Share on other sites

evil-man   

evil-man
Posted · Report post

Покажите свои правила (iptables-save -c). Можете перед правилом отправки пакета в nfqueue добавить правило с таргетом NFLOG, чтобы посмотреть этот трафик в tcpdump'е дабы убедиться, что всё правильно льётся.

 

вот так мусорит в syslog и очень туго пропускает трафик 

Mar 17 20:25:34 skyprox-main kernel: [1231305.738692] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.741752] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743651] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743727] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.746363] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.754211] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.765932] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.722655] net_ratelimit: 2159 callbacks suppressed
Mar 17 20:25:39 skyprox-main kernel: [1231310.722662] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.727175] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737532] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737590] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737616] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737816] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.739285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.742900] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747859] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747875] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733251] net_ratelimit: 2362 callbacks suppressed
Mar 17 20:25:44 skyprox-main kernel: [1231315.733271] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733296] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733400] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733415] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.738621] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.740608] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.747497] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.748339] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.758425] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.734338] net_ratelimit: 2126 callbacks suppressed
Mar 17 20:25:49 skyprox-main kernel: [1231320.734360] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.752488] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.754992] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760660] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760686] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760707] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760743] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775005] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775043] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.777687] nf_queue: full at 400000 entries, dropping packets(s)

лечится?

как?

Share this post

Link to post
Share on other sites

Voronok   

Voronok
Posted · Report post

Есть ссылка http://www.tudou.com/programs/view/GRnpYUjUvcw/?FR=LIAN

Используем Cisco SCE. На версии 3.8.5 блокируется, версия 4.1.0 пропускает.

 

На 3.8.5:

SCE2000#>sh int li 0 sce-url-database all-entries | inc tudou.com
22845.  tudou.com:/programs/view/grnpyujuvcw/:*:fr=lian*        208
22846.  *.tudou.com:/programs/view/grnpyujuvcw/:*:fr=lian*      208

 

На 4.1.0:

SCE2000#>sh int li 0 sce-url-database all-entries | inc tudou.com
22847.  tudou.com:/programs/view/GRnpYUjUvcw/:*:FR=LIAN*        208
22848.  *.tudou.com:/programs/view/GRnpYUjUvcw/:*:FR=LIAN*      208

 

Как быть? Преобразовывать всё в нижний регистр? Но тогда херятся ссылки с кириллицей. Может на SCE 4.1.0 есть опция отключающая такое поведение?

Share this post

Link to post
Share on other sites

Voronok   

Voronok
Posted (edited) · Report post

Разобрался. На 4.1.0 был выключен URL Normalization.

 

Рано радовался. 4.1.0 всё-равно пропускает.

Edited by Voronok

Share this post

Link to post
Share on other sites

Phantom   

Phantom
Posted · Report post

Доброго времени суток!

 

Такой вопрос.А,под Centos 6 вообще можно nfqfilter собрать? Сколько пытаюсь,ошибки только сыпятся

make
Making all in src
make[1]: Entering directory `/root/nfqfilter-master/src'
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -pthread -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
main.cpp: In member function ‘virtual int nfqFilter::main(const ArgVec&)’:
main.cpp:255:20: error: aggregate ‘nfqFilter::main(const ArgVec&)::sigaction handler’ has incomplete type and cannot be defined
  struct sigaction handler;
                   ^
main.cpp:258:31: error: ‘sigemptyset’ was not declared in this scope
  sigemptyset(&handler.sa_mask);
                              ^
main.cpp:259:13: error: ‘SIGHUP’ was not declared in this scope
  sigaction(SIGHUP, &handler, NULL);
            ^
main.cpp:259:35: error: invalid use of incomplete type ‘struct nfqFilter::main(const ArgVec&)::sigaction’
  sigaction(SIGHUP, &handler, NULL);
                                  ^
main.cpp:255:10: error: forward declaration of ‘struct nfqFilter::main(const ArgVec&)::sigaction’
  struct sigaction handler;
         ^
make[1]: *** [main.o] Ошибка 1

GCC старая версия?

gcc version 4.8.2 20140120 (Red Hat 4.8.2-15) (GCC)

Share this post

Link to post
Share on other sites

Phantom   

Phantom
Posted · Report post

Тогда ещё поинтересуюсь.

 

А, сервер с фильтром обязательно должен быть маршрутизатором? Можно ли на сервере с двумя сетевыми картами запустить фильтр в режиме "моста" ? Т.е сервер с фильтром в "разрыв" включить между бордером и абонентами.

Share this post

Link to post
Share on other sites

max1976   

max1976
Posted · Report post

Тогда ещё поинтересуюсь.

 

А, сервер с фильтром обязательно должен быть маршрутизатором? Можно ли на сервере с двумя сетевыми картами запустить фильтр в режиме "моста" ? Т.е сервер с фильтром в "разрыв" включить между бордером и абонентами.

 

nfqueue не предназначен для обработки больших объемов трафика, поэтому не рекомендуется пускать через него весь трафик.

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Go to topic listing Программное обеспечение, биллинг и *unix системы