Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Подскажите как его обновить по человечески?

Я не особо линуксойд, изначально скачал архив с гитхаба, распаковал и мэйкинсталлклин.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну вы в принципе правильно все описали, iBGP с серой AS по вкусу

 

на джуне отдельный интерфейс от сервера фильтрации и в нём PBR - всё что принимаем на этот фейс выпихиваем в мир не глядя

чтобы не было петли

 

 

при фильтрации ютуба через nfqfilter ходит только трафик его фронтенда, этого достаточно для блокировки роликов

 

Можете подробней, на одном интерфейсе (выходном) делаю internal BGP с Juniper и вписываю настройки в nfqfilter_config rkn.conf [bGP] ? Второй интерфейс входной в сторону NAS, какой конфиг должен быть на стороне NAS чтобы принять анонсы? Без PBR только с анонсами тоже должно работать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Примерно так:

 

1. Локальная сторона блокирующего сервера: поднимаем iBGP, анонсим маршруты серверам доступа (пограничный маршрутизатор в этом банкете не участвует!), трафик для проверки на блокировку заворачивается серверами доступа по полученным маршрутам на блокирующий сервер.

2. Внешняя сторона блокирующего сервера: тупо дефолт на пограничный маршрутизатор.

 

Если есть NAT - не забыть сделать обвод серых ip мимо фильтров на пограничнике или организовать прямой роутинг серых адресов обратно на сервера доступа, например по тому же ibgp

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Лучше все так ebgp сразу делать, чтобы на случай появления второго бордера анонсы тоже ушли туда..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Наперлил тут скрипт для проверки блокировки сайтов из реестра, для собственного пользования, решил поделиться, может кому пригодится

https://github.com/J...ess/zapret_test

Спасибо, добрый человек. Но там надо небольшой патчик приложить, иначе ничего не работает:

 

diff --git a/zapret_test.pl b/zapret_test.pl
index 96380ce..27d43da 100755
--- a/zapret_test.pl
+++ b/zapret_test.pl
@@ -126,4 +126,5 @@ sub checkUrl {
                       print REPORT $num, "\t", $url, "\n";
                       $logger->error("URL not blocked: ".$url);
               }
+       }
}

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

 

Используется больше одной nf очереди?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

 

Используется больше одной nf очереди?

 

Да, собирался использовать несколько очередей.

Перед перезапуском основной инстанции nfqfilter запускается другая, с другим номером очереди, трафик временно передаю в другую очередь, пока не перезагрузится основная.

Изменено пользователем overty

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У меня на последней версии nfqfilter система полностью зависает если указываю количество потоков больше одного.

Ядро 3.10.0-327.10.1.el7.x86_64

Кто-нибудь ловит такой же глюк?

 

Используется больше одной nf очереди?

 

Да, собирался использовать несколько очередей.

Перед перезапуском основной инстанции nfqfilter запускается другая, с другим номером очереди, трафик временно передаю в другую очередь, пока не перезагрузится основная.

 

Пока как решение проблемы - или использовать одну очередь и многопоточность, или использовать несколько очередей и один поток.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

вот так мусорит в syslog и очень туго пропускает трафик

Mar 17 20:25:34 skyprox-main kernel: [1231305.738692] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.741752] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743651] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743727] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.746363] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.754211] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.765932] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.722655] net_ratelimit: 2159 callbacks suppressed
Mar 17 20:25:39 skyprox-main kernel: [1231310.722662] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.727175] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737532] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737590] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737616] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737816] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.739285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.742900] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747859] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747875] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733251] net_ratelimit: 2362 callbacks suppressed
Mar 17 20:25:44 skyprox-main kernel: [1231315.733271] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733296] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733400] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733415] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.738621] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.740608] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.747497] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.748339] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.758425] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.734338] net_ratelimit: 2126 callbacks suppressed
Mar 17 20:25:49 skyprox-main kernel: [1231320.734360] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.752488] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.754992] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760660] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760686] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760707] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760743] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775005] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775043] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.777687] nf_queue: full at 400000 entries, dropping packets(s)

лечится?

как?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

лечится?

как?

 

Наверное слишком много трафика попадает на фильтр. Пускайте на фильтр только трафик, предназначенный для проверки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

лечится?

как?

 

Наверное слишком много трафика попадает на фильтр. Пускайте на фильтр только трафик, предназначенный для проверки.

как показывает практика если заворачивать только с IP из реестра, больше пропусков, меняются IP

 

да и трафик то у меня всего 40-60 мегабит

Изменено пользователем yKpon

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

лечится?

как?

 

Наверное слишком много трафика попадает на фильтр. Пускайте на фильтр только трафик, предназначенный для проверки.

как показывает практика если заворачивать только с IP из реестра, больше пропусков, меняются IP

 

да и трафик то у меня всего 40-60 мегабит

 

Это какого трафика у вас 40-60 мегабит ? 80+443 порты от клиента в сеть или всего ? В любом случае это "сквидовые" скорости, т.е. ядерный фильтр IMHO должен больше пережёвывать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это какого трафика у вас 40-60 мегабит ? 80+443 порты от клиента в сеть или всего ? В любом случае это "сквидовые" скорости, т.е. ядерный фильтр IMHO должен больше пережёвывать.

всего

 

на nfqfilter завёрнуто все

 

сервер на базе десктопа, камень i3-6100

Изменено пользователем yKpon

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это какого трафика у вас 40-60 мегабит ? 80+443 порты от клиента в сеть или всего ? В любом случае это "сквидовые" скорости, т.е. ядерный фильтр IMHO должен больше пережёвывать.

всего

 

на nfqfilter завёрнуто все

 

сервер на базе десктопа, камень i3-6100

 

Всёравно мало, тут люди 1-2 гигабита на TPROXY делали (отчёты об этом вроде были). Сквидой версии 2.7 фильтровали и всё работало. Правда, в то время реестр был меньше.

 

Зачем весь трафик сливать ? Может хватит того, чтобы лить tcp со списком портов из реестра ? Не думаю, что там больше шестнадцати уникальных портов -- в одно редиректа правило влезет. Т.е. в РС лить можно весь трафик, а в nfqueue заворачивать только tcp и список портов. Остальной трафик просто роутить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

вот так мусорит в syslog и очень туго пропускает трафик

Mar 17 20:25:34 skyprox-main kernel: [1231305.738692] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.734338] net_ratelimit: 2126 callbacks suppressed
Mar 17 20:25:49 skyprox-main kernel: [1231320.734360] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.777687] nf_queue: full at 400000 entries, dropping packets(s)

лечится?

как?

Похоже на роутинговую петлю, или отсутствие маршрута (дефолта ?)

Из-за этого nf_queue начинает тупить (испытано на себе)

 

Проверить:

текущий размер очереди - 3-я колонка в выводе

cat /proc/net/netfilter/nfnetlink_queue

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

yKpon, фильтр отправляет http-запросы на заглушку.

а трафик на ip c этой заглушкой у вас тоже попадает в фильтр?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

yKpon, фильтр отправляет http-запросы на заглушку.

а трафик на ip c этой заглушкой у вас тоже попадает в фильтр?

нет, с заглушки мимо фильтра

 

что выше написали, проверю, спасиб

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Покажите свои правила (iptables-save -c). Можете перед правилом отправки пакета в nfqueue добавить правило с таргетом NFLOG, чтобы посмотреть этот трафик в tcpdump'е дабы убедиться, что всё правильно льётся.

 

вот так мусорит в syslog и очень туго пропускает трафик

Mar 17 20:25:34 skyprox-main kernel: [1231305.738692] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.741752] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743651] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.743727] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.746363] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.754211] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:34 skyprox-main kernel: [1231305.765932] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.722655] net_ratelimit: 2159 callbacks suppressed
Mar 17 20:25:39 skyprox-main kernel: [1231310.722662] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.727175] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737532] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737590] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737616] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.737816] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.739285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.742900] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747859] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:39 skyprox-main kernel: [1231310.747875] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733251] net_ratelimit: 2362 callbacks suppressed
Mar 17 20:25:44 skyprox-main kernel: [1231315.733271] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733285] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733296] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733400] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.733415] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.738621] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.740608] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.747497] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.748339] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:44 skyprox-main kernel: [1231315.758425] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.734338] net_ratelimit: 2126 callbacks suppressed
Mar 17 20:25:49 skyprox-main kernel: [1231320.734360] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.752488] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.754992] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760660] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760686] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760707] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.760743] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775005] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.775043] nf_queue: full at 400000 entries, dropping packets(s)
Mar 17 20:25:49 skyprox-main kernel: [1231320.777687] nf_queue: full at 400000 entries, dropping packets(s)

лечится?

как?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть ссылка http://www.tudou.com/programs/view/GRnpYUjUvcw/?FR=LIAN

Используем Cisco SCE. На версии 3.8.5 блокируется, версия 4.1.0 пропускает.

 

На 3.8.5:

SCE2000#>sh int li 0 sce-url-database all-entries | inc tudou.com
22845.  tudou.com:/programs/view/grnpyujuvcw/:*:fr=lian*        208
22846.  *.tudou.com:/programs/view/grnpyujuvcw/:*:fr=lian*      208

 

На 4.1.0:

SCE2000#>sh int li 0 sce-url-database all-entries | inc tudou.com
22847.  tudou.com:/programs/view/GRnpYUjUvcw/:*:FR=LIAN*        208
22848.  *.tudou.com:/programs/view/GRnpYUjUvcw/:*:FR=LIAN*      208

 

Как быть? Преобразовывать всё в нижний регистр? Но тогда херятся ссылки с кириллицей. Может на SCE 4.1.0 есть опция отключающая такое поведение?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Разобрался. На 4.1.0 был выключен URL Normalization.

 

Рано радовался. 4.1.0 всё-равно пропускает.

Изменено пользователем Voronok

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Доброго времени суток!

 

Такой вопрос.А,под Centos 6 вообще можно nfqfilter собрать? Сколько пытаюсь,ошибки только сыпятся

make
Making all in src
make[1]: Entering directory `/root/nfqfilter-master/src'
g++ -DHAVE_CONFIG_H -I. -I../include  -I../nDPI/src/include   -std=c++0x -O2 -pthread -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
main.cpp: In member function ‘virtual int nfqFilter::main(const ArgVec&)’:
main.cpp:255:20: error: aggregate ‘nfqFilter::main(const ArgVec&)::sigaction handler’ has incomplete type and cannot be defined
  struct sigaction handler;
                   ^
main.cpp:258:31: error: ‘sigemptyset’ was not declared in this scope
  sigemptyset(&handler.sa_mask);
                              ^
main.cpp:259:13: error: ‘SIGHUP’ was not declared in this scope
  sigaction(SIGHUP, &handler, NULL);
            ^
main.cpp:259:35: error: invalid use of incomplete type ‘struct nfqFilter::main(const ArgVec&)::sigaction’
  sigaction(SIGHUP, &handler, NULL);
                                  ^
main.cpp:255:10: error: forward declaration of ‘struct nfqFilter::main(const ArgVec&)::sigaction’
  struct sigaction handler;
         ^
make[1]: *** [main.o] Ошибка 1

GCC старая версия?

gcc version 4.8.2 20140120 (Red Hat 4.8.2-15) (GCC)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

GCC старая версия?

 

Да, на этой версии не соберется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тогда ещё поинтересуюсь.

 

А, сервер с фильтром обязательно должен быть маршрутизатором? Можно ли на сервере с двумя сетевыми картами запустить фильтр в режиме "моста" ? Т.е сервер с фильтром в "разрыв" включить между бордером и абонентами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тогда ещё поинтересуюсь.

 

А, сервер с фильтром обязательно должен быть маршрутизатором? Можно ли на сервере с двумя сетевыми картами запустить фильтр в режиме "моста" ? Т.е сервер с фильтром в "разрыв" включить между бордером и абонентами.

 

nfqueue не предназначен для обработки больших объемов трафика, поэтому не рекомендуется пускать через него весь трафик.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.