Jump to content
Калькуляторы
Блокировка веб ресурса  

536 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Данные приходят, но не те что надо. Снимите дамп того, что прилетает в nfqueue.

Share this post


Link to post
Share on other sites

Данные приходят, но не те что надо. Снимите дамп того, что прилетает в nfqueue.

 

tcpdump'ом снять дамп, я правильно понимаю?

 

 

# tcpdump -i vlan761 -nnn host 87.98.179.108
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on vlan761, link-type EN10MB (Ethernet), capture size 65535 bytes
08:38:45.375532 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665939266 ecr 0,nop,wscale 7], length 0
08:38:45.625838 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665939517 ecr 0,nop,wscale 7], length 0
08:38:46.376754 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665940268 ecr 0,nop,wscale 7], length 0
08:38:46.629356 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665940520 ecr 0,nop,wscale 7], length 0
08:38:47.027150 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665940918 ecr 0,nop,wscale 7], length 0
08:38:47.278219 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665941169 ecr 0,nop,wscale 7], length 0
08:38:48.028807 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665941920 ecr 0,nop,wscale 7], length 0
08:38:48.280698 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665942172 ecr 0,nop,wscale 7], length 0
08:38:48.380684 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665942272 ecr 0,nop,wscale 7], length 0
08:38:48.632721 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665942524 ecr 0,nop,wscale 7], length 0
08:38:50.032667 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665943924 ecr 0,nop,wscale 7], length 0
08:38:50.284670 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665944176 ecr 0,nop,wscale 7], length 0
08:38:52.388553 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665946280 ecr 0,nop,wscale 7], length 0
08:38:52.604578 IP XXX.XXX.XXX.15.46998 > 87.98.179.108.80: Flags [s], seq 2307371717, win 29200, options [mss 1460,sackOK,TS val 665946496 ecr 0,nop,wscale 7], length 0
08:38:52.636652 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665946528 ecr 0,nop,wscale 7], length 0
08:38:52.860600 IP XXX.XXX.XXX.15.46999 > 87.98.179.108.80: Flags [s], seq 712953004, win 29200, options [mss 1460,sackOK,TS val 665946752 ecr 0,nop,wscale 7], length 0
08:38:54.044618 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665947936 ecr 0,nop,wscale 7], length 0
08:38:54.292490 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665948184 ecr 0,nop,wscale 7], length 0
^C
18 packets captured
18 packets received by filter
0 packets dropped by kernel

 

 

То же самое показывает tcpdump на бордере.

Edited by evgen.v

Share this post


Link to post
Share on other sites

Данные приходят, но не те что надо. Снимите дамп того, что прилетает в nfqueue.

 

tcpdump'ом снять дамп, я правильно понимаю?

 

 

# tcpdump -i vlan761 -nnn host 87.98.179.108
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on vlan761, link-type EN10MB (Ethernet), capture size 65535 bytes
08:38:45.375532 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665939266 ecr 0,nop,wscale 7], length 0
08:38:45.625838 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665939517 ecr 0,nop,wscale 7], length 0
08:38:46.376754 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665940268 ecr 0,nop,wscale 7], length 0
08:38:46.629356 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665940520 ecr 0,nop,wscale 7], length 0
08:38:47.027150 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665940918 ecr 0,nop,wscale 7], length 0
08:38:47.278219 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665941169 ecr 0,nop,wscale 7], length 0
08:38:48.028807 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665941920 ecr 0,nop,wscale 7], length 0
08:38:48.280698 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665942172 ecr 0,nop,wscale 7], length 0
08:38:48.380684 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665942272 ecr 0,nop,wscale 7], length 0
08:38:48.632721 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665942524 ecr 0,nop,wscale 7], length 0
08:38:50.032667 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665943924 ecr 0,nop,wscale 7], length 0
08:38:50.284670 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665944176 ecr 0,nop,wscale 7], length 0
08:38:52.388553 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665946280 ecr 0,nop,wscale 7], length 0
08:38:52.604578 IP XXX.XXX.XXX.15.46998 > 87.98.179.108.80: Flags [s], seq 2307371717, win 29200, options [mss 1460,sackOK,TS val 665946496 ecr 0,nop,wscale 7], length 0
08:38:52.636652 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665946528 ecr 0,nop,wscale 7], length 0
08:38:52.860600 IP XXX.XXX.XXX.15.46999 > 87.98.179.108.80: Flags [s], seq 712953004, win 29200, options [mss 1460,sackOK,TS val 665946752 ecr 0,nop,wscale 7], length 0
08:38:54.044618 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665947936 ecr 0,nop,wscale 7], length 0
08:38:54.292490 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665948184 ecr 0,nop,wscale 7], length 0
^C
18 packets captured
18 packets received by filter
0 packets dropped by kernel

 

 

То же самое показывает tcpdump на бордере.

 

 

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

Share this post


Link to post
Share on other sites

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

 

Странно, убрал маршрут '87.98.179.108 via XXX.XXX.XXX.243 dev eth1' - в tcpdump показывает пакеты и SYN, и ACK, и PUSH. Добавляю маршрут - идут только SYN пакеты.

Надо ли на машине с nfqfilter настраивать что-нибудь, кроме файрвола?

Edited by evgen.v

Share this post


Link to post
Share on other sites

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

 

Странно, убрал маршрут '87.98.179.108 via XXX.XXX.XXX.243 dev eth1' - в tcpdump показывает пакеты и SYN, и ACK, и PUSH. Добавляю маршрут - идут только SYN пакеты.

Надо ли на машине с nfqfilter настраивать что-нибудь, кроме файрвола?

Машина с фильтром должна быть "маршрутизатором" для фильтруемых пакетов. Т.е. у данной машины должен быть входящий интерфейс, куда поступают пакеты от абонентов, и исходящий интерфейс, откуда пакеты от абонентов могут поступать в Интернет. Иначе работать не будет.

Share this post


Link to post
Share on other sites

max1976: Здравствуйте, что нужно для использования в самом просто варианте на сервере NAS (Linux,NAT) ? Без анонсов и бордера.

Share this post


Link to post
Share on other sites

max1976: Здравствуйте, что нужно для использования в самом просто варианте на сервере NAS (Linux,NAT) ? Без анонсов и бордера.

Необходимо отправить данные от пользователей в nfqueue. Если трафик небольшой, то должно работать.

Share this post


Link to post
Share on other sites

Добрый день,

подскажите, битый день уже бьюсь понять не могу.

 

Имею:

10.2-STABLE amd64 + ipfw + natd

Squid Cache: Version 3.5.12

mpd5 Version 5.7

 

сквид работает в прозрачном режиме с фильтрацией HTTPS при обращении к таблице с ip-адресами из реестра.

 

acl BlackListURL url_regex -i "/usr/local/etc/squid/roster/blocked_http.txt"

acl BlackListDOMAIN ssl::server_name "/usr/local/etc/squid/roster/blocked_https.txt"

 

как добиться блокировки именно крокетного урла, а не всего ресурса?

а то у меня сквид весь конкретный ресурс кладет (как пример самый первый урл с домена video-one.com - блокируется весь сайт), я конечно понимаю и так сойти может, но ведь есть тот же blogspot, mediafire

и второй попутный вопрос в блокировку попадают ресурсы, не присутствующие в ацлах, но располагающиеся на одном из айпишнике, находящимся в реестре (пример: technofaq.org)

Share this post


Link to post
Share on other sites

Есть у кого программа в которую можно скормить список роскомнадзора и проверить доступность тех или иных сайтов.

Подобие роскомнадзоровских для проверки закрытых ресурсов?

Share this post


Link to post
Share on other sites

Тут же ходила ссылка на их поделие... (вообще кажется на шеле скрипт строк на 50 максимум, при наличии утилей парсящих xml, но их прогой лучше, потому как они ей и будут проверть. Х его З, что они не так посчитают или распарсят)

Share this post


Link to post
Share on other sites

Всем привет. Подскажите, сильно ли повлияет nfqfilter на пропускную способность? Или сколько он может пережевать проходящего трафика?

Share this post


Link to post
Share on other sites

Всем привет. Подскажите, сильно ли повлияет nfqfilter на пропускную способность? Или сколько он может пережевать проходящего трафика?

 

Нет, так как он не собирает пакеты

Share this post


Link to post
Share on other sites

Вообще, если завернуть весь трафик через NFQUEUE, то пользователи сразу прочуствуют это. Низкая скорость, большие лаги в онлайн играх с tcp-соединением.

 

Я чуть поправил скрипт make_files.pl, чтобы он генерил вместо конфигов quagga правила для ipset, в который загоняются IP. На роутере прописано правило:

 

iptables -t mangle -A PREROUTING -i IntraNet -m set --match-set zapret4 dst -p tcp -m tcp ! -d IP_ADDR_FOR_REDIRECT_WWW -j NFQUEUE --queue-num 0 --queue-bypass

ip6tables -t mangle -A PREROUTING -i IntraNet -m set --match-set zapret6 dst -p tcp -m tcp -j NFQUEUE --queue-num 0 --queue-bypass

 

В итоге на обработку попадает не весь трафик, а только запросы на целевые сайты. Процесс nfqfilter на гигабите плавает в пределах 3-4%

Share this post


Link to post
Share on other sites

все речь вели про тазик.. отдельный.. у меня на 20 гигов аплинка на трафике тазик блокиратора не более 20 мбит.

Share this post


Link to post
Share on other sites

Тоже первоначально вывел в отдельный с заворотом всего на него. Но позже подумалось, что все заворачивать смысла нет. А потом оказалось, что итоговая нагрузка не стоит занятого в стойке юнита и даже места в виртуалке. На пограничнике процессы bird и то в разы бОльшую нагрузку на ЦП дают.

Share this post


Link to post
Share on other sites

Вообще, если завернуть весь трафик через NFQUEUE, то пользователи сразу прочуствуют это. Низкая скорость, большие лаги в онлайн играх с tcp-соединением.

 

Я чуть поправил скрипт make_files.pl, чтобы он генерил вместо конфигов quagga правила для ipset, в который загоняются IP. На роутере прописано правило:

 

iptables -t mangle -A PREROUTING -i IntraNet -m set --match-set zapret4 dst -p tcp -m tcp ! -d IP_ADDR_FOR_REDIRECT_WWW -j NFQUEUE --queue-num 0 --queue-bypass

ip6tables -t mangle -A PREROUTING -i IntraNet -m set --match-set zapret6 dst -p tcp -m tcp -j NFQUEUE --queue-num 0 --queue-bypass

 

В итоге на обработку попадает не весь трафик, а только запросы на целевые сайты. Процесс nfqfilter на гигабите плавает в пределах 3-4%

 

я бы сделал так:

iptables -t mangle -A PREROUTING -i IntraNet -p tcp -m tcp ! -m connbytes --connbytes-mode bytes --connbytes-dir both --connbytes 100000 -j NFQUEUE --queue-num 0 --queue-bypass
ip6tables -t mangle -A PREROUTING -i IntraNet -p tcp -m tcp  -m connbytes --connbytes-mode bytes --connbytes-dir both --connbytes 100000 -j NFQUEUE --queue-num 0 --queue-bypass

Share this post


Link to post
Share on other sites

2ne-vlezay80, "!" - только в одном случае? для ipv4 надо, для v6 - нет?

Share this post


Link to post
Share on other sites

Тут же ходила ссылка на их поделие... (вообще кажется на шеле скрипт строк на 50 максимум, при наличии утилей парсящих xml, но их прогой лучше, потому как они ей и будут проверть. Х его З, что они не так посчитают или распарсят)

 

Предлагаю в одну строку:

 

cat url_file.txt | xargs -n 1 fetch -o download > protocol.log 2>&1

 

в директории download получите не закрытые страницы, в файле protocol.log результат по каждому url-у из файла url_file.txt

Share this post


Link to post
Share on other sites

2ne-vlezay80, "!" - только в одном случае? для ipv4 надо, для v6 - нет?

 

да, и для ip4 и ip6

Share this post


Link to post
Share on other sites

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

 

 

Странно, убрал маршрут '87.98.179.108 via XXX.XXX.XXX.243 dev eth1' - в tcpdump показывает пакеты и SYN, и ACK, и PUSH. Добавляю маршрут - идут только SYN пакеты.

Надо ли на машине с nfqfilter настраивать что-нибудь, кроме файрвола?

 

Машина с фильтром должна быть "маршрутизатором" для фильтруемых пакетов. Т.е. у данной машины должен быть входящий интерфейс, куда поступают пакеты от абонентов, и исходящий интерфейс, откуда пакеты от абонентов могут поступать в Интернет. Иначе работать не будет.

 

То есть на машине с одним сетевым интерфейсом nfqfilter работать не будет? :(

Share this post


Link to post
Share on other sites

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

 

 

Странно, убрал маршрут '87.98.179.108 via XXX.XXX.XXX.243 dev eth1' - в tcpdump показывает пакеты и SYN, и ACK, и PUSH. Добавляю маршрут - идут только SYN пакеты.

Надо ли на машине с nfqfilter настраивать что-нибудь, кроме файрвола?

 

Машина с фильтром должна быть "маршрутизатором" для фильтруемых пакетов. Т.е. у данной машины должен быть входящий интерфейс, куда поступают пакеты от абонентов, и исходящий интерфейс, откуда пакеты от абонентов могут поступать в Интернет. Иначе работать не будет.

 

То есть на машине с одним сетевым интерфейсом nfqfilter работать не будет? :(

 

Создайте vlan и будет

Share this post


Link to post
Share on other sites

То есть на машине с одним сетевым интерфейсом nfqfilter работать не будет? :(

У меня работает на виртуалке с одним интерфейсом, но в разных vlan'ах.

Share this post


Link to post
Share on other sites

max1976, помогите найти проблему, со сриптом zapret.pl.

Сейчас выгрузка происходит нормально, но на парсинге вываливается одна и таже осошибка :(.

Subroutine _call redefined at (eval 160) line 50.
Subroutine OperatorRequestService::want_som redefined at (eval 160) line 92.
Subroutine AUTOLOAD redefined at (eval 160) line 109.
Subroutine OperatorRequestService::getResult redefined at (eval 160) line 107.
Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 160) line 107.
Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 160) line 107.
Subroutine OperatorRequestService::sendRequest redefined at (eval 160) line 107.
Subroutine _call redefined at (eval 181) line 50.
Subroutine OperatorRequestService::want_som redefined at (eval 181) line 92.
Subroutine AUTOLOAD redefined at (eval 181) line 109.
Subroutine OperatorRequestService::getResult redefined at (eval 181) line 107.
Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 181) line 107.
Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 181) line 107.
Subroutine OperatorRequestService::sendRequest redefined at (eval 181) line 107.
End tag mismatch (url != domain) [Ln: 1, Col: 143689]
XML::Simple called at ./zapret.pl line 455.

Не подскажитев чем может быть проблема?

Share this post


Link to post
Share on other sites

Не подскажитев чем может быть проблема?

 

Нет ли проблемы с полученным файлом?

Share this post


Link to post
Share on other sites

max1976, вроде нет, архив получается не поврежденный. Файл по контрольной сумме совпадает с тем, что выгружается ручками. Версия скрипта последняя из git'a :).

https://goo.gl/9l84n4 - вот собственно сам дамп.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now