1. Для блокировка используем

[max1976]

Данные приходят, но не те что надо. Снимите дамп того, что прилетает в nfqueue.

[evgen.v]

Данные приходят, но не те что надо. Снимите дамп того, что прилетает в nfqueue.

 

tcpdump'ом снять дамп, я правильно понимаю?

 

 

# tcpdump -i vlan761 -nnn host 87.98.179.108
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on vlan761, link-type EN10MB (Ethernet), capture size 65535 bytes
08:38:45.375532 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665939266 ecr 0,nop,wscale 7], length 0
08:38:45.625838 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665939517 ecr 0,nop,wscale 7], length 0
08:38:46.376754 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665940268 ecr 0,nop,wscale 7], length 0
08:38:46.629356 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665940520 ecr 0,nop,wscale 7], length 0
08:38:47.027150 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665940918 ecr 0,nop,wscale 7], length 0
08:38:47.278219 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665941169 ecr 0,nop,wscale 7], length 0
08:38:48.028807 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665941920 ecr 0,nop,wscale 7], length 0
08:38:48.280698 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665942172 ecr 0,nop,wscale 7], length 0
08:38:48.380684 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665942272 ecr 0,nop,wscale 7], length 0
08:38:48.632721 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665942524 ecr 0,nop,wscale 7], length 0
08:38:50.032667 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665943924 ecr 0,nop,wscale 7], length 0
08:38:50.284670 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665944176 ecr 0,nop,wscale 7], length 0
08:38:52.388553 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665946280 ecr 0,nop,wscale 7], length 0
08:38:52.604578 IP XXX.XXX.XXX.15.46998 > 87.98.179.108.80: Flags [s], seq 2307371717, win 29200, options [mss 1460,sackOK,TS val 665946496 ecr 0,nop,wscale 7], length 0
08:38:52.636652 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665946528 ecr 0,nop,wscale 7], length 0
08:38:52.860600 IP XXX.XXX.XXX.15.46999 > 87.98.179.108.80: Flags [s], seq 712953004, win 29200, options [mss 1460,sackOK,TS val 665946752 ecr 0,nop,wscale 7], length 0
08:38:54.044618 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665947936 ecr 0,nop,wscale 7], length 0
08:38:54.292490 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665948184 ecr 0,nop,wscale 7], length 0
^C
18 packets captured
18 packets received by filter
0 packets dropped by kernel

 

 

То же самое показывает tcpdump на бордере.

Изменено 25 декабря, 2015 пользователем evgen.v

[max1976]

Данные приходят, но не те что надо. Снимите дамп того, что прилетает в nfqueue.

 

tcpdump'ом снять дамп, я правильно понимаю?

 

 

# tcpdump -i vlan761 -nnn host 87.98.179.108
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on vlan761, link-type EN10MB (Ethernet), capture size 65535 bytes
08:38:45.375532 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665939266 ecr 0,nop,wscale 7], length 0
08:38:45.625838 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665939517 ecr 0,nop,wscale 7], length 0
08:38:46.376754 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665940268 ecr 0,nop,wscale 7], length 0
08:38:46.629356 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665940520 ecr 0,nop,wscale 7], length 0
08:38:47.027150 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665940918 ecr 0,nop,wscale 7], length 0
08:38:47.278219 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665941169 ecr 0,nop,wscale 7], length 0
08:38:48.028807 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665941920 ecr 0,nop,wscale 7], length 0
08:38:48.280698 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665942172 ecr 0,nop,wscale 7], length 0
08:38:48.380684 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665942272 ecr 0,nop,wscale 7], length 0
08:38:48.632721 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665942524 ecr 0,nop,wscale 7], length 0
08:38:50.032667 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665943924 ecr 0,nop,wscale 7], length 0
08:38:50.284670 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665944176 ecr 0,nop,wscale 7], length 0
08:38:52.388553 IP XXX.XXX.XXX.15.47002 > 87.98.179.108.80: Flags [s], seq 134189593, win 29200, options [mss 1460,sackOK,TS val 665946280 ecr 0,nop,wscale 7], length 0
08:38:52.604578 IP XXX.XXX.XXX.15.46998 > 87.98.179.108.80: Flags [s], seq 2307371717, win 29200, options [mss 1460,sackOK,TS val 665946496 ecr 0,nop,wscale 7], length 0
08:38:52.636652 IP XXX.XXX.XXX.15.47003 > 87.98.179.108.80: Flags [s], seq 1884081494, win 29200, options [mss 1460,sackOK,TS val 665946528 ecr 0,nop,wscale 7], length 0
08:38:52.860600 IP XXX.XXX.XXX.15.46999 > 87.98.179.108.80: Flags [s], seq 712953004, win 29200, options [mss 1460,sackOK,TS val 665946752 ecr 0,nop,wscale 7], length 0
08:38:54.044618 IP XXX.XXX.XXX.15.47004 > 87.98.179.108.80: Flags [s], seq 668020652, win 29200, options [mss 1460,sackOK,TS val 665947936 ecr 0,nop,wscale 7], length 0
08:38:54.292490 IP XXX.XXX.XXX.15.47005 > 87.98.179.108.80: Flags [s], seq 2201066525, win 29200, options [mss 1460,sackOK,TS val 665948184 ecr 0,nop,wscale 7], length 0
^C
18 packets captured
18 packets received by filter
0 packets dropped by kernel

 

 

То же самое показывает tcpdump на бордере.

 

 

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

[evgen.v]

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

 

Странно, убрал маршрут '87.98.179.108 via XXX.XXX.XXX.243 dev eth1' - в tcpdump показывает пакеты и SYN, и ACK, и PUSH. Добавляю маршрут - идут только SYN пакеты.

Надо ли на машине с nfqfilter настраивать что-нибудь, кроме файрвола?

Изменено 25 декабря, 2015 пользователем evgen.v

[max1976]

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

 

Странно, убрал маршрут '87.98.179.108 via XXX.XXX.XXX.243 dev eth1' - в tcpdump показывает пакеты и SYN, и ACK, и PUSH. Добавляю маршрут - идут только SYN пакеты.

Надо ли на машине с nfqfilter настраивать что-нибудь, кроме файрвола?

Машина с фильтром должна быть "маршрутизатором" для фильтруемых пакетов. Т.е. у данной машины должен быть входящий интерфейс, куда поступают пакеты от абонентов, и исходящий интерфейс, откуда пакеты от абонентов могут поступать в Интернет. Иначе работать не будет.

[hsvt]

max1976: Здравствуйте, что нужно для использования в самом просто варианте на сервере NAS (Linux,NAT) ? Без анонсов и бордера.

[max1976]

max1976: Здравствуйте, что нужно для использования в самом просто варианте на сервере NAS (Linux,NAT) ? Без анонсов и бордера.

Необходимо отправить данные от пользователей в nfqueue. Если трафик небольшой, то должно работать.

[varney]

Добрый день,

подскажите, битый день уже бьюсь понять не могу.

 

Имею:

10.2-STABLE amd64 + ipfw + natd

Squid Cache: Version 3.5.12

mpd5 Version 5.7

 

сквид работает в прозрачном режиме с фильтрацией HTTPS при обращении к таблице с ip-адресами из реестра.

 

acl BlackListURL url_regex -i "/usr/local/etc/squid/roster/blocked_http.txt"

acl BlackListDOMAIN ssl::server_name "/usr/local/etc/squid/roster/blocked_https.txt"

 

как добиться блокировки именно крокетного урла, а не всего ресурса?

а то у меня сквид весь конкретный ресурс кладет (как пример самый первый урл с домена video-one.com - блокируется весь сайт), я конечно понимаю и так сойти может, но ведь есть тот же blogspot, mediafire

и второй попутный вопрос в блокировку попадают ресурсы, не присутствующие в ацлах, но располагающиеся на одном из айпишнике, находящимся в реестре (пример: technofaq.org)

[ros-maksim]

Есть у кого программа в которую можно скормить список роскомнадзора и проверить доступность тех или иных сайтов.

Подобие роскомнадзоровских для проверки закрытых ресурсов?

[st_re]

Тут же ходила ссылка на их поделие... (вообще кажется на шеле скрипт строк на 50 максимум, при наличии утилей парсящих xml, но их прогой лучше, потому как они ей и будут проверть. Х его З, что они не так посчитают или распарсят)

[Cramac]

Всем привет. Подскажите, сильно ли повлияет nfqfilter на пропускную способность? Или сколько он может пережевать проходящего трафика?

[ne-vlezay80]

Всем привет. Подскажите, сильно ли повлияет nfqfilter на пропускную способность? Или сколько он может пережевать проходящего трафика?

 

Нет, так как он не собирает пакеты

[taf_321]

Вообще, если завернуть весь трафик через NFQUEUE, то пользователи сразу прочуствуют это. Низкая скорость, большие лаги в онлайн играх с tcp-соединением.

 

Я чуть поправил скрипт make_files.pl, чтобы он генерил вместо конфигов quagga правила для ipset, в который загоняются IP. На роутере прописано правило:

 

iptables -t mangle -A PREROUTING -i IntraNet -m set --match-set zapret4 dst -p tcp -m tcp ! -d IP_ADDR_FOR_REDIRECT_WWW -j NFQUEUE --queue-num 0 --queue-bypass

ip6tables -t mangle -A PREROUTING -i IntraNet -m set --match-set zapret6 dst -p tcp -m tcp -j NFQUEUE --queue-num 0 --queue-bypass

 

В итоге на обработку попадает не весь трафик, а только запросы на целевые сайты. Процесс nfqfilter на гигабите плавает в пределах 3-4%

[zhenya`]

все речь вели про тазик.. отдельный.. у меня на 20 гигов аплинка на трафике тазик блокиратора не более 20 мбит.

[taf_321]

Тоже первоначально вывел в отдельный с заворотом всего на него. Но позже подумалось, что все заворачивать смысла нет. А потом оказалось, что итоговая нагрузка не стоит занятого в стойке юнита и даже места в виртуалке. На пограничнике процессы bird и то в разы бОльшую нагрузку на ЦП дают.

[ne-vlezay80]

Вообще, если завернуть весь трафик через NFQUEUE, то пользователи сразу прочуствуют это. Низкая скорость, большие лаги в онлайн играх с tcp-соединением.

 

Я чуть поправил скрипт make_files.pl, чтобы он генерил вместо конфигов quagga правила для ipset, в который загоняются IP. На роутере прописано правило:

 

iptables -t mangle -A PREROUTING -i IntraNet -m set --match-set zapret4 dst -p tcp -m tcp ! -d IP_ADDR_FOR_REDIRECT_WWW -j NFQUEUE --queue-num 0 --queue-bypass

ip6tables -t mangle -A PREROUTING -i IntraNet -m set --match-set zapret6 dst -p tcp -m tcp -j NFQUEUE --queue-num 0 --queue-bypass

 

В итоге на обработку попадает не весь трафик, а только запросы на целевые сайты. Процесс nfqfilter на гигабите плавает в пределах 3-4%

 

я бы сделал так:

iptables -t mangle -A PREROUTING -i IntraNet -p tcp -m tcp ! -m connbytes --connbytes-mode bytes --connbytes-dir both --connbytes 100000 -j NFQUEUE --queue-num 0 --queue-bypass
ip6tables -t mangle -A PREROUTING -i IntraNet -p tcp -m tcp  -m connbytes --connbytes-mode bytes --connbytes-dir both --connbytes 100000 -j NFQUEUE --queue-num 0 --queue-bypass

[dnvk]

2ne-vlezay80, "!" - только в одном случае? для ipv4 надо, для v6 - нет?

[mdtx]

Тут же ходила ссылка на их поделие... (вообще кажется на шеле скрипт строк на 50 максимум, при наличии утилей парсящих xml, но их прогой лучше, потому как они ей и будут проверть. Х его З, что они не так посчитают или распарсят)

 

Предлагаю в одну строку:

 

cat url_file.txt | xargs -n 1 fetch -o download > protocol.log 2>&1

 

в директории download получите не закрытые страницы, в файле protocol.log результат по каждому url-у из файла url_file.txt

[ne-vlezay80]

2ne-vlezay80, "!" - только в одном случае? для ipv4 надо, для v6 - нет?

 

да, и для ip4 и ip6

[evgen.v]

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

 

 

Странно, убрал маршрут '87.98.179.108 via XXX.XXX.XXX.243 dev eth1' - в tcpdump показывает пакеты и SYN, и ACK, и PUSH. Добавляю маршрут - идут только SYN пакеты.

Надо ли на машине с nfqfilter настраивать что-нибудь, кроме файрвола?

 

Машина с фильтром должна быть "маршрутизатором" для фильтруемых пакетов. Т.е. у данной машины должен быть входящий интерфейс, куда поступают пакеты от абонентов, и исходящий интерфейс, откуда пакеты от абонентов могут поступать в Интернет. Иначе работать не будет.

 

То есть на машине с одним сетевым интерфейсом nfqfilter работать не будет? :(

[roysbike]

Flags и length 0 ключевые моменты. У вас прилетают пакеты только с флагом SYN, а самих данных нет. Поэтому и не работает, т.к. анализировать нечего.

 

 

Странно, убрал маршрут '87.98.179.108 via XXX.XXX.XXX.243 dev eth1' - в tcpdump показывает пакеты и SYN, и ACK, и PUSH. Добавляю маршрут - идут только SYN пакеты.

Надо ли на машине с nfqfilter настраивать что-нибудь, кроме файрвола?

 

Машина с фильтром должна быть "маршрутизатором" для фильтруемых пакетов. Т.е. у данной машины должен быть входящий интерфейс, куда поступают пакеты от абонентов, и исходящий интерфейс, откуда пакеты от абонентов могут поступать в Интернет. Иначе работать не будет.

 

То есть на машине с одним сетевым интерфейсом nfqfilter работать не будет? :(

 

Создайте vlan и будет

[max1976]

То есть на машине с одним сетевым интерфейсом nfqfilter работать не будет? :(

У меня работает на виртуалке с одним интерфейсом, но в разных vlan'ах.

[antero]

max1976, помогите найти проблему, со сриптом zapret.pl.

Сейчас выгрузка происходит нормально, но на парсинге вываливается одна и таже осошибка :(.

Subroutine _call redefined at (eval 160) line 50.
Subroutine OperatorRequestService::want_som redefined at (eval 160) line 92.
Subroutine AUTOLOAD redefined at (eval 160) line 109.
Subroutine OperatorRequestService::getResult redefined at (eval 160) line 107.
Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 160) line 107.
Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 160) line 107.
Subroutine OperatorRequestService::sendRequest redefined at (eval 160) line 107.
Subroutine _call redefined at (eval 181) line 50.
Subroutine OperatorRequestService::want_som redefined at (eval 181) line 92.
Subroutine AUTOLOAD redefined at (eval 181) line 109.
Subroutine OperatorRequestService::getResult redefined at (eval 181) line 107.
Subroutine OperatorRequestService::getLastDumpDateEx redefined at (eval 181) line 107.
Subroutine OperatorRequestService::getLastDumpDate redefined at (eval 181) line 107.
Subroutine OperatorRequestService::sendRequest redefined at (eval 181) line 107.
End tag mismatch (url != domain) [Ln: 1, Col: 143689]
XML::Simple called at ./zapret.pl line 455.

Не подскажитев чем может быть проблема?

[max1976]

Не подскажитев чем может быть проблема?

 

Нет ли проблемы с полученным файлом?

[antero]

max1976, вроде нет, архив получается не поврежденный. Файл по контрольной сумме совпадает с тем, что выгружается ручками. Версия скрипта последняя из git'a :).

https://goo.gl/9l84n4 - вот собственно сам дамп.