Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

518 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Странно, проверил у себя - блочатся нормально.

 

У вас блочится потому что браузер, скорее всего убирает точку в конце URL.

Проблема только с URL оканчивающими на '/.'

 

Например через curl (curl -v expirience.ru/kak-sdelat-kastet/.) пролетает свободно при match_url_exactly = false, хотя должно блокировать.

 

GET /kak-sdelat-kastet/. HTTP/1.1

> User-Agent: curl/7.29.0

> Host: expirience.ru

> Accept: */*

>

< HTTP/1.1 200 OK

< Server: nginx/1.2.1

< Date: Wed, 24 Aug 2016 12:38:40 GMT

< Content-Type: text/html;charset=UTF-8

...

...

 

Пролетает так же

curl -v expirience.ru/kak-sdelat-kastet

> GET /kak-sdelat-kastet HTTP/1.1

> User-Agent: curl/7.29.0

> Host: expirience.ru

> Accept: */*

>

< HTTP/1.1 200 OK

< Server: nginx/1.2.1

< Date: Wed, 24 Aug 2016 12:43:58 GMT

< Content-Type: text/html;charset=UTF-8

...

...

 

А вот curl -v expirience.ru/kak-sdelat-kastet/ - блокируется, но параметр url_additional_info=url как-то не правильно работает в последней версии.

 

> GET /kak-sdelat-kastet/ HTTP/1.1

> User-Agent: curl/7.29.0

> Host: expirience.ru

> Accept: */*

>

< HTTP/1.1 302 Moved Temporarily

< Location: hXXp://www.example.com/block.html?url=http://expirience.ru/kak-sdelat-kastet/http://expirience.ru/kak-sdelat-kastet/

< Connection: close

 

url повторяется два раза.

С доменами такой проблемы не наблюдаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Временно добавил строки

 

$url11 =~ s/\/$//;

$url2 =~ s/\/$//;

 

в nfqfilter_config для удаление последнего слеша "/".

URL с окончанием /. у меня заблокировались.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Временно добавил строки

 

$url11 =~ s/\/$//;

$url2 =~ s/\/$//;

 

в nfqfilter_config для удаление последнего слеша "/".

URL с окончанием /. у меня заблокировались.

 

Я добавил удаление /. в конце url.

Изменено пользователем max1976

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2016-08-25 12:10:26.132 [28291] Information Application - Starting up on queue: 4
2016-08-25 12:10:26.141 [28291] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:26.142 [28291] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:26.258 [28291] Fatal Application - Bad url format in line 1797
2016-08-25 12:10:49.719 [28304] Information Application - Starting up on queue: 4
2016-08-25 12:10:49.730 [28304] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:49.732 [28304] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:49.848 [28304] Fatal Application - Bad url format in line 1797
2016-08-25 12:11:19.910 [28386] Information Application - Starting up on queue: 4
2016-08-25 12:11:19.921 [28386] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:11:19.923 [28386] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:11:20.049 [28386] Fatal Application - Bad url format in line 1797

 

Для всех строчек в файле urls где нет в конце "/" nfqfilter не может запуститься.

Изменено пользователем hsvt

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2016-08-25 12:10:26.132 [28291] Information Application - Starting up on queue: 4
2016-08-25 12:10:26.141 [28291] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:26.142 [28291] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:26.258 [28291] Fatal Application - Bad url format in line 1797
2016-08-25 12:10:49.719 [28304] Information Application - Starting up on queue: 4
2016-08-25 12:10:49.730 [28304] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:49.732 [28304] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:49.848 [28304] Fatal Application - Bad url format in line 1797
2016-08-25 12:11:19.910 [28386] Information Application - Starting up on queue: 4
2016-08-25 12:11:19.921 [28386] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:11:19.923 [28386] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:11:20.049 [28386] Fatal Application - Bad url format in line 1797

 

Для всех строчек в файле urls где нет в конце "/" nfqfilter не может запуститься.

 

Используйте последнюю версию nfqfilter.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2016-08-25 12:10:26.132 [28291] Information Application - Starting up on queue: 4
2016-08-25 12:10:26.141 [28291] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:26.142 [28291] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:26.258 [28291] Fatal Application - Bad url format in line 1797
2016-08-25 12:10:49.719 [28304] Information Application - Starting up on queue: 4
2016-08-25 12:10:49.730 [28304] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:49.732 [28304] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:49.848 [28304] Fatal Application - Bad url format in line 1797
2016-08-25 12:11:19.910 [28386] Information Application - Starting up on queue: 4
2016-08-25 12:11:19.921 [28386] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:11:19.923 [28386] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:11:20.049 [28386] Fatal Application - Bad url format in line 1797

 

Для всех строчек в файле urls где нет в конце "/" nfqfilter не может запуститься.

 

Используйте последнюю версию nfqfilter.

 

Речь как раз про последнюю.

 

root@blocked:/opt/nfqfilter$ git rev-parse HEAD
bf3259929f5ab5b6f83a6c2d9a89549f64fa973f

 

Откатил конфигуратор на предыдущий коммит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Речь как раз про последнюю.

 

Вы что-то путаете. Посмотрите код nfqfilter, там уже нет текста такой ошибки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А проблема с запуском через крон не у кого не было? Что то ни в какую запускать на закачку и обновление не хочет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А проблема с запуском через крон не у кого не было? Что то ни в какую запускать на закачку и обновление не хочет.

было, модули перла не находил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А проблема с запуском через крон не у кого не было? Что то ни в какую запускать на закачку и обновление не хочет.

было, модули перла не находил.

 

А поподробнее? Просто если вручную то все хорошо запускается а через крон ни в какую

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А поподробнее? Просто если вручную то все хорошо запускается а через крон ни в какую

Нужна правильная переменная PATH. Пропишите настройки запуска скрипта примерно таким образом:

cat /etc/cron.d/zapret
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

35 * * * * root /path/to/zapret.pl

Изменено пользователем apog

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976, в файле настроек конфигуратора можно указать адреса DNS для локального блэклиста. Как правильно пользоваться этим блэклистом?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976, в файле настроек конфигуратора можно указать адреса DNS для локального блэклиста. Как правильно пользоваться этим блэклистом?

 

В конфигураторе больше нет поддержки блэклиста, его поддержка перенесена в zapret.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

 

У меня nfqfilter в режиме зеркала работает с марта. Никаких проблем с этим нет.

Снимаю исходящий трафик с 10Г SPAN порта коммутатора CISCO. Сетевка в мосте с вызовом iptables для попадания в nfqueue. Нагрузка порта 3Гбит/сек.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

 

Да, интересно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

 

интересно.

Получается, не будет необходимости держать кучу записей в таблице маршрутизации? (как бонус)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Получается, не будет необходимости держать кучу записей в таблице маршрутизации? (как бонус)

 

Да

Но при этом зеркалировать ВЕСЬ исходящий внешний трафик (а возможно и входящий ?) на nfqfilter

 

Что проще - ХЗ.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

 

интересно.

Получается, не будет необходимости держать кучу записей в таблице маршрутизации? (как бонус)

 

Придется держать только маршруты, которые блокируются по ip (отправляем их в /dev/null).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите пожалуйста по сборке в debian x86_64. Poco версии 1.7.5. Собирал и без параметров, и с "--static". Poco собирается и устанавливается.

Но при конфигурировании nfqfilter ошибка:

...
checking Poco/Util/Timer.h usability... yes
checking Poco/Util/Timer.h presence... yes
checking for Poco/Util/Timer.h... yes
checking for main in -lPocoFoundation... yes
configure: error: linking with PocoFoundation failed.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите пожалуйста по сборке в debian x86_64. Poco версии 1.7.5. Собирал и без параметров, и с "--static". Poco собирается и устанавливается.

Но при конфигурировании nfqfilter ошибка:

...
checking Poco/Util/Timer.h usability... yes
checking Poco/Util/Timer.h presence... yes
checking for Poco/Util/Timer.h... yes
checking for main in -lPocoFoundation... yes
configure: error: linking with PocoFoundation failed.

 

Смотрите config.log для поиска причины.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976

Здравствуйте!

 

Спасибо за софт, он прекрасен!

 

Я написал свой парсер для файла дампа ркн и генерирую для nfqfilter файлы (url, domains, ssl_domeins и т.д)!

у меня к Вам 2 вопроса:

1. Не баняться некоторые домены https (все url что по ssl я обрезаю до домена и баню целиком домен, черевато, ну да ладно), как я понимаю это нормально (у тех. что d ssl пакете нет server_name )?

2. Некоторые url http у меня тоже не блокируются, как их нужно готовить для nfqfilter? Например не баниться (http://BigCinema-HD.tv/serialy/1203-serial-molodezhka-3-sezon-31-seriya.html, так же те url в конце у которых # аля blabla.ru/index.php#). Могу отправить еще примеры!

 

Спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976

Здравствуйте!

 

Спасибо за софт, он прекрасен!

 

Я написал свой парсер для файла дампа ркн и генерирую для nfqfilter файлы (url, domains, ssl_domeins и т.д)!

у меня к Вам 2 вопроса:

1. Не баняться некоторые домены https (все url что по ssl я обрезаю до домена и баню целиком домен, черевато, ну да ладно), как я понимаю это нормально (у тех. что d ssl пакете нет server_name )?

2. Некоторые url http у меня тоже не блокируются, как их нужно готовить для nfqfilter? Например не баниться (http://BigCinema-HD.tv/serialy/1203-serial-molodezhka-3-sezon-31-seriya.html, так же те url в конце у которых # аля blabla.ru/index.php#). Могу отправить еще примеры!

 

Спасибо!

 

Для nfqfilter имеется конфигуратор, который всё делает как надо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как и обещал, представляю вашему вниманию фильтр extFilter, использующий DPDK, и работающий с зеркалом исходящего трафика от пользователей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как и обещал, представляю вашему вниманию фильтр extFilter, использующий DPDK, и работающий с зеркалом исходящего трафика от пользователей.

 

Спасибо! А можно еще пример внедрения с iptables\ebtables и vmbr на Linux, тут даже вроде писали про то что подходит инструкция от карбона — http://forum.nag.ru/forum/index.php?showtopic=79886&view=findpost&p=1259090

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас