Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Странно, проверил у себя - блочатся нормально.

 

У вас блочится потому что браузер, скорее всего убирает точку в конце URL.

Проблема только с URL оканчивающими на '/.'

 

Например через curl (curl -v expirience.ru/kak-sdelat-kastet/.) пролетает свободно при match_url_exactly = false, хотя должно блокировать.

 

GET /kak-sdelat-kastet/. HTTP/1.1

> User-Agent: curl/7.29.0

> Host: expirience.ru

> Accept: */*

>

< HTTP/1.1 200 OK

< Server: nginx/1.2.1

< Date: Wed, 24 Aug 2016 12:38:40 GMT

< Content-Type: text/html;charset=UTF-8

...

...

 

Пролетает так же

curl -v expirience.ru/kak-sdelat-kastet

> GET /kak-sdelat-kastet HTTP/1.1

> User-Agent: curl/7.29.0

> Host: expirience.ru

> Accept: */*

>

< HTTP/1.1 200 OK

< Server: nginx/1.2.1

< Date: Wed, 24 Aug 2016 12:43:58 GMT

< Content-Type: text/html;charset=UTF-8

...

...

 

А вот curl -v expirience.ru/kak-sdelat-kastet/ - блокируется, но параметр url_additional_info=url как-то не правильно работает в последней версии.

 

> GET /kak-sdelat-kastet/ HTTP/1.1

> User-Agent: curl/7.29.0

> Host: expirience.ru

> Accept: */*

>

< HTTP/1.1 302 Moved Temporarily

< Location: hXXp://www.example.com/block.html?url=http://expirience.ru/kak-sdelat-kastet/http://expirience.ru/kak-sdelat-kastet/

< Connection: close

 

url повторяется два раза.

С доменами такой проблемы не наблюдаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Временно добавил строки

 

$url11 =~ s/\/$//;

$url2 =~ s/\/$//;

 

в nfqfilter_config для удаление последнего слеша "/".

URL с окончанием /. у меня заблокировались.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Временно добавил строки

 

$url11 =~ s/\/$//;

$url2 =~ s/\/$//;

 

в nfqfilter_config для удаление последнего слеша "/".

URL с окончанием /. у меня заблокировались.

 

Я добавил удаление /. в конце url.

Изменено пользователем max1976

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2016-08-25 12:10:26.132 [28291] Information Application - Starting up on queue: 4
2016-08-25 12:10:26.141 [28291] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:26.142 [28291] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:26.258 [28291] Fatal Application - Bad url format in line 1797
2016-08-25 12:10:49.719 [28304] Information Application - Starting up on queue: 4
2016-08-25 12:10:49.730 [28304] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:49.732 [28304] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:49.848 [28304] Fatal Application - Bad url format in line 1797
2016-08-25 12:11:19.910 [28386] Information Application - Starting up on queue: 4
2016-08-25 12:11:19.921 [28386] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:11:19.923 [28386] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:11:20.049 [28386] Fatal Application - Bad url format in line 1797

 

Для всех строчек в файле urls где нет в конце "/" nfqfilter не может запуститься.

Изменено пользователем hsvt

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2016-08-25 12:10:26.132 [28291] Information Application - Starting up on queue: 4
2016-08-25 12:10:26.141 [28291] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:26.142 [28291] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:26.258 [28291] Fatal Application - Bad url format in line 1797
2016-08-25 12:10:49.719 [28304] Information Application - Starting up on queue: 4
2016-08-25 12:10:49.730 [28304] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:49.732 [28304] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:49.848 [28304] Fatal Application - Bad url format in line 1797
2016-08-25 12:11:19.910 [28386] Information Application - Starting up on queue: 4
2016-08-25 12:11:19.921 [28386] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:11:19.923 [28386] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:11:20.049 [28386] Fatal Application - Bad url format in line 1797

 

Для всех строчек в файле urls где нет в конце "/" nfqfilter не может запуститься.

 

Используйте последнюю версию nfqfilter.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2016-08-25 12:10:26.132 [28291] Information Application - Starting up on queue: 4
2016-08-25 12:10:26.141 [28291] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:26.142 [28291] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:26.258 [28291] Fatal Application - Bad url format in line 1797
2016-08-25 12:10:49.719 [28304] Information Application - Starting up on queue: 4
2016-08-25 12:10:49.730 [28304] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:10:49.732 [28304] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:10:49.848 [28304] Fatal Application - Bad url format in line 1797
2016-08-25 12:11:19.910 [28386] Information Application - Starting up on queue: 4
2016-08-25 12:11:19.921 [28386] Warning Application - Pattern xn--80aafc2bcqz.xn--p1ai already present in domains list
2016-08-25 12:11:19.923 [28386] Warning Application - Pattern xn--e1awew.xn--p1ai already present in domains list
2016-08-25 12:11:20.049 [28386] Fatal Application - Bad url format in line 1797

 

Для всех строчек в файле urls где нет в конце "/" nfqfilter не может запуститься.

 

Используйте последнюю версию nfqfilter.

 

Речь как раз про последнюю.

 

root@blocked:/opt/nfqfilter$ git rev-parse HEAD
bf3259929f5ab5b6f83a6c2d9a89549f64fa973f

 

Откатил конфигуратор на предыдущий коммит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Речь как раз про последнюю.

 

Вы что-то путаете. Посмотрите код nfqfilter, там уже нет текста такой ошибки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А проблема с запуском через крон не у кого не было? Что то ни в какую запускать на закачку и обновление не хочет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А проблема с запуском через крон не у кого не было? Что то ни в какую запускать на закачку и обновление не хочет.

было, модули перла не находил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А проблема с запуском через крон не у кого не было? Что то ни в какую запускать на закачку и обновление не хочет.

было, модули перла не находил.

 

А поподробнее? Просто если вручную то все хорошо запускается а через крон ни в какую

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А поподробнее? Просто если вручную то все хорошо запускается а через крон ни в какую

Нужна правильная переменная PATH. Пропишите настройки запуска скрипта примерно таким образом:

cat /etc/cron.d/zapret
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

35 * * * * root /path/to/zapret.pl

Изменено пользователем apog

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976, в файле настроек конфигуратора можно указать адреса DNS для локального блэклиста. Как правильно пользоваться этим блэклистом?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976, в файле настроек конфигуратора можно указать адреса DNS для локального блэклиста. Как правильно пользоваться этим блэклистом?

 

В конфигураторе больше нет поддержки блэклиста, его поддержка перенесена в zapret.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

 

У меня nfqfilter в режиме зеркала работает с марта. Никаких проблем с этим нет.

Снимаю исходящий трафик с 10Г SPAN порта коммутатора CISCO. Сетевка в мосте с вызовом iptables для попадания в nfqueue. Нагрузка порта 3Гбит/сек.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

 

Да, интересно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

 

интересно.

Получается, не будет необходимости держать кучу записей в таблице маршрутизации? (как бонус)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Получается, не будет необходимости держать кучу записей в таблице маршрутизации? (как бонус)

 

Да

Но при этом зеркалировать ВЕСЬ исходящий внешний трафик (а возможно и входящий ?) на nfqfilter

 

Что проще - ХЗ.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно ли кому-нибудь решение на базе nfqfilter не для nfqueue, а для зеркалированного трафика? Для работы с сетевой картой используется DPDK, поэтому производительность очень высокая.

 

интересно.

Получается, не будет необходимости держать кучу записей в таблице маршрутизации? (как бонус)

 

Придется держать только маршруты, которые блокируются по ip (отправляем их в /dev/null).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите пожалуйста по сборке в debian x86_64. Poco версии 1.7.5. Собирал и без параметров, и с "--static". Poco собирается и устанавливается.

Но при конфигурировании nfqfilter ошибка:

...
checking Poco/Util/Timer.h usability... yes
checking Poco/Util/Timer.h presence... yes
checking for Poco/Util/Timer.h... yes
checking for main in -lPocoFoundation... yes
configure: error: linking with PocoFoundation failed.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите пожалуйста по сборке в debian x86_64. Poco версии 1.7.5. Собирал и без параметров, и с "--static". Poco собирается и устанавливается.

Но при конфигурировании nfqfilter ошибка:

...
checking Poco/Util/Timer.h usability... yes
checking Poco/Util/Timer.h presence... yes
checking for Poco/Util/Timer.h... yes
checking for main in -lPocoFoundation... yes
configure: error: linking with PocoFoundation failed.

 

Смотрите config.log для поиска причины.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976

Здравствуйте!

 

Спасибо за софт, он прекрасен!

 

Я написал свой парсер для файла дампа ркн и генерирую для nfqfilter файлы (url, domains, ssl_domeins и т.д)!

у меня к Вам 2 вопроса:

1. Не баняться некоторые домены https (все url что по ssl я обрезаю до домена и баню целиком домен, черевато, ну да ладно), как я понимаю это нормально (у тех. что d ssl пакете нет server_name )?

2. Некоторые url http у меня тоже не блокируются, как их нужно готовить для nfqfilter? Например не баниться (http://BigCinema-HD.tv/serialy/1203-serial-molodezhka-3-sezon-31-seriya.html, так же те url в конце у которых # аля blabla.ru/index.php#). Могу отправить еще примеры!

 

Спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976

Здравствуйте!

 

Спасибо за софт, он прекрасен!

 

Я написал свой парсер для файла дампа ркн и генерирую для nfqfilter файлы (url, domains, ssl_domeins и т.д)!

у меня к Вам 2 вопроса:

1. Не баняться некоторые домены https (все url что по ssl я обрезаю до домена и баню целиком домен, черевато, ну да ладно), как я понимаю это нормально (у тех. что d ssl пакете нет server_name )?

2. Некоторые url http у меня тоже не блокируются, как их нужно готовить для nfqfilter? Например не баниться (http://BigCinema-HD.tv/serialy/1203-serial-molodezhka-3-sezon-31-seriya.html, так же те url в конце у которых # аля blabla.ru/index.php#). Могу отправить еще примеры!

 

Спасибо!

 

Для nfqfilter имеется конфигуратор, который всё делает как надо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как и обещал, представляю вашему вниманию фильтр extFilter, использующий DPDK, и работающий с зеркалом исходящего трафика от пользователей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как и обещал, представляю вашему вниманию фильтр extFilter, использующий DPDK, и работающий с зеркалом исходящего трафика от пользователей.

 

Спасибо! А можно еще пример внедрения с iptables\ebtables и vmbr на Linux, тут даже вроде писали про то что подходит инструкция от карбона — http://forum.nag.ru/forum/index.php?showtopic=79886&view=findpost&p=1259090

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.