Jump to content
Калькуляторы
Блокировка веб ресурса  

546 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

1. Регаешься тут: https://portal.rfc-revizor.ru "

 

 

подскажите, а где взять этот ключ что просит при регистрации? в выгрузке что делает zapret его можно увидеть?

Share this post


Link to post
Share on other sites

подскажите, а где взять этот ключ что просит при регистрации?

Это ключ, который выдается сервисом выгрузки на запрос sendRequest.

Возьмите из свежих логов.

Share this post


Link to post
Share on other sites

Добрый день.

Тестирую nfqfilter последней версии.

В данный момент он допускает несколько пропусков. Конкретно сегодня 7.

Все пропуски — ip-адреса, например http://195.154.51.124.

Правильно ли я понимаю, что соответствующие ip-адресам записи должны быть в файле hosts? Но их там нет, файл содержит буквально несколько адресов с портами. Формируется новый файл hosts регулярно, вместе с domains, urls, которые содержат всё, что нужно.

Подскажите, пожалуйста, что я упускаю.

Заранее благодарю за помощь.

Share this post


Link to post
Share on other sites

Добрый день.

Тестирую nfqfilter последней версии.

В данный момент он допускает несколько пропусков. Конкретно сегодня 7.

Все пропуски — ip-адреса, например http://195.154.51.124.

Правильно ли я понимаю, что соответствующие ip-адресам записи должны быть в файле hosts? Но их там нет, файл содержит буквально несколько адресов с портами. Формируется новый файл hosts регулярно, вместе с domains, urls, которые содержат всё, что нужно.

Подскажите, пожалуйста, что я упускаю.

Заранее благодарю за помощь.

Этот ip должен квагой заблокироваться

Share this post


Link to post
Share on other sites

А как используя nfqfilter заблочить ип через квагу? что то по конфигу ничего такого нет.

Share this post


Link to post
Share on other sites

Доброго времени суток всем. Юзаю в тестовом режиме nfqfilter, вроде всё норм, но без квагги. Сейчас пытаюсь прикрутить кваггу, но хз, что не так, при запуске скрипта make_files.pl, скрипт может сутки висеть, и в кваггу добавляются где то 700-900 ip адресов. Как можно посмотреть что ему не хватает, что бы всё добавить? Заметил еще, что появился еще extFilter, что лучше юзать nfqfilter или переходить на extFilter?

как я понял, из всего что тут тесть, Вам нужен extFilter, он как раз для вашей задачи.

 

поковырялся в файле rkn.conf и скрипт начал отрабатывать без зависания, и все 45000 ip адресов попали в конфиг квагги, но только как анонсированные сети, т.е. network 1.1.1.1 и т.д., а вот маршруты созданы только для 900 ip адресов. видимо что то не так я в конфиге сделал. что нужно указывать в quagga_config=? путь к bgpd.conf? вроде все норм, но почему маршруты не все? или может так и должно быть?

Share this post


Link to post
Share on other sites

это надо использовать extfilter получается?

Не обязательно

Share this post


Link to post
Share on other sites

Доброго времени суток всем. Юзаю в тестовом режиме nfqfilter, вроде всё норм, но без квагги. Сейчас пытаюсь прикрутить кваггу, но хз, что не так, при запуске скрипта make_files.pl, скрипт может сутки висеть, и в кваггу добавляются где то 700-900 ip адресов. Как можно посмотреть что ему не хватает, что бы всё добавить? Заметил еще, что появился еще extFilter, что лучше юзать nfqfilter или переходить на extFilter?

 

Проверяли эффективность блокировки ревизором?

Использовать BGP что бы заворачивать трафик по IP на nfqfilter, будет не очень эффективно, сейчас если использовать фильтрацию по IP из реестра, не заблокированными остаются сотни URL и у Роскомнадзора возникают вопросы к оператору, использование дополнительно резолвинга доменных имен повышает эффективность, но недостаточно, многие сайты используют CloudFare c их сетью CDN, ip адреса сайтов быстро меняются.

 

Самыми эффективными способами фильтрации с точки зрения Ревизора по убыванию:

1. Установка системы фильтрации в разрыв, где система фильтрации подключена как L2 бридж. Результат близится к 100% (наверно у nfqfilter будет аналогичный результат, если заворачивать весь трафик абонентов)

2. Зеркалирование всего трафика на систему фильтрации, чуть менее эффективно первого варианта (extFilter)

3. Грубая фильтрация трафика по IP с дальнейшим перенаправлением для более точной фильтрации в систему фильтрации. Результат более 95% - высокая вероятность штрафа от РКН.

 

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

Edited by Prototype-X

Share this post


Link to post
Share on other sites

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

DNSSEC сделает это бессмысленным, и скорее всего достаточно скоро.

Share this post


Link to post
Share on other sites

Доброго времени суток всем. Юзаю в тестовом режиме nfqfilter, вроде всё норм, но без квагги. Сейчас пытаюсь прикрутить кваггу, но хз, что не так, при запуске скрипта make_files.pl, скрипт может сутки висеть, и в кваггу добавляются где то 700-900 ip адресов. Как можно посмотреть что ему не хватает, что бы всё добавить? Заметил еще, что появился еще extFilter, что лучше юзать nfqfilter или переходить на extFilter?

 

Проверяли эффективность блокировки ревизором?

Использовать BGP что бы заворачивать трафик по IP на nfqfilter, будет не очень эффективно, сейчас если использовать фильтрацию по IP из реестра, не заблокированными остаются сотни URL и у Роскомнадзора возникают вопросы к оператору, использование дополнительно резолвинга доменных имен повышает эффективность, но недостаточно, многие сайты используют CloudFare c их сетью CDN, ip адреса сайтов быстро меняются.

 

Самыми эффективными способами фильтрации с точки зрения Ревизора по убыванию:

1. Установка системы фильтрации в разрыв, где система фильтрации подключена как L2 бридж. Результат близится к 100% (наверно у nfqfilter будет аналогичный результат, если заворачивать весь трафик абонентов)

2. Зеркалирование всего трафика на систему фильтрации, чуть менее эффективно первого варианта (extFilter)

3. Грубая фильтрация трафика по IP с дальнейшим перенаправлением для более точной фильтрации в систему фильтрации. Результат более 95% - высокая вероятность штрафа от РКН.

 

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

 

У меня как раз таки к компу с nfqfilter и подключен ревизор. как ревизором можно проверить эффективность? в личном кабинете оператора ничего не появляется. В данный момент nfqfilter блокирует по доменам, но в дампе ркн есть еще ip адреса, вот для ip адресов и хотел прикрутить кваггу, или ркн не придирается к ip? помимо этого домены еще блочит DNS.

Share this post


Link to post
Share on other sites

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

DNSSEC сделает это бессмысленным, и скорее всего достаточно скоро.

Следуя этой логике системы а ля tor делают всю Вашу систему фильтрации бессмысленой и уже сейчас. ;)

 

Кстати не нужно перенаправлять DNS, ревизор использует dns провайдера.

У меня DNS фильтрация https ссылок плюс nfqfilter даёт хороший результат.

Share this post


Link to post
Share on other sites

У меня как раз таки к компу с nfqfilter и подключен ревизор. как ревизором можно проверить эффективность? в личном кабинете оператора ничего не появляется. В данный момент nfqfilter блокирует по доменам, но в дампе ркн есть еще ip адреса, вот для ip адресов и хотел прикрутить кваггу, или ркн не придирается к ip? помимо этого домены еще блочит DNS.

 

1. Логинитесь сюда https://portal.rfc-revizor.ru

2. Проверяете что ваш агент активен: Выбираете в меню слева "Мои агенты" -> статус агента -> Активен. Последний IP: 1.1.1.1. В сети.

3. Выбираете в меню слева "Мои отчеты по качеству блокировок" -> подать запрос -> выбираете дату отчета

4. Идете на перекур/ковыряетесь в носу/откидываетесь в кресле.

5. Обновляете страничку появляется ссылка на скачивание отчета

6. Profit!

 

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

DNSSEC сделает это бессмысленным, и скорее всего достаточно скоро.

Следуя этой логике системы а ля tor делают всю Вашу систему фильтрации бессмысленой и уже сейчас. ;)

 

Кстати не нужно перенаправлять DNS, ревизор использует dns провайдера.

У меня DNS фильтрация https ссылок плюс nfqfilter даёт хороший результат.

Хороший это как? Сколько не заблокированных URL?

Edited by Prototype-X

Share this post


Link to post
Share on other sites

ДНС уже давно не трогаю. Но весь трафик ревизора пропускаю через nfqfilter без анонсов ip

Share this post


Link to post
Share on other sites

поковырялся в файле rkn.conf и скрипт начал отрабатывать без зависания, и все 45000 ip адресов попали в конфиг квагги, но только как анонсированные сети, т.е. network 1.1.1.1 и т.д., а вот маршруты созданы только для 900 ip адресов. видимо что то не так я в конфиге сделал. что нужно указывать в quagga_config=? путь к bgpd.conf? вроде все норм, но почему маршруты не все? или может так и должно быть?

Так и должно быть.

 

Есть сети, которые должны анонсироваться бордеру (через network) для перенаправления трафика

и есть IP, подлежащие фильтрации (роутинг в null)

 

IP с роутингом в null также обьявляются через network <IP>

Share this post


Link to post
Share on other sites

 

Проверяли эффективность блокировки ревизором?

Использовать BGP что бы заворачивать трафик по IP на nfqfilter, будет не очень эффективно, сейчас если использовать фильтрацию по IP из реестра, не заблокированными остаются сотни URL и у Роскомнадзора возникают вопросы к оператору, использование дополнительно резолвинга доменных имен повышает эффективность, но недостаточно, многие сайты используют CloudFare c их сетью CDN, ip адреса сайтов быстро меняются.

 

Самыми эффективными способами фильтрации с точки зрения Ревизора по убыванию:

1. Установка системы фильтрации в разрыв, где система фильтрации подключена как L2 бридж. Результат близится к 100% (наверно у nfqfilter будет аналогичный результат, если заворачивать весь трафик абонентов)

2. Зеркалирование всего трафика на систему фильтрации, чуть менее эффективно первого варианта (extFilter)

3. Грубая фильтрация трафика по IP с дальнейшим перенаправлением для более точной фильтрации в систему фильтрации. Результат более 95% - высокая вероятность штрафа от РКН.

 

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

 

У меня раньше специально префиксы cloudflare и amazon заворачивались на фильтр. (Руками прописал анонсы)

whois -h whois.radb.net -T route -i origin AS16509 | egrep "^route" | awk '{print $2}'

Share this post


Link to post
Share on other sites

поковырялся в файле rkn.conf и скрипт начал отрабатывать без зависания, и все 45000 ip адресов попали в конфиг квагги, но только как анонсированные сети, т.е. network 1.1.1.1 и т.д., а вот маршруты созданы только для 900 ip адресов. видимо что то не так я в конфиге сделал. что нужно указывать в quagga_config=? путь к bgpd.conf? вроде все норм, но почему маршруты не все? или может так и должно быть?

Так и должно быть.

 

Есть сети, которые должны анонсироваться бордеру (через network) для перенаправления трафика

и есть IP, подлежащие фильтрации (роутинг в null)

 

IP с роутингом в null также обьявляются через network <IP>

 

Анонсирует то он 45000 адресов, а в Null уходят от силы 900, остальные 44100 адресов не блокируется. По какому принципу он определяет какие ip блочить, а какие нет?

Может уже не по теме вопрос, на сайте ревизора скачал отчет, где был указан якобы не заблокированный урл, по факту он блокируется, проверил через браузер, ip не блокируется.

Share this post


Link to post
Share on other sites

Анонсирует то он 45000 адресов, а в Null уходят от силы 900, остальные 44100 адресов не блокируется. По какому принципу он определяет какие ip блочить, а какие нет?

Может уже не по теме вопрос, на сайте ревизора скачал отчет, где был указан якобы не заблокированный урл, по факту он блокируется, проверил через браузер, ip не блокируется.

Трафик на <44100> адресов должен пройти через хост с nfqfilter (включая 900 в null)

Заворот на nfqfilter на фильтрующем хосте прописывается через iptables

(см. первоисточник https://github.com/max197616/nfqfilter и второисточник :-) https://github.com/Vans1/nfqfilter)

 

Отчет - проверяйте дату внесения в реестр пропущенного URL, дату пропуска, дату реального появления в реестре и косяки в самом реестре (типа URL с со строчными и прописными буквами, длинными строками и т.д.)

Share this post


Link to post
Share on other sites

для 300-400мбит трафика исходящего

сколько должно быть - flowhash_size

и вообще 8 ядер и 8гб оперативы хватит?

периодически ловлю пропусков по 100

Edited by himikrzn

Share this post


Link to post
Share on other sites

для 300-400мбит трафика исходящего

сколько должно быть - flowhash_size

и вообще 8 ядер и 8гб оперативы хватит?

периодически ловлю пропусков по 100

 

Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС.

Share this post


Link to post
Share on other sites

Добрый день, предполагаю использовать nfqfilter, подскажите, есть штатные средства данной утилиты, чтобы из конфига(nfqfilter,make_files,zapret) завернуть определеные сети через bgp на сервер с nfqfilter, или использовать квагу и отдельно прописать сети?

PS:extfilter использовать не могу, трафика много, а свободных 10г портов нет

Share this post


Link to post
Share on other sites

 

Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС.

 

А как грамотно отдать ядра ТОЛЬКО под extfilter? и ещё выделить 2 гига всего, или несколько страниц по 2 гига?

 

 

Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС.

 

А как грамотно отдать ядра ТОЛЬКО под extfilter? и ещё выделить 2 гига всего, или несколько страниц по 2 гига?

Share this post


Link to post
Share on other sites

для 300-400мбит трафика исходящего

сколько должно быть - flowhash_size

и вообще 8 ядер и 8гб оперативы хватит?

периодически ловлю пропусков по 100

 

Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС.

 

сделал

но вот все равно ловлю пропуски

например - http://www.bestgore.com/beheading/syria-man-swiftbeheading-al-nusra-jihadists/

хотя в urls он есть

единственное, патчи не применял, по 5 часов жду - и нефига. применяю командой patch

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now