Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

1. Регаешься тут: https://portal.rfc-revizor.ru "

 

 

подскажите, а где взять этот ключ что просит при регистрации? в выгрузке что делает zapret его можно увидеть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

подскажите, а где взять этот ключ что просит при регистрации?

Это ключ, который выдается сервисом выгрузки на запрос sendRequest.

Возьмите из свежих логов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день.

Тестирую nfqfilter последней версии.

В данный момент он допускает несколько пропусков. Конкретно сегодня 7.

Все пропуски — ip-адреса, например http://195.154.51.124.

Правильно ли я понимаю, что соответствующие ip-адресам записи должны быть в файле hosts? Но их там нет, файл содержит буквально несколько адресов с портами. Формируется новый файл hosts регулярно, вместе с domains, urls, которые содержат всё, что нужно.

Подскажите, пожалуйста, что я упускаю.

Заранее благодарю за помощь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день.

Тестирую nfqfilter последней версии.

В данный момент он допускает несколько пропусков. Конкретно сегодня 7.

Все пропуски — ip-адреса, например http://195.154.51.124.

Правильно ли я понимаю, что соответствующие ip-адресам записи должны быть в файле hosts? Но их там нет, файл содержит буквально несколько адресов с портами. Формируется новый файл hosts регулярно, вместе с domains, urls, которые содержат всё, что нужно.

Подскажите, пожалуйста, что я упускаю.

Заранее благодарю за помощь.

Этот ip должен квагой заблокироваться

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А как используя nfqfilter заблочить ип через квагу? что то по конфигу ничего такого нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А как используя nfqfilter заблочить ип через квагу? что то по конфигу ничего такого нет.

https://github.com/max197616/extfilter/tree/master/scripts/extfilter-quagga

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Доброго времени суток всем. Юзаю в тестовом режиме nfqfilter, вроде всё норм, но без квагги. Сейчас пытаюсь прикрутить кваггу, но хз, что не так, при запуске скрипта make_files.pl, скрипт может сутки висеть, и в кваггу добавляются где то 700-900 ip адресов. Как можно посмотреть что ему не хватает, что бы всё добавить? Заметил еще, что появился еще extFilter, что лучше юзать nfqfilter или переходить на extFilter?

как я понял, из всего что тут тесть, Вам нужен extFilter, он как раз для вашей задачи.

 

поковырялся в файле rkn.conf и скрипт начал отрабатывать без зависания, и все 45000 ip адресов попали в конфиг квагги, но только как анонсированные сети, т.е. network 1.1.1.1 и т.д., а вот маршруты созданы только для 900 ip адресов. видимо что то не так я в конфиге сделал. что нужно указывать в quagga_config=? путь к bgpd.conf? вроде все норм, но почему маршруты не все? или может так и должно быть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

это надо использовать extfilter получается?

Не обязательно

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Доброго времени суток всем. Юзаю в тестовом режиме nfqfilter, вроде всё норм, но без квагги. Сейчас пытаюсь прикрутить кваггу, но хз, что не так, при запуске скрипта make_files.pl, скрипт может сутки висеть, и в кваггу добавляются где то 700-900 ip адресов. Как можно посмотреть что ему не хватает, что бы всё добавить? Заметил еще, что появился еще extFilter, что лучше юзать nfqfilter или переходить на extFilter?

 

Проверяли эффективность блокировки ревизором?

Использовать BGP что бы заворачивать трафик по IP на nfqfilter, будет не очень эффективно, сейчас если использовать фильтрацию по IP из реестра, не заблокированными остаются сотни URL и у Роскомнадзора возникают вопросы к оператору, использование дополнительно резолвинга доменных имен повышает эффективность, но недостаточно, многие сайты используют CloudFare c их сетью CDN, ip адреса сайтов быстро меняются.

 

Самыми эффективными способами фильтрации с точки зрения Ревизора по убыванию:

1. Установка системы фильтрации в разрыв, где система фильтрации подключена как L2 бридж. Результат близится к 100% (наверно у nfqfilter будет аналогичный результат, если заворачивать весь трафик абонентов)

2. Зеркалирование всего трафика на систему фильтрации, чуть менее эффективно первого варианта (extFilter)

3. Грубая фильтрация трафика по IP с дальнейшим перенаправлением для более точной фильтрации в систему фильтрации. Результат более 95% - высокая вероятность штрафа от РКН.

 

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

Изменено пользователем Prototype-X

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

DNSSEC сделает это бессмысленным, и скорее всего достаточно скоро.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Доброго времени суток всем. Юзаю в тестовом режиме nfqfilter, вроде всё норм, но без квагги. Сейчас пытаюсь прикрутить кваггу, но хз, что не так, при запуске скрипта make_files.pl, скрипт может сутки висеть, и в кваггу добавляются где то 700-900 ip адресов. Как можно посмотреть что ему не хватает, что бы всё добавить? Заметил еще, что появился еще extFilter, что лучше юзать nfqfilter или переходить на extFilter?

 

Проверяли эффективность блокировки ревизором?

Использовать BGP что бы заворачивать трафик по IP на nfqfilter, будет не очень эффективно, сейчас если использовать фильтрацию по IP из реестра, не заблокированными остаются сотни URL и у Роскомнадзора возникают вопросы к оператору, использование дополнительно резолвинга доменных имен повышает эффективность, но недостаточно, многие сайты используют CloudFare c их сетью CDN, ip адреса сайтов быстро меняются.

 

Самыми эффективными способами фильтрации с точки зрения Ревизора по убыванию:

1. Установка системы фильтрации в разрыв, где система фильтрации подключена как L2 бридж. Результат близится к 100% (наверно у nfqfilter будет аналогичный результат, если заворачивать весь трафик абонентов)

2. Зеркалирование всего трафика на систему фильтрации, чуть менее эффективно первого варианта (extFilter)

3. Грубая фильтрация трафика по IP с дальнейшим перенаправлением для более точной фильтрации в систему фильтрации. Результат более 95% - высокая вероятность штрафа от РКН.

 

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

 

У меня как раз таки к компу с nfqfilter и подключен ревизор. как ревизором можно проверить эффективность? в личном кабинете оператора ничего не появляется. В данный момент nfqfilter блокирует по доменам, но в дампе ркн есть еще ip адреса, вот для ip адресов и хотел прикрутить кваггу, или ркн не придирается к ip? помимо этого домены еще блочит DNS.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

DNSSEC сделает это бессмысленным, и скорее всего достаточно скоро.

Следуя этой логике системы а ля tor делают всю Вашу систему фильтрации бессмысленой и уже сейчас. ;)

 

Кстати не нужно перенаправлять DNS, ревизор использует dns провайдера.

У меня DNS фильтрация https ссылок плюс nfqfilter даёт хороший результат.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У меня как раз таки к компу с nfqfilter и подключен ревизор. как ревизором можно проверить эффективность? в личном кабинете оператора ничего не появляется. В данный момент nfqfilter блокирует по доменам, но в дампе ркн есть еще ip адреса, вот для ip адресов и хотел прикрутить кваггу, или ркн не придирается к ip? помимо этого домены еще блочит DNS.

 

1. Логинитесь сюда https://portal.rfc-revizor.ru

2. Проверяете что ваш агент активен: Выбираете в меню слева "Мои агенты" -> статус агента -> Активен. Последний IP: 1.1.1.1. В сети.

3. Выбираете в меню слева "Мои отчеты по качеству блокировок" -> подать запрос -> выбираете дату отчета

4. Идете на перекур/ковыряетесь в носу/откидываетесь в кресле.

5. Обновляете страничку появляется ссылка на скачивание отчета

6. Profit!

 

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

DNSSEC сделает это бессмысленным, и скорее всего достаточно скоро.

Следуя этой логике системы а ля tor делают всю Вашу систему фильтрации бессмысленой и уже сейчас. ;)

 

Кстати не нужно перенаправлять DNS, ревизор использует dns провайдера.

У меня DNS фильтрация https ссылок плюс nfqfilter даёт хороший результат.

Хороший это как? Сколько не заблокированных URL?

Изменено пользователем Prototype-X

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ДНС уже давно не трогаю. Но весь трафик ревизора пропускаю через nfqfilter без анонсов ip

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

поковырялся в файле rkn.conf и скрипт начал отрабатывать без зависания, и все 45000 ip адресов попали в конфиг квагги, но только как анонсированные сети, т.е. network 1.1.1.1 и т.д., а вот маршруты созданы только для 900 ip адресов. видимо что то не так я в конфиге сделал. что нужно указывать в quagga_config=? путь к bgpd.conf? вроде все норм, но почему маршруты не все? или может так и должно быть?

Так и должно быть.

 

Есть сети, которые должны анонсироваться бордеру (через network) для перенаправления трафика

и есть IP, подлежащие фильтрации (роутинг в null)

 

IP с роутингом в null также обьявляются через network <IP>

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Проверяли эффективность блокировки ревизором?

Использовать BGP что бы заворачивать трафик по IP на nfqfilter, будет не очень эффективно, сейчас если использовать фильтрацию по IP из реестра, не заблокированными остаются сотни URL и у Роскомнадзора возникают вопросы к оператору, использование дополнительно резолвинга доменных имен повышает эффективность, но недостаточно, многие сайты используют CloudFare c их сетью CDN, ip адреса сайтов быстро меняются.

 

Самыми эффективными способами фильтрации с точки зрения Ревизора по убыванию:

1. Установка системы фильтрации в разрыв, где система фильтрации подключена как L2 бридж. Результат близится к 100% (наверно у nfqfilter будет аналогичный результат, если заворачивать весь трафик абонентов)

2. Зеркалирование всего трафика на систему фильтрации, чуть менее эффективно первого варианта (extFilter)

3. Грубая фильтрация трафика по IP с дальнейшим перенаправлением для более точной фильтрации в систему фильтрации. Результат более 95% - высокая вероятность штрафа от РКН.

 

Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат.

 

У меня раньше специально префиксы cloudflare и amazon заворачивались на фильтр. (Руками прописал анонсы)

whois -h whois.radb.net -T route -i origin AS16509 | egrep "^route" | awk '{print $2}'

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

поковырялся в файле rkn.conf и скрипт начал отрабатывать без зависания, и все 45000 ip адресов попали в конфиг квагги, но только как анонсированные сети, т.е. network 1.1.1.1 и т.д., а вот маршруты созданы только для 900 ip адресов. видимо что то не так я в конфиге сделал. что нужно указывать в quagga_config=? путь к bgpd.conf? вроде все норм, но почему маршруты не все? или может так и должно быть?

Так и должно быть.

 

Есть сети, которые должны анонсироваться бордеру (через network) для перенаправления трафика

и есть IP, подлежащие фильтрации (роутинг в null)

 

IP с роутингом в null также обьявляются через network <IP>

 

Анонсирует то он 45000 адресов, а в Null уходят от силы 900, остальные 44100 адресов не блокируется. По какому принципу он определяет какие ip блочить, а какие нет?

Может уже не по теме вопрос, на сайте ревизора скачал отчет, где был указан якобы не заблокированный урл, по факту он блокируется, проверил через браузер, ip не блокируется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Анонсирует то он 45000 адресов, а в Null уходят от силы 900, остальные 44100 адресов не блокируется. По какому принципу он определяет какие ip блочить, а какие нет?

Может уже не по теме вопрос, на сайте ревизора скачал отчет, где был указан якобы не заблокированный урл, по факту он блокируется, проверил через браузер, ip не блокируется.

Трафик на <44100> адресов должен пройти через хост с nfqfilter (включая 900 в null)

Заворот на nfqfilter на фильтрующем хосте прописывается через iptables

(см. первоисточник https://github.com/max197616/nfqfilter и второисточник :-) https://github.com/Vans1/nfqfilter)

 

Отчет - проверяйте дату внесения в реестр пропущенного URL, дату пропуска, дату реального появления в реестре и косяки в самом реестре (типа URL с со строчными и прописными буквами, длинными строками и т.д.)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

для 300-400мбит трафика исходящего

сколько должно быть - flowhash_size

и вообще 8 ядер и 8гб оперативы хватит?

периодически ловлю пропусков по 100

Изменено пользователем himikrzn

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

для 300-400мбит трафика исходящего

сколько должно быть - flowhash_size

и вообще 8 ядер и 8гб оперативы хватит?

периодически ловлю пропусков по 100

 

Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день, предполагаю использовать nfqfilter, подскажите, есть штатные средства данной утилиты, чтобы из конфига(nfqfilter,make_files,zapret) завернуть определеные сети через bgp на сервер с nfqfilter, или использовать квагу и отдельно прописать сети?

PS:extfilter использовать не могу, трафика много, а свободных 10г портов нет

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС.

 

А как грамотно отдать ядра ТОЛЬКО под extfilter? и ещё выделить 2 гига всего, или несколько страниц по 2 гига?

 

 

Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС.

 

А как грамотно отдать ядра ТОЛЬКО под extfilter? и ещё выделить 2 гига всего, или несколько страниц по 2 гига?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

для 300-400мбит трафика исходящего

сколько должно быть - flowhash_size

и вообще 8 ядер и 8гб оперативы хватит?

периодически ловлю пропусков по 100

 

Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС.

 

сделал

но вот все равно ловлю пропуски

например - http://www.bestgore.com/beheading/syria-man-swiftbeheading-al-nusra-jihadists/

хотя в urls он есть

единственное, патчи не применял, по 5 часов жду - и нефига. применяю командой patch

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.