Cramac Опубликовано 14 марта, 2017 · Жалоба 1. Регаешься тут: https://portal.rfc-revizor.ru " подскажите, а где взять этот ключ что просит при регистрации? в выгрузке что делает zapret его можно увидеть? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 14 марта, 2017 · Жалоба подскажите, а где взять этот ключ что просит при регистрации? Это ключ, который выдается сервисом выгрузки на запрос sendRequest. Возьмите из свежих логов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tort Опубликовано 14 марта, 2017 · Жалоба Добрый день. Тестирую nfqfilter последней версии. В данный момент он допускает несколько пропусков. Конкретно сегодня 7. Все пропуски — ip-адреса, например http://195.154.51.124. Правильно ли я понимаю, что соответствующие ip-адресам записи должны быть в файле hosts? Но их там нет, файл содержит буквально несколько адресов с портами. Формируется новый файл hosts регулярно, вместе с domains, urls, которые содержат всё, что нужно. Подскажите, пожалуйста, что я упускаю. Заранее благодарю за помощь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 14 марта, 2017 · Жалоба Добрый день. Тестирую nfqfilter последней версии. В данный момент он допускает несколько пропусков. Конкретно сегодня 7. Все пропуски — ip-адреса, например http://195.154.51.124. Правильно ли я понимаю, что соответствующие ip-адресам записи должны быть в файле hosts? Но их там нет, файл содержит буквально несколько адресов с портами. Формируется новый файл hosts регулярно, вместе с domains, urls, которые содержат всё, что нужно. Подскажите, пожалуйста, что я упускаю. Заранее благодарю за помощь. Этот ip должен квагой заблокироваться Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 14 марта, 2017 · Жалоба А как используя nfqfilter заблочить ип через квагу? что то по конфигу ничего такого нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 14 марта, 2017 · Жалоба А как используя nfqfilter заблочить ип через квагу? что то по конфигу ничего такого нет. https://github.com/max197616/extfilter/tree/master/scripts/extfilter-quagga Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 14 марта, 2017 · Жалоба это надо использовать extfilter получается? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dragjj Опубликовано 14 марта, 2017 · Жалоба Доброго времени суток всем. Юзаю в тестовом режиме nfqfilter, вроде всё норм, но без квагги. Сейчас пытаюсь прикрутить кваггу, но хз, что не так, при запуске скрипта make_files.pl, скрипт может сутки висеть, и в кваггу добавляются где то 700-900 ip адресов. Как можно посмотреть что ему не хватает, что бы всё добавить? Заметил еще, что появился еще extFilter, что лучше юзать nfqfilter или переходить на extFilter? как я понял, из всего что тут тесть, Вам нужен extFilter, он как раз для вашей задачи. поковырялся в файле rkn.conf и скрипт начал отрабатывать без зависания, и все 45000 ip адресов попали в конфиг квагги, но только как анонсированные сети, т.е. network 1.1.1.1 и т.д., а вот маршруты созданы только для 900 ip адресов. видимо что то не так я в конфиге сделал. что нужно указывать в quagga_config=? путь к bgpd.conf? вроде все норм, но почему маршруты не все? или может так и должно быть? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 14 марта, 2017 · Жалоба это надо использовать extfilter получается? Не обязательно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 14 марта, 2017 · Жалоба понятно. надо осваивать квагу. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Prototype-X Опубликовано 14 марта, 2017 (изменено) · Жалоба Доброго времени суток всем. Юзаю в тестовом режиме nfqfilter, вроде всё норм, но без квагги. Сейчас пытаюсь прикрутить кваггу, но хз, что не так, при запуске скрипта make_files.pl, скрипт может сутки висеть, и в кваггу добавляются где то 700-900 ip адресов. Как можно посмотреть что ему не хватает, что бы всё добавить? Заметил еще, что появился еще extFilter, что лучше юзать nfqfilter или переходить на extFilter? Проверяли эффективность блокировки ревизором? Использовать BGP что бы заворачивать трафик по IP на nfqfilter, будет не очень эффективно, сейчас если использовать фильтрацию по IP из реестра, не заблокированными остаются сотни URL и у Роскомнадзора возникают вопросы к оператору, использование дополнительно резолвинга доменных имен повышает эффективность, но недостаточно, многие сайты используют CloudFare c их сетью CDN, ip адреса сайтов быстро меняются. Самыми эффективными способами фильтрации с точки зрения Ревизора по убыванию: 1. Установка системы фильтрации в разрыв, где система фильтрации подключена как L2 бридж. Результат близится к 100% (наверно у nfqfilter будет аналогичный результат, если заворачивать весь трафик абонентов) 2. Зеркалирование всего трафика на систему фильтрации, чуть менее эффективно первого варианта (extFilter) 3. Грубая фильтрация трафика по IP с дальнейшим перенаправлением для более точной фильтрации в систему фильтрации. Результат более 95% - высокая вероятность штрафа от РКН. Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат. Изменено 14 марта, 2017 пользователем Prototype-X Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 14 марта, 2017 · Жалоба Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат. DNSSEC сделает это бессмысленным, и скорее всего достаточно скоро. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dragjj Опубликовано 14 марта, 2017 · Жалоба Доброго времени суток всем. Юзаю в тестовом режиме nfqfilter, вроде всё норм, но без квагги. Сейчас пытаюсь прикрутить кваггу, но хз, что не так, при запуске скрипта make_files.pl, скрипт может сутки висеть, и в кваггу добавляются где то 700-900 ip адресов. Как можно посмотреть что ему не хватает, что бы всё добавить? Заметил еще, что появился еще extFilter, что лучше юзать nfqfilter или переходить на extFilter? Проверяли эффективность блокировки ревизором? Использовать BGP что бы заворачивать трафик по IP на nfqfilter, будет не очень эффективно, сейчас если использовать фильтрацию по IP из реестра, не заблокированными остаются сотни URL и у Роскомнадзора возникают вопросы к оператору, использование дополнительно резолвинга доменных имен повышает эффективность, но недостаточно, многие сайты используют CloudFare c их сетью CDN, ip адреса сайтов быстро меняются. Самыми эффективными способами фильтрации с точки зрения Ревизора по убыванию: 1. Установка системы фильтрации в разрыв, где система фильтрации подключена как L2 бридж. Результат близится к 100% (наверно у nfqfilter будет аналогичный результат, если заворачивать весь трафик абонентов) 2. Зеркалирование всего трафика на систему фильтрации, чуть менее эффективно первого варианта (extFilter) 3. Грубая фильтрация трафика по IP с дальнейшим перенаправлением для более точной фильтрации в систему фильтрации. Результат более 95% - высокая вероятность штрафа от РКН. Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат. У меня как раз таки к компу с nfqfilter и подключен ревизор. как ревизором можно проверить эффективность? в личном кабинете оператора ничего не появляется. В данный момент nfqfilter блокирует по доменам, но в дампе ркн есть еще ip адреса, вот для ip адресов и хотел прикрутить кваггу, или ркн не придирается к ip? помимо этого домены еще блочит DNS. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 14 марта, 2017 · Жалоба Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат. DNSSEC сделает это бессмысленным, и скорее всего достаточно скоро. Следуя этой логике системы а ля tor делают всю Вашу систему фильтрации бессмысленой и уже сейчас. ;) Кстати не нужно перенаправлять DNS, ревизор использует dns провайдера. У меня DNS фильтрация https ссылок плюс nfqfilter даёт хороший результат. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Prototype-X Опубликовано 14 марта, 2017 (изменено) · Жалоба У меня как раз таки к компу с nfqfilter и подключен ревизор. как ревизором можно проверить эффективность? в личном кабинете оператора ничего не появляется. В данный момент nfqfilter блокирует по доменам, но в дампе ркн есть еще ip адреса, вот для ip адресов и хотел прикрутить кваггу, или ркн не придирается к ip? помимо этого домены еще блочит DNS. 1. Логинитесь сюда https://portal.rfc-revizor.ru 2. Проверяете что ваш агент активен: Выбираете в меню слева "Мои агенты" -> статус агента -> Активен. Последний IP: 1.1.1.1. В сети. 3. Выбираете в меню слева "Мои отчеты по качеству блокировок" -> подать запрос -> выбираете дату отчета 4. Идете на перекур/ковыряетесь в носу/откидываетесь в кресле. 5. Обновляете страничку появляется ссылка на скачивание отчета 6. Profit! Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат. DNSSEC сделает это бессмысленным, и скорее всего достаточно скоро. Следуя этой логике системы а ля tor делают всю Вашу систему фильтрации бессмысленой и уже сейчас. ;) Кстати не нужно перенаправлять DNS, ревизор использует dns провайдера. У меня DNS фильтрация https ссылок плюс nfqfilter даёт хороший результат. Хороший это как? Сколько не заблокированных URL? Изменено 14 марта, 2017 пользователем Prototype-X Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 14 марта, 2017 · Жалоба ДНС уже давно не трогаю. Но весь трафик ревизора пропускаю через nfqfilter без анонсов ip Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AN111 Опубликовано 15 марта, 2017 · Жалоба поковырялся в файле rkn.conf и скрипт начал отрабатывать без зависания, и все 45000 ip адресов попали в конфиг квагги, но только как анонсированные сети, т.е. network 1.1.1.1 и т.д., а вот маршруты созданы только для 900 ip адресов. видимо что то не так я в конфиге сделал. что нужно указывать в quagga_config=? путь к bgpd.conf? вроде все норм, но почему маршруты не все? или может так и должно быть? Так и должно быть. Есть сети, которые должны анонсироваться бордеру (через network) для перенаправления трафика и есть IP, подлежащие фильтрации (роутинг в null) IP с роутингом в null также обьявляются через network <IP> Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 15 марта, 2017 · Жалоба Проверяли эффективность блокировки ревизором? Использовать BGP что бы заворачивать трафик по IP на nfqfilter, будет не очень эффективно, сейчас если использовать фильтрацию по IP из реестра, не заблокированными остаются сотни URL и у Роскомнадзора возникают вопросы к оператору, использование дополнительно резолвинга доменных имен повышает эффективность, но недостаточно, многие сайты используют CloudFare c их сетью CDN, ip адреса сайтов быстро меняются. Самыми эффективными способами фильтрации с точки зрения Ревизора по убыванию: 1. Установка системы фильтрации в разрыв, где система фильтрации подключена как L2 бридж. Результат близится к 100% (наверно у nfqfilter будет аналогичный результат, если заворачивать весь трафик абонентов) 2. Зеркалирование всего трафика на систему фильтрации, чуть менее эффективно первого варианта (extFilter) 3. Грубая фильтрация трафика по IP с дальнейшим перенаправлением для более точной фильтрации в систему фильтрации. Результат более 95% - высокая вероятность штрафа от РКН. Есть еще вариант с перехватом всех DNS запросов клиентов и перенаправление на свои DNS сервера, хз какой результат. У меня раньше специально префиксы cloudflare и amazon заворачивались на фильтр. (Руками прописал анонсы) whois -h whois.radb.net -T route -i origin AS16509 | egrep "^route" | awk '{print $2}' Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dragjj Опубликовано 15 марта, 2017 · Жалоба поковырялся в файле rkn.conf и скрипт начал отрабатывать без зависания, и все 45000 ip адресов попали в конфиг квагги, но только как анонсированные сети, т.е. network 1.1.1.1 и т.д., а вот маршруты созданы только для 900 ip адресов. видимо что то не так я в конфиге сделал. что нужно указывать в quagga_config=? путь к bgpd.conf? вроде все норм, но почему маршруты не все? или может так и должно быть? Так и должно быть. Есть сети, которые должны анонсироваться бордеру (через network) для перенаправления трафика и есть IP, подлежащие фильтрации (роутинг в null) IP с роутингом в null также обьявляются через network <IP> Анонсирует то он 45000 адресов, а в Null уходят от силы 900, остальные 44100 адресов не блокируется. По какому принципу он определяет какие ip блочить, а какие нет? Может уже не по теме вопрос, на сайте ревизора скачал отчет, где был указан якобы не заблокированный урл, по факту он блокируется, проверил через браузер, ip не блокируется. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AN111 Опубликовано 15 марта, 2017 · Жалоба Анонсирует то он 45000 адресов, а в Null уходят от силы 900, остальные 44100 адресов не блокируется. По какому принципу он определяет какие ip блочить, а какие нет? Может уже не по теме вопрос, на сайте ревизора скачал отчет, где был указан якобы не заблокированный урл, по факту он блокируется, проверил через браузер, ip не блокируется. Трафик на <44100> адресов должен пройти через хост с nfqfilter (включая 900 в null) Заворот на nfqfilter на фильтрующем хосте прописывается через iptables (см. первоисточник https://github.com/max197616/nfqfilter и второисточник :-) https://github.com/Vans1/nfqfilter) Отчет - проверяйте дату внесения в реестр пропущенного URL, дату пропуска, дату реального появления в реестре и косяки в самом реестре (типа URL с со строчными и прописными буквами, длинными строками и т.д.) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
himikrzn Опубликовано 15 марта, 2017 (изменено) · Жалоба для 300-400мбит трафика исходящего сколько должно быть - flowhash_size и вообще 8 ядер и 8гб оперативы хватит? периодически ловлю пропусков по 100 Изменено 15 марта, 2017 пользователем himikrzn Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 15 марта, 2017 · Жалоба для 300-400мбит трафика исходящего сколько должно быть - flowhash_size и вообще 8 ядер и 8гб оперативы хватит? периодически ловлю пропусков по 100 Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DennisV Опубликовано 15 марта, 2017 · Жалоба Добрый день, предполагаю использовать nfqfilter, подскажите, есть штатные средства данной утилиты, чтобы из конфига(nfqfilter,make_files,zapret) завернуть определеные сети через bgp на сервер с nfqfilter, или использовать квагу и отдельно прописать сети? PS:extfilter использовать не могу, трафика много, а свободных 10г портов нет Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 15 марта, 2017 · Жалоба Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС. А как грамотно отдать ядра ТОЛЬКО под extfilter? и ещё выделить 2 гига всего, или несколько страниц по 2 гига? Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС. А как грамотно отдать ядра ТОЛЬКО под extfilter? и ещё выделить 2 гига всего, или несколько страниц по 2 гига? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
himikrzn Опубликовано 16 марта, 2017 · Жалоба для 300-400мбит трафика исходящего сколько должно быть - flowhash_size и вообще 8 ядер и 8гб оперативы хватит? периодически ловлю пропусков по 100 Выделите минимум 2 гига под huge pages. flowhash_size поставьте в 262144. С таким трафиком одно рабочее ядро должно справится, если оно изолировано от ядра ОС. сделал но вот все равно ловлю пропуски например - http://www.bestgore.com/beheading/syria-man-swiftbeheading-al-nusra-jihadists/ хотя в urls он есть единственное, патчи не применял, по 5 часов жду - и нефига. применяю командой patch Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...