oret Опубликовано 15 июля, 2016 · Жалоба Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс Будет ли nfqfilter под это дело адаптироваться Полез смотреть новые рекомендации и с удивлением обнаружил, что ресурс rkn.gov.ru не открывается (ip ресурса находится в файлике ssl_ips и в результате запроса получаем rst). Пока не нашел в базе по какой причине РКН внес свой ip в реестр:) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kamae1ka Опубликовано 15 июля, 2016 · Жалоба не реклама! кто-нибудь пробовал http://www.zapretservice.ru/ ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ichthyandr Опубликовано 15 июля, 2016 · Жалоба Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс Будет ли nfqfilter под это дело адаптироваться всё это уже есть, опять же про велосипеды ... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 15 июля, 2016 (изменено) · Жалоба Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс Будет ли nfqfilter под это дело адаптироваться всё это уже есть, опять же про велосипеды ... У snort производительность какая при загрузки в него 30000 правил a 100000? Изменено 15 июля, 2016 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 15 июля, 2016 · Жалоба Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс Где взять? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nickD Опубликовано 15 июля, 2016 · Жалоба https://eais.rkn.gov.ru/docs/Recomendation.pdf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 16 июля, 2016 · Жалоба Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс Будет ли nfqfilter под это дело адаптироваться всё это уже есть, опять же про велосипеды ... У snort производительность какая при загрузки в него 30000 правил a 100000? А умеет ли snort делать tcp reassembly Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ichthyandr Опубликовано 18 июля, 2016 · Жалоба Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс Будет ли nfqfilter под это дело адаптироваться всё это уже есть, опять же про велосипеды ... У snort производительность какая при загрузки в него 30000 правил a 100000? А умеет ли snort делать tcp reassembly пишут что умеет Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
overty Опубликовано 19 июля, 2016 · Жалоба Хм. Тоже вчера ночью зачем-то решил обновиться... Получил вот такую картинку на загрузке проца. Откат nfqfilter назад на 94c56b761655c13b8c77f7e5fe7d4ad533a503a5 вернул загрузку на 20% Поддерживаю, на последнем коммите повышенное использование ЦПУ и иногда некоторые ссылки у меня "прорываются". Пришлось все-таки откатиться на 94c56b761655c13b8c77f7e5fe7d4ad533a503a5 из-за повышенного использования ЦПУ и "пролета" некоторых ссылок. Ответ HTTP прилетает быстрее чем генерируется редирект. Нагрузка упала с 30-50% ЦПУ до 5-10. Было: PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 31154 root 20 0 538828 132640 2672 S 37,5 0,1 82:28.44 nfqfilter 31162 root 20 0 538828 126792 2668 S 33,0 0,1 56:34.71 nfqfilter 31158 root 20 0 538828 124588 2668 S 31,5 0,1 33:51.72 nfqfilter 31210 root 20 0 538828 126684 2672 S 28,0 0,1 48:27.23 nfqfilter 31236 root 20 0 538828 126736 2668 S 24,5 0,1 56:58.80 nfqfilter 31286 root 20 0 538828 126744 2668 S 24,0 0,1 57:57.07 nfqfilter Стало: PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 29183 root 20 0 538572 126364 2428 S 6,3 0,1 0:09.55 nfqfilter 29353 root 20 0 538572 126544 2584 S 4,0 0,1 0:08.51 nfqfilter 29175 root 20 0 538572 124332 2432 S 3,6 0,1 0:06.97 nfqfilter 29167 root 20 0 538572 126324 2400 S 3,3 0,1 0:08.40 nfqfilter 29297 root 20 0 538572 128428 2428 S 3,3 0,1 0:07.22 nfqfilter 29277 root 20 0 538572 126304 2400 S 3,0 0,1 0:05.63 nfqfilter block_undetected_ssl = true в обоих случаях. max1976 планируется ли поддержка спуфинга DNS ответов при резолвинге запрещенных доменов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 19 июля, 2016 · Жалоба max1976 А можно сделать еще вот такой вот функционал - чтоб nfqfilter сваливал в БД (или в отдельный лог) еще и попадания под правила фильриции (запрещено) в формате время/IP клиента/имя запрещенного ресурса. Очень было бы здорово. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanoka Опубликовано 20 июля, 2016 · Жалоба Полез смотреть новые рекомендации и с удивлением обнаружил, что ресурс rkn.gov.ru не открывается (ip ресурса находится в файлике ssl_ips и в результате запроса получаем rst). Пока не нашел в базе по какой причине РКН внес свой ip в реестр:) Тоже пропал доступ к сайтам выгрузок eais.rkn.gov.ru и vigruzki.rkn.gov.ru. Оказалось, что один из сайтов из реестра infobukmeker.com указал у себя адрес сервера РКН - 46.61.232.10 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oret Опубликовано 20 июля, 2016 · Жалоба Полез смотреть новые рекомендации и с удивлением обнаружил, что ресурс rkn.gov.ru не открывается (ip ресурса находится в файлике ssl_ips и в результате запроса получаем rst). Пока не нашел в базе по какой причине РКН внес свой ip в реестр:) Тоже пропал доступ к сайтам выгрузок eais.rkn.gov.ru и vigruzki.rkn.gov.ru. Оказалось, что один из сайтов из реестра infobukmeker.com указал у себя адрес сервера РКН - 46.61.232.10 Есть такое дело, пришлось немного покостылить с маршрутизацией. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ichthyandr Опубликовано 21 июля, 2016 (изменено) · Жалоба https://eais.rkn.gov.ru/docs/Recomendation.pdf п.10 очень порадовал: "это как?". По мне так: "блокировать по IP". Я уже так делал, у нас acer.com в блокировку попадает ... Изменено 21 июля, 2016 пользователем ichthyandr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 21 июля, 2016 · Жалоба Оборудование DPI - программно аппаратный комплекс, предназначенный для глубокого анализа трафика (deep packet inspection) с целью проверки и фильтрации сетевых пакетов по их содержимому, или оборудование, выполняющие аналогичные функции. Я так понимаю nfqfilter под эту формулировку сложно будет предписать? А это значит, что нужно придерживаться рекомендаций (DNS) в обязательно порядке ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rootbmb Опубликовано 26 июля, 2016 (изменено) · Жалоба Добрый день коллеги nfqfilter.ini ; номер очереди queue = 0 ; файл с доменами для блокировки domainlist = /path/to/domains ; файл с url для блокировки urllist = /path/to/urls ; файл с ssl доменами для блокировки ssllist = /path/to/ssl_host ; файл с ip:port для блокировки hostlist = /path/to/hosts ; куда редиректить в случае наличия в списках redirect_url = http://intcom.su/? ; HTTP код ответа. default: 302 Moved Temporarily http_code = 302 Moved Temporarily ; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего url_additional_info=url ; дополнительные порты для протоколов (nDPI) protocols = /path/to/protos ; время вывода статистики по использованию памяти, минут statistic_interval = 10 ; если установлено в true, то сам nfqfilter отправляет tcp rst клиенту и серверу (тогда mark_value не используется) в случае фильтрации https и ip:port send_rst = true ; каким значением метить пакеты для iptables в случае наличия в списках ssl и hosts mark_value = 17 ; количество обрабатываемых пакетов (default: 1024) max_pending_packets = 100000 ; сохранять пакеты ошибками в /tmp save_bad_packets = false ; блокировать ssl client hello по первому пакету, если в ssl пакете нет server_name. Обязательно наличие файла sslips с ip адресами. ;block_undetected_ssl = true ; Путь к файлу с ip адресами для блокировки ssl по ip, если в ssl пакете нет server_name (block_undetected_ssl = true) sslips = /path/to/ssl_ips ; перевод host: в строчные символы ;lower_host = true ; host должен точно совпадать со списком, т.е. в списке есть example.com, в запросе www.example.com - не блокируем. match_host_exactly = false ; Если в url встречаются escape последовательности символов 0-9, a-z, A-Z, то переводить их в символы ; url_decode = false ; Количество потоков обработки пакетов num_threads = 6 [logging] ;loggers.root.level = information loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/nfqfilter.log channels.fileChannel.rotation = 1 M channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local iptables iptables -t mangle -A PREROUTING -p tcp -m tcp -j NFQUEUE --queue-num 0 --queue-bypass iptables -A FORWARD -m mark --mark 17 -p tcp -j REJECT --reject-with tcp-reset root@accel-test:~# cat /proc/net/netfilter/nfnetlink_queue 0 26240 0 2 65535 0 0 0 1 log 2016-07-26 16:40:22.725 [26240] Information Application - nDPI memory per flow: 1.91 KB 2016-07-26 16:40:22.725 [26240] Information Application - nDPI current memory usage: 1.76 MB 2016-07-26 16:40:22.725 [26240] Information Application - nDPI maximum memory usage: 1.76 MB 2016-07-26 16:40:22.725 [26240] Debug Application - State of task NFQStatisticTask is 2 2016-07-26 16:40:22.725 [26240] Information Application - Total seen packets: 0, Total seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 0.00 pps 2016-07-26 16:40:22.725 [26240] Information Application - Total matched by ip/port: 0, Total matched by ssl: 0, Total matched by ssl/ip: 0 2016-07-26 16:40:22.725 [26240] Information Application - Total redirected domains 0, Total redirected urls: 0, Total marked ssl: 0, Total marked hosts: 0, Total rst sended: 0 2016-07-26 16:40:22.725 [26240] Debug Application - State of task nfqThread is 2 2016-07-26 16:40:22.725 [26240] Debug Application - State of task SenderTask is 2 2016-07-26 16:40:22.725 [26240] Debug Application - State of task ReloadTask is 2 2016-07-26 16:40:32.725 [26240] Information Application - nDPI memory (once): 104.60 KB 2016-07-26 16:40:32.725 [26240] Information Application - nDPI memory per flow: 1.91 KB 2016-07-26 16:40:32.725 [26240] Information Application - nDPI current memory usage: 1.76 MB 2016-07-26 16:40:32.725 [26240] Information Application - nDPI maximum memory usage: 1.76 MB 2016-07-26 16:40:32.725 [26240] Debug Application - State of task NFQStatisticTask is 2 2016-07-26 16:40:32.725 [26240] Information Application - Total seen packets: 0, Total seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 0.00 pps 2016-07-26 16:40:32.725 [26240] Information Application - Total matched by ip/port: 0, Total matched by ssl: 0, Total matched by ssl/ip: 0 2016-07-26 16:40:32.725 [26240] Information Application - Total redirected domains 0, Total redirected urls: 0, Total marked ssl: 0, Total marked hosts: 0, Total rst sended: 0 2016-07-26 16:40:32.726 [26240] Debug Application - State of task nfqThread is 2 2016-07-26 16:40:32.726 [26240] Debug Application - State of task SenderTask is 2 2016-07-26 16:40:32.726 [26240] Debug Application - State of task ReloadTask is 2 iptables -n -L -t mangle -v Chain PREROUTING (policy ACCEPT 188K packets, 147M bytes) pkts bytes target prot opt in out source destination 528K 455M NFQUEUE tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp NFQUEUE num 0 bypass Chain INPUT (policy ACCEPT 6798 packets, 1226K bytes) pkts bytes target prot opt in out source destination Chain FORWARD (policy ACCEPT 709K packets, 600M bytes) pkts bytes target prot opt in out source destination Chain OUTPUT (policy ACCEPT 4131 packets, 461K bytes) pkts bytes target prot opt in out source destination Chain POSTROUTING (policy ACCEPT 713K packets, 600M bytes) pkts bytes target prot opt in out source destination не блокирует и что не так делаю ? Изменено 26 июля, 2016 пользователем rootbmb Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
weirded Опубликовано 26 июля, 2016 (изменено) · Жалоба С 15 августа новые рекомендации РКН выкатил. Кто-нибудь может человечным языком пояснить про "срочные выгрузки"? Это означает, что выкачивать их надо чуть ли не в бесконечном цикле, чтобы отследить их и весь вопрос только в частоте перезаливки новых выгрузок? Звучит как какая-то дичь, ибо уже сейчас ближе к xx:00-xx:05 выгрузить реестр довольно тяжеловато из-за кучи серваков долбящихся туда одновременно по крону, видимо (постоянно Connection timeout получается при попытке вытянуть ответ с реестром). (если кто беспокоится по поводу того, как редуктор будет поддерживать маски доменов - всё норм, он сейчас по умолчанию по маскам банит и в DNS- и в HTTP-матчере, режим точного поиска (exact match) у DNS-модуля уже есть, но пока нельзя включить глобально галочкой в меню). Изменено 26 июля, 2016 пользователем weirded Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 27 июля, 2016 · Жалоба Срочным выгрузкам уже с год, вообще-то. Это не значит, что нужно постоянно получать выгрузки. Это значит, что нужно регулярно опрашивать сервер (GetLastDate). Если появилось обычное обновление — можно запросить выгрузку в течении суток. Если появилось срочное обновление — нужно запросить выгрузку в течении часа (или сколько там указано). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 1 августа, 2016 · Жалоба Какая-то филькина грамота эти "рекомендации". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 1 августа, 2016 · Жалоба Да, было бы неплохо в sslips Добавил данный функционал, можете проверить. Пересобрал nfqfilter, добавил подсеть 52.0.0.0/8 в файл ssl_ips, но казино все равно открываются (разрезолвленный ip попадает в подсеть, но отдельно не прописан в файле). Нужно что-то еще сделать? Так скрипт перезапишет файлик ssl_ips из базы, а zapret перезапишет базу после выгрузку. Как добавлять свои сети в блеклист или в ssl_ips ? А то эти казино тоже уже достали. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oret Опубликовано 1 августа, 2016 · Жалоба Да, было бы неплохо в sslips Добавил данный функционал, можете проверить. Пересобрал nfqfilter, добавил подсеть 52.0.0.0/8 в файл ssl_ips, но казино все равно открываются (разрезолвленный ip попадает в подсеть, но отдельно не прописан в файле). Нужно что-то еще сделать? Так скрипт перезапишет файлик ssl_ips из базы, а zapret перезапишет базу после выгрузку. Как добавлять свои сети в блеклист или в ssl_ips ? А то эти казино тоже уже достали. Простенький скрипт: #!/bin/sh cat /usr/local/etc/contrib/ssl_subnet >> /usr/local/etc/contrib/ssl_ips sleep 2 systemctl restart nfqfilter добавить запуск этого скрипта после 274 строки в zapret.pl для автоматического добавления нужных подсетей. Но с самими префиксами надо играться: добавлял 52.0.0.0/8, так часть сервисов twitch.tv стала недоступна (возможно, фильтр просто стал захлебываться от трафика) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 1 августа, 2016 · Жалоба http://rzs.rkn.gov.ru/ Не пойму, в каком формате ему подсовывать dump.xml. OpenOffice Calc, кстати, dump.xml не открывает, так что сохранить в Excel, как прочитал где-то на форуме, не получается. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 1 августа, 2016 · Жалоба Конвертор на форуме где-то есть. На Яве. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 3 августа, 2016 (изменено) · Жалоба У кого-нибудь уже был вообще опыт общения с РКН и следования их "рекомендаций"? Совершенно не тянет спуфить DNS-ответы к интернетным DNS-серверам. Идиотизм какой-то, ещё бы "порекомендовали" вырезать со страниц упоминания блокируемых ресурсов. Изменено 3 августа, 2016 пользователем Dyr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 3 августа, 2016 · Жалоба Думаю, что без DPI будет непросто. Так что советую смотреть в сторону либо готовых DPI (СКАТ), либо самоделок. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 3 августа, 2016 · Жалоба Вопрос не в DPI, вопрос в том, почему провайдер вообще должен следовать неким "рекомендациям". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...