Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс

Будет ли nfqfilter под это дело адаптироваться

Полез смотреть новые рекомендации и с удивлением обнаружил, что ресурс rkn.gov.ru не открывается (ip ресурса находится в файлике ssl_ips и в результате запроса получаем rst). Пока не нашел в базе по какой причине РКН внес свой ip в реестр:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

не реклама! кто-нибудь пробовал

http://www.zapretservice.ru/

?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс

Будет ли nfqfilter под это дело адаптироваться

всё это уже есть, опять же про велосипеды ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс

Будет ли nfqfilter под это дело адаптироваться

всё это уже есть, опять же про велосипеды ...

 

У snort производительность какая при загрузки в него 30000 правил a 100000?

Изменено пользователем Стич

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс

Где взять?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс

Будет ли nfqfilter под это дело адаптироваться

всё это уже есть, опять же про велосипеды ...

 

У snort производительность какая при загрузки в него 30000 правил a 100000?

 

А умеет ли snort делать tcp reassembly

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Новые рекомендации приняли там фильтровать домен требуют фильтрами запросов ко всем днс

Будет ли nfqfilter под это дело адаптироваться

всё это уже есть, опять же про велосипеды ...

 

У snort производительность какая при загрузки в него 30000 правил a 100000?

 

А умеет ли snort делать tcp reassembly

пишут что умеет

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Хм. Тоже вчера ночью зачем-то решил обновиться... Получил вот такую картинку на загрузке проца.

Откат nfqfilter назад на 94c56b761655c13b8c77f7e5fe7d4ad533a503a5 вернул загрузку на 20%

 

Поддерживаю, на последнем коммите повышенное использование ЦПУ и иногда некоторые ссылки у меня "прорываются".

 

 

Пришлось все-таки откатиться на 94c56b761655c13b8c77f7e5fe7d4ad533a503a5 из-за повышенного использования ЦПУ и "пролета" некоторых ссылок. Ответ HTTP прилетает быстрее чем генерируется редирект.

Нагрузка упала с 30-50% ЦПУ до 5-10.

 

Было:

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

31154 root 20 0 538828 132640 2672 S 37,5 0,1 82:28.44 nfqfilter

31162 root 20 0 538828 126792 2668 S 33,0 0,1 56:34.71 nfqfilter

31158 root 20 0 538828 124588 2668 S 31,5 0,1 33:51.72 nfqfilter

31210 root 20 0 538828 126684 2672 S 28,0 0,1 48:27.23 nfqfilter

31236 root 20 0 538828 126736 2668 S 24,5 0,1 56:58.80 nfqfilter

31286 root 20 0 538828 126744 2668 S 24,0 0,1 57:57.07 nfqfilter

 

Стало:

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

29183 root 20 0 538572 126364 2428 S 6,3 0,1 0:09.55 nfqfilter

29353 root 20 0 538572 126544 2584 S 4,0 0,1 0:08.51 nfqfilter

29175 root 20 0 538572 124332 2432 S 3,6 0,1 0:06.97 nfqfilter

29167 root 20 0 538572 126324 2400 S 3,3 0,1 0:08.40 nfqfilter

29297 root 20 0 538572 128428 2428 S 3,3 0,1 0:07.22 nfqfilter

29277 root 20 0 538572 126304 2400 S 3,0 0,1 0:05.63 nfqfilter

 

block_undetected_ssl = true в обоих случаях.

 

max1976 планируется ли поддержка спуфинга DNS ответов при резолвинге запрещенных доменов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976 А можно сделать еще вот такой вот функционал - чтоб nfqfilter сваливал в БД (или в отдельный лог) еще и попадания под правила фильриции (запрещено) в формате время/IP клиента/имя запрещенного ресурса.

 

Очень было бы здорово.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Полез смотреть новые рекомендации и с удивлением обнаружил, что ресурс rkn.gov.ru не открывается (ip ресурса находится в файлике ssl_ips и в результате запроса получаем rst). Пока не нашел в базе по какой причине РКН внес свой ip в реестр:)

Тоже пропал доступ к сайтам выгрузок eais.rkn.gov.ru и vigruzki.rkn.gov.ru. Оказалось, что один из сайтов из реестра infobukmeker.com указал у себя адрес сервера РКН - 46.61.232.10

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Полез смотреть новые рекомендации и с удивлением обнаружил, что ресурс rkn.gov.ru не открывается (ip ресурса находится в файлике ssl_ips и в результате запроса получаем rst). Пока не нашел в базе по какой причине РКН внес свой ip в реестр:)

Тоже пропал доступ к сайтам выгрузок eais.rkn.gov.ru и vigruzki.rkn.gov.ru. Оказалось, что один из сайтов из реестра infobukmeker.com указал у себя адрес сервера РКН - 46.61.232.10

Есть такое дело, пришлось немного покостылить с маршрутизацией.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

п.10 очень порадовал: "это как?". По мне так: "блокировать по IP". Я уже так делал, у нас acer.com в блокировку попадает ...

Изменено пользователем ichthyandr

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Оборудование DPI - программно аппаратный комплекс, предназначенный для глубокого анализа трафика (deep packet inspection) с целью проверки и фильтрации сетевых пакетов по их содержимому, или оборудование, выполняющие аналогичные функции.

 

Я так понимаю nfqfilter под эту формулировку сложно будет предписать? А это значит, что нужно придерживаться рекомендаций (DNS) в обязательно порядке ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день коллеги

 

nfqfilter.ini

; номер очереди
queue = 0
; файл с доменами для блокировки
domainlist = /path/to/domains
; файл с url для блокировки
urllist = /path/to/urls
; файл с ssl доменами для блокировки
ssllist = /path/to/ssl_host
; файл с ip:port для блокировки
hostlist = /path/to/hosts

; куда редиректить в случае наличия в списках
redirect_url = http://intcom.su/?
; HTTP код ответа. default: 302 Moved Temporarily
http_code = 302 Moved Temporarily
; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего
url_additional_info=url

; дополнительные порты для протоколов (nDPI)
protocols = /path/to/protos
; время вывода статистики по использованию памяти, минут
statistic_interval = 10
; если установлено в true, то сам nfqfilter отправляет tcp rst клиенту и серверу (тогда mark_value не используется) в случае фильтрации https и ip:port
send_rst = true
; каким значением метить пакеты для iptables в случае наличия в списках ssl и hosts
mark_value = 17
; количество обрабатываемых пакетов (default: 1024)
max_pending_packets = 100000
; сохранять пакеты ошибками в /tmp
save_bad_packets = false
; блокировать ssl client hello по первому пакету, если в ssl пакете нет server_name. Обязательно наличие файла sslips с ip адресами.
;block_undetected_ssl = true
; Путь к файлу с ip адресами для блокировки ssl по ip, если в ssl пакете нет server_name (block_undetected_ssl = true)
sslips = /path/to/ssl_ips
; перевод host: в строчные символы
;lower_host = true
; host должен точно совпадать со списком, т.е. в списке есть example.com, в запросе www.example.com - не блокируем.
match_host_exactly = false
; Если в url встречаются escape последовательности символов 0-9, a-z, A-Z, то переводить их в символы
; url_decode = false
; Количество потоков обработки пакетов
num_threads = 6

[logging]
;loggers.root.level = information
loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/nfqfilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

 

iptables

iptables -t mangle -A PREROUTING -p tcp -m tcp -j NFQUEUE --queue-num 0 --queue-bypass
iptables -A FORWARD -m mark --mark 17 -p tcp -j REJECT --reject-with tcp-reset

 

 

root@accel-test:~# cat /proc/net/netfilter/nfnetlink_queue 
   0  26240     0 2 65535     0     0        0  1

 

log

2016-07-26 16:40:22.725 [26240] Information Application - nDPI memory per flow: 1.91 KB
2016-07-26 16:40:22.725 [26240] Information Application - nDPI current memory usage: 1.76 MB
2016-07-26 16:40:22.725 [26240] Information Application - nDPI maximum memory usage: 1.76 MB
2016-07-26 16:40:22.725 [26240] Debug Application - State of task NFQStatisticTask is 2
2016-07-26 16:40:22.725 [26240] Information Application - Total seen packets: 0, Total seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 0.00 pps
2016-07-26 16:40:22.725 [26240] Information Application - Total matched by ip/port: 0, Total matched by ssl: 0, Total matched by ssl/ip: 0
2016-07-26 16:40:22.725 [26240] Information Application - Total redirected domains 0, Total redirected urls: 0, Total marked ssl: 0, Total marked hosts: 0, Total rst sended: 0
2016-07-26 16:40:22.725 [26240] Debug Application - State of task nfqThread is 2
2016-07-26 16:40:22.725 [26240] Debug Application - State of task SenderTask is 2
2016-07-26 16:40:22.725 [26240] Debug Application - State of task ReloadTask is 2
2016-07-26 16:40:32.725 [26240] Information Application - nDPI memory (once): 104.60 KB
2016-07-26 16:40:32.725 [26240] Information Application - nDPI memory per flow: 1.91 KB
2016-07-26 16:40:32.725 [26240] Information Application - nDPI current memory usage: 1.76 MB
2016-07-26 16:40:32.725 [26240] Information Application - nDPI maximum memory usage: 1.76 MB
2016-07-26 16:40:32.725 [26240] Debug Application - State of task NFQStatisticTask is 2
2016-07-26 16:40:32.725 [26240] Information Application - Total seen packets: 0, Total seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 0.00 pps
2016-07-26 16:40:32.725 [26240] Information Application - Total matched by ip/port: 0, Total matched by ssl: 0, Total matched by ssl/ip: 0
2016-07-26 16:40:32.725 [26240] Information Application - Total redirected domains 0, Total redirected urls: 0, Total marked ssl: 0, Total marked hosts: 0, Total rst sended: 0
2016-07-26 16:40:32.726 [26240] Debug Application - State of task nfqThread is 2
2016-07-26 16:40:32.726 [26240] Debug Application - State of task SenderTask is 2
2016-07-26 16:40:32.726 [26240] Debug Application - State of task ReloadTask is 2

 

iptables -n -L -t mangle -v

Chain PREROUTING (policy ACCEPT 188K packets, 147M bytes)
pkts bytes target     prot opt in     out     source               destination         
528K  455M NFQUEUE    tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            tcp NFQUEUE num 0 bypass

Chain INPUT (policy ACCEPT 6798 packets, 1226K bytes)
pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 709K packets, 600M bytes)
pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 4131 packets, 461K bytes)
pkts bytes target     prot opt in     out     source               destination         

Chain POSTROUTING (policy ACCEPT 713K packets, 600M bytes)
pkts bytes target     prot opt in     out     source               destination  

не блокирует и что не так делаю ?

Изменено пользователем rootbmb

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

С 15 августа новые рекомендации РКН выкатил.

 

Кто-нибудь может человечным языком пояснить про "срочные выгрузки"?

 

Это означает, что выкачивать их надо чуть ли не в бесконечном цикле, чтобы отследить их и весь вопрос только в частоте перезаливки новых выгрузок?

 

Звучит как какая-то дичь, ибо уже сейчас ближе к xx:00-xx:05 выгрузить реестр довольно тяжеловато из-за кучи серваков долбящихся туда одновременно по крону, видимо (постоянно Connection timeout получается при попытке вытянуть ответ с реестром).

 

(если кто беспокоится по поводу того, как редуктор будет поддерживать маски доменов - всё норм, он сейчас по умолчанию по маскам банит и в DNS- и в HTTP-матчере, режим точного поиска (exact match) у DNS-модуля уже есть, но пока нельзя включить глобально галочкой в меню).

Изменено пользователем weirded

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Срочным выгрузкам уже с год, вообще-то.

Это не значит, что нужно постоянно получать выгрузки.

Это значит, что нужно регулярно опрашивать сервер (GetLastDate).

Если появилось обычное обновление — можно запросить выгрузку в течении суток.

Если появилось срочное обновление — нужно запросить выгрузку в течении часа (или сколько там указано).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Какая-то филькина грамота эти "рекомендации".

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да, было бы неплохо в sslips

 

Добавил данный функционал, можете проверить.

Пересобрал nfqfilter, добавил подсеть 52.0.0.0/8 в файл ssl_ips, но казино все равно открываются (разрезолвленный ip попадает в подсеть, но отдельно не прописан в файле).

Нужно что-то еще сделать?

 

Так скрипт перезапишет файлик ssl_ips из базы, а zapret перезапишет базу после выгрузку. Как добавлять свои сети в блеклист или в ssl_ips ? А то эти казино тоже уже достали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да, было бы неплохо в sslips

 

Добавил данный функционал, можете проверить.

Пересобрал nfqfilter, добавил подсеть 52.0.0.0/8 в файл ssl_ips, но казино все равно открываются (разрезолвленный ip попадает в подсеть, но отдельно не прописан в файле).

Нужно что-то еще сделать?

 

Так скрипт перезапишет файлик ssl_ips из базы, а zapret перезапишет базу после выгрузку. Как добавлять свои сети в блеклист или в ssl_ips ? А то эти казино тоже уже достали.

Простенький скрипт:

#!/bin/sh

cat /usr/local/etc/contrib/ssl_subnet >> /usr/local/etc/contrib/ssl_ips
sleep 2
systemctl restart nfqfilter

добавить запуск этого скрипта после 274 строки в zapret.pl для автоматического добавления нужных подсетей.

Но с самими префиксами надо играться: добавлял 52.0.0.0/8, так часть сервисов twitch.tv стала недоступна (возможно, фильтр просто стал захлебываться от трафика)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не пойму, в каком формате ему подсовывать dump.xml. OpenOffice Calc, кстати, dump.xml не открывает, так что сохранить в Excel, как прочитал где-то на форуме, не получается.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У кого-нибудь уже был вообще опыт общения с РКН и следования их "рекомендаций"? Совершенно не тянет спуфить DNS-ответы к интернетным DNS-серверам. Идиотизм какой-то, ещё бы "порекомендовали" вырезать со страниц упоминания блокируемых ресурсов.

Изменено пользователем Dyr

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Думаю, что без DPI будет непросто.

Так что советую смотреть в сторону либо готовых DPI (СКАТ), либо самоделок.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вопрос не в DPI, вопрос в том, почему провайдер вообще должен следовать неким "рекомендациям".

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.