Jump to content
Калькуляторы
Блокировка веб ресурса  

536 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

23 часа назад, nevsik сказал:

т.е. в процессе зеркалирования надо убирать этот заголовок?

 

пожно зеркалить уже после пограничного роутера (зеркалить прям с него) (я меня так сделано , я в фильтр уже прошедшие в инет запросы фиьтрую после роутера).

Share this post


Link to post
Share on other sites
7 часов назад, dee сказал:

пожно зеркалить уже после пограничного роутера (зеркалить прям с него) (я меня так сделано , я в фильтр уже прошедшие в инет запросы фиьтрую после роутера).

Но, тогда не будут блокироваться запрещённые сайты внутри сети. Надо зеркалировать прямо с коммутатора доступа.

 

10 минут назад, Igor Diakonov сказал:

Походу, оно работает только с ipv4.

Share this post


Link to post
Share on other sites
5 минут назад, ne-vlezay80 сказал:

Но, тогда не будут блокироваться запрещённые сайты внутри сети. Надо зеркалировать прямо с коммутатора доступа.

И обязательно pppoe для завершения клинической картины.

Share this post


Link to post
Share on other sites
8 минут назад, alexwin сказал:

И обязательно pppoe для завершения клинической картины.

А зачем pppoe? Мне по нему даже гигабит не удалось выжать.

Share this post


Link to post
Share on other sites
1 час назад, ne-vlezay80 сказал:

А зачем pppoe? Мне по нему даже гигабит не удалось выжать.

А ты включи сжатие в ppp и выложи результаты тестов.

Share this post


Link to post
Share on other sites

Решил опробовать extfilter. Собрал машинку из того, что было.  При запуске жалуется на выделение памяти. Под рукой было 4Gb ОЗУ. Подтвердите или опровергните мои догатки по ОЗУ.  Под рукой памяти нет. Поэтому решил спросить, а потом уже покупать.

Систему гружу с isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=2

Вот лог:

2018-02-21 10:28:42.364 [1537] Debug Application - Finish loading URLS
2018-02-21 10:28:45.873 [1537] Debug Application - Loading domains from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.962 [1537] Warning Application - Pattern 'betcity.rs' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.963 [1537] Warning Application - Pattern 'betcity-bk.com' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.964 [1537] Warning Application - Pattern 'betsbc24.com' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.965 [1537] Warning Application - Pattern 'linkedin.com' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.965 [1537] Warning Application - Pattern 'fonbet2.com' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.965 [1537] Warning Application - Pattern 'betcityrus.com' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.966 [1537] Warning Application - Pattern 'betsbc-zpii.space' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.967 [1537] Warning Application - Pattern 'betcitybk.com' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.967 [1537] Warning Application - Pattern 'vulkanstavka6.com' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.968 [1537] Warning Application - Pattern 'vulkanstavka5.com' already present in the database from file /var/lib/extfilter/ssl_host
2018-02-21 10:28:45.968 [1537] Debug Application - Finish loading domains
2018-02-21 10:28:46.451 [1537] Information Application - Initializing dpi flow hash with ipv4 max flows 1000000, ipv6  max flows 20000.
2018-02-21 10:28:46.454 [1537] Debug Application - Preparing thread 'WorkerThread-1'
2018-02-21 10:28:46.454 [1537] Information Application - Create pool 'URLPool-1' for urls with number of entries: 204000, size: 122604000 bytes
2018-02-21 10:28:46.455 [1537] Warning Application - Unable to create mempool for url. Will be use malloc. This may affect performance.
2018-02-21 10:28:46.455 [1537] Information Application - Create pool 'DPIPool-1' for http dissector with number of entries: 204000, size: 6528000 bytes
2018-02-21 10:28:46.455 [1537] Warning Application - Unable to create mempool for http dissector. Will be use malloc. This may affect performance.
2018-02-21 10:28:46.455 [1537] Fatal WorkerThread-1 - Not enough memory for ipv4 flows
2018-02-21 10:28:46.455 [1537] Error Application - Exception: Not enough memory for ipv4 flows
2018-02-21 10:28:46.455 [1537] Debug Application - Shutting down

 

Так же в лог syslog пишет:

extFilter[1537]: EAL: Probing VFIO support...
extFilter[1537]: EAL: PCI device 0000:02:00.0 on NUMA socket -1
extFilter[1537]: EAL:   probe driver: 8086:10d3 net_e1000_em
extFilter[1537]: RING: Cannot reserve memory
extFilter[1537]: RING: Cannot reserve memory

 

 

Оказалось дело в

/sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

На сайте dpdk стоит значение 64

echo 64 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

У себя увеличил до 1024

echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

extFilter стартанул

Edited by Nickollla
дополнение

Share this post


Link to post
Share on other sites

Что-то я уперся в отсутствие  блокировки по https. Прошу сообщество направить меня в нужном направлении.

Картина такая:

1. по http блокировка проходит.

2. Если взять из файла hosts какой-нибудь ip:port

например 149.202.99.108:5000  то блокирует (отсылает ресет)

но если из этого же файла взять 91.216.220.4:443  то в ответ тишина

3. Не блокирует все соединения по 443 порту

4. Счетчики matched by ssl: 0, matched by ssl/ip: 0 

5. Зеркалю коммутатором.

6. Порт с зеркалом слушал tcpdump'ом . Зеркалится весь трафик. Включая трафик с 443 портом

Для тестов https использовал wget  и https://rutracker.org  Данный домен есть в domains и в ssl_host. IP адрес данного ресурса присутствует в файле ssl_ips

В логах ничего

Конфиг прикрепил

 

extfilter.ini

Share this post


Link to post
Share on other sites

в список ssl_ips попали ip 185.89.12.132 - avito и 194.54.14.131 - online.sberbank.ru

Share this post


Link to post
Share on other sites
Только что, nevsik сказал:

в список ssl_ips попали ip 185.89.12.132 - avito и 194.54.14.131 - online.sberbank.ru

Не надо блокировать по ip, уже об этом не раз писали.

Share this post


Link to post
Share on other sites
30 минут назад, nevsik сказал:

в список ssl_ips попали ip 185.89.12.132 - avito и 194.54.14.131 - online.sberbank.ru

в zapret.conf resolve = 0 и очистить базу

Share this post


Link to post
Share on other sites
17 минут назад, flow-control сказал:

в zapret.conf resolve = 0 и очистить базу

т.е. по ip вы блокируете? но не производите резолв списков?

Edited by nevsik

Share this post


Link to post
Share on other sites
25 минут назад, nevsik сказал:

т.е. по ip вы блокируете? но не производите резолв списков?

 

resolve как раз не нужен уже, DPI Макса блокирует по domain/mask/url/sni/host и пр.

 

А если вы резолвите то в базу и кладутся IP тех сайтов которые как раз и подменяют DNS запись как будто они выдают себя за sber или avito.

Edited by hsvt

Share this post


Link to post
Share on other sites
3 минуты назад, hsvt сказал:

resolve как раз не нужен уже, DPI Макса блокирует по domain/mask/url/sni/host и пр.

 

А если вы резолвите то в базу и кладуться IP тех сайтов которые как раз и подменяют DNS запись как будто они выдают себя за sber или avito.

 

так ревизор и по ip проверяет еще, или уже не проверяет??

Share this post


Link to post
Share on other sites
7 минут назад, nevsik сказал:

так ревизор и по ip проверяет еще, или уже не проверяет??

Вопрос: По каким IP-адресам ходит Ревизор?

Ответ: Ревизор берет IP-адреса явно указанные в реестре, а также из DNS для domain/url.


Вопрос: В случае записи blockType="domain", имеет ли значение поле IP в записи? Или АС "Ревизор" производит резолвинг и идет по полученным IP-адресам?

Ответ: Для подобных записей (в т.ч. URL) АС "Ревизор" производит резолвинг, а также берет все IP-адреса из реестра и посылает на каждый из IP-адресов GET-запрос с полем <domain>/<URL>.

 

Да, но в реестре нету 185.89.12.132 и 194.54.14.131, а у вас они в списки попали из-за resolve =1

Edited by hsvt

Share this post


Link to post
Share on other sites
12 минут назад, hsvt сказал:

Вопрос: По каким IP-адресам ходит Ревизор?

Ответ: Ревизор берет IP-адреса явно указанные в реестре, а также из DNS для domain/url.


Вопрос: В случае записи blockType="domain", имеет ли значение поле IP в записи? Или АС "Ревизор" производит резолвинг и идет по полученным IP-адресам?

Ответ: Для подобных записей (в т.ч. URL) АС "Ревизор" производит резолвинг, а также берет все IP-адреса из реестра и посылает на каждый из IP-адресов GET-запрос с полем <domain>/<URL>.

 

Да, но в реестре нету 185.89.12.132 и 194.54.14.131, а у вас они в списки попали из-за resolve =1 

понятно, спасибо за ответ.

Share this post


Link to post
Share on other sites
13 минут назад, Галушко Дмитрий сказал:

Кстати, Жаров в выступлении на Коллегии признал порог 1%...

Так это он устно.  А пока письменно не отправит всем, не привлекать до погрешности 1% - толку будет мало

Share this post


Link to post
Share on other sites
16 часов назад, satboy сказал:

Так это он устно.  А пока письменно не отправит всем, не привлекать до погрешности 1% - толку будет мало

не устно: у меня есть файл Ворд (который ему готовили и раздали журналистам) с полным текстом его выступления.

Он признал, это факт.

Share this post


Link to post
Share on other sites
9 минут назад, Галушко Дмитрий сказал:

не устно: у меня есть файл Ворд (который ему готовили и раздали журналистам) с полным текстом его выступления.

Он признал, это факт.

А это разве будет имеет юридическую силу в суде?

Share this post


Link to post
Share on other sites
18 минут назад, Antares сказал:

А это разве будет имеет юридическую силу в суде?

вообще-то публичное выступление чиновника (процитированное в СМИ) имеет юр.силу.

Share this post


Link to post
Share on other sites
51 минуту назад, Галушко Дмитрий сказал:

вообще-то публичное выступление чиновника (процитированное в СМИ) имеет юр.силу.

Взглянуть на сей документ можно??

Share this post


Link to post
Share on other sites

Никто не сталкивался с проблемой ЭП на новом скрипте zapret?

Вывод zapret_update.log

Скрытый текст

2018-02-22 12:37:30 | ERROR | main  | Can not get result: некорректное значение ЭП (информация по обратной связи для разрешения проблем приведена в Памятке оператору связи в разделе http://eais.rkn.gov.ru/tooperators/)

И в консоль

Скрытый текст

Can't exec "/usr/local/gost-ssl/bin/openssl": ��казано в до���пе at ./zapret.pl line 385.

Со старым скриптом реестр не парсится, но загружается

Share this post


Link to post
Share on other sites
5 минут назад, dragjj сказал:

Никто не сталкивался с проблемой ЭП на новом скрипте zapret?

Вывод zapret_update.log

  Показать содержимое

2018-02-22 12:37:30 | ERROR | main  | Can not get result: некорректное значение ЭП (информация по обратной связи для разрешения проблем приведена в Памятке оператору связи в разделе http://eais.rkn.gov.ru/tooperators/)

И в консоль

  Показать содержимое

Can't exec "/usr/local/gost-ssl/bin/openssl": ��казано в до���пе at ./zapret.pl line 385.

Со старым скриптом реестр не парсится, но загружается

Файлы reg свои закинул в папку со скриптом???

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now