Jump to content
Калькуляторы
Блокировка веб ресурса  

543 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

13 минут назад, Hawk128 сказал:

Добрый день.

Есть подозрение что extfilter не обновляет списки по HUP.

После полного restart списки подгружаются полностью.

С чем может быть связанно?

 

Скрипт обновления отрабатывает от пользователя у которого хватает прав  на релоад?

у меня всё перечитывает нормально.

Share this post


Link to post
Share on other sites

Да.

В логах:

2019-10-29 23:34:34.304 [35009] Information Application - Got HUP signal - reload data
2019-10-29 23:34:34.304 [35009] Information ReloadTask - Reloading data from files...
2019-10-29 23:34:34.304 [35009] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts
2019-10-29 23:34:37.567 [35009] Information ACL - Preparing 1238664 rules for IPv4 ACL
2019-10-29 23:34:37.614 [35009] Information ACL - Preparing 50 rules for IPv6 ACL

А вот после restart:

2019-10-29 23:59:50.024 [30057] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts
2019-10-29 23:59:51.717 [30057] Information ACL - Preparing 1238664 rules for IPv4 ACL
2019-10-29 23:59:51.752 [30057] Information ACL - Preparing 50 rules for IPv6 ACL
2019-10-30 00:00:14.670 [30057] Information TriesControl - Loaded 116158 lines from the domains file '/usr/local/etc/extfilter/domains'
2019-10-30 00:00:14.683 [30057] Information TriesControl - Loaded 92880 lines from the urls file '/usr/local/etc/extfilter/urls'
2019-10-30 00:00:14.693 [30057] Information TriesControl - Masked domains: #keys 22250, #nodes 31122
2019-10-30 00:00:14.858 [30057] Information TriesControl - URLS: #keys 208982, #nodes 299200
2019-10-30 00:00:14.858 [30057] Information TriesControl - Set active trie in the slot 0
2019-10-30 00:00:14.869 [30057] Information TriesControl - Loaded 127465 lines from the domains file '/usr/local/etc/extfilter/ssl_host'
2019-10-30 00:00:14.879 [30057] Information TriesControl - Masked domains: #keys 22250, #nodes 31122
2019-10-30 00:00:14.947 [30057] Information TriesControl - URLS: #keys 124213, #nodes 175392
2019-10-30 00:00:14.947 [30057] Information TriesControl - Set active trie in the slot 0

Похоже domains и urls  при HUP не подгружаются.

Share this post


Link to post
Share on other sites
2019-10-30 10:37:25.868 [18145] Information TriesControl - Loaded 116878 lines from the domains file '/usr/local/etc/extfilter/DUMP/domains'
2019-10-30 10:37:25.909 [18145] Information TriesControl - Loaded 93363 lines from the urls file '/usr/local/etc/extfilter/DUMP/urls'
2019-10-30 10:37:27.180 [18145] Information TriesControl - Loaded 128294 lines from the domains file '/usr/local/etc/extfilter/DUMP/ssl_host'


./extFilter -v
extFilter version 0.99.4

я у себя проверил всё гут

Share this post


Link to post
Share on other sites

А давно так долго отрабатывает zapret.pl или я что то пропустил?


 

2019-11-01 10:27:07 | DEBUG | main  | Got result...
2019-11-01 10:45:13 | DEBUG | main  | Added new only IP: 100.21.74.16

----------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------

2019-11-01 10:47:28 | DEBUG | main  | Added new only IP: 45.90.119.152
2019-11-01 10:48:00 | INFO  | main  | Check iterations: 1
2019-11-01 10:48:00 | INFO  | main  | Registry processing time: 00:22:59 (wait time: 00:02:00)

Или даже 26 минут порой, да DEBUG включен всегда был.

Share this post


Link to post
Share on other sites
9 часов назад, hsvt сказал:

А давно так долго отрабатывает zapret.pl или я что то пропустил?

Обновите с github и будет работать быстро. 

Edited by max1976

Share this post


Link to post
Share on other sites

Походу ревизору плохо совсем. Пришло письмо что Неудовлетворительные результаты мониторинга. Хотя в отчетах все чисто даже за сегодняшний день. Жаль что сегодня выходной позвонить не кому.

Share this post


Link to post
Share on other sites
29 минут назад, arhead сказал:

Походу ревизору плохо совсем.

еще бы не плохо, им проверить надо 

   160568 all_domain
  1642053 all_ip
 

 

Share this post


Link to post
Share on other sites

Почему extfilter совсем не реагирует на некоторые запросы? Ни одного RST в ответ. Работает в режиме зеркала. Может ли это быть проблема в производительности сервера? Трафика 350 мегабит. Выделено под hugepages 24Gb. ЦПУ 1хE3-1230 v3 (4 ядра). Два ядра на входящие очереди, одно на исходящую. Уже не понимаю куда копать.

Share this post


Link to post
Share on other sites
37 минут назад, marsellus сказал:

Почему extfilter совсем не реагирует на некоторые запросы? Ни одного RST в ответ. Работает в режиме зеркала. Может ли это быть проблема в производительности сервера? Трафика 350 мегабит. Выделено под hugepages 24Gb. ЦПУ 1хE3-1230 v3 (4 ядра). Два ядра на входящие очереди, одно на исходящую. Уже не понимаю куда копать.

Версия последняя с github?

Share this post


Link to post
Share on other sites

На что не реагирует фильтр? 

Share this post


Link to post
Share on other sites
30 minutes ago, max1976 said:

На что не реагирует фильтр? 

Например на 34.248.222.68. Я обнаружил это в дампе (один из примеров). Т.е. фильтр не среагировал в какое-то время. Сейчас если я сделаю тест curl -v http://34.248.222.68 - получаю RST.

Edited by marsellus

Share this post


Link to post
Share on other sites
11 минут назад, marsellus сказал:

Например на 34.248.222.68. Я обнаружил это в дампе (один из примеров). Т.е. фильтр не среагировал в какое-то время. Сейчас если я сделаю тест curl -v http://34.248.222.68 - получаю RST.

 

Смотрите архитектуру вашей сети. Важно добиться получения ответов от фильтра быстрее, чем ответ придет из сети Интернет.

Share this post


Link to post
Share on other sites
3 minutes ago, max1976 said:

Смотрите архитектуру вашей сети. Важно добиться получения ответов от фильтра быстрее, чем ответ придет из сети Интернет.

Все в пределах одной железки. Нет никакой архитектуры. Два etherchannel с сумарным трафиком 500 Mbps зеркалируются в сервер с extfilter. В соседнем порту ревизор.

Share this post


Link to post
Share on other sites

Позвонил насчет своего случая. В отчетах было данные формируются. Сказали что проверка 10 дней идет. Задал вопрос: А как же я оперативно узнаю что пропуски у меня это же и штраф влететь может. Сказали ну вот так по нашим автоматическим письмам. Насчет штрафа вроде сказали пока не будет. Очень интересная ситуация.

Share this post


Link to post
Share on other sites
1 час назад, arhead сказал:

Позвонил насчет своего случая. В отчетах было данные формируются. Сказали что проверка 10 дней идет. Задал вопрос: А как же я оперативно узнаю что пропуски у меня это же и штраф влететь может. Сказали ну вот так по нашим автоматическим письмам. Насчет штрафа вроде сказали пока не будет. Очень интересная ситуация.

Почему 10 дней проверка то идет? айпишники долго так проверяет?

Share this post


Link to post
Share on other sites
5 минут назад, swsn сказал:

Почему 10 дней проверка то идет? айпишники долго так проверяет?

Не сказали. Но мне кажется да) Скинул мне предварительный отчет. Там сайты ип нет вроде. Короче они сами наверное офигевают)

Share this post


Link to post
Share on other sites
5 минут назад, arhead сказал:

Не сказали. Но мне кажется да) Скинул мне предварительный отчет. Там сайты ип нет вроде. Короче они сами наверное офигевают)

а чем блокируете айпишники, заворотом в блэкхол или фильтром?

у меня проблема с долгими проверками решилась сентябрьским фиксом , отчет бывает готов в тот же день( это при схеме что extfilter  блочит ip)

Share this post


Link to post
Share on other sites

IP из-за большого количества блекхол отпал т.к. центральная циска не выдерживает столько маршрутов и просто закрывает все порты. Сейчас блокирует extfilter в режиме зеркала. Да и на маршрутизаторах которые на Linux в ipset еще заливаю на всякий случай.

Share this post


Link to post
Share on other sites

Долгие отчёты ревизора происходят из-за того, что при обращении на блокированные адреса не приходит rst. 

Share this post


Link to post
Share on other sites
4 часа назад, max1976 сказал:

Долгие отчёты ревизора происходят из-за того, что при обращении на блокированные адреса не приходит rst. 

ну допустим если блокируется через реджект хост анричебл (этого достаточно ?) , по факту то это косяк ревизора что он залипает так долго

Share this post


Link to post
Share on other sites
18 часов назад, dee сказал:

ну допустим если блокируется через реджект хост анричебл (этого достаточно ?)

Да, в сентябре переделали на unreachable (а потом на icmp prohibited), отчёты стали приходить на следующий день, с редкими исключениями

Share this post


Link to post
Share on other sites
On 11/5/2019 at 9:22 AM, max1976 said:

Смотрите архитектуру вашей сети. Важно добиться получения ответов от фильтра быстрее, чем ответ придет из сети Интернет.

34.248.222.68  Не блокируется.

Запись вида  - 34.248.222.68/31, 6/0xfe

 

Проверил другие /31 и /29, тоже нет RST.

 

/32 - RST приходит

 

Настройки:

# Выгружать ip для полной блокировки в режиме моста
ips_to_hosts = true
# Выгружать сети для полной блокировки в режиме моста
nets_to_hosts = true

 

 

Share this post


Link to post
Share on other sites

@max1976 При подаче сигнала HUP вылетает extFilter. Вот что в логе. Версия последняя. Памяти вроде выделил нормально

Скрытый текст

2019-11-07 07:04:31.931 [15092] Information Application - Got HUP signal - reload data
2019-11-07 07:04:31.931 [15092] Information ReloadTask - Reloading data from files...
2019-11-07 07:04:31.931 [15092] Information ACL - Memory usage before acl read: realmem 52096 peakrealmem: 678788 curVirtMem: 12809392 peakVirtMem: 24323384
2019-11-07 07:04:31.931 [15092] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts
2019-11-07 07:04:33.469 [15092] Information ACL - Used 134217728 bytes of memory for acl4 rules (1374504 entries)
2019-11-07 07:04:33.469 [15092] Information ACL - Used 7168 bytes of memory for acl6 rules (50 entries)
2019-11-07 07:04:33.470 [15092] Information ACL - Memory usage after acl read: realmem 138104 peakrealmem: 678788 curVirtMem: 12940468 peakVirtMem: 24323384
2019-11-07 07:04:33.470 [15092] Information ACL - Memory usage bedore acl setup: realmem 138148 peakrealmem: 678788 curVirtMem: 12940468 peakVirtMem: 24323384
2019-11-07 07:04:54.717 [15092] Error ACL - Failed to build ACL trie
2019-11-07 07:04:54.733 [15092] Error ACL - Setup acl for ipv4 with socketid 0 failed, keeping previous rules for that socket
2019-11-07 07:04:54.738 [15092] Information ACL - Memory usage after acl setup: realmem 138204 peakrealmem: 722568 curVirtMem: 12940468 peakVirtMem: 24323384
2019-11-07 07:04:54.742 [15092] Information ReloadTask - ACLs successfully loaded
2019-11-07 07:04:54.779 [15092] Information TriesControl - Loaded 118433 lines from the domains file '/usr/local/etc/extfilter/domains'
2019-11-07 07:04:54.812 [15092] Information TriesControl - Loaded 92167 lines from the urls file '/usr/local/etc/extfilter/urls'
2019-11-07 07:04:54.830 [15092] Information TriesControl - Masked domains: #keys 23014, #nodes 32209
2019-11-07 07:04:55.102 [15092] Information TriesControl - URLS: #keys 210542, #nodes 301721
2019-11-07 07:04:55.102 [15092] Information TriesControl - Set active trie in the slot 1
2019-11-07 07:04:56.102 [15092] Information TriesControl - Deleting trie in the slot 0
2019-11-07 07:04:56.132 [15092] Information TriesControl - Loaded 130117 lines from the domains file '/usr/local/etc/extfilter/ssl_host'
2019-11-07 07:04:56.150 [15092] Information TriesControl - Masked domains: #keys 23014, #nodes 32209
2019-11-07 07:04:56.268 [15092] Information TriesControl - URLS: #keys 126704, #nodes 178842
2019-11-07 07:04:56.268 [15092] Information TriesControl - Set active trie in the slot 1
2019-11-07 07:04:57.269 [15092] Information TriesControl - Deleting trie in the slot 0
2019-11-07 07:04:57.269 [15092] Information ReloadTask - Blacklists successfully loaded

 

 

Share this post


Link to post
Share on other sites
51 минуту назад, overty сказал:

34.248.222.68  Не блокируется.

Запись вида  - 34.248.222.68/31, 6/0xfe

 


 

Цитата

 

cat hosts | grep 34.248.222.68
34.248.222.68/31, 6/0xfe


 

Цитата

 

telnet 34.248.222.68 80
Trying 34.248.222.68...
telnet: connect to address 34.248.222.68: Connection refused


 

Цитата

telnet 34.248.222.69 80
Trying 34.248.222.69...
telnet: connect to address 34.248.222.69: Connection refused

 

 

28 минут назад, arhead сказал:

2019-11-07 07:04:54.717 [15092] Error ACL - Failed to build ACL trie

Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now