Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

13 минут назад, Hawk128 сказал:

Добрый день.

Есть подозрение что extfilter не обновляет списки по HUP.

После полного restart списки подгружаются полностью.

С чем может быть связанно?

 

Скрипт обновления отрабатывает от пользователя у которого хватает прав  на релоад?

у меня всё перечитывает нормально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да.

В логах:

2019-10-29 23:34:34.304 [35009] Information Application - Got HUP signal - reload data
2019-10-29 23:34:34.304 [35009] Information ReloadTask - Reloading data from files...
2019-10-29 23:34:34.304 [35009] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts
2019-10-29 23:34:37.567 [35009] Information ACL - Preparing 1238664 rules for IPv4 ACL
2019-10-29 23:34:37.614 [35009] Information ACL - Preparing 50 rules for IPv6 ACL

А вот после restart:

2019-10-29 23:59:50.024 [30057] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts
2019-10-29 23:59:51.717 [30057] Information ACL - Preparing 1238664 rules for IPv4 ACL
2019-10-29 23:59:51.752 [30057] Information ACL - Preparing 50 rules for IPv6 ACL
2019-10-30 00:00:14.670 [30057] Information TriesControl - Loaded 116158 lines from the domains file '/usr/local/etc/extfilter/domains'
2019-10-30 00:00:14.683 [30057] Information TriesControl - Loaded 92880 lines from the urls file '/usr/local/etc/extfilter/urls'
2019-10-30 00:00:14.693 [30057] Information TriesControl - Masked domains: #keys 22250, #nodes 31122
2019-10-30 00:00:14.858 [30057] Information TriesControl - URLS: #keys 208982, #nodes 299200
2019-10-30 00:00:14.858 [30057] Information TriesControl - Set active trie in the slot 0
2019-10-30 00:00:14.869 [30057] Information TriesControl - Loaded 127465 lines from the domains file '/usr/local/etc/extfilter/ssl_host'
2019-10-30 00:00:14.879 [30057] Information TriesControl - Masked domains: #keys 22250, #nodes 31122
2019-10-30 00:00:14.947 [30057] Information TriesControl - URLS: #keys 124213, #nodes 175392
2019-10-30 00:00:14.947 [30057] Information TriesControl - Set active trie in the slot 0

Похоже domains и urls  при HUP не подгружаются.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2019-10-30 10:37:25.868 [18145] Information TriesControl - Loaded 116878 lines from the domains file '/usr/local/etc/extfilter/DUMP/domains'
2019-10-30 10:37:25.909 [18145] Information TriesControl - Loaded 93363 lines from the urls file '/usr/local/etc/extfilter/DUMP/urls'
2019-10-30 10:37:27.180 [18145] Information TriesControl - Loaded 128294 lines from the domains file '/usr/local/etc/extfilter/DUMP/ssl_host'


./extFilter -v
extFilter version 0.99.4

я у себя проверил всё гут

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А давно так долго отрабатывает zapret.pl или я что то пропустил?


 

2019-11-01 10:27:07 | DEBUG | main  | Got result...
2019-11-01 10:45:13 | DEBUG | main  | Added new only IP: 100.21.74.16

----------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------

2019-11-01 10:47:28 | DEBUG | main  | Added new only IP: 45.90.119.152
2019-11-01 10:48:00 | INFO  | main  | Check iterations: 1
2019-11-01 10:48:00 | INFO  | main  | Registry processing time: 00:22:59 (wait time: 00:02:00)

Или даже 26 минут порой, да DEBUG включен всегда был.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

9 часов назад, hsvt сказал:

А давно так долго отрабатывает zapret.pl или я что то пропустил?

Обновите с github и будет работать быстро. 

Изменено пользователем max1976

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Походу ревизору плохо совсем. Пришло письмо что Неудовлетворительные результаты мониторинга. Хотя в отчетах все чисто даже за сегодняшний день. Жаль что сегодня выходной позвонить не кому.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

29 минут назад, arhead сказал:

Походу ревизору плохо совсем.

еще бы не плохо, им проверить надо 

   160568 all_domain
  1642053 all_ip
 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Почему extfilter совсем не реагирует на некоторые запросы? Ни одного RST в ответ. Работает в режиме зеркала. Может ли это быть проблема в производительности сервера? Трафика 350 мегабит. Выделено под hugepages 24Gb. ЦПУ 1хE3-1230 v3 (4 ядра). Два ядра на входящие очереди, одно на исходящую. Уже не понимаю куда копать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

37 минут назад, marsellus сказал:

Почему extfilter совсем не реагирует на некоторые запросы? Ни одного RST в ответ. Работает в режиме зеркала. Может ли это быть проблема в производительности сервера? Трафика 350 мегабит. Выделено под hugepages 24Gb. ЦПУ 1хE3-1230 v3 (4 ядра). Два ядра на входящие очереди, одно на исходящую. Уже не понимаю куда копать.

Версия последняя с github?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 minutes ago, max1976 said:

Версия последняя с github?

Да, 0.99.4

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На что не реагирует фильтр? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

30 minutes ago, max1976 said:

На что не реагирует фильтр? 

Например на 34.248.222.68. Я обнаружил это в дампе (один из примеров). Т.е. фильтр не среагировал в какое-то время. Сейчас если я сделаю тест curl -v http://34.248.222.68 - получаю RST.

Изменено пользователем marsellus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

11 минут назад, marsellus сказал:

Например на 34.248.222.68. Я обнаружил это в дампе (один из примеров). Т.е. фильтр не среагировал в какое-то время. Сейчас если я сделаю тест curl -v http://34.248.222.68 - получаю RST.

 

Смотрите архитектуру вашей сети. Важно добиться получения ответов от фильтра быстрее, чем ответ придет из сети Интернет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 minutes ago, max1976 said:

Смотрите архитектуру вашей сети. Важно добиться получения ответов от фильтра быстрее, чем ответ придет из сети Интернет.

Все в пределах одной железки. Нет никакой архитектуры. Два etherchannel с сумарным трафиком 500 Mbps зеркалируются в сервер с extfilter. В соседнем порту ревизор.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Позвонил насчет своего случая. В отчетах было данные формируются. Сказали что проверка 10 дней идет. Задал вопрос: А как же я оперативно узнаю что пропуски у меня это же и штраф влететь может. Сказали ну вот так по нашим автоматическим письмам. Насчет штрафа вроде сказали пока не будет. Очень интересная ситуация.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, arhead сказал:

Позвонил насчет своего случая. В отчетах было данные формируются. Сказали что проверка 10 дней идет. Задал вопрос: А как же я оперативно узнаю что пропуски у меня это же и штраф влететь может. Сказали ну вот так по нашим автоматическим письмам. Насчет штрафа вроде сказали пока не будет. Очень интересная ситуация.

Почему 10 дней проверка то идет? айпишники долго так проверяет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 минут назад, swsn сказал:

Почему 10 дней проверка то идет? айпишники долго так проверяет?

Не сказали. Но мне кажется да) Скинул мне предварительный отчет. Там сайты ип нет вроде. Короче они сами наверное офигевают)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 минут назад, arhead сказал:

Не сказали. Но мне кажется да) Скинул мне предварительный отчет. Там сайты ип нет вроде. Короче они сами наверное офигевают)

а чем блокируете айпишники, заворотом в блэкхол или фильтром?

у меня проблема с долгими проверками решилась сентябрьским фиксом , отчет бывает готов в тот же день( это при схеме что extfilter  блочит ip)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

IP из-за большого количества блекхол отпал т.к. центральная циска не выдерживает столько маршрутов и просто закрывает все порты. Сейчас блокирует extfilter в режиме зеркала. Да и на маршрутизаторах которые на Linux в ipset еще заливаю на всякий случай.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Долгие отчёты ревизора происходят из-за того, что при обращении на блокированные адреса не приходит rst. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

4 часа назад, max1976 сказал:

Долгие отчёты ревизора происходят из-за того, что при обращении на блокированные адреса не приходит rst. 

ну допустим если блокируется через реджект хост анричебл (этого достаточно ?) , по факту то это косяк ревизора что он залипает так долго

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

18 часов назад, dee сказал:

ну допустим если блокируется через реджект хост анричебл (этого достаточно ?)

Да, в сентябре переделали на unreachable (а потом на icmp prohibited), отчёты стали приходить на следующий день, с редкими исключениями

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

On 11/5/2019 at 9:22 AM, max1976 said:

Смотрите архитектуру вашей сети. Важно добиться получения ответов от фильтра быстрее, чем ответ придет из сети Интернет.

34.248.222.68  Не блокируется.

Запись вида  - 34.248.222.68/31, 6/0xfe

 

Проверил другие /31 и /29, тоже нет RST.

 

/32 - RST приходит

 

Настройки:

# Выгружать ip для полной блокировки в режиме моста
ips_to_hosts = true
# Выгружать сети для полной блокировки в режиме моста
nets_to_hosts = true

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@max1976 При подаче сигнала HUP вылетает extFilter. Вот что в логе. Версия последняя. Памяти вроде выделил нормально

Скрытый текст

2019-11-07 07:04:31.931 [15092] Information Application - Got HUP signal - reload data
2019-11-07 07:04:31.931 [15092] Information ReloadTask - Reloading data from files...
2019-11-07 07:04:31.931 [15092] Information ACL - Memory usage before acl read: realmem 52096 peakrealmem: 678788 curVirtMem: 12809392 peakVirtMem: 24323384
2019-11-07 07:04:31.931 [15092] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts
2019-11-07 07:04:33.469 [15092] Information ACL - Used 134217728 bytes of memory for acl4 rules (1374504 entries)
2019-11-07 07:04:33.469 [15092] Information ACL - Used 7168 bytes of memory for acl6 rules (50 entries)
2019-11-07 07:04:33.470 [15092] Information ACL - Memory usage after acl read: realmem 138104 peakrealmem: 678788 curVirtMem: 12940468 peakVirtMem: 24323384
2019-11-07 07:04:33.470 [15092] Information ACL - Memory usage bedore acl setup: realmem 138148 peakrealmem: 678788 curVirtMem: 12940468 peakVirtMem: 24323384
2019-11-07 07:04:54.717 [15092] Error ACL - Failed to build ACL trie
2019-11-07 07:04:54.733 [15092] Error ACL - Setup acl for ipv4 with socketid 0 failed, keeping previous rules for that socket
2019-11-07 07:04:54.738 [15092] Information ACL - Memory usage after acl setup: realmem 138204 peakrealmem: 722568 curVirtMem: 12940468 peakVirtMem: 24323384
2019-11-07 07:04:54.742 [15092] Information ReloadTask - ACLs successfully loaded
2019-11-07 07:04:54.779 [15092] Information TriesControl - Loaded 118433 lines from the domains file '/usr/local/etc/extfilter/domains'
2019-11-07 07:04:54.812 [15092] Information TriesControl - Loaded 92167 lines from the urls file '/usr/local/etc/extfilter/urls'
2019-11-07 07:04:54.830 [15092] Information TriesControl - Masked domains: #keys 23014, #nodes 32209
2019-11-07 07:04:55.102 [15092] Information TriesControl - URLS: #keys 210542, #nodes 301721
2019-11-07 07:04:55.102 [15092] Information TriesControl - Set active trie in the slot 1
2019-11-07 07:04:56.102 [15092] Information TriesControl - Deleting trie in the slot 0
2019-11-07 07:04:56.132 [15092] Information TriesControl - Loaded 130117 lines from the domains file '/usr/local/etc/extfilter/ssl_host'
2019-11-07 07:04:56.150 [15092] Information TriesControl - Masked domains: #keys 23014, #nodes 32209
2019-11-07 07:04:56.268 [15092] Information TriesControl - URLS: #keys 126704, #nodes 178842
2019-11-07 07:04:56.268 [15092] Information TriesControl - Set active trie in the slot 1
2019-11-07 07:04:57.269 [15092] Information TriesControl - Deleting trie in the slot 0
2019-11-07 07:04:57.269 [15092] Information ReloadTask - Blacklists successfully loaded

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

51 минуту назад, overty сказал:

34.248.222.68  Не блокируется.

Запись вида  - 34.248.222.68/31, 6/0xfe

 


 

Цитата

 

cat hosts | grep 34.248.222.68
34.248.222.68/31, 6/0xfe


 

Цитата

 

telnet 34.248.222.68 80
Trying 34.248.222.68...
telnet: connect to address 34.248.222.68: Connection refused


 

Цитата

telnet 34.248.222.69 80
Trying 34.248.222.69...
telnet: connect to address 34.248.222.69: Connection refused

 

 

28 минут назад, arhead сказал:

2019-11-07 07:04:54.717 [15092] Error ACL - Failed to build ACL trie

Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.