swsn Опубликовано 29 октября, 2019 · Жалоба 13 минут назад, Hawk128 сказал: Добрый день. Есть подозрение что extfilter не обновляет списки по HUP. После полного restart списки подгружаются полностью. С чем может быть связанно? Скрипт обновления отрабатывает от пользователя у которого хватает прав на релоад? у меня всё перечитывает нормально. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 29 октября, 2019 · Жалоба Да. В логах: 2019-10-29 23:34:34.304 [35009] Information Application - Got HUP signal - reload data 2019-10-29 23:34:34.304 [35009] Information ReloadTask - Reloading data from files... 2019-10-29 23:34:34.304 [35009] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts 2019-10-29 23:34:37.567 [35009] Information ACL - Preparing 1238664 rules for IPv4 ACL 2019-10-29 23:34:37.614 [35009] Information ACL - Preparing 50 rules for IPv6 ACL А вот после restart: 2019-10-29 23:59:50.024 [30057] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts 2019-10-29 23:59:51.717 [30057] Information ACL - Preparing 1238664 rules for IPv4 ACL 2019-10-29 23:59:51.752 [30057] Information ACL - Preparing 50 rules for IPv6 ACL 2019-10-30 00:00:14.670 [30057] Information TriesControl - Loaded 116158 lines from the domains file '/usr/local/etc/extfilter/domains' 2019-10-30 00:00:14.683 [30057] Information TriesControl - Loaded 92880 lines from the urls file '/usr/local/etc/extfilter/urls' 2019-10-30 00:00:14.693 [30057] Information TriesControl - Masked domains: #keys 22250, #nodes 31122 2019-10-30 00:00:14.858 [30057] Information TriesControl - URLS: #keys 208982, #nodes 299200 2019-10-30 00:00:14.858 [30057] Information TriesControl - Set active trie in the slot 0 2019-10-30 00:00:14.869 [30057] Information TriesControl - Loaded 127465 lines from the domains file '/usr/local/etc/extfilter/ssl_host' 2019-10-30 00:00:14.879 [30057] Information TriesControl - Masked domains: #keys 22250, #nodes 31122 2019-10-30 00:00:14.947 [30057] Information TriesControl - URLS: #keys 124213, #nodes 175392 2019-10-30 00:00:14.947 [30057] Information TriesControl - Set active trie in the slot 0 Похоже domains и urls при HUP не подгружаются. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 30 октября, 2019 · Жалоба 2019-10-30 10:37:25.868 [18145] Information TriesControl - Loaded 116878 lines from the domains file '/usr/local/etc/extfilter/DUMP/domains' 2019-10-30 10:37:25.909 [18145] Information TriesControl - Loaded 93363 lines from the urls file '/usr/local/etc/extfilter/DUMP/urls' 2019-10-30 10:37:27.180 [18145] Information TriesControl - Loaded 128294 lines from the domains file '/usr/local/etc/extfilter/DUMP/ssl_host' ./extFilter -v extFilter version 0.99.4 я у себя проверил всё гут Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 1 ноября, 2019 · Жалоба А давно так долго отрабатывает zapret.pl или я что то пропустил? 2019-11-01 10:27:07 | DEBUG | main | Got result... 2019-11-01 10:45:13 | DEBUG | main | Added new only IP: 100.21.74.16 ---------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------- 2019-11-01 10:47:28 | DEBUG | main | Added new only IP: 45.90.119.152 2019-11-01 10:48:00 | INFO | main | Check iterations: 1 2019-11-01 10:48:00 | INFO | main | Registry processing time: 00:22:59 (wait time: 00:02:00) Или даже 26 минут порой, да DEBUG включен всегда был. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 2 ноября, 2019 (изменено) · Жалоба 9 часов назад, hsvt сказал: А давно так долго отрабатывает zapret.pl или я что то пропустил? Обновите с github и будет работать быстро. Изменено 2 ноября, 2019 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 2 ноября, 2019 · Жалоба Походу ревизору плохо совсем. Пришло письмо что Неудовлетворительные результаты мониторинга. Хотя в отчетах все чисто даже за сегодняшний день. Жаль что сегодня выходной позвонить не кому. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 2 ноября, 2019 · Жалоба 29 минут назад, arhead сказал: Походу ревизору плохо совсем. еще бы не плохо, им проверить надо 160568 all_domain 1642053 all_ip Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marsellus Опубликовано 4 ноября, 2019 · Жалоба Почему extfilter совсем не реагирует на некоторые запросы? Ни одного RST в ответ. Работает в режиме зеркала. Может ли это быть проблема в производительности сервера? Трафика 350 мегабит. Выделено под hugepages 24Gb. ЦПУ 1хE3-1230 v3 (4 ядра). Два ядра на входящие очереди, одно на исходящую. Уже не понимаю куда копать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 4 ноября, 2019 · Жалоба 37 минут назад, marsellus сказал: Почему extfilter совсем не реагирует на некоторые запросы? Ни одного RST в ответ. Работает в режиме зеркала. Может ли это быть проблема в производительности сервера? Трафика 350 мегабит. Выделено под hugepages 24Gb. ЦПУ 1хE3-1230 v3 (4 ядра). Два ядра на входящие очереди, одно на исходящую. Уже не понимаю куда копать. Версия последняя с github? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marsellus Опубликовано 4 ноября, 2019 · Жалоба 2 minutes ago, max1976 said: Версия последняя с github? Да, 0.99.4 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 5 ноября, 2019 · Жалоба На что не реагирует фильтр? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marsellus Опубликовано 5 ноября, 2019 (изменено) · Жалоба 30 minutes ago, max1976 said: На что не реагирует фильтр? Например на 34.248.222.68. Я обнаружил это в дампе (один из примеров). Т.е. фильтр не среагировал в какое-то время. Сейчас если я сделаю тест curl -v http://34.248.222.68 - получаю RST. Изменено 5 ноября, 2019 пользователем marsellus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 5 ноября, 2019 · Жалоба 11 минут назад, marsellus сказал: Например на 34.248.222.68. Я обнаружил это в дампе (один из примеров). Т.е. фильтр не среагировал в какое-то время. Сейчас если я сделаю тест curl -v http://34.248.222.68 - получаю RST. Смотрите архитектуру вашей сети. Важно добиться получения ответов от фильтра быстрее, чем ответ придет из сети Интернет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marsellus Опубликовано 5 ноября, 2019 · Жалоба 3 minutes ago, max1976 said: Смотрите архитектуру вашей сети. Важно добиться получения ответов от фильтра быстрее, чем ответ придет из сети Интернет. Все в пределах одной железки. Нет никакой архитектуры. Два etherchannel с сумарным трафиком 500 Mbps зеркалируются в сервер с extfilter. В соседнем порту ревизор. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 5 ноября, 2019 · Жалоба Позвонил насчет своего случая. В отчетах было данные формируются. Сказали что проверка 10 дней идет. Задал вопрос: А как же я оперативно узнаю что пропуски у меня это же и штраф влететь может. Сказали ну вот так по нашим автоматическим письмам. Насчет штрафа вроде сказали пока не будет. Очень интересная ситуация. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 5 ноября, 2019 · Жалоба 1 час назад, arhead сказал: Позвонил насчет своего случая. В отчетах было данные формируются. Сказали что проверка 10 дней идет. Задал вопрос: А как же я оперативно узнаю что пропуски у меня это же и штраф влететь может. Сказали ну вот так по нашим автоматическим письмам. Насчет штрафа вроде сказали пока не будет. Очень интересная ситуация. Почему 10 дней проверка то идет? айпишники долго так проверяет? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 5 ноября, 2019 · Жалоба 5 минут назад, swsn сказал: Почему 10 дней проверка то идет? айпишники долго так проверяет? Не сказали. Но мне кажется да) Скинул мне предварительный отчет. Там сайты ип нет вроде. Короче они сами наверное офигевают) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 5 ноября, 2019 · Жалоба 5 минут назад, arhead сказал: Не сказали. Но мне кажется да) Скинул мне предварительный отчет. Там сайты ип нет вроде. Короче они сами наверное офигевают) а чем блокируете айпишники, заворотом в блэкхол или фильтром? у меня проблема с долгими проверками решилась сентябрьским фиксом , отчет бывает готов в тот же день( это при схеме что extfilter блочит ip) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 5 ноября, 2019 · Жалоба IP из-за большого количества блекхол отпал т.к. центральная циска не выдерживает столько маршрутов и просто закрывает все порты. Сейчас блокирует extfilter в режиме зеркала. Да и на маршрутизаторах которые на Linux в ipset еще заливаю на всякий случай. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 5 ноября, 2019 · Жалоба Долгие отчёты ревизора происходят из-за того, что при обращении на блокированные адреса не приходит rst. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 5 ноября, 2019 · Жалоба 4 часа назад, max1976 сказал: Долгие отчёты ревизора происходят из-за того, что при обращении на блокированные адреса не приходит rst. ну допустим если блокируется через реджект хост анричебл (этого достаточно ?) , по факту то это косяк ревизора что он залипает так долго Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ixi Опубликовано 6 ноября, 2019 · Жалоба 18 часов назад, dee сказал: ну допустим если блокируется через реджект хост анричебл (этого достаточно ?) Да, в сентябре переделали на unreachable (а потом на icmp prohibited), отчёты стали приходить на следующий день, с редкими исключениями Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
overty Опубликовано 7 ноября, 2019 · Жалоба On 11/5/2019 at 9:22 AM, max1976 said: Смотрите архитектуру вашей сети. Важно добиться получения ответов от фильтра быстрее, чем ответ придет из сети Интернет. 34.248.222.68 Не блокируется. Запись вида - 34.248.222.68/31, 6/0xfe Проверил другие /31 и /29, тоже нет RST. /32 - RST приходит Настройки: # Выгружать ip для полной блокировки в режиме моста ips_to_hosts = true # Выгружать сети для полной блокировки в режиме моста nets_to_hosts = true Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 7 ноября, 2019 · Жалоба @max1976 При подаче сигнала HUP вылетает extFilter. Вот что в логе. Версия последняя. Памяти вроде выделил нормально Скрытый текст 2019-11-07 07:04:31.931 [15092] Information Application - Got HUP signal - reload data 2019-11-07 07:04:31.931 [15092] Information ReloadTask - Reloading data from files... 2019-11-07 07:04:31.931 [15092] Information ACL - Memory usage before acl read: realmem 52096 peakrealmem: 678788 curVirtMem: 12809392 peakVirtMem: 24323384 2019-11-07 07:04:31.931 [15092] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts 2019-11-07 07:04:33.469 [15092] Information ACL - Used 134217728 bytes of memory for acl4 rules (1374504 entries) 2019-11-07 07:04:33.469 [15092] Information ACL - Used 7168 bytes of memory for acl6 rules (50 entries) 2019-11-07 07:04:33.470 [15092] Information ACL - Memory usage after acl read: realmem 138104 peakrealmem: 678788 curVirtMem: 12940468 peakVirtMem: 24323384 2019-11-07 07:04:33.470 [15092] Information ACL - Memory usage bedore acl setup: realmem 138148 peakrealmem: 678788 curVirtMem: 12940468 peakVirtMem: 24323384 2019-11-07 07:04:54.717 [15092] Error ACL - Failed to build ACL trie 2019-11-07 07:04:54.733 [15092] Error ACL - Setup acl for ipv4 with socketid 0 failed, keeping previous rules for that socket 2019-11-07 07:04:54.738 [15092] Information ACL - Memory usage after acl setup: realmem 138204 peakrealmem: 722568 curVirtMem: 12940468 peakVirtMem: 24323384 2019-11-07 07:04:54.742 [15092] Information ReloadTask - ACLs successfully loaded 2019-11-07 07:04:54.779 [15092] Information TriesControl - Loaded 118433 lines from the domains file '/usr/local/etc/extfilter/domains' 2019-11-07 07:04:54.812 [15092] Information TriesControl - Loaded 92167 lines from the urls file '/usr/local/etc/extfilter/urls' 2019-11-07 07:04:54.830 [15092] Information TriesControl - Masked domains: #keys 23014, #nodes 32209 2019-11-07 07:04:55.102 [15092] Information TriesControl - URLS: #keys 210542, #nodes 301721 2019-11-07 07:04:55.102 [15092] Information TriesControl - Set active trie in the slot 1 2019-11-07 07:04:56.102 [15092] Information TriesControl - Deleting trie in the slot 0 2019-11-07 07:04:56.132 [15092] Information TriesControl - Loaded 130117 lines from the domains file '/usr/local/etc/extfilter/ssl_host' 2019-11-07 07:04:56.150 [15092] Information TriesControl - Masked domains: #keys 23014, #nodes 32209 2019-11-07 07:04:56.268 [15092] Information TriesControl - URLS: #keys 126704, #nodes 178842 2019-11-07 07:04:56.268 [15092] Information TriesControl - Set active trie in the slot 1 2019-11-07 07:04:57.269 [15092] Information TriesControl - Deleting trie in the slot 0 2019-11-07 07:04:57.269 [15092] Information ReloadTask - Blacklists successfully loaded Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 ноября, 2019 · Жалоба 51 минуту назад, overty сказал: 34.248.222.68 Не блокируется. Запись вида - 34.248.222.68/31, 6/0xfe Цитата cat hosts | grep 34.248.222.68 34.248.222.68/31, 6/0xfe Цитата telnet 34.248.222.68 80 Trying 34.248.222.68... telnet: connect to address 34.248.222.68: Connection refused Цитата telnet 34.248.222.69 80 Trying 34.248.222.69... telnet: connect to address 34.248.222.69: Connection refused 28 минут назад, arhead сказал: 2019-11-07 07:04:54.717 [15092] Error ACL - Failed to build ACL trie Не получается создать dpdk acl при помощи rte_acl_build. Одна из причин - недостаточно свободной памяти, выделенной для dpdk. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...