max1976 Опубликовано 30 августа, 2018 · Жалоба 34 минуты назад, max1976 сказал: Нашел баг при загрузке списков с маской для ssl. Ошибка исправлена. Изменение на github'е. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 30 августа, 2018 · Жалоба 1xbet.mobi похоже постоянно меняет ip т.к домен в списке есть , а ip на который он резолвится нет (81.91.185.1) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба 4 минуты назад, dee сказал: 1xbet.mobi похоже постоянно меняет ip т.к домен в списке есть , а ip на который он резолвится нет (81.91.185.1) Это не имеет значения. Данный сайт блокируется по http/sni. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 30 августа, 2018 (изменено) · Жалоба ну новая сборка постоянно падает при попытке запуска Скрытый текст /usr/src/TEST-103/extfilter/src/extFilter -f /usr/src/TEST-103/extfilter/etc/extfilter.ini EAL: Detected 16 lcore(s) EAL: Probing VFIO support... EAL: PCI device 0000:06:00.0 on NUMA socket 0 EAL: probe driver: 8086:10fb net_ixgbe EAL: PCI device 0000:06:00.1 on NUMA socket 0 EAL: probe driver: 8086:10fb net_ixgbe EAL: PCI device 0000:09:00.0 on NUMA socket 0 EAL: probe driver: 8086:1521 net_e1000_igb EAL: PCI device 0000:09:00.1 on NUMA socket 0 EAL: probe driver: 8086:1521 net_e1000_igb EAL: PCI device 0000:09:00.2 on NUMA socket 0 EAL: probe driver: 8086:1521 net_e1000_igb EAL: PCI device 0000:09:00.3 on NUMA socket 0 EAL: probe driver: 8086:1521 net_e1000_igb EAL: PCI device 0000:83:00.0 on NUMA socket 1 EAL: probe driver: 8086:10c9 net_e1000_igb EAL: PCI device 0000:83:00.1 on NUMA socket 1 EAL: probe driver: 8086:10c9 net_e1000_igb EAL: PCI device 0000:85:00.0 on NUMA socket 1 EAL: probe driver: 8086:10c9 net_e1000_igb EAL: PCI device 0000:85:00.1 on NUMA socket 1 EAL: probe driver: 8086:10c9 net_e1000_igb EAL: PCI device 0000:89:00.0 on NUMA socket 1 EAL: probe driver: 8086:10fb net_ixgbe EAL: PCI device 0000:89:00.1 on NUMA socket 1 EAL: probe driver: 8086:10fb net_ixgbe acl context <extFilter-ipv4-acl0-0>@0x7f780b2d8000 socket_id=0 alg=2 max_rules=100000 rule_size=96 num_rules=46 num_categories=1 num_tries=1 RING: Cannot reserve memory HASH: memory allocation failed Аварийный останов (core dumped ______________________________________ 2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV6 - Allocate 149952 bytes (3124 entries, element size 48) for flow hash ipv6 2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV6 - Allocating 24992 bytes (3124 entries) for ipv6_flows 2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV6 - Allocate 149952 bytes (3124 entries, element size 48) for flow hash ipv6 2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV6 - Allocating 24992 bytes (3124 entries) for ipv6_flows 2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.239 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.248 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.250 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.260 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.262 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.272 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.274 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.283 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.285 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.295 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.297 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.306 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.308 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.318 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.319 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.329 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.331 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.341 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.342 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.352 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.354 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.364 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.365 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.375 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.377 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.386 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.388 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.398 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.400 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows 2018-08-30 14:14:24.412 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4 2018-08-30 14:14:24.412 [12451] Fatal FlowStorageIPV4 - Unable to create ipv4 flow hash предыдущая версия всё гут , конфиг одинаковый ( памяти выделано одинаково , файлы блокировки одинаковые Изменено 30 августа, 2018 пользователем dee Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба Только что, dee сказал: ну новая сборка постоянно падает при попытке запуска Мало памяти для dpdk (huge pages). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 30 августа, 2018 (изменено) · Жалоба 33 minutes ago, max1976 said: ; Использовать jumbo frames ; jumbo_frames = false ; Максимальная длина ethernet фрейма при включенном jumbo_frames ; max_pkt_len = 9600 Включите эту опцию. Ага, оно. Ошибок стало 0. Натыкался на упоминания о том что оно не работает в dpdk, поэтому выключал. 17 minutes ago, max1976 said: Ошибка исправлена. Изменение на github'е. https://1xbet.mobi, https://www.1xbet.mobi - банятся. Зато перестал баниться http://1xbet.mobi - улетаю редиректом сайта на https, и вижу не заглушку а ресет. Причём, похоже это только этот сайт из проверенных. Остальные упоминавшиеся выше: https://www.paripartners162.com/ https://paripartners162.com/ https://www.mygreatmarathon.win/ https://www.leonbets8u.website/ банятся нормально. Изменено 30 августа, 2018 пользователем atdp03 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 30 августа, 2018 · Жалоба 1 минуту назад, max1976 сказал: Мало памяти для dpdk (huge pages). тогда вопрос - сколько же ей теперь нужно ? cat /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages 10000 cat /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages 10000 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба 1 минуту назад, atdp03 сказал: Зато перестал баниться http://1xbet.mobi - улетаю редиректом сайта на https, и вижу не заглушку а ресет. Такого сайта нет в списке. *.xbet.mobi это другая маска. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 30 августа, 2018 (изменено) · Жалоба 2 minutes ago, max1976 said: Такого сайта нет в списке. *.xbet.mobi это другая маска. /reg:register/content/@id=1059333 /reg:register/content/@includeTime=2018-08-21T06:25:18 /reg:register/content/@entryType=1 /reg:register/content/@blockType=domain-mask /reg:register/content/@hash=057091A582193EB9762A3B8AC78A74E0 /reg:register/content/decision/@date=2016-05-13 /reg:register/content/decision/@number=2-6-27/ 2016-05-05-24-АИ /reg:register/content/decision/@org=ФНС /reg:register/content/domain=*.1xbet.mobi Апдейт, был невнимателен. При обращении к https://www.1xbet.mobi сайт редиректит на https://1xbet.mobi который успешно банится. Изменено 30 августа, 2018 пользователем atdp03 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба 1 минуту назад, dee сказал: тогда вопрос - сколько же ей теперь нужно ? Памяти нужно много, т.к. это dpi и нужна большая скорость. Если вы использовали предыдущие версии, то необходимо адаптировать конфиг. Убрать все параметры из секции [dpi] и оставить только scale (от 1 до 10). Это значение подставляется ~ на каждый гигабит трафика. Только что, atdp03 сказал: /reg:register/content/@id=1059333 /reg:register/content/@includeTime=2018-08-21T06:25:18 /reg:register/content/@entryType=1 /reg:register/content/@blockType=domain-mask /reg:register/content/@hash=057091A582193EB9762A3B8AC78A74E0 /reg:register/content/decision/@date=2016-05-13 /reg:register/content/decision/@number=2-6-27/ 2016-05-05-24-АИ /reg:register/content/decision/@org=ФНС /reg:register/content/domain=*.1xbet.mobi Ну так я же написал что сайта x1bet.mobi нет в реестре, поэтому он и не блокируется. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 30 августа, 2018 (изменено) · Жалоба Потёр, кеш браузера. Изменено 30 августа, 2018 пользователем atdp03 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба 4 минуты назад, atdp03 сказал: Потёр, кеш браузера. Он блокируется: Цитата curl -v "http://1xbet.mobi" * About to connect() to 1xbet.mobi port 80 (#0) * Trying 81.91.185.1... * Connected to 1xbet.mobi (81.91.185.1) port 80 (#0) > GET / HTTP/1.1 > User-Agent: curl/7.29.0 > Host: 1xbet.mobi > Accept: */* > < HTTP/1.1 302 Moved Temporarily < Location: http://notify.example.com/blacklist < Content-Length: 0 < Connection: close < * Closing connection 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 30 августа, 2018 (изменено) · Жалоба версия extFilter version 0.95 ела конфиг : [dpi] ; Масштабирование количества обрабатываемых потоков 1..10 ; scale = 10 ; Собирать и анализировать фрагментированные пакеты ; fragmentation_ipv6_state = true fragmentation_ipv4_state = true fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком tcp_reordering = true а версия extFilter version 0.99a [dpi] ; Масштабирование количества обрабатываемых потоков 1..10 scale = 5 ; Собирать и анализировать фрагментированные пакеты ; fragmentation_ipv6_state = true ; fragmentation_ipv4_state = true ; fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком tcp_reordering = true не знаю будет ли разница в работе , но последняя версия с конфигом от предыдущей всегда падала . памяти осталось одинаковое количество : cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages 5000 cat /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages 100 cat /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages 5100 Изменено 30 августа, 2018 пользователем dee Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 (изменено) · Жалоба 2 минуты назад, dee сказал: не знаю будет ли разница в работе , но последняя версия с конфигом от предыдущей всегда падала . Смотрите сообщение в логе. Последняя версия работает с отправкой редиректов только через dpdk интерфейс (дополнительный). Изменено 30 августа, 2018 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 30 августа, 2018 · Жалоба 7 minutes ago, max1976 said: Он блокируется: Да, подтверждаю. Браузер закешировал, как и упоминавшееся ранее: 19 minutes ago, atdp03 said: При обращении к https://www.1xbet.mobi сайт редиректит на https://1xbet.mobi который успешно банит Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 30 августа, 2018 · Жалоба 7 минут назад, max1976 сказал: Смотрите сообщение в логе. Последняя версия работает с отправкой редиректов только через dpdk интерфейс (дополнительный). да уже всё лето стояла версия с отправкой через dpdk , я же выложил как бы версии Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба 28 минут назад, dee сказал: да уже всё лето стояла версия с отправкой через dpdk , я же выложил как бы версии Ответил выше - мало памяти. 2 гига не хватит для работы фильтра. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 30 августа, 2018 · Жалоба 46 minutes ago, max1976 said: Ответил выше - мало памяти. 2 гига не хватит для работы фильтра. Авоткстати. Есть примерные рекомендации? Типа: 100-500-1000к пакетов в секунду на входе, M (физических?) ядер по N Ghz, P гигабайт памяти, Q из них под hugepages, X очередей в extfilter, scale = Y, memory_channels = Z. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба 1 час назад, atdp03 сказал: Авоткстати. Есть примерные рекомендации? Типа: 100-500-1000к пакетов в секунду на входе, M (физических?) ядер по N Ghz, P гигабайт памяти, Q из них под hugepages, X очередей в extfilter, scale = Y, memory_channels = Z. Всё смешали в кучу. Memory_channels зависит от платформы и количества установленных модулей памяти. Сколько pps вытянет одно ядро - зависит от процессора и памяти. Как писал выше, 1 scale ~ равен 1 гбит/с. Объем памяти под dpdk - минимум 8 Гб (зависит от scale и других дополнительных параметров из секции [dpi]). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 4 сентября, 2018 · Жалоба Можно подвести промежуточные итоги. Старая система: Xeon 1270v3+16G, extfilter от 2 февраля 2018. Новая: Xeon 1270v5+32G, extfilter от 30го августа 2018. Сетевухи идентичны, зеркало то же. Старая машина жевала объём в один поток (num_of_workers=1). Новой понадобилось 3, чтобы избавиться от фантомных пропусков. По факту сделал 4, с запасом. core_mask = 31 [port 1] queues = 0,1; 1,2; 2,3; 3,4 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 4 сентября, 2018 · Жалоба патчи от мельдаунов и прочих не появились на второй машине? Если появились, то может попробовать отключить ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 4 сентября, 2018 · Жалоба 42 minutes ago, st_re said: патчи от мельдаунов и прочих не появились на второй машине? Если появились, то может попробовать отключить ? Логично, не подумал. Единственное существенное отличие между старой и новой системами - 16.04 и 18.04. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 4 сентября, 2018 · Жалоба 4 часа назад, atdp03 сказал: Можно подвести промежуточные итоги. Старая система: Xeon 1270v3+16G, extfilter от 2 февраля 2018. Новая: Xeon 1270v5+32G, extfilter от 30го августа 2018. Сетевухи идентичны, зеркало то же. Старая машина жевала объём в один поток (num_of_workers=1). Новой понадобилось 3, чтобы избавиться от фантомных пропусков. По факту сделал 4, с запасом. core_mask = 31 [port 1] queues = 0,1; 1,2; 2,3; 3,4 Надо смотреть количество missed пакетов на интерфейсе, который используется для приёма трафика. Если значение больше 0, то необходимо увеличить количество рабочих процессов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 4 сентября, 2018 (изменено) · Жалоба 9 minutes ago, max1976 said: Надо смотреть количество missed пакетов на интерфейсе, который используется для приёма трафика. Если значение больше 0, то необходимо увеличить количество рабочих процессов. Стерильно: 2018-09-04 19:03:56.150 [1440] Information Application - Port 1 input packets 8115511114, input errors: 0, mbuf errors: 0, missed packets: 0 Собственно, там и было стерильно, но фантомные пропуски были - тупо прокликиваю раз 20 одну и ту же ссыль - раз 8 открывается, остальное блочится. В отчётах ревизора - рандомные пропуски, каждый день разные, штук по 200. После подъёма числа очередей с 2х до 3х - пропуски исчезли. При этом scale - закомментировано. Изменено 4 сентября, 2018 пользователем atdp03 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 5 сентября, 2018 · Жалоба Уважаемый @max1976. Планируется ли обновление скрипта https://github.com/max197616/zapret под 2.4 версию дампа ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...