hsvt Опубликовано 21 марта, 2017 · Жалоба У вас, как и у меня нет поддержки 1G страниц памяти: The hugepage sizes that a CPU supports can be determined from the CPU flags on Intel architecture. If pse exists, 2M hugepages are supported; if pdpe1gb exists, 1G hugepages are supported. http://dpdk.org/doc/guides/linux_gsg/sys_reqs.html Проверить можно так: cat /proc/cpuinfo | grep pdpe1gb В таком случае default_hugepagesz=1G hugepagesz=1G hugepages=4 бесполезны. Нужно после старта добавить 2М страничек. Я делаю это через /etc/rc.local: echo 2048 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages Вот вопрос как раз в этом чтобы сделать это через tuned, через rc.local у меня тоже работает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 21 марта, 2017 · Жалоба Здесь не подскажу - я Ubuntu использую, а не CentOS. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Gubanov Опубликовано 22 марта, 2017 · Жалоба Все привет, ExtFilter в связке с Mikrotik кто-нибудь настраивал? Или это плохая затея? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 22 марта, 2017 · Жалоба Использовать микротик в провайдинге - уже плохая затея Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 22 марта, 2017 · Жалоба Похоже отсутствующие для второго проца зарезервированы. А зачем так сделали? На других такого не встречалось с одним процом на двухсокетных мамках. Поддержка bnx2x есть, но поддержки вашей карты нет: 2.4. Supported QLogic NICs 578xx Жаль, uio_pci_generic тоже не подходит. Пришлось сгородить огород ставить hipervisor ESXi а в него уже extfilter Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 22 марта, 2017 · Жалоба Приветствую. Подскажите, ставлю на второй сервер nfqfilter в логи вот так статистика кажет: 2017-03-22 13:38:26.640 [8563] Information nfqThread - NFQ: Binding to queue 02017-03-22 13:38:26.640 [8563] Information nfqThread - Setting queue length to 4096 2017-03-22 13:38:26.640 [8563] Information nfqThread - Setting nfnl bufsize to 6144000 2017-03-22 13:43:26.640 [8563] Information Application - nDPI memory (once): 88.75 KB 2017-03-22 13:43:26.640 [8563] Information Application - nDPI memory per flow: 1.23 KB 2017-03-22 13:43:26.640 [8563] Information Application - nDPI current memory usage: 1.59 MB 2017-03-22 13:43:26.640 [8563] Information Application - nDPI maximum memory usage: 1.59 MB 2017-03-22 13:43:26.640 [8563] Information Application - Total seen packets: lu, Total seen bytes: lu, Average packet size: [ERRFMT] bytes, Traffic throughput: [ERRFMT] pps 2017-03-22 13:43:26.641 [8563] Information Application - Total matched by ip/port: lu, Total matched by ssl: lu, Total matched by ssl/ip: lu 2017-03-22 13:43:26.641 [8563] Information Application - Total redirected domains lu, Total redirected urls: lu, Total marked ssl: lu, Total marked hosts: lu, Total rst sended: lu чего то не хватает? и редирект как то странно срабатывает _http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://maxcasino.com/ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 22 марта, 2017 · Жалоба Зациклено где-то, очевидно же. Маршрутного кольца нигде не получилось? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 22 марта, 2017 · Жалоба не должно :) смущает странные значения в логе вместо цифр Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 22 марта, 2017 · Жалоба почему то редирект блокируется как сам домен заблокированный Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 22 марта, 2017 · Жалоба смущает странные значения в логе вместо цифр счетчик переполнился Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 23 марта, 2017 (изменено) · Жалоба К сожалению не все гладко с реализацией. Удалось добится примерно 30-40 пропусков. Руками проверяю - все на нашу заглушку идут. Может кто-нибудь знает что еще можно подкрутить в extfilter для достижения нулевых значений пропусков? Пропущенных пакетов по статистике нет. Нагрузка менее 500 kpps в ЧНН. Intel® Xeon® CPU E31270 @ 3.40GHz S1200BTL Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01) (X520-DA2) cat /usr/local/etc/extfilter.ini ; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения. lower_host = true domainlist = /usr/local/etc/extfilter/domains urllist = /usr/local/etc/extfilter/urls ssllist = /usr/local/etc/extfilter/ssl_host ; Файл с портами для nDPI. protocols = /usr/local/etc/extfilter/protos ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /usr/local/etc/extfilter/ssl_ips ; если false, то будет послан rst пакет вместо редиректа. Default: false http_redirect = true redirect_url = http://xx.xx.xx.17 ; HTTP код ответа. default: 302 Moved Temporarily http_code = 302 Found ; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего url_additional_info=none ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = true ; Default: 0 - disable statistic_interval = 300 ; Default: false match_url_exactly = false ; Default: false block_undetected_ssl = true ; dpdk порт, где анализировать трафик dpdk_port = 0 ; dpdk порт(ы), где анализировать трафик ;dpdk_ports = 0,1 ; размер пула mbuf. Default: 8191 mbuf_pool_size = 8191 ; количество потоков по анализу трафика num_of_workers=1 ; Какие ядра использовать. Default: все ядра, кроме management. core_mask = 7 ; файл статистики (для extfilter-cacti) statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 out_mtu = 1500 ; Количество flow, обрабатываемых программой. Должно быть кратно 2. flowhash_size = 1048576 ; количество тредов для отсылки уведомлений о блокировке num_of_senders = 1 ; делать ли нормализацию url url_normalization = true ; удалять ли точку в конце имени хоста remove_dot = true [logging] loggers.root.level = information ;loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/extFilter.log channels.fileChannel.rotation = 1 M channels.fileChannel.purgeCount = 4 channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local Изменено 23 марта, 2017 пользователем Hawk128 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 23 марта, 2017 · Жалоба Запросите у ТП РЧЦ подробные логи сессий Ревизора по пропускам (или хотя бы скриншоты). Может быть и пропуски ненастоящие и на скриншотах будет заглушка. А может быть по логам увидите проблему на своей стороне. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 23 марта, 2017 · Жалоба Говорил с их технарем вчера, логи предлагают самим делать на своем оборудовании и отлавливать сессии тоже самим... По скринам говорит что не заглушка, а именно пропуск. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 23 марта, 2017 · Жалоба Ну раз есть скриншоты, значит и в самом деле пропуск. Попробуйте проверить под большой нагрузкой — не в браузере, а с помощью bat-файла, в котором в цикле будет использоваться wget. Скорее всего при большом трафике фильтр не всегда срабатывает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 марта, 2017 · Жалоба Удалось добится примерно 30-40 пропусков. Руками проверяю - все на нашу заглушку идут. Может кто-нибудь знает что еще можно подкрутить в extfilter для достижения нулевых значений пропусков? Ядро настроено на latency-performance? Nice изменен для процесса extfilter? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 23 марта, 2017 (изменено) · Жалоба Нет. Я на Ubunte делал. Что в ней менять не уверен. Как я понимаю latency-performance это в CentOS...? Nice тоже не менял. Есть ли заготовка настроек под Ubuntu? Глянул по nice: из extfilter.service берет -5. Изменено 23 марта, 2017 пользователем Hawk128 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 23 марта, 2017 (изменено) · Жалоба К сожалению не все гладко с реализацией. Удалось добится примерно 30-40 пропусков. Руками проверяю - все на нашу заглушку идут. Может кто-нибудь знает что еще можно подкрутить в extfilter для достижения нулевых значений пропусков? А какие ссылки пропустил, случайно не https?? ps: я в конфиг добавил hostlist = /usr/local/etc/extfilter/hosts Изменено 23 марта, 2017 пользователем Antares Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 марта, 2017 · Жалоба Нет. Я на Ubunte делал. Что в ней менять не уверен. Как я понимаю latency-performance это в CentOS...? Nice тоже не менял. Есть ли заготовка настроек под Ubuntu? Глянул по nice: из extfilter.service берет -5. И на этом сервере никаких других сервисов (типа mysql) не должно быть. Смотрите профиль latency-performance, там есть настройки процессора и ядра. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 23 марта, 2017 · Жалоба Ок. Профиль помотрю, постараюсь применить к Ubuntu. Сервисов никаких нет, тольк extfilter и его скрипт по созданию списков. БД с опросником листа на другом сервере. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 23 марта, 2017 · Жалоба подскажите по nfqfilter собрал на новом сервере, вроде как пытает блокировать, по получается странность. через предыдущий сервер, блокирует и редиректит на сайт заглушку _block.site.ru/?url=http://maxcasino.com/ если я пытаюсь открыть _block.site.ru/?url=http://maxcasino.com/, открывается заглушка как положено. На новом сервере, даже открывая _block.site.ru/?url=http://maxcasino.com/, оно подпадает под фильтр и редиректит, и так несколько раз. В итоге получается что то типо _block.site.ru/?url=block.site.ru/?url=block.site.ru/?url=block.site.ru/?url=block.site.ru/?url=http://maxcasino.com/ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 23 марта, 2017 · Жалоба Пропускайте заглушку мимо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 23 марта, 2017 · Жалоба это подскажите, как? конфиг вроде один и тот же Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 23 марта, 2017 · Жалоба это подскажите, как? конфиг вроде один и тот же url_additional_info=none что бы не вставлял заблокированный сайт Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 23 марта, 2017 · Жалоба это подскажите, как? конфиг вроде один и тот же url_additional_info=none что бы не вставлял заблокированный сайт пробовал так, все равно, и на none _http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://maxcasino.com/ всетаки смущает странного вида статистика, может это к тому же, что то не то 2017-03-23 17:46:12.716 [19746] Information nfqThread - NFQ: Binding to queue 02017-03-23 17:46:12.716 [19746] Information nfqThread - Setting queue length to 4096 2017-03-23 17:46:12.716 [19746] Information nfqThread - Setting nfnl bufsize to 6144000 2017-03-23 17:51:12.716 [19746] Information Application - nDPI memory (once): 88.75 KB 2017-03-23 17:51:12.716 [19746] Information Application - nDPI memory per flow: 1.23 KB 2017-03-23 17:51:12.716 [19746] Information Application - nDPI current memory usage: 1.92 MB 2017-03-23 17:51:12.716 [19746] Information Application - nDPI maximum memory usage: 1.92 MB 2017-03-23 17:51:12.716 [19746] Information Application - Total seen packets: lu, Total seen bytes: lu, Average packet size: [ERRFMT] bytes, Traffic throughput: [ERRFMT] pps 2017-03-23 17:51:12.716 [19746] Information Application - Total matched by ip/port: lu, Total matched by ssl: lu, Total matched by ssl/ip: lu 2017-03-23 17:51:12.716 [19746] Information Application - Total redirected domains lu, Total redirected urls: lu, Total marked ssl: lu, Total marked hosts: lu, Total rst sended: lu Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
brodayga Опубликовано 23 марта, 2017 · Жалоба Добрый день работает ли extfilter с тегированным трафиком. Если да то как включить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...