1. Для блокировка используем

[hsvt]

У вас, как и у меня нет поддержки 1G страниц памяти:

 

The hugepage sizes that a CPU supports can be determined from the CPU flags on Intel architecture. If pse exists, 2M hugepages are supported; if pdpe1gb exists, 1G hugepages are supported.

 

http://dpdk.org/doc/guides/linux_gsg/sys_reqs.html

 

Проверить можно так:

 

cat /proc/cpuinfo | grep pdpe1gb

 

В таком случае default_hugepagesz=1G hugepagesz=1G hugepages=4 бесполезны.

 

Нужно после старта добавить 2М страничек. Я делаю это через /etc/rc.local:

 

echo 2048 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

 

Вот вопрос как раз в этом чтобы сделать это через tuned, через rc.local у меня тоже работает.

[Hawk128]

Здесь не подскажу - я Ubuntu использую, а не CentOS.

[Gubanov]

Все привет,

 

ExtFilter в связке с Mikrotik кто-нибудь настраивал? Или это плохая затея?

[myth]

Использовать микротик в провайдинге - уже

плохая затея

[oborot.bolta]

Похоже отсутствующие для второго проца зарезервированы.

 

А зачем так сделали? На других такого не встречалось с одним процом на двухсокетных мамках.

 

 

Поддержка bnx2x есть, но поддержки вашей карты нет:

2.4. Supported QLogic NICs
   578xx

 

 

Жаль, uio_pci_generic тоже не подходит. Пришлось сгородить огород ставить hipervisor ESXi а в него уже extfilter

[Cramac]

Приветствую. Подскажите, ставлю на второй сервер nfqfilter в логи вот так статистика кажет:

2017-03-22 13:38:26.640 [8563] Information nfqThread - NFQ: Binding to queue 0

2017-03-22 13:38:26.640 [8563] Information nfqThread - Setting queue length to 4096

2017-03-22 13:38:26.640 [8563] Information nfqThread - Setting nfnl bufsize to 6144000

2017-03-22 13:43:26.640 [8563] Information Application - nDPI memory (once): 88.75 KB

2017-03-22 13:43:26.640 [8563] Information Application - nDPI memory per flow: 1.23 KB

2017-03-22 13:43:26.640 [8563] Information Application - nDPI current memory usage: 1.59 MB

2017-03-22 13:43:26.640 [8563] Information Application - nDPI maximum memory usage: 1.59 MB

2017-03-22 13:43:26.640 [8563] Information Application - Total seen packets: lu, Total seen bytes: lu, Average packet size: [ERRFMT] bytes, Traffic throughput: [ERRFMT] pps

2017-03-22 13:43:26.641 [8563] Information Application - Total matched by ip/port: lu, Total matched by ssl: lu, Total matched by ssl/ip: lu

2017-03-22 13:43:26.641 [8563] Information Application - Total redirected domains lu, Total redirected urls: lu, Total marked ssl: lu, Total marked hosts: lu, Total rst sended: lu

 

чего то не хватает?

и редирект как то странно срабатывает

_http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://maxcasino.com/

[myth]

Зациклено где-то, очевидно же. Маршрутного кольца нигде не получилось?

[Cramac]

не должно :)

смущает странные значения в логе вместо цифр

[Cramac]

почему то редирект блокируется как сам домен заблокированный

[myth]

смущает странные значения в логе вместо цифр

счетчик переполнился

[Hawk128]

К сожалению не все гладко с реализацией.

 

Удалось добится примерно 30-40 пропусков. Руками проверяю - все на нашу заглушку идут.

Может кто-нибудь знает что еще можно подкрутить в extfilter для достижения нулевых значений пропусков?

 

Пропущенных пакетов по статистике нет. Нагрузка менее 500 kpps в ЧНН.

 

Intel® Xeon® CPU E31270 @ 3.40GHz

S1200BTL

Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01) (X520-DA2)

 

cat /usr/local/etc/extfilter.ini 
; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
lower_host = true

domainlist = /usr/local/etc/extfilter/domains
urllist = /usr/local/etc/extfilter/urls
ssllist = /usr/local/etc/extfilter/ssl_host

; Файл с портами для nDPI.
protocols = /usr/local/etc/extfilter/protos

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /usr/local/etc/extfilter/ssl_ips

; если false, то будет послан rst пакет вместо редиректа. Default: false
http_redirect = true

redirect_url = http://xx.xx.xx.17

; HTTP код ответа. default: 302 Moved Temporarily
http_code = 302 Found

; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего
url_additional_info=none


; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = true

; Default: 0 - disable
statistic_interval = 300

; Default: false
match_url_exactly = false

; Default: false
block_undetected_ssl = true

; dpdk порт, где анализировать трафик
dpdk_port = 0

; dpdk порт(ы), где анализировать трафик
;dpdk_ports = 0,1

; размер пула mbuf. Default: 8191
mbuf_pool_size = 8191

; количество потоков по анализу трафика
num_of_workers=1

; Какие ядра использовать. Default: все ядра, кроме management.
core_mask = 7

; файл статистики (для extfilter-cacti)
statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
out_mtu = 1500

; Количество flow, обрабатываемых программой. Должно быть кратно 2.
flowhash_size = 1048576

; количество тредов для отсылки уведомлений о блокировке
num_of_senders = 1

; делать ли нормализацию url
url_normalization = true

; удалять ли точку в конце имени хоста
remove_dot = true

[logging]
loggers.root.level = information
;loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

Изменено 23 марта, 2017 пользователем Hawk128

[alibek]

Запросите у ТП РЧЦ подробные логи сессий Ревизора по пропускам (или хотя бы скриншоты).

Может быть и пропуски ненастоящие и на скриншотах будет заглушка.

А может быть по логам увидите проблему на своей стороне.

[Hawk128]

Говорил с их технарем вчера, логи предлагают самим делать на своем оборудовании и отлавливать сессии тоже самим...

По скринам говорит что не заглушка, а именно пропуск.

[alibek]

Ну раз есть скриншоты, значит и в самом деле пропуск.

Попробуйте проверить под большой нагрузкой — не в браузере, а с помощью bat-файла, в котором в цикле будет использоваться wget.

Скорее всего при большом трафике фильтр не всегда срабатывает.

[max1976]

Удалось добится примерно 30-40 пропусков. Руками проверяю - все на нашу заглушку идут.

Может кто-нибудь знает что еще можно подкрутить в extfilter для достижения нулевых значений пропусков?

 

Ядро настроено на latency-performance? Nice изменен для процесса extfilter?

[Hawk128]

Нет.

Я на Ubunte делал. Что в ней менять не уверен. Как я понимаю latency-performance это в CentOS...?

Nice тоже не менял.

 

Есть ли заготовка настроек под Ubuntu?

 

Глянул по nice: из extfilter.service берет -5.

Изменено 23 марта, 2017 пользователем Hawk128

[Antares]

К сожалению не все гладко с реализацией.

 

Удалось добится примерно 30-40 пропусков. Руками проверяю - все на нашу заглушку идут.

Может кто-нибудь знает что еще можно подкрутить в extfilter для достижения нулевых значений пропусков?

А какие ссылки пропустил, случайно не https??

 

ps: я в конфиг добавил hostlist = /usr/local/etc/extfilter/hosts

Изменено 23 марта, 2017 пользователем Antares

[max1976]

Нет.

Я на Ubunte делал. Что в ней менять не уверен. Как я понимаю latency-performance это в CentOS...?

Nice тоже не менял.

 

Есть ли заготовка настроек под Ubuntu?

 

Глянул по nice: из extfilter.service берет -5.

 

И на этом сервере никаких других сервисов (типа mysql) не должно быть. Смотрите профиль latency-performance, там есть настройки процессора и ядра.

[Hawk128]

Ок. Профиль помотрю, постараюсь применить к Ubuntu.

 

Сервисов никаких нет, тольк extfilter и его скрипт по созданию списков. БД с опросником листа на другом сервере.

[Cramac]

подскажите по nfqfilter

собрал на новом сервере, вроде как пытает блокировать, по получается странность.

через предыдущий сервер, блокирует и редиректит на сайт заглушку

_block.site.ru/?url=http://maxcasino.com/

если я пытаюсь открыть _block.site.ru/?url=http://maxcasino.com/, открывается заглушка как положено.

 

На новом сервере, даже открывая _block.site.ru/?url=http://maxcasino.com/, оно подпадает под фильтр и редиректит, и так несколько раз. В итоге получается что то типо

_block.site.ru/?url=block.site.ru/?url=block.site.ru/?url=block.site.ru/?url=block.site.ru/?url=http://maxcasino.com/

[zhenya`]

Пропускайте заглушку мимо.

[Cramac]

это подскажите, как? конфиг вроде один и тот же

[arhead]

это подскажите, как? конфиг вроде один и тот же

 

url_additional_info=none что бы не вставлял заблокированный сайт

[Cramac]

это подскажите, как? конфиг вроде один и тот же

 

url_additional_info=none что бы не вставлял заблокированный сайт

пробовал так, все равно, и на none

 

_http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://block.site.ru/?url=http://maxcasino.com/

 

всетаки смущает странного вида статистика, может это к тому же, что то не то

 

2017-03-23 17:46:12.716 [19746] Information nfqThread - NFQ: Binding to queue 0

2017-03-23 17:46:12.716 [19746] Information nfqThread - Setting queue length to 4096

2017-03-23 17:46:12.716 [19746] Information nfqThread - Setting nfnl bufsize to 6144000

2017-03-23 17:51:12.716 [19746] Information Application - nDPI memory (once): 88.75 KB

2017-03-23 17:51:12.716 [19746] Information Application - nDPI memory per flow: 1.23 KB

2017-03-23 17:51:12.716 [19746] Information Application - nDPI current memory usage: 1.92 MB

2017-03-23 17:51:12.716 [19746] Information Application - nDPI maximum memory usage: 1.92 MB

2017-03-23 17:51:12.716 [19746] Information Application - Total seen packets: lu, Total seen bytes: lu, Average packet size: [ERRFMT] bytes, Traffic throughput: [ERRFMT] pps

2017-03-23 17:51:12.716 [19746] Information Application - Total matched by ip/port: lu, Total matched by ssl: lu, Total matched by ssl/ip: lu

2017-03-23 17:51:12.716 [19746] Information Application - Total redirected domains lu, Total redirected urls: lu, Total marked ssl: lu, Total marked hosts: lu, Total rst sended: lu

[brodayga]

Добрый день работает ли extfilter с тегированным трафиком. Если да то как включить?