1. Для блокировка используем

[hsvt]

Кип резолвед поставьте фолс и все

 

Да, точно. Но вообще табличку почистил и вроде норм уже.

[max1976]

Последний extfilter с block_ssl_no_sni = true кладёт в ssl_ips ip (95.213.11.181 и 87.240.165.80) из vk.com и facebook и пр.

 

Ревизор нормально SNI вставляет в пакеты и пропусков нет, поэтому можно не включать эту опцию.

[dee]

Linux rnk 4.12.5-gentoo #2 SMP Mon Aug 21 20:02:10 MSK 2017 x86_64 Intel® Xeon® CPU E5506 @ 2.13GHz GenuineIntel GNU/Linux

poco-1.7.6::gentoo

dpdk-stable-17.05.1

всё собрал , пытаюсь собрать extfilter

https://github.com/max197616/extfilter.git (версия вроде как 0.85)

сделал autogen.sh

дальше ./configure --with-dpdk_target=build --with-dpdk_home=/usr/src/dpdk-stable-17.05.1/

делаю make :

Making all in src

make[1]: вход в каталог «/usr/src/extfilter/src»

g++ -DHAVE_CONFIG_H -I. -I../include -I/usr/src/dpdk-stable-17.05.1//build/include -I.././peafowl/src -std=c++11 -O3 -Wall -fno-stack-protector -pthread -msse -msse2 -msse3 -mssse3 -march=native -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp

main.cpp: В функции-члене «virtual void extFilter::initialize(Poco::Util::Application&)»:

main.cpp:813:29: предупреждение: сравнение знакового и беззнакового целых выражений [-Wsign-compare]

if(rc != 6 || mac.size() != last)

^

main.cpp: В функции-члене «virtual int extFilter::main(const ArgVec&)»:

main.cpp:1041:97: ошибка: нет декларации «ceil» в этой области видимости

int max_ipv4_flows_per_core = ceil((float)_dpi_max_active_flows_ipv4/(float)(_nb_lcore_params));

^

make[1]: *** [Makefile:374: main.o] Ошибка 1

make[1]: выход из каталога «/usr/src/extfilter/src»

make: *** [Makefile:343: all-recursive] Ошибка 1

(что не так то ?)

Изменено 21 августа, 2017 пользователем dee

[max1976]

Linux rnk 4.12.5-gentoo #2 SMP Mon Aug 21 20:02:10 MSK 2017 x86_64 Intel® Xeon® CPU E5506 @ 2.13GHz GenuineIntel GNU/Linux

poco-1.7.6::gentoo

dpdk-stable-17.05.1

всё собрал , пытаюсь собрать extfilter

https://github.com/max197616/extfilter.git (версия вроде как 0.85)

сделал autogen.sh

дальше ./configure --with-dpdk_target=build --with-dpdk_home=/usr/src/dpdk-stable-17.05.1/

делаю make :

Making all in src

make[1]: вход в каталог «/usr/src/extfilter/src»

g++ -DHAVE_CONFIG_H -I. -I../include -I/usr/src/dpdk-stable-17.05.1//build/include -I.././peafowl/src -std=c++11 -O3 -Wall -fno-stack-protector -pthread -msse -msse2 -msse3 -mssse3 -march=native -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp

main.cpp: В функции-члене «virtual void extFilter::initialize(Poco::Util::Application&)»:

main.cpp:813:29: предупреждение: сравнение знакового и беззнакового целых выражений [-Wsign-compare]

if(rc != 6 || mac.size() != last)

^

main.cpp: В функции-члене «virtual int extFilter::main(const ArgVec&)»:

main.cpp:1041:97: ошибка: нет декларации «ceil» в этой области видимости

int max_ipv4_flows_per_core = ceil((float)_dpi_max_active_flows_ipv4/(float)(_nb_lcore_params));

^

make[1]: *** [Makefile:374: main.o] Ошибка 1

make[1]: выход из каталога «/usr/src/extfilter/src»

make: *** [Makefile:343: all-recursive] Ошибка 1

(что не так то ?)

 

Добавьте

#include <math.h>

в начале файла main.cpp.

[dee]

у кого есть нормальный мейкер файлов запрета из dump.xml (без забирания , без мускула , просто обработчик оригинального dump.xml и перевода его в файлы для extfilter ) ?

zapret.pl это посто безумный огород с ненужными функциями , выдёргивать из него не хочется , но если ни у кого нет нормального парсера , то видимо придётся .

[myth]

Тоже не очень понятно зачем в этой схеме мускуль, но жрать особо не просит, работает себе...

[oleg_n]

у кого есть нормальный мейкер файлов запрета из dump.xml (без забирания , без мускула , просто обработчик оригинального dump.xml и перевода его в файлы для extfilter ) ?

zapret.pl это посто безумный огород с ненужными функциями , выдёргивать из него не хочется , но если ни у кого нет нормального парсера , то видимо придётся .

 

Привет.

Могу предложить свой огород - https://github.com/lego12239/trfl/tree/master/tools/rkn

extfilter не умеет, но не думаю, что сложно будет поправить.

 

UPD: если есть желание поправить для extfilter, то могу, для ускорения процесса, подсказать что менять. И добавить этот функционал в основной код вместе с доп.опцией для выбора формата выхлопа в последствии.

Изменено 25 августа, 2017 пользователем oleg_n

[myth]

вот только как быть с кривыми урлами? Как правило, падает это в самый удачрный момент...

[dee]

у кого есть нормальный мейкер файлов запрета из dump.xml (без забирания , без мускула , просто обработчик оригинального dump.xml и перевода его в файлы для extfilter ) ?

zapret.pl это посто безумный огород с ненужными функциями , выдёргивать из него не хочется , но если ни у кого нет нормального парсера , то видимо придётся .

 

Привет.

Могу предложить свой огород - https://github.com/lego12239/trfl/tree/master/tools/rkn

extfilter не умеет, но не думаю, что сложно будет поправить.

 

UPD: если есть желание поправить для extfilter, то могу, для ускорения процесса, подсказать что менять. И добавить этот функционал в основной код вместе с доп.опцией для выбора формата выхлопа в последствии.

спасибо , я уже раздербанил оригинал и сделал свой огород без лишних модулей .

[dee]

вот странное дело , я собрал всю систему (получилось не очень простая схема для теста , но вроде она работает , НО).

какая то шляпа получается , я собрал стенд где я нахожусь как бы под роутером (PC) , который меня принимает с одного влана и миррорит трафф через tc (только исходящий) на другой влан , где стоит extfilter. Сам extfilter собран и вроде работает без ошибок (ВРОДЕ) .

мирорится трафф одного моего компа т.е исключена перегрузка точно т.к трафа толком нет.

Получается беру я урлы проверять :

grep -R 'tinyurl.com' ./*

./urls:tinyurl.com/zngoly4

./urls:tinyurl.com/gmqh9xh

./urls:tinyurl.com/Lbmain

./urls:tinyurl.com/zswnhz3

в это время прослушиваю интерфейсы миррора на предмет попадания пакета в порт и на самом extfilter на предмет ответа мне.

Если я пытаюсь открыть конкретно урл , то благополучно вываливаюсь на свою заглушку , НО (И ЭТО СТРАННО)

если просто открыть tinyurl.com , а в новой вкладке потом открыть тот же самый tinyurl.com/Lbmain , то он благополучно открывается !!!!!! , пакет в миррор улетает , а extfilter мне не отвечает , после какого то времени начинает блокировать урл опять , но это пока не откроешь сайт без урла . что за ботва ? где что не докрутил ?

так же проверил урлы ютуба - не блочится ни одного , открывает по ssl и работает спокойненько

 

пс. раз 10 обновишь линк и он на заглушку перелетает .

пс2. сейчас точно проверил прилетает ли на порт траффик - всё норм прилетает постоянно , вот только не обратаывается походу , висит в каких то кешах или таймаутах.

 

 

Linux rnk 4.12.5-gentoo #2 SMP Mon Aug 21 20:02:10 MSK 2017 x86_64 Intel® Xeon® CPU E5506 @ 2.13GHz GenuineIntel GNU/Linux

Intel® Xeon® CPU E5506 @ 2.13GHz

MemTotal: 2951180 kB

 

Network devices using DPDK-compatible driver

============================================

0000:03:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=

 

Network devices using kernel driver

===================================

0000:00:19.0 '82567LM-2 Gigabit Network Connection 10cc' if=eth0 drv=e1000e unused=igb_uio *Active*

0000:03:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' if=eth2 drv=ixgbe unused=igb_uio

 

Other Network devices

=====================

0000:01:00.0 '82574L Gigabit Network Connection 10d3' unused=igb_uio

 

; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.

;lower_host = false

 

domainlist = /usr/local/etc/extfilter/DUMP/domains

urllist = /usr/local/etc/extfilter/DUMP/urls

ssllist = /usr/local/etc/extfilter/DUMP/ssl_host

 

; файл с ip:port для блокировки

hostlist = /usr/local/etc/extfilter/DUMP/hosts

 

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.

sslips = /usr/local/etc/extfilter/DUMP/ssl_ips

 

; если false, то будет послан rst пакет вместо редиректа. Default: false

 

http_redirect = true

 

redirect_url = http://rkn.myhost.ru

 

; HTTP код ответа. default: 302 Moved Temporarily

http_code = 302 Found

 

; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего

url_additional_info = none

 

; посылать tcp rst в сторону сервера от имени клиента. Default: false

rst_to_server = true

 

; Default: 0 - disable

statistic_interval = 5

 

; Default: false

match_url_exactly = false

 

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false

block_ssl_no_sni = false

 

; Какие ядра использовать. Default: все ядра, кроме management.

; core_mask = 7

core_mask = 15

 

; файл статистики (для extfilter-cacti)

statisticsfile = /var/run/extFilter_stat

 

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500

; out_mtu = 1500

 

 

; количество тредов для отсылки уведомлений о блокировке

num_of_senders = 10

 

; делать ли нормализацию url

url_normalization = true

 

; удалять ли точку в конце имени хоста

remove_dot = true

 

; CLI для управления или сбора статистики extfilter

cli_port = 9999

cli_address = 127.0.0.1

 

; Количество каналов памяти (для DPDK)

; memory_channels = 2

 

; notify_enabled = false

; Формат файла ip/mask @group_id, где group_id группа оповещения. Например:

; 192.168.0.0/24 @0

; 10.0.0.0/24 @0

; 10.20.0.0/24 @1

; notify_acl_file = /usr/local/etc/extfilter/notify_acl

 

; здесь задаются порты, с которых необходимо снимать трафик

; формат:

; [port n]

; queues = a,b; a1,b1...

; n - номер порта dpdk

; a - номер очереди

; b - ядро, обрабатывающее очередь a

; Пример:

[port 0]

queues = 0,1; 1,2; 2,3

;queues = 0,1

 

; Порт для отправки уведомлений через dpdk

;[port 1]

;type = sender

; На какой mac адрес отправлять пакеты

;mac = 00:01:02:03:04:05

 

; Группа оповещения 0

;[notify 0]

;http_code = 302 Found

;redirect_url = http://announce.example.com/?

;rst_to_server = false

; через какое время делать редирект (секунды)

;period = 1800

; количество редиректов, если 0 - не ограничено

;repeat = 0

 

[dpi]

; Максимальное количество обрабатываемых потоков (flow)

max_active_flows_ipv4 = 1000000

; max_active_flows_ipv6 = 1000000

 

; Собирать и анализировать фрагментированные пакеты

; fragmentation_ipv6_state = true

fragmentation_ipv4_state = true

fragmentation_ipv4_table_size = 512

; fragmentation_ipv6_table_size = 512

 

; Собирать и анализировать tcp потоки с неправильными порядком

tcp_reordering = true

 

cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages = 512

 

Tasks: 99 total, 1 running, 98 sleeping, 0 stopped, 0 zombie

%Cpu0 : 0,0 us, 0,0 sy, 0,0 ni,100,0 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st

%Cpu1 :100,0 us, 0,0 sy, 0,0 ni, 0,0 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st

%Cpu2 :100,0 us, 0,0 sy, 0,0 ni, 0,0 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st

%Cpu3 :100,0 us, 0,0 sy, 0,0 ni, 0,0 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st

KiB Mem : 2951180 total, 1142828 free, 1721112 used, 87240 buff/cache

KiB Swap: 0 total, 0 free, 0 used. 1182528 avail Mem

 

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

3341 root 20 0 2955836 607636 8936 S 298,1 20,6 138:36.13 extFilter

 

Module Size Used by

igb_uio 16384 1

uio 16384 3 igb_uio

iTCO_wdt 16384 0

iTCO_vendor_support 16384 1 iTCO_wdt

input_leds 16384 0

led_class 16384 1 input_leds

lpc_ich 24576 0

ixgbe 270336 0

 

 

 

Изменено 25 августа, 2017 пользователем dee

[arhead]

Сегодня снял отчет. В нем 6 пропусков и URL запятые. Глюк конечно. За несколько недель работы input errors: 5. Зеркалирую аплинки но думаю надо переделать с ядра зеркалить. Все ни как руки не дойдут.

[zhenya`]

запятые у всех сегодня

[Antares]

запятые у всех сегодня

у меня да

[dee]

оффтоп - пипец сломали форум ироды , все поисковые ссылки покрашались 

[dee]

есть тут кто живой ? 

объясните популярно , этот extfilter  написан исключительно для ревизора и его алгоритмов или всё же для реальной фильтрации в реальном времени , потому как то что я вижу выглядит как штука для ревизора , которая в реале работает не так (я уже выше писал про это :

берём любой урл из списка блокировки и пытаемся его открыть - всё благополучно блокируется , но если открыть отдельно сам сайт (без заблокированного урла) , он откроется т.к не запрещено , и уже после того как сайт откроется опять попробовать открыть урл из списка блокировки , то урл открывается  и нужно много раз быстро обновить страницу , что бы опять выскочила заглушка - это вообще нормальная работа этого софта или где то что то не так ?)

[big-town]

Фишка в том что это прокатывает только с браузером c wget-ом это не прокатывает. C lynx так же это не прокатывает.

Изменено 28 августа, 2017 пользователем big-town

[myth]

Подтверждаю проблему

[myth]

Но почему-то только в браузере. В curl все хорошо

[ne-vlezay80]

7 часов назад, myth сказал:

Но почему-то только в браузере. В curl все хорошо

Скорее всего браузер у url химичит.

[max1976]

17 часов назад, dee сказал:

есть тут кто живой ? 

объясните популярно , этот extfilter  написан исключительно для ревизора и его алгоритмов или всё же для реальной фильтрации в реальном времени , потому как то что я вижу выглядит как штука для ревизора , которая в реале работает не так (я уже выше писал про это :

берём любой урл из списка блокировки и пытаемся его открыть - всё благополучно блокируется , но если открыть отдельно сам сайт (без заблокированного урла) , он откроется т.к не запрещено , и уже после того как сайт откроется опять попробовать открыть урл из списка блокировки , то урл открывается  и нужно много раз быстро обновить страницу , что бы опять выскочила заглушка - это вообще нормальная работа этого софта или где то что то не так ?)

Все очень просто - браузеры сразу не закрывают соединение и когда вы открываете запрещенную ссылку, то extfilter уже не смотрит http запросы в обработанном потоке.

[alibek]

9 минут назад, max1976 сказал:

то extfilter уже не смотрит http запросы в обработанном потоке

Тогда, получается, вопрос dee был правильным. Это решение скорее для Ревизора, чем для реальной фильтрации под задачи фирмы.

[big-town]

Народ, а чего за вопли? Вы за ПО заплатили? Человек пишет это за дорма и делится с вами абсолютно бесплатно! Ну всплыла ошибка, и судя по коммиту Макс её уже пофиксил. Многие купили windows, а там багов сколько? Которые годами не исправляются. Это нормальный технический процесс, в ходе эксплуатации обнаруживаются ошибки которые исправляются автором в кротчайшие сроки. Не многие коммерческие  продукты исправляются баги с такой скоростью. Я например месяц назад написал про баг UTM5, до сих пор статус "открыт".

[alibek]

Причем тут вопли?

Обсуждают особенности и недоработки продукта.

Я, например, заплатил за СКАТ, в котором такой проблемы нет, но extfilter мне тоже интересен.

[ne-vlezay80]

8 минут назад, alibek сказал:

Причем тут вопли?

Обсуждают особенности и недоработки продукта.

Я, например, заплатил за СКАТ, в котором такой проблемы нет, но extfilter мне тоже интересен.

А как вам идея использовать вместо СКАТ snort. СКАТ - это очень дорого.

2 часа назад, max1976 сказал:

Все очень просто - браузеры сразу не закрывают соединение и когда вы открываете запрещенную ссылку, то extfilter уже не смотрит http запросы в обработанном потоке.

Цитата

Анализируются все запросы в пределах одного потока

Как я понял, один поток - одно соединение.

[alibek]

4 минуты назад, ne-vlezay80 сказал:

А как вам идея использовать вместо СКАТ snort.

Если я был бы энтузиастом-экспериментатором и экспериментировал за чужой счет, возможно эта идея мне бы понравилась.

Однако большинство подобных решений для production не годятся. Даже extfilter, хотя он и продукт достаточно высокого уровня.

СКАТ может быть и дорого (хотя я был одним из первых его пользователей и купил совсем по другой цене), но зато надежно и беспроблемно.

Поставил и забыл. Про extfilter этого сказать нельзя, необходимо отслеживать эту ветку.