hsvt Опубликовано 14 августа, 2017 · Жалоба Кип резолвед поставьте фолс и все Да, точно. Но вообще табличку почистил и вроде норм уже. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 14 августа, 2017 · Жалоба Последний extfilter с block_ssl_no_sni = true кладёт в ssl_ips ip (95.213.11.181 и 87.240.165.80) из vk.com и facebook и пр. Ревизор нормально SNI вставляет в пакеты и пропусков нет, поэтому можно не включать эту опцию. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 21 августа, 2017 (изменено) · Жалоба Linux rnk 4.12.5-gentoo #2 SMP Mon Aug 21 20:02:10 MSK 2017 x86_64 Intel® Xeon® CPU E5506 @ 2.13GHz GenuineIntel GNU/Linux poco-1.7.6::gentoo dpdk-stable-17.05.1 всё собрал , пытаюсь собрать extfilter https://github.com/max197616/extfilter.git (версия вроде как 0.85) сделал autogen.sh дальше ./configure --with-dpdk_target=build --with-dpdk_home=/usr/src/dpdk-stable-17.05.1/ делаю make : Making all in src make[1]: вход в каталог «/usr/src/extfilter/src» g++ -DHAVE_CONFIG_H -I. -I../include -I/usr/src/dpdk-stable-17.05.1//build/include -I.././peafowl/src -std=c++11 -O3 -Wall -fno-stack-protector -pthread -msse -msse2 -msse3 -mssse3 -march=native -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp main.cpp: В функции-члене «virtual void extFilter::initialize(Poco::Util::Application&)»: main.cpp:813:29: предупреждение: сравнение знакового и беззнакового целых выражений [-Wsign-compare] if(rc != 6 || mac.size() != last) ^ main.cpp: В функции-члене «virtual int extFilter::main(const ArgVec&)»: main.cpp:1041:97: ошибка: нет декларации «ceil» в этой области видимости int max_ipv4_flows_per_core = ceil((float)_dpi_max_active_flows_ipv4/(float)(_nb_lcore_params)); ^ make[1]: *** [Makefile:374: main.o] Ошибка 1 make[1]: выход из каталога «/usr/src/extfilter/src» make: *** [Makefile:343: all-recursive] Ошибка 1 (что не так то ?) Изменено 21 августа, 2017 пользователем dee Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 22 августа, 2017 · Жалоба Linux rnk 4.12.5-gentoo #2 SMP Mon Aug 21 20:02:10 MSK 2017 x86_64 Intel® Xeon® CPU E5506 @ 2.13GHz GenuineIntel GNU/Linux poco-1.7.6::gentoo dpdk-stable-17.05.1 всё собрал , пытаюсь собрать extfilter https://github.com/max197616/extfilter.git (версия вроде как 0.85) сделал autogen.sh дальше ./configure --with-dpdk_target=build --with-dpdk_home=/usr/src/dpdk-stable-17.05.1/ делаю make : Making all in src make[1]: вход в каталог «/usr/src/extfilter/src» g++ -DHAVE_CONFIG_H -I. -I../include -I/usr/src/dpdk-stable-17.05.1//build/include -I.././peafowl/src -std=c++11 -O3 -Wall -fno-stack-protector -pthread -msse -msse2 -msse3 -mssse3 -march=native -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp main.cpp: В функции-члене «virtual void extFilter::initialize(Poco::Util::Application&)»: main.cpp:813:29: предупреждение: сравнение знакового и беззнакового целых выражений [-Wsign-compare] if(rc != 6 || mac.size() != last) ^ main.cpp: В функции-члене «virtual int extFilter::main(const ArgVec&)»: main.cpp:1041:97: ошибка: нет декларации «ceil» в этой области видимости int max_ipv4_flows_per_core = ceil((float)_dpi_max_active_flows_ipv4/(float)(_nb_lcore_params)); ^ make[1]: *** [Makefile:374: main.o] Ошибка 1 make[1]: выход из каталога «/usr/src/extfilter/src» make: *** [Makefile:343: all-recursive] Ошибка 1 (что не так то ?) Добавьте #include <math.h> в начале файла main.cpp. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 23 августа, 2017 · Жалоба у кого есть нормальный мейкер файлов запрета из dump.xml (без забирания , без мускула , просто обработчик оригинального dump.xml и перевода его в файлы для extfilter ) ? zapret.pl это посто безумный огород с ненужными функциями , выдёргивать из него не хочется , но если ни у кого нет нормального парсера , то видимо придётся . Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 23 августа, 2017 · Жалоба Тоже не очень понятно зачем в этой схеме мускуль, но жрать особо не просит, работает себе... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 25 августа, 2017 (изменено) · Жалоба у кого есть нормальный мейкер файлов запрета из dump.xml (без забирания , без мускула , просто обработчик оригинального dump.xml и перевода его в файлы для extfilter ) ? zapret.pl это посто безумный огород с ненужными функциями , выдёргивать из него не хочется , но если ни у кого нет нормального парсера , то видимо придётся . Привет. Могу предложить свой огород - https://github.com/lego12239/trfl/tree/master/tools/rkn extfilter не умеет, но не думаю, что сложно будет поправить. UPD: если есть желание поправить для extfilter, то могу, для ускорения процесса, подсказать что менять. И добавить этот функционал в основной код вместе с доп.опцией для выбора формата выхлопа в последствии. Изменено 25 августа, 2017 пользователем oleg_n Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 25 августа, 2017 · Жалоба вот только как быть с кривыми урлами? Как правило, падает это в самый удачрный момент... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 25 августа, 2017 · Жалоба у кого есть нормальный мейкер файлов запрета из dump.xml (без забирания , без мускула , просто обработчик оригинального dump.xml и перевода его в файлы для extfilter ) ? zapret.pl это посто безумный огород с ненужными функциями , выдёргивать из него не хочется , но если ни у кого нет нормального парсера , то видимо придётся . Привет. Могу предложить свой огород - https://github.com/lego12239/trfl/tree/master/tools/rkn extfilter не умеет, но не думаю, что сложно будет поправить. UPD: если есть желание поправить для extfilter, то могу, для ускорения процесса, подсказать что менять. И добавить этот функционал в основной код вместе с доп.опцией для выбора формата выхлопа в последствии. спасибо , я уже раздербанил оригинал и сделал свой огород без лишних модулей . Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 25 августа, 2017 (изменено) · Жалоба вот странное дело , я собрал всю систему (получилось не очень простая схема для теста , но вроде она работает , НО). какая то шляпа получается , я собрал стенд где я нахожусь как бы под роутером (PC) , который меня принимает с одного влана и миррорит трафф через tc (только исходящий) на другой влан , где стоит extfilter. Сам extfilter собран и вроде работает без ошибок (ВРОДЕ) . мирорится трафф одного моего компа т.е исключена перегрузка точно т.к трафа толком нет. Получается беру я урлы проверять : grep -R 'tinyurl.com' ./* ./urls:tinyurl.com/zngoly4 ./urls:tinyurl.com/gmqh9xh ./urls:tinyurl.com/Lbmain ./urls:tinyurl.com/zswnhz3 в это время прослушиваю интерфейсы миррора на предмет попадания пакета в порт и на самом extfilter на предмет ответа мне. Если я пытаюсь открыть конкретно урл , то благополучно вываливаюсь на свою заглушку , НО (И ЭТО СТРАННО) если просто открыть tinyurl.com , а в новой вкладке потом открыть тот же самый tinyurl.com/Lbmain , то он благополучно открывается !!!!!! , пакет в миррор улетает , а extfilter мне не отвечает , после какого то времени начинает блокировать урл опять , но это пока не откроешь сайт без урла . что за ботва ? где что не докрутил ? так же проверил урлы ютуба - не блочится ни одного , открывает по ssl и работает спокойненько пс. раз 10 обновишь линк и он на заглушку перелетает . пс2. сейчас точно проверил прилетает ли на порт траффик - всё норм прилетает постоянно , вот только не обратаывается походу , висит в каких то кешах или таймаутах. Linux rnk 4.12.5-gentoo #2 SMP Mon Aug 21 20:02:10 MSK 2017 x86_64 Intel® Xeon® CPU E5506 @ 2.13GHz GenuineIntel GNU/Linux Intel® Xeon® CPU E5506 @ 2.13GHz MemTotal: 2951180 kB Network devices using DPDK-compatible driver ============================================ 0000:03:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused= Network devices using kernel driver =================================== 0000:00:19.0 '82567LM-2 Gigabit Network Connection 10cc' if=eth0 drv=e1000e unused=igb_uio *Active* 0000:03:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' if=eth2 drv=ixgbe unused=igb_uio Other Network devices ===================== 0000:01:00.0 '82574L Gigabit Network Connection 10d3' unused=igb_uio ; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения. ;lower_host = false domainlist = /usr/local/etc/extfilter/DUMP/domains urllist = /usr/local/etc/extfilter/DUMP/urls ssllist = /usr/local/etc/extfilter/DUMP/ssl_host ; файл с ip:port для блокировки hostlist = /usr/local/etc/extfilter/DUMP/hosts ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /usr/local/etc/extfilter/DUMP/ssl_ips ; если false, то будет послан rst пакет вместо редиректа. Default: false http_redirect = true redirect_url = http://rkn.myhost.ru ; HTTP код ответа. default: 302 Moved Temporarily http_code = 302 Found ; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего url_additional_info = none ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = true ; Default: 0 - disable statistic_interval = 5 ; Default: false match_url_exactly = false ; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false block_ssl_no_sni = false ; Какие ядра использовать. Default: все ядра, кроме management. ; core_mask = 7 core_mask = 15 ; файл статистики (для extfilter-cacti) statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 ; out_mtu = 1500 ; количество тредов для отсылки уведомлений о блокировке num_of_senders = 10 ; делать ли нормализацию url url_normalization = true ; удалять ли точку в конце имени хоста remove_dot = true ; CLI для управления или сбора статистики extfilter cli_port = 9999 cli_address = 127.0.0.1 ; Количество каналов памяти (для DPDK) ; memory_channels = 2 ; notify_enabled = false ; Формат файла ip/mask @group_id, где group_id группа оповещения. Например: ; 192.168.0.0/24 @0 ; 10.0.0.0/24 @0 ; 10.20.0.0/24 @1 ; notify_acl_file = /usr/local/etc/extfilter/notify_acl ; здесь задаются порты, с которых необходимо снимать трафик ; формат: ; [port n] ; queues = a,b; a1,b1... ; n - номер порта dpdk ; a - номер очереди ; b - ядро, обрабатывающее очередь a ; Пример: [port 0] queues = 0,1; 1,2; 2,3 ;queues = 0,1 ; Порт для отправки уведомлений через dpdk ;[port 1] ;type = sender ; На какой mac адрес отправлять пакеты ;mac = 00:01:02:03:04:05 ; Группа оповещения 0 ;[notify 0] ;http_code = 302 Found ;redirect_url = http://announce.example.com/? ;rst_to_server = false ; через какое время делать редирект (секунды) ;period = 1800 ; количество редиректов, если 0 - не ограничено ;repeat = 0 [dpi] ; Максимальное количество обрабатываемых потоков (flow) max_active_flows_ipv4 = 1000000 ; max_active_flows_ipv6 = 1000000 ; Собирать и анализировать фрагментированные пакеты ; fragmentation_ipv6_state = true fragmentation_ipv4_state = true fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком tcp_reordering = true cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages = 512 Tasks: 99 total, 1 running, 98 sleeping, 0 stopped, 0 zombie %Cpu0 : 0,0 us, 0,0 sy, 0,0 ni,100,0 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st %Cpu1 :100,0 us, 0,0 sy, 0,0 ni, 0,0 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st %Cpu2 :100,0 us, 0,0 sy, 0,0 ni, 0,0 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st %Cpu3 :100,0 us, 0,0 sy, 0,0 ni, 0,0 id, 0,0 wa, 0,0 hi, 0,0 si, 0,0 st KiB Mem : 2951180 total, 1142828 free, 1721112 used, 87240 buff/cache KiB Swap: 0 total, 0 free, 0 used. 1182528 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3341 root 20 0 2955836 607636 8936 S 298,1 20,6 138:36.13 extFilter Module Size Used by igb_uio 16384 1 uio 16384 3 igb_uio iTCO_wdt 16384 0 iTCO_vendor_support 16384 1 iTCO_wdt input_leds 16384 0 led_class 16384 1 input_leds lpc_ich 24576 0 ixgbe 270336 0 Изменено 25 августа, 2017 пользователем dee Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 25 августа, 2017 · Жалоба Сегодня снял отчет. В нем 6 пропусков и URL запятые. Глюк конечно. За несколько недель работы input errors: 5. Зеркалирую аплинки но думаю надо переделать с ядра зеркалить. Все ни как руки не дойдут. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 25 августа, 2017 · Жалоба запятые у всех сегодня Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 25 августа, 2017 · Жалоба запятые у всех сегодня у меня да Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 28 августа, 2017 · Жалоба оффтоп - пипец сломали форум ироды , все поисковые ссылки покрашались Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 28 августа, 2017 · Жалоба есть тут кто живой ? объясните популярно , этот extfilter написан исключительно для ревизора и его алгоритмов или всё же для реальной фильтрации в реальном времени , потому как то что я вижу выглядит как штука для ревизора , которая в реале работает не так (я уже выше писал про это : берём любой урл из списка блокировки и пытаемся его открыть - всё благополучно блокируется , но если открыть отдельно сам сайт (без заблокированного урла) , он откроется т.к не запрещено , и уже после того как сайт откроется опять попробовать открыть урл из списка блокировки , то урл открывается и нужно много раз быстро обновить страницу , что бы опять выскочила заглушка - это вообще нормальная работа этого софта или где то что то не так ?) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 28 августа, 2017 (изменено) · Жалоба Фишка в том что это прокатывает только с браузером c wget-ом это не прокатывает. C lynx так же это не прокатывает. Изменено 28 августа, 2017 пользователем big-town Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 29 августа, 2017 · Жалоба Подтверждаю проблему Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 29 августа, 2017 · Жалоба Но почему-то только в браузере. В curl все хорошо Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 29 августа, 2017 · Жалоба 7 часов назад, myth сказал: Но почему-то только в браузере. В curl все хорошо Скорее всего браузер у url химичит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 29 августа, 2017 · Жалоба 17 часов назад, dee сказал: есть тут кто живой ? объясните популярно , этот extfilter написан исключительно для ревизора и его алгоритмов или всё же для реальной фильтрации в реальном времени , потому как то что я вижу выглядит как штука для ревизора , которая в реале работает не так (я уже выше писал про это : берём любой урл из списка блокировки и пытаемся его открыть - всё благополучно блокируется , но если открыть отдельно сам сайт (без заблокированного урла) , он откроется т.к не запрещено , и уже после того как сайт откроется опять попробовать открыть урл из списка блокировки , то урл открывается и нужно много раз быстро обновить страницу , что бы опять выскочила заглушка - это вообще нормальная работа этого софта или где то что то не так ?) Все очень просто - браузеры сразу не закрывают соединение и когда вы открываете запрещенную ссылку, то extfilter уже не смотрит http запросы в обработанном потоке. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 29 августа, 2017 · Жалоба 9 минут назад, max1976 сказал: то extfilter уже не смотрит http запросы в обработанном потоке Тогда, получается, вопрос dee был правильным. Это решение скорее для Ревизора, чем для реальной фильтрации под задачи фирмы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
big-town Опубликовано 29 августа, 2017 · Жалоба Народ, а чего за вопли? Вы за ПО заплатили? Человек пишет это за дорма и делится с вами абсолютно бесплатно! Ну всплыла ошибка, и судя по коммиту Макс её уже пофиксил. Многие купили windows, а там багов сколько? Которые годами не исправляются. Это нормальный технический процесс, в ходе эксплуатации обнаруживаются ошибки которые исправляются автором в кротчайшие сроки. Не многие коммерческие продукты исправляются баги с такой скоростью. Я например месяц назад написал про баг UTM5, до сих пор статус "открыт". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 29 августа, 2017 · Жалоба Причем тут вопли? Обсуждают особенности и недоработки продукта. Я, например, заплатил за СКАТ, в котором такой проблемы нет, но extfilter мне тоже интересен. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 29 августа, 2017 · Жалоба 8 минут назад, alibek сказал: Причем тут вопли? Обсуждают особенности и недоработки продукта. Я, например, заплатил за СКАТ, в котором такой проблемы нет, но extfilter мне тоже интересен. А как вам идея использовать вместо СКАТ snort. СКАТ - это очень дорого. 2 часа назад, max1976 сказал: Все очень просто - браузеры сразу не закрывают соединение и когда вы открываете запрещенную ссылку, то extfilter уже не смотрит http запросы в обработанном потоке. Цитата Анализируются все запросы в пределах одного потока Как я понял, один поток - одно соединение. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 29 августа, 2017 · Жалоба 4 минуты назад, ne-vlezay80 сказал: А как вам идея использовать вместо СКАТ snort. Если я был бы энтузиастом-экспериментатором и экспериментировал за чужой счет, возможно эта идея мне бы понравилась. Однако большинство подобных решений для production не годятся. Даже extfilter, хотя он и продукт достаточно высокого уровня. СКАТ может быть и дорого (хотя я был одним из первых его пользователей и купил совсем по другой цене), но зато надежно и беспроблемно. Поставил и забыл. Про extfilter этого сказать нельзя, необходимо отслеживать эту ветку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...