vlad11 Posted October 22, 2011 (edited) Имеется border-router на FreeBSD 8.2. Он обрабатывает поток ~300M Имеет смысл на нем собирать статистику netflow (softflowd+flow_capture) ? или flow_capture выносить на другой хост? Хочется узнать, не сильно ли будет проседать роутер от softflowd ? Сейчас на тестовом хосте объем суточной статистики - 50M Edited October 22, 2011 by vlad11 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nightfly Posted October 22, 2011 softflowd при 300Мбит трафика на интерфейсе жрет 8-11% в топе на 34-м зеоне. Быть коллектором - более трудоемкая задача. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Dyr Posted October 22, 2011 Да ладно, коллектором быть абсолютно не трудоёмко. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vlad11 Posted October 22, 2011 (edited) Щас на бордере Version: Intel(R) Xeon(R) CPU X3430 @ 2.40GHz Есть L3 свитч в ядре, может на него повесить съем статистики? заявлена поддержка sFlow... Edited October 22, 2011 by vlad11 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
GFORGX Posted October 22, 2011 (edited) Вот тут красивые костыли: http://centos.alt.ru/?p=367. Но костыли :D Но, опять же, у Вас всего 300 мегабит трафика, так что, я думаю, pcap-based тулзы не сожрут все ресурсы, и патчить ничего ненужно. Edited October 22, 2011 by GFORGX Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ilya Evseev Posted October 23, 2011 ngnetflow увеличивает нагрузку на процессор примерно на 20%. ipt-netflow в Линуксе примерно на столько же. Скорее всего, softflowd будет медленнее, т.к. работает через PCAP. pfflowd где-то посередине. flowcapture рекомендуется запускать с уровнем сжатия 2. Если меньше, то начнутся тормоза при записи на диск из-за раздувания файлов. Если больше, то файлы намного меньше не станут, но загрузка процессора заметно вырастет. По утрам можно старые flows перепаковывать bzip -9. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jab Posted October 23, 2011 ipcad в качестве сенсора netflow у меня жрал AFAIR 90% от 1 ядра Core2Quad 3Ghz на каждый гигабит входящего трафика. Коллектор лучше сразу размещать на другом хосте, потому как требования к дисковой подсистеме у него абсолютно отличаются от border'а. При нормально настроенной агрегации flows коллектор в top'е на глаз не заметен <3%. ng-netflow врал на 15% в сторону занижения трафика, но было это достаточно давно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vlad11 Posted October 23, 2011 flowcapture рекомендуется запускать с уровнем сжатия 2. Если меньше, то начнутся тормоза при записи на диск из-за раздувания файлов. Если больше, то файлы намного меньше не станут, но загрузка процессора заметно вырастет. У мну нет сжатия flow_capture_flags="-E5G -n 287 -S 5 -N 3" А если что, ZFS сама будет сжимать с нужным уровнем компрессии. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
lllsergeyv Posted October 24, 2011 Загрузка может еще сильно вырости когда начнете обрабатывать собранную статистику. Колектор лучше вынести из бордера. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jab Posted October 24, 2011 Анализатор в любом случае нужно гонять с пониженным приоритетом, и лучше вообще на юзерских машинах. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Dyr Posted October 24, 2011 И сжатие (-9) лучше не использовать, дисковое пространство нынче дёшево, а вот процессорная обработка всё так же дорога. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ilya Evseev Posted October 24, 2011 дисковое пространство нынче дёшево У тебя просто объёмы не те. а вот процессорная обработка всё так же дорога. Только в вечерние чаcы. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Dyr Posted October 25, 2011 Ой, да я тебя умоляю, "обьёмы не те". Вам не хватает денег на 2Тб SATA-диски? Что за нищебродство? Несжатые Netflow-файлы flow-tools 700 мегабит/сек потока занимают порядка 35Мбайт за пятиминутный период. Какие-то проблемы? а вот процессорная обработка всё так же дорога. Только в вечерние чаcы. У кого как. У меня обработка идёт сразу. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ilya Evseev Posted October 25, 2011 Вам не хватает денег на 2Тб SATA-диски? Что за нищебродство? Нищебродство (интеллектуальное) - это покупка/установка/настройка дисков вместо написания скрипта из 30 строк ;-) #!/bin/sh # # /etc/cron.daily/flows_archive # MAX_DAYS="180" MIN_DAYS="8" STORE_PATH="/var/db/netflow" CONF="/etc/sysconfig/flow-capture" test -r "$CONF" && . $CONF test -d "$STORE_PATH" || exit 1 find $STORE_PATH -mindepth 4 -maxdepth 4 -type f -mtime +$MAX_DAYS -delete find $STORE_PATH -mindepth 4 -maxdepth 4 -type f -mtime +$MIN_DAYS \ -name "ft*" -and -not -name "*.bz2" \ | while read f; do #echo $f... test -s "$f.bz2" && { echo "Warning: already compressed? $f"; continue; } flow-cat -p -z0 "$f" | nice bzip -9 > "$f.bz2" #ls -l ${f}* s=`stat -c%s $f.bz2` test $s -lt 1024 && { echo "Warning: wrong compression size: $f"; continue; } rm -f "$f" #mv "$f" "$f.DELETE" done >> /tmp/flows_archive.log 2>&1 find $STORE_PATH -type d -empty -delete ## EOF ## Несжатые Netflow-файлы flow-tools 700 мегабит/сек потока занимают порядка 35Мбайт за пятиминутный период. Какие-то проблемы? При таких мизерных объёмах проблем естественно не будет (если совсем уж специально не стараться). У меня набегало до 255 мегабайт flows за 5 минут (со сжатием -z2), 14 гигабайт в день, 250 гигабайт в месяц (пережаты в bzip -9). Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Dyr Posted October 25, 2011 (edited) Да-да, видели я такое. А как надо статистику по трафику сделать, так всё, ждём-с, пока всё распакуется из bzip, ага :D Нахрен нужна такая экономия на спичках. P.S. Проверять размер файла до того, как сжимать его, в голову не приходило? ;) Edited October 25, 2011 by Dyr Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ilya Evseev Posted October 25, 2011 А как надо статистику по трафику сделать, так всё, ждём-с, Скорость декомпрессии существенно выше, чем у компрессии, и гораздо слабее зависит от степени сжатия. Основная потеря времени - это собственно flow-filter. пока всё распакуется из bzip, а потом ещё и из сжатых flow-capture, ага :D Про сжатые flow-capture молодец, что поправился. Не зря с тобой бьюсь шестой год ;-) Проверять размер файла до того, как сжимать его, в голову не приходило? ;) Не просто приходило, а погонял flow-capture с разными коэффициэнтами сжатия и выбрал оптимальный для realtime. Затем сравнил с bzip -9, чтобы оценить целесообразность утренней перепаковки. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ilya Evseev Posted October 25, 2011 Dyr опубликовал ответ в тему "Подскажите, где соирать Netflow ?", на которую вы подписаны. ---------------------------------------------------------------------- ------------ QUOTE ---------- Основная потеря времени - это собственно flow-filter. ----------------------------- Потому что нефиг его использовать. man flow-nfilter. Опять брякнул неподумавши и стёр в надежде, что никто не увидит? ;-))) http://forum.nag.ru/forum/index.php?showtopic=66460&view=findpost&p=612486 -- именно nfilter и используется. Термин "flow-filter" означает не конкретную утилиту, а выполняемое действие. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Dyr Posted October 25, 2011 (edited) Не, просто стало не о чем спорить - придирка по flow-[n]filter мелочная, чего тебя доводить? :) А профилирование работы flow-tools я не делал, поскольку меня пока и так удовлетворяет и в свободных пространствах так как ты, не ограничен. ;Р Единственное, что у меня flow-cat упирается в процессор. Edited October 25, 2011 by Dyr Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
YuryD Posted October 26, 2011 У меня Ipcad через ipfw tee собирает, только то, что правилами описано. При 300Мбит его в top не видно даже... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dzenov Posted October 26, 2011 Загрузка может еще сильно вырости когда начнете обрабатывать собранную статистику. Колектор лучше вынести из бордера. Согласен, лучше вынести из бордера и собирать в двух местах для надежности. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...