vlad11 Опубликовано 22 октября, 2011 (изменено) Имеется border-router на FreeBSD 8.2. Он обрабатывает поток ~300M Имеет смысл на нем собирать статистику netflow (softflowd+flow_capture) ? или flow_capture выносить на другой хост? Хочется узнать, не сильно ли будет проседать роутер от softflowd ? Сейчас на тестовом хосте объем суточной статистики - 50M Изменено 22 октября, 2011 пользователем vlad11 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nightfly Опубликовано 22 октября, 2011 softflowd при 300Мбит трафика на интерфейсе жрет 8-11% в топе на 34-м зеоне. Быть коллектором - более трудоемкая задача. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 22 октября, 2011 Да ладно, коллектором быть абсолютно не трудоёмко. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 22 октября, 2011 (изменено) Щас на бордере Version: Intel(R) Xeon(R) CPU X3430 @ 2.40GHz Есть L3 свитч в ядре, может на него повесить съем статистики? заявлена поддержка sFlow... Изменено 22 октября, 2011 пользователем vlad11 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GFORGX Опубликовано 22 октября, 2011 (изменено) Вот тут красивые костыли: http://centos.alt.ru/?p=367. Но костыли :D Но, опять же, у Вас всего 300 мегабит трафика, так что, я думаю, pcap-based тулзы не сожрут все ресурсы, и патчить ничего ненужно. Изменено 22 октября, 2011 пользователем GFORGX Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 23 октября, 2011 ngnetflow увеличивает нагрузку на процессор примерно на 20%. ipt-netflow в Линуксе примерно на столько же. Скорее всего, softflowd будет медленнее, т.к. работает через PCAP. pfflowd где-то посередине. flowcapture рекомендуется запускать с уровнем сжатия 2. Если меньше, то начнутся тормоза при записи на диск из-за раздувания файлов. Если больше, то файлы намного меньше не станут, но загрузка процессора заметно вырастет. По утрам можно старые flows перепаковывать bzip -9. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 23 октября, 2011 ipcad в качестве сенсора netflow у меня жрал AFAIR 90% от 1 ядра Core2Quad 3Ghz на каждый гигабит входящего трафика. Коллектор лучше сразу размещать на другом хосте, потому как требования к дисковой подсистеме у него абсолютно отличаются от border'а. При нормально настроенной агрегации flows коллектор в top'е на глаз не заметен <3%. ng-netflow врал на 15% в сторону занижения трафика, но было это достаточно давно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 23 октября, 2011 flowcapture рекомендуется запускать с уровнем сжатия 2. Если меньше, то начнутся тормоза при записи на диск из-за раздувания файлов. Если больше, то файлы намного меньше не станут, но загрузка процессора заметно вырастет. У мну нет сжатия flow_capture_flags="-E5G -n 287 -S 5 -N 3" А если что, ZFS сама будет сжимать с нужным уровнем компрессии. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lllsergeyv Опубликовано 24 октября, 2011 Загрузка может еще сильно вырости когда начнете обрабатывать собранную статистику. Колектор лучше вынести из бордера. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 24 октября, 2011 Анализатор в любом случае нужно гонять с пониженным приоритетом, и лучше вообще на юзерских машинах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 24 октября, 2011 И сжатие (-9) лучше не использовать, дисковое пространство нынче дёшево, а вот процессорная обработка всё так же дорога. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 24 октября, 2011 дисковое пространство нынче дёшево У тебя просто объёмы не те. а вот процессорная обработка всё так же дорога. Только в вечерние чаcы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 25 октября, 2011 Ой, да я тебя умоляю, "обьёмы не те". Вам не хватает денег на 2Тб SATA-диски? Что за нищебродство? Несжатые Netflow-файлы flow-tools 700 мегабит/сек потока занимают порядка 35Мбайт за пятиминутный период. Какие-то проблемы? а вот процессорная обработка всё так же дорога. Только в вечерние чаcы. У кого как. У меня обработка идёт сразу. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 25 октября, 2011 Вам не хватает денег на 2Тб SATA-диски? Что за нищебродство? Нищебродство (интеллектуальное) - это покупка/установка/настройка дисков вместо написания скрипта из 30 строк ;-) #!/bin/sh # # /etc/cron.daily/flows_archive # MAX_DAYS="180" MIN_DAYS="8" STORE_PATH="/var/db/netflow" CONF="/etc/sysconfig/flow-capture" test -r "$CONF" && . $CONF test -d "$STORE_PATH" || exit 1 find $STORE_PATH -mindepth 4 -maxdepth 4 -type f -mtime +$MAX_DAYS -delete find $STORE_PATH -mindepth 4 -maxdepth 4 -type f -mtime +$MIN_DAYS \ -name "ft*" -and -not -name "*.bz2" \ | while read f; do #echo $f... test -s "$f.bz2" && { echo "Warning: already compressed? $f"; continue; } flow-cat -p -z0 "$f" | nice bzip -9 > "$f.bz2" #ls -l ${f}* s=`stat -c%s $f.bz2` test $s -lt 1024 && { echo "Warning: wrong compression size: $f"; continue; } rm -f "$f" #mv "$f" "$f.DELETE" done >> /tmp/flows_archive.log 2>&1 find $STORE_PATH -type d -empty -delete ## EOF ## Несжатые Netflow-файлы flow-tools 700 мегабит/сек потока занимают порядка 35Мбайт за пятиминутный период. Какие-то проблемы? При таких мизерных объёмах проблем естественно не будет (если совсем уж специально не стараться). У меня набегало до 255 мегабайт flows за 5 минут (со сжатием -z2), 14 гигабайт в день, 250 гигабайт в месяц (пережаты в bzip -9). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 25 октября, 2011 (изменено) Да-да, видели я такое. А как надо статистику по трафику сделать, так всё, ждём-с, пока всё распакуется из bzip, ага :D Нахрен нужна такая экономия на спичках. P.S. Проверять размер файла до того, как сжимать его, в голову не приходило? ;) Изменено 25 октября, 2011 пользователем Dyr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 25 октября, 2011 А как надо статистику по трафику сделать, так всё, ждём-с, Скорость декомпрессии существенно выше, чем у компрессии, и гораздо слабее зависит от степени сжатия. Основная потеря времени - это собственно flow-filter. пока всё распакуется из bzip, а потом ещё и из сжатых flow-capture, ага :D Про сжатые flow-capture молодец, что поправился. Не зря с тобой бьюсь шестой год ;-) Проверять размер файла до того, как сжимать его, в голову не приходило? ;) Не просто приходило, а погонял flow-capture с разными коэффициэнтами сжатия и выбрал оптимальный для realtime. Затем сравнил с bzip -9, чтобы оценить целесообразность утренней перепаковки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 25 октября, 2011 Dyr опубликовал ответ в тему "Подскажите, где соирать Netflow ?", на которую вы подписаны. ---------------------------------------------------------------------- ------------ QUOTE ---------- Основная потеря времени - это собственно flow-filter. ----------------------------- Потому что нефиг его использовать. man flow-nfilter. Опять брякнул неподумавши и стёр в надежде, что никто не увидит? ;-))) http://forum.nag.ru/forum/index.php?showtopic=66460&view=findpost&p=612486 -- именно nfilter и используется. Термин "flow-filter" означает не конкретную утилиту, а выполняемое действие. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 25 октября, 2011 (изменено) Не, просто стало не о чем спорить - придирка по flow-[n]filter мелочная, чего тебя доводить? :) А профилирование работы flow-tools я не делал, поскольку меня пока и так удовлетворяет и в свободных пространствах так как ты, не ограничен. ;Р Единственное, что у меня flow-cat упирается в процессор. Изменено 25 октября, 2011 пользователем Dyr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 26 октября, 2011 У меня Ipcad через ipfw tee собирает, только то, что правилами описано. При 300Мбит его в top не видно даже... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dzenov Опубликовано 26 октября, 2011 Загрузка может еще сильно вырости когда начнете обрабатывать собранную статистику. Колектор лучше вынести из бордера. Согласен, лучше вынести из бордера и собирать в двух местах для надежности. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...