[vlad11]

Имеется border-router на FreeBSD 8.2.

Он обрабатывает поток ~300M

Имеет смысл на нем собирать статистику netflow (softflowd+flow_capture) ?

или flow_capture выносить на другой хост?

Хочется узнать, не сильно ли будет проседать роутер от softflowd ?

 

Сейчас на тестовом хосте объем суточной статистики - 50M

Edited October 22, 2011 by vlad11

[nightfly]

softflowd при 300Мбит трафика на интерфейсе жрет 8-11% в топе на 34-м зеоне. Быть коллектором - более трудоемкая задача.

[Dyr]

Да ладно, коллектором быть абсолютно не трудоёмко.

[vlad11]

Щас на бордере

Version: Intel(R) Xeon(R) CPU           X3430  @ 2.40GHz

 

Есть L3 свитч в ядре, может на него повесить съем статистики? заявлена поддержка sFlow...

Edited October 22, 2011 by vlad11

[GFORGX]

Вот тут красивые костыли: http://centos.alt.ru/?p=367. Но костыли :D

 

Но, опять же, у Вас всего 300 мегабит трафика, так что, я думаю, pcap-based тулзы не сожрут все ресурсы, и патчить ничего ненужно.

Edited October 22, 2011 by GFORGX

[Ilya Evseev]

ngnetflow увеличивает нагрузку на процессор примерно на 20%.

ipt-netflow в Линуксе примерно на столько же.

Скорее всего, softflowd будет медленнее, т.к. работает через PCAP.

pfflowd где-то посередине.

 

flowcapture рекомендуется запускать с уровнем сжатия 2.

Если меньше, то начнутся тормоза при записи на диск из-за раздувания файлов.

Если больше, то файлы намного меньше не станут, но загрузка процессора заметно вырастет.

 

По утрам можно старые flows перепаковывать bzip -9.

[jab]

ipcad в качестве сенсора netflow у меня жрал AFAIR 90% от 1 ядра Core2Quad 3Ghz на каждый гигабит входящего трафика. Коллектор лучше сразу размещать на другом

хосте, потому как требования к дисковой подсистеме у него абсолютно отличаются от border'а. При нормально настроенной агрегации flows коллектор в top'е

на глаз не заметен <3%. ng-netflow врал на 15% в сторону занижения трафика, но было это достаточно давно.

[vlad11]

flowcapture рекомендуется запускать с уровнем сжатия 2.

Если меньше, то начнутся тормоза при записи на диск из-за раздувания файлов.

Если больше, то файлы намного меньше не станут, но загрузка процессора заметно вырастет.

У мну нет сжатия

flow_capture_flags="-E5G -n 287 -S 5 -N 3"

А если что, ZFS сама будет сжимать с нужным уровнем компрессии.

[lllsergeyv]

Загрузка может еще сильно вырости когда начнете обрабатывать собранную статистику. Колектор лучше вынести из бордера.

[jab]

Анализатор в любом случае нужно гонять с пониженным приоритетом, и лучше вообще на юзерских машинах.

[Dyr]

И сжатие (-9) лучше не использовать, дисковое пространство нынче дёшево, а вот процессорная обработка всё так же дорога.

[Ilya Evseev]

дисковое пространство нынче дёшево

У тебя просто объёмы не те.

а вот процессорная обработка всё так же дорога.

Только в вечерние чаcы.

[Dyr]

Ой, да я тебя умоляю, "обьёмы не те". Вам не хватает денег на 2Тб SATA-диски? Что за нищебродство? Несжатые Netflow-файлы flow-tools 700 мегабит/сек потока занимают порядка 35Мбайт за пятиминутный период. Какие-то проблемы?

 

а вот процессорная обработка всё так же дорога.

 

Только в вечерние чаcы.

 

У кого как. У меня обработка идёт сразу.

[Ilya Evseev]

Вам не хватает денег на 2Тб SATA-диски? Что за нищебродство?

Нищебродство (интеллектуальное) - это покупка/установка/настройка дисков вместо написания скрипта из 30 строк ;-)

#!/bin/sh
#
#  /etc/cron.daily/flows_archive
#

MAX_DAYS="180"
MIN_DAYS="8"
STORE_PATH="/var/db/netflow"
CONF="/etc/sysconfig/flow-capture"
test -r "$CONF" && . $CONF
test -d "$STORE_PATH" || exit 1

find $STORE_PATH -mindepth 4 -maxdepth 4 -type f -mtime +$MAX_DAYS -delete

find $STORE_PATH -mindepth 4 -maxdepth 4 -type f -mtime +$MIN_DAYS \
       -name "ft*" -and -not -name "*.bz2" \
| while read f; do
       #echo $f...
       test -s "$f.bz2" && { echo "Warning: already compressed? $f"; continue; }
       flow-cat -p -z0 "$f" | nice bzip -9 > "$f.bz2"
       #ls -l ${f}*
       s=`stat -c%s $f.bz2`
       test $s -lt 1024 && { echo "Warning: wrong compression size: $f"; continue; }
       rm -f "$f"
       #mv "$f" "$f.DELETE"
done >> /tmp/flows_archive.log 2>&1

find $STORE_PATH -type d -empty -delete

## EOF ##

 

Несжатые Netflow-файлы flow-tools 700 мегабит/сек потока занимают порядка 35Мбайт за пятиминутный период. Какие-то проблемы?

При таких мизерных объёмах проблем естественно не будет (если совсем уж специально не стараться).

У меня набегало до 255 мегабайт flows за 5 минут (со сжатием -z2), 14 гигабайт в день, 250 гигабайт в месяц (пережаты в bzip -9).

[Dyr]

Да-да, видели я такое. А как надо статистику по трафику сделать, так всё, ждём-с, пока всё распакуется из bzip, ага :D Нахрен нужна такая экономия на спичках.

 

 

 

 

P.S. Проверять размер файла до того, как сжимать его, в голову не приходило? ;)

 

 

 

Edited October 25, 2011 by Dyr

[Ilya Evseev]

А как надо статистику по трафику сделать, так всё, ждём-с,

Скорость декомпрессии существенно выше, чем у компрессии, и гораздо слабее зависит от степени сжатия.

Основная потеря времени - это собственно flow-filter.

 

пока всё распакуется из bzip, а потом ещё и из сжатых flow-capture, ага :D

Про сжатые flow-capture молодец, что поправился.

Не зря с тобой бьюсь шестой год ;-)

 

Проверять размер файла до того, как сжимать его, в голову не приходило? ;)

Не просто приходило, а погонял flow-capture с разными коэффициэнтами сжатия и выбрал оптимальный для realtime.

Затем сравнил с bzip -9, чтобы оценить целесообразность утренней перепаковки.

[Ilya Evseev]

Dyr опубликовал ответ в тему "Подскажите, где соирать Netflow ?", на которую вы подписаны.

 

----------------------------------------------------------------------

 

------------ QUOTE ----------

Основная потеря времени - это собственно flow-filter.

-----------------------------

 

Потому что нефиг его использовать. man flow-nfilter.

Опять брякнул неподумавши и стёр в надежде, что никто не увидит? ;-)))

 

http://forum.nag.ru/forum/index.php?showtopic=66460&view=findpost&p=612486 -- именно nfilter и используется.

Термин "flow-filter" означает не конкретную утилиту, а выполняемое действие.

[Dyr]

Не, просто стало не о чем спорить - придирка по flow-[n]filter мелочная, чего тебя доводить? :) А профилирование работы flow-tools я не делал, поскольку меня пока и так удовлетворяет и в свободных пространствах так как ты, не ограничен. ;Р Единственное, что у меня flow-cat упирается в процессор.

Edited October 25, 2011 by Dyr

[YuryD]

У меня Ipcad через ipfw tee собирает, только то, что правилами описано. При 300Мбит его в top не видно даже...

[dzenov]

Загрузка может еще сильно вырости когда начнете обрабатывать собранную статистику. Колектор лучше вынести из бордера.

Согласен, лучше вынести из бордера и собирать в двух местах для надежности.