На чем лучше хранить netflow

[shicoy]

Netflow собирается flow-tools размер за день доходит до 10Гб.

встроенного в сервер рейда скоро не хватит.

посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools

[kostil]

Мы под это дело используем ленточную библиотеку, в день выходит примерно 25-35Гб файлов с пятой компрессией, ежедневно ночью льем на ленту. кассеты LTO-3 - 400GB. одной хватает примерно на пол месяца, в библиотеке 29 кассет - ориентировочно должно хватить на год, т.к. пару из этих кассет используем под бэкапы.

[Tosha]

Актуальная тема :)

Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем.

 

Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней.

 

Но все таки мы решили что надежности дисков хватит.

И скорость записи и чтения у диска выше.

 

[marikoda]

Netflow собирается flow-tools размер за день доходит до 10Гб.

встроенного в сервер рейда скоро не хватит.

посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools

flow-capture -z9 -N3, получаются файлики в каталогах YYYY/YYYY-MM/YYYY-MM-DD/flow-file , максимально сжатые.

Потом можно не спеша архивировать любым способом.

[Diman]

Актуальная тема :)

Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем.

 

Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней.

 

Но все таки мы решили что надежности дисков хватит.

И скорость записи и чтения у диска выше.

переписываем раз в месяц на жесткий диск через USB (винт в hdd-USB-боксе). когда кончается место в боксе винт меняется на свежий. старый винт - в сейф.

 

[darkagent]

- корзины аля hp storageworks (те же eva),

- грамотно спроектированная структура хранилища (на базе того же SQL),

- коллекторы входных данных,

- обработчики, раскладывающие flow под структуру хранилища

 

при больших объемах (от 100 гигов за сутки) иначе и не получится...

[passer]

Netflow собирается flow-tools размер за день доходит до 10Гб.

встроенного в сервер рейда скоро не хватит.

посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools

Слив на 500-ку для текущей работы (отчеты абонентам по требованию за месяц) и на железный массив из нескольких SATA-винтов по 1Тб для хранения. И ротация файлов на 500-ке средствами самих flow-tools.

А массив со SCSI интерфейсом остался с тех времен, когда тарифы были почти все помегабайтные и существовала помойка с различным контентом.

Edited November 17, 2010 by passer

[XeonVs]

Я использую nfdump

Сразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%.

Потом уже эти данные под bzip -9 и на ленточку.

[LiuPing]

ИМХО писать на массив iSCSI с SATA дисками. Сам массив можно вынести на другую площадку, получите еще и "настоящую" резервную копию.

[kostil]

Актуальная тема :)

Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем.

 

Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней.

 

Но все таки мы решили что надежности дисков хватит.

И скорость записи и чтения у диска выше.

Стартовые вложения в библиотеку высоки, но и приличный массив из хардов стоит не меньше. По скорости записи я не заметил что бы лента сильно уступала диску - скорость записи до 90Мбайт/с. Еще нужно очень постараться что бы отдать ей на такой скорости ;)

[Slad]

Я использую nfdump

Сразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%.

Потом уже эти данные под bzip -9 и на ленточку.

а каким образом делается агрегация и прочие компрессии?

[Ilya Evseev]

Я бы запускал flow-capture непосредственно на дисковой ферме,

а поток на неё дублировал flow-fanout'ом.

Это imho проще, чем подключать ферму по nfs или iscsi.

Благодаря этому её можно будет относительно свободно отключать для замены дисков.

 

С RAID лучше не связываться, т.к. это усложнит поштучное добавление дисков большего размера.

С LVM лучше не связываться, т.к. при отключении PhysicalVolume

оно может устроить многочасовой перенос данных на другие PV.

Если нужно резервирование, то сойдёт утренний rsync.

 

Дистрибутив Линукса - любой из современных, можно даже запускаемый с флешки,

чтобы освободить место и разъём под диск для данных.

Файловая система для данных - имени товарища, убившего свою русскую жену.

 

Диски - 1,5-терабайтные с 5-летней гарантией, ёмкости каждого хватит месяца на 4:

http://www.ulmart.ru/goods/198457/

Если требуется размещение в стойке, то аппаратная платформа может быть такая: http://www.supermicro.com/products/chassis...813MTQ-350C.cfm

Из старых неплохо подойдёт Asus RS120.

[XeonVs]

Я использую nfdump

Сразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%.

Потом уже эти данные под bzip -9 и на ленточку.

а каким образом делается агрегация и прочие компрессии?

Встроенные в nfdump фичи.

[Ilya Evseev]

а каким образом делается агрегация и прочие компрессии?

Встроенные в nfdump фичи.

Вы не могли бы привести команду целиком?

nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2

Так?

[XeonVs]

а каким образом делается агрегация и прочие компрессии?

Встроенные в nfdump фичи.

Вы не могли бы привести команду целиком?

nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2

Так?

почти так-же, только храню я исходные файлы, фильтры по ним потом удобно делать. Конвейер не использую по причине возникающих трудноуловимых глюков.

nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)"
bzip -9 /out/nfcapd.$YESTERDAY

 

более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти много, поставить ротацию раз в 5-10-15 минут(в зависимости от доступной памяти) и при ротации вызывать такой код по ключу -x

nfdump -r %f -bzw %f-agg
rm %f

а суточный файл делать как обычно.

Edited November 21, 2010 by XeonVs

[yakuzzza]

а каким образом делается агрегация и прочие компрессии?

Встроенные в nfdump фичи.

Вы не могли бы привести команду целиком?

nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2

Так?

почти так-же, только храню я исходные файлы, фильтры по ним потом удобно делать. Конвейер не использую по причине возникающих трудноуловимых глюков.

nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)"
bzip -9 /out/nfcapd.$YESTERDAY

Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.

 

Edited November 21, 2010 by yakuzzza

[XeonVs]

Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.

Пожалуйста. Сам долго подбирал эффективный инструмент. Еще бы допилить ng_netflow чтобы отдавал ASN16 в пакете и вообще красота.

 

[marikoda]

Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.

Пожалуйста. Сам долго подбирал эффективный инструмент. Еще бы допилить ng_netflow чтобы отдавал ASN16 в пакете и вообще красота.

Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?

Совместимы ли у них бинарные форматы файлов?

[photon]

Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?

Совместимы ли у них бинарные форматы файлов?

Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них.

[Ilya Evseev]

у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них.

Старый flow-tools больше не развивается (последняя версия вышла ровно 5 лет назад),

в новом flow-tools-ng эта проблема давно решена.

 

Не совсем понятно, есть ли во flow-tools встроенная агрегация по Proto+Flags+SrcIP+DstIP+DstPort?

В этой древней ветке предлагают использовать flow-xlate и самописный костыль на Perl:

http://www.mail-archive.com/flow-tools@lis...t/msg01024.html

Костыль вызывает опасения потенциальной тормознутостью, а для flow-xlate не хватает конкретных примеров.

[Ilya Evseev]

nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)"
bzip -9 /out/nfcapd.$YESTERDAY

Какой смысл вызывать nfdump с ключом "-z", если затем всё равно вызывается bzip -9?

 

более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти много

Вряд ли временнОй интервал агрегации настолько большой,

что буферы уменьшатся из-за перехода от суточных дампов к часовым.

Скорее, имело бы смысл заменить "-b" на "-B".

Edited November 21, 2010 by Ilya Evseev

[XeonVs]

nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)"
bzip -9 /out/nfcapd.$YESTERDAY

Какой смысл вызывать nfdump с ключом "-z", если затем всё равно вызывается bzip -9?

Смысл -z экономия места на коллекторе и меньше затрат на IO, при компрессии соизмеримой с bzip -4..5 но с значительно большей скоростью.

Оперативный месяц у меня живет локально, bzip тут лишнее время дает. А на ленточку самое то, там скорость не нужна.

 

более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти много

Вряд ли временнОй интервал агрегации настолько большой,

что буферы уменьшатся из-за перехода от суточных дампов к часовым.

Скорее, имело бы смысл заменить "-b" на "-B".

Просто путаешь ключи к коллектору и дампу: -b это почти аналог -a, но сессии агрегируются двунаправленно в рамках src, dst, ports. Edited November 21, 2010 by XeonVs

[marikoda]

Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?

Совместимы ли у них бинарные форматы файлов?

Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них.

ясно.

а что по совместимости файлов?

[sirmax]

marikoda

По-моему не совместимы.

[XeonVs]

Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?

Совместимы ли у них бинарные форматы файлов?

Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них.

ясно.

а что по совместимости файлов?

из flow-tools в nfdump есть нормальный конвертер.

Обратно нет(вариант с nfreplay не берем в расчет), да и в общем не надо.

Edited November 22, 2010 by XeonVs