Jump to content
Калькуляторы

На чем лучше хранить netflow

Netflow собирается flow-tools размер за день доходит до 10Гб.

встроенного в сервер рейда скоро не хватит.

посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools

Share this post


Link to post
Share on other sites

Мы под это дело используем ленточную библиотеку, в день выходит примерно 25-35Гб файлов с пятой компрессией, ежедневно ночью льем на ленту. кассеты LTO-3 - 400GB. одной хватает примерно на пол месяца, в библиотеке 29 кассет - ориентировочно должно хватить на год, т.к. пару из этих кассет используем под бэкапы.

Share this post


Link to post
Share on other sites

Актуальная тема :)

Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем.

 

Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней.

 

Но все таки мы решили что надежности дисков хватит.

И скорость записи и чтения у диска выше.

 

Share this post


Link to post
Share on other sites
Netflow собирается flow-tools размер за день доходит до 10Гб.

встроенного в сервер рейда скоро не хватит.

посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools

flow-capture -z9 -N3, получаются файлики в каталогах YYYY/YYYY-MM/YYYY-MM-DD/flow-file , максимально сжатые.

Потом можно не спеша архивировать любым способом.

Share this post


Link to post
Share on other sites
Актуальная тема :)

Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем.

 

Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней.

 

Но все таки мы решили что надежности дисков хватит.

И скорость записи и чтения у диска выше.

переписываем раз в месяц на жесткий диск через USB (винт в hdd-USB-боксе). когда кончается место в боксе винт меняется на свежий. старый винт - в сейф.

 

Share this post


Link to post
Share on other sites

- корзины аля hp storageworks (те же eva),

- грамотно спроектированная структура хранилища (на базе того же SQL),

- коллекторы входных данных,

- обработчики, раскладывающие flow под структуру хранилища

 

при больших объемах (от 100 гигов за сутки) иначе и не получится...

Share this post


Link to post
Share on other sites
Netflow собирается flow-tools размер за день доходит до 10Гб.

встроенного в сервер рейда скоро не хватит.

посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools

Слив на 500-ку для текущей работы (отчеты абонентам по требованию за месяц) и на железный массив из нескольких SATA-винтов по 1Тб для хранения. И ротация файлов на 500-ке средствами самих flow-tools.

А массив со SCSI интерфейсом остался с тех времен, когда тарифы были почти все помегабайтные и существовала помойка с различным контентом.

Edited by passer

Share this post


Link to post
Share on other sites

Я использую nfdump

Сразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%.

Потом уже эти данные под bzip -9 и на ленточку.

Share this post


Link to post
Share on other sites

ИМХО писать на массив iSCSI с SATA дисками. Сам массив можно вынести на другую площадку, получите еще и "настоящую" резервную копию.

Share this post


Link to post
Share on other sites
Актуальная тема :)

Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем.

 

Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней.

 

Но все таки мы решили что надежности дисков хватит.

И скорость записи и чтения у диска выше.

Стартовые вложения в библиотеку высоки, но и приличный массив из хардов стоит не меньше. По скорости записи я не заметил что бы лента сильно уступала диску - скорость записи до 90Мбайт/с. Еще нужно очень постараться что бы отдать ей на такой скорости ;)

Share this post


Link to post
Share on other sites
Я использую nfdump

Сразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%.

Потом уже эти данные под bzip -9 и на ленточку.

а каким образом делается агрегация и прочие компрессии?

Share this post


Link to post
Share on other sites

Я бы запускал flow-capture непосредственно на дисковой ферме,

а поток на неё дублировал flow-fanout'ом.

Это imho проще, чем подключать ферму по nfs или iscsi.

Благодаря этому её можно будет относительно свободно отключать для замены дисков.

 

С RAID лучше не связываться, т.к. это усложнит поштучное добавление дисков большего размера.

С LVM лучше не связываться, т.к. при отключении PhysicalVolume

оно может устроить многочасовой перенос данных на другие PV.

Если нужно резервирование, то сойдёт утренний rsync.

 

Дистрибутив Линукса - любой из современных, можно даже запускаемый с флешки,

чтобы освободить место и разъём под диск для данных.

Файловая система для данных - имени товарища, убившего свою русскую жену.

 

Диски - 1,5-терабайтные с 5-летней гарантией, ёмкости каждого хватит месяца на 4:

http://www.ulmart.ru/goods/198457/

Если требуется размещение в стойке, то аппаратная платформа может быть такая: http://www.supermicro.com/products/chassis...813MTQ-350C.cfm

Из старых неплохо подойдёт Asus RS120.

Share this post


Link to post
Share on other sites
Я использую nfdump

Сразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%.

Потом уже эти данные под bzip -9 и на ленточку.

а каким образом делается агрегация и прочие компрессии?

Встроенные в nfdump фичи.

Share this post


Link to post
Share on other sites

а каким образом делается агрегация и прочие компрессии?

Встроенные в nfdump фичи.

Вы не могли бы привести команду целиком?

nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2

Так?

Share this post


Link to post
Share on other sites

а каким образом делается агрегация и прочие компрессии?

Встроенные в nfdump фичи.

Вы не могли бы привести команду целиком?

nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2

Так?

почти так-же, только храню я исходные файлы, фильтры по ним потом удобно делать. Конвейер не использую по причине возникающих трудноуловимых глюков.

nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)"
bzip -9 /out/nfcapd.$YESTERDAY

 

более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти много, поставить ротацию раз в 5-10-15 минут(в зависимости от доступной памяти) и при ротации вызывать такой код по ключу -x

nfdump -r %f -bzw %f-agg
rm %f

а суточный файл делать как обычно.

Edited by XeonVs

Share this post


Link to post
Share on other sites

а каким образом делается агрегация и прочие компрессии?

Встроенные в nfdump фичи.

Вы не могли бы привести команду целиком?

nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2

Так?

почти так-же, только храню я исходные файлы, фильтры по ним потом удобно делать. Конвейер не использую по причине возникающих трудноуловимых глюков.

nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)"
bzip -9 /out/nfcapd.$YESTERDAY

Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.

 

Edited by yakuzzza

Share this post


Link to post
Share on other sites
Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.
Пожалуйста. Сам долго подбирал эффективный инструмент. Еще бы допилить ng_netflow чтобы отдавал ASN16 в пакете и вообще красота.

 

Share this post


Link to post
Share on other sites
Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.
Пожалуйста. Сам долго подбирал эффективный инструмент. Еще бы допилить ng_netflow чтобы отдавал ASN16 в пакете и вообще красота.

Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?

Совместимы ли у них бинарные форматы файлов?

Share this post


Link to post
Share on other sites
Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?

Совместимы ли у них бинарные форматы файлов?

Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них.

Share this post


Link to post
Share on other sites
у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них.
Старый flow-tools больше не развивается (последняя версия вышла ровно 5 лет назад),

в новом flow-tools-ng эта проблема давно решена.

 

Не совсем понятно, есть ли во flow-tools встроенная агрегация по Proto+Flags+SrcIP+DstIP+DstPort?

В этой древней ветке предлагают использовать flow-xlate и самописный костыль на Perl:

http://www.mail-archive.com/flow-tools@lis...t/msg01024.html

Костыль вызывает опасения потенциальной тормознутостью, а для flow-xlate не хватает конкретных примеров.

Share this post


Link to post
Share on other sites
nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)"
bzip -9 /out/nfcapd.$YESTERDAY

Какой смысл вызывать nfdump с ключом "-z", если затем всё равно вызывается bzip -9?

 

более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти много
Вряд ли временнОй интервал агрегации настолько большой,

что буферы уменьшатся из-за перехода от суточных дампов к часовым.

Скорее, имело бы смысл заменить "-b" на "-B".

Edited by Ilya Evseev

Share this post


Link to post
Share on other sites
nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)"
bzip -9 /out/nfcapd.$YESTERDAY

Какой смысл вызывать nfdump с ключом "-z", если затем всё равно вызывается bzip -9?

Смысл -z экономия места на коллекторе и меньше затрат на IO, при компрессии соизмеримой с bzip -4..5 но с значительно большей скоростью.

Оперативный месяц у меня живет локально, bzip тут лишнее время дает. А на ленточку самое то, там скорость не нужна.

 

более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти много
Вряд ли временнОй интервал агрегации настолько большой,

что буферы уменьшатся из-за перехода от суточных дампов к часовым.

Скорее, имело бы смысл заменить "-b" на "-B".

Просто путаешь ключи к коллектору и дампу: -b это почти аналог -a, но сессии агрегируются двунаправленно в рамках src, dst, ports.
Edited by XeonVs

Share this post


Link to post
Share on other sites
Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?

Совместимы ли у них бинарные форматы файлов?

Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них.

ясно.

а что по совместимости файлов?

Share this post


Link to post
Share on other sites
Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?

Совместимы ли у них бинарные форматы файлов?

Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них.

ясно.

а что по совместимости файлов?

из flow-tools в nfdump есть нормальный конвертер.

Обратно нет(вариант с nfreplay не берем в расчет), да и в общем не надо.

Edited by XeonVs

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this