shicoy Опубликовано 17 ноября, 2010 Netflow собирается flow-tools размер за день доходит до 10Гб. встроенного в сервер рейда скоро не хватит. посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kostil Опубликовано 17 ноября, 2010 Мы под это дело используем ленточную библиотеку, в день выходит примерно 25-35Гб файлов с пятой компрессией, ежедневно ночью льем на ленту. кассеты LTO-3 - 400GB. одной хватает примерно на пол месяца, в библиотеке 29 кассет - ориентировочно должно хватить на год, т.к. пару из этих кассет используем под бэкапы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 17 ноября, 2010 Актуальная тема :) Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем. Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней. Но все таки мы решили что надежности дисков хватит. И скорость записи и чтения у диска выше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marikoda Опубликовано 17 ноября, 2010 Netflow собирается flow-tools размер за день доходит до 10Гб.встроенного в сервер рейда скоро не хватит. посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools flow-capture -z9 -N3, получаются файлики в каталогах YYYY/YYYY-MM/YYYY-MM-DD/flow-file , максимально сжатые.Потом можно не спеша архивировать любым способом. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Diman Опубликовано 17 ноября, 2010 Актуальная тема :) Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем. Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней. Но все таки мы решили что надежности дисков хватит. И скорость записи и чтения у диска выше. переписываем раз в месяц на жесткий диск через USB (винт в hdd-USB-боксе). когда кончается место в боксе винт меняется на свежий. старый винт - в сейф. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
darkagent Опубликовано 17 ноября, 2010 - корзины аля hp storageworks (те же eva), - грамотно спроектированная структура хранилища (на базе того же SQL), - коллекторы входных данных, - обработчики, раскладывающие flow под структуру хранилища при больших объемах (от 100 гигов за сутки) иначе и не получится... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
passer Опубликовано 17 ноября, 2010 (изменено) Netflow собирается flow-tools размер за день доходит до 10Гб.встроенного в сервер рейда скоро не хватит. посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools Слив на 500-ку для текущей работы (отчеты абонентам по требованию за месяц) и на железный массив из нескольких SATA-винтов по 1Тб для хранения. И ротация файлов на 500-ке средствами самих flow-tools. А массив со SCSI интерфейсом остался с тех времен, когда тарифы были почти все помегабайтные и существовала помойка с различным контентом. Изменено 17 ноября, 2010 пользователем passer Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 17 ноября, 2010 Я использую nfdump Сразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%. Потом уже эти данные под bzip -9 и на ленточку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LiuPing Опубликовано 17 ноября, 2010 ИМХО писать на массив iSCSI с SATA дисками. Сам массив можно вынести на другую площадку, получите еще и "настоящую" резервную копию. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kostil Опубликовано 17 ноября, 2010 Актуальная тема :) Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем. Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней. Но все таки мы решили что надежности дисков хватит. И скорость записи и чтения у диска выше. Стартовые вложения в библиотеку высоки, но и приличный массив из хардов стоит не меньше. По скорости записи я не заметил что бы лента сильно уступала диску - скорость записи до 90Мбайт/с. Еще нужно очень постараться что бы отдать ей на такой скорости ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Slad Опубликовано 17 ноября, 2010 Я использую nfdumpСразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%. Потом уже эти данные под bzip -9 и на ленточку. а каким образом делается агрегация и прочие компрессии? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 21 ноября, 2010 Я бы запускал flow-capture непосредственно на дисковой ферме, а поток на неё дублировал flow-fanout'ом. Это imho проще, чем подключать ферму по nfs или iscsi. Благодаря этому её можно будет относительно свободно отключать для замены дисков. С RAID лучше не связываться, т.к. это усложнит поштучное добавление дисков большего размера. С LVM лучше не связываться, т.к. при отключении PhysicalVolume оно может устроить многочасовой перенос данных на другие PV. Если нужно резервирование, то сойдёт утренний rsync. Дистрибутив Линукса - любой из современных, можно даже запускаемый с флешки, чтобы освободить место и разъём под диск для данных. Файловая система для данных - имени товарища, убившего свою русскую жену. Диски - 1,5-терабайтные с 5-летней гарантией, ёмкости каждого хватит месяца на 4: http://www.ulmart.ru/goods/198457/ Если требуется размещение в стойке, то аппаратная платформа может быть такая: http://www.supermicro.com/products/chassis...813MTQ-350C.cfm Из старых неплохо подойдёт Asus RS120. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 21 ноября, 2010 Я использую nfdumpСразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%. Потом уже эти данные под bzip -9 и на ленточку. а каким образом делается агрегация и прочие компрессии? Встроенные в nfdump фичи. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 21 ноября, 2010 а каким образом делается агрегация и прочие компрессии?Встроенные в nfdump фичи. Вы не могли бы привести команду целиком?nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2 Так? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 21 ноября, 2010 (изменено) а каким образом делается агрегация и прочие компрессии?Встроенные в nfdump фичи. Вы не могли бы привести команду целиком?nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2 Так? почти так-же, только храню я исходные файлы, фильтры по ним потом удобно делать. Конвейер не использую по причине возникающих трудноуловимых глюков. nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)" bzip -9 /out/nfcapd.$YESTERDAY более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти много, поставить ротацию раз в 5-10-15 минут(в зависимости от доступной памяти) и при ротации вызывать такой код по ключу -x nfdump -r %f -bzw %f-agg rm %f а суточный файл делать как обычно. Изменено 21 ноября, 2010 пользователем XeonVs Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yakuzzza Опубликовано 21 ноября, 2010 (изменено) а каким образом делается агрегация и прочие компрессии?Встроенные в nfdump фичи. Вы не могли бы привести команду целиком?nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2 Так? почти так-же, только храню я исходные файлы, фильтры по ним потом удобно делать. Конвейер не использую по причине возникающих трудноуловимых глюков. nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)" bzip -9 /out/nfcapd.$YESTERDAY Спасибо за подсказку. Хороший инструмент. Еще раз спасибо. Изменено 21 ноября, 2010 пользователем yakuzzza Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 21 ноября, 2010 Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.Пожалуйста. Сам долго подбирал эффективный инструмент. Еще бы допилить ng_netflow чтобы отдавал ASN16 в пакете и вообще красота. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marikoda Опубликовано 21 ноября, 2010 Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.Пожалуйста. Сам долго подбирал эффективный инструмент. Еще бы допилить ng_netflow чтобы отдавал ASN16 в пакете и вообще красота. Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?Совместимы ли у них бинарные форматы файлов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
photon Опубликовано 21 ноября, 2010 Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?Совместимы ли у них бинарные форматы файлов? Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 21 ноября, 2010 у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них. Старый flow-tools больше не развивается (последняя версия вышла ровно 5 лет назад),в новом flow-tools-ng эта проблема давно решена. Не совсем понятно, есть ли во flow-tools встроенная агрегация по Proto+Flags+SrcIP+DstIP+DstPort? В этой древней ветке предлагают использовать flow-xlate и самописный костыль на Perl: http://www.mail-archive.com/flow-tools@lis...t/msg01024.html Костыль вызывает опасения потенциальной тормознутостью, а для flow-xlate не хватает конкретных примеров. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 21 ноября, 2010 (изменено) nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)" bzip -9 /out/nfcapd.$YESTERDAY Какой смысл вызывать nfdump с ключом "-z", если затем всё равно вызывается bzip -9? более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти многоВряд ли временнОй интервал агрегации настолько большой,что буферы уменьшатся из-за перехода от суточных дампов к часовым. Скорее, имело бы смысл заменить "-b" на "-B". Изменено 21 ноября, 2010 пользователем Ilya Evseev Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 21 ноября, 2010 (изменено) nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)" bzip -9 /out/nfcapd.$YESTERDAY Какой смысл вызывать nfdump с ключом "-z", если затем всё равно вызывается bzip -9? Смысл -z экономия места на коллекторе и меньше затрат на IO, при компрессии соизмеримой с bzip -4..5 но с значительно большей скоростью. Оперативный месяц у меня живет локально, bzip тут лишнее время дает. А на ленточку самое то, там скорость не нужна. более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти многоВряд ли временнОй интервал агрегации настолько большой,что буферы уменьшатся из-за перехода от суточных дампов к часовым. Скорее, имело бы смысл заменить "-b" на "-B". Просто путаешь ключи к коллектору и дампу: -b это почти аналог -a, но сессии агрегируются двунаправленно в рамках src, dst, ports. Изменено 21 ноября, 2010 пользователем XeonVs Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marikoda Опубликовано 22 ноября, 2010 Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?Совместимы ли у них бинарные форматы файлов? Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них. ясно.а что по совместимости файлов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 22 ноября, 2010 marikoda По-моему не совместимы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 22 ноября, 2010 (изменено) Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?Совместимы ли у них бинарные форматы файлов? Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них. ясно.а что по совместимости файлов? из flow-tools в nfdump есть нормальный конвертер. Обратно нет(вариант с nfreplay не берем в расчет), да и в общем не надо. Изменено 22 ноября, 2010 пользователем XeonVs Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
