shicoy Опубликовано 17 ноября, 2010 · Жалоба Netflow собирается flow-tools размер за день доходит до 10Гб. встроенного в сервер рейда скоро не хватит. посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kostil Опубликовано 17 ноября, 2010 · Жалоба Мы под это дело используем ленточную библиотеку, в день выходит примерно 25-35Гб файлов с пятой компрессией, ежедневно ночью льем на ленту. кассеты LTO-3 - 400GB. одной хватает примерно на пол месяца, в библиотеке 29 кассет - ориентировочно должно хватить на год, т.к. пару из этих кассет используем под бэкапы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 17 ноября, 2010 · Жалоба Актуальная тема :) Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем. Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней. Но все таки мы решили что надежности дисков хватит. И скорость записи и чтения у диска выше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marikoda Опубликовано 17 ноября, 2010 · Жалоба Netflow собирается flow-tools размер за день доходит до 10Гб.встроенного в сервер рейда скоро не хватит. посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools flow-capture -z9 -N3, получаются файлики в каталогах YYYY/YYYY-MM/YYYY-MM-DD/flow-file , максимально сжатые.Потом можно не спеша архивировать любым способом. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Diman Опубликовано 17 ноября, 2010 · Жалоба Актуальная тема :) Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем. Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней. Но все таки мы решили что надежности дисков хватит. И скорость записи и чтения у диска выше. переписываем раз в месяц на жесткий диск через USB (винт в hdd-USB-боксе). когда кончается место в боксе винт меняется на свежий. старый винт - в сейф. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
darkagent Опубликовано 17 ноября, 2010 · Жалоба - корзины аля hp storageworks (те же eva), - грамотно спроектированная структура хранилища (на базе того же SQL), - коллекторы входных данных, - обработчики, раскладывающие flow под структуру хранилища при больших объемах (от 100 гигов за сутки) иначе и не получится... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
passer Опубликовано 17 ноября, 2010 (изменено) · Жалоба Netflow собирается flow-tools размер за день доходит до 10Гб.встроенного в сервер рейда скоро не хватит. посоветуйте на чем можно хранить? Какой нить NAS с доступом по nfs, что бы туда можно было сливать этот мусор и в hot-swap вставлять новые винты, без каких либо передергиваний со стороны flow-tools Слив на 500-ку для текущей работы (отчеты абонентам по требованию за месяц) и на железный массив из нескольких SATA-винтов по 1Тб для хранения. И ротация файлов на 500-ке средствами самих flow-tools. А массив со SCSI интерфейсом остался с тех времен, когда тарифы были почти все помегабайтные и существовала помойка с различным контентом. Изменено 17 ноября, 2010 пользователем passer Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 17 ноября, 2010 · Жалоба Я использую nfdump Сразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%. Потом уже эти данные под bzip -9 и на ленточку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LiuPing Опубликовано 17 ноября, 2010 · Жалоба ИМХО писать на массив iSCSI с SATA дисками. Сам массив можно вынести на другую площадку, получите еще и "настоящую" резервную копию. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kostil Опубликовано 17 ноября, 2010 · Жалоба Актуальная тема :) Места хватает на пять суток. Каждую ночь сливается на другой сервер. По мере накопления переливаем на терабайтники (а сейчас и на 2-терабайтники) в 3 экземплярах и в три разных места складируем. Библиотека дорогая... Пока экономически выгодно заморачиватся с обычными дисками. Ленты, конечно, надежней. Но все таки мы решили что надежности дисков хватит. И скорость записи и чтения у диска выше. Стартовые вложения в библиотеку высоки, но и приличный массив из хардов стоит не меньше. По скорости записи я не заметил что бы лента сильно уступала диску - скорость записи до 90Мбайт/с. Еще нужно очень постараться что бы отдать ей на такой скорости ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Slad Опубликовано 17 ноября, 2010 · Жалоба Я использую nfdumpСразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%. Потом уже эти данные под bzip -9 и на ленточку. а каким образом делается агрегация и прочие компрессии? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 21 ноября, 2010 · Жалоба Я бы запускал flow-capture непосредственно на дисковой ферме, а поток на неё дублировал flow-fanout'ом. Это imho проще, чем подключать ферму по nfs или iscsi. Благодаря этому её можно будет относительно свободно отключать для замены дисков. С RAID лучше не связываться, т.к. это усложнит поштучное добавление дисков большего размера. С LVM лучше не связываться, т.к. при отключении PhysicalVolume оно может устроить многочасовой перенос данных на другие PV. Если нужно резервирование, то сойдёт утренний rsync. Дистрибутив Линукса - любой из современных, можно даже запускаемый с флешки, чтобы освободить место и разъём под диск для данных. Файловая система для данных - имени товарища, убившего свою русскую жену. Диски - 1,5-терабайтные с 5-летней гарантией, ёмкости каждого хватит месяца на 4: http://www.ulmart.ru/goods/198457/ Если требуется размещение в стойке, то аппаратная платформа может быть такая: http://www.supermicro.com/products/chassis...813MTQ-350C.cfm Из старых неплохо подойдёт Asus RS120. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 21 ноября, 2010 · Жалоба Я использую nfdumpСразу пишет пожатые логи. Ночью выполняется скрипт, который объединяет все файлы за сутки, фильтрует(например ICMP), делает агрегацию по flow, итоговая компрессия получается 35-55%. Потом уже эти данные под bzip -9 и на ленточку. а каким образом делается агрегация и прочие компрессии? Встроенные в nfdump фичи. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 21 ноября, 2010 · Жалоба а каким образом делается агрегация и прочие компрессии?Встроенные в nfdump фичи. Вы не могли бы привести команду целиком?nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2 Так? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 21 ноября, 2010 (изменено) · Жалоба а каким образом делается агрегация и прочие компрессии?Встроенные в nfdump фичи. Вы не могли бы привести команду целиком?nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2 Так? почти так-же, только храню я исходные файлы, фильтры по ним потом удобно делать. Конвейер не использую по причине возникающих трудноуловимых глюков. nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)" bzip -9 /out/nfcapd.$YESTERDAY более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти много, поставить ротацию раз в 5-10-15 минут(в зависимости от доступной памяти) и при ротации вызывать такой код по ключу -x nfdump -r %f -bzw %f-agg rm %f а суточный файл делать как обычно. Изменено 21 ноября, 2010 пользователем XeonVs Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yakuzzza Опубликовано 21 ноября, 2010 (изменено) · Жалоба а каким образом делается агрегация и прочие компрессии?Встроенные в nfdump фичи. Вы не могли бы привести команду целиком?nfdump -R $today_directory -o long -a A srcip,port 'not icmp' | bzip -9 > $today_file.txt.bz2 Так? почти так-же, только храню я исходные файлы, фильтры по ним потом удобно делать. Конвейер не использую по причине возникающих трудноуловимых глюков. nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)" bzip -9 /out/nfcapd.$YESTERDAY Спасибо за подсказку. Хороший инструмент. Еще раз спасибо. Изменено 21 ноября, 2010 пользователем yakuzzza Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 21 ноября, 2010 · Жалоба Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.Пожалуйста. Сам долго подбирал эффективный инструмент. Еще бы допилить ng_netflow чтобы отдавал ASN16 в пакете и вообще красота. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marikoda Опубликовано 21 ноября, 2010 · Жалоба Спасибо за подсказку. Хороший инструмент. Еще раз спасибо.Пожалуйста. Сам долго подбирал эффективный инструмент. Еще бы допилить ng_netflow чтобы отдавал ASN16 в пакете и вообще красота. Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?Совместимы ли у них бинарные форматы файлов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
photon Опубликовано 21 ноября, 2010 · Жалоба Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?Совместимы ли у них бинарные форматы файлов? Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 21 ноября, 2010 · Жалоба у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них. Старый flow-tools больше не развивается (последняя версия вышла ровно 5 лет назад),в новом flow-tools-ng эта проблема давно решена. Не совсем понятно, есть ли во flow-tools встроенная агрегация по Proto+Flags+SrcIP+DstIP+DstPort? В этой древней ветке предлагают использовать flow-xlate и самописный костыль на Perl: http://www.mail-archive.com/flow-tools@lis...t/msg01024.html Костыль вызывает опасения потенциальной тормознутостью, а для flow-xlate не хватает конкретных примеров. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 21 ноября, 2010 (изменено) · Жалоба nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)" bzip -9 /out/nfcapd.$YESTERDAY Какой смысл вызывать nfdump с ключом "-z", если затем всё равно вызывается bzip -9? более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти многоВряд ли временнОй интервал агрегации настолько большой,что буферы уменьшатся из-за перехода от суточных дампов к часовым. Скорее, имело бы смысл заменить "-b" на "-B". Изменено 21 ноября, 2010 пользователем Ilya Evseev Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 21 ноября, 2010 (изменено) · Жалоба nfdump -R /tmp/nfcapd.$FIRST:nfcapd.$LAST -bzw /out/nfcapd.$YESTERDAY "not (proto icmp and packets LT 4)" bzip -9 /out/nfcapd.$YESTERDAY Какой смысл вызывать nfdump с ключом "-z", если затем всё равно вызывается bzip -9? Смысл -z экономия места на коллекторе и меньше затрат на IO, при компрессии соизмеримой с bzip -4..5 но с значительно большей скоростью. Оперативный месяц у меня живет локально, bzip тут лишнее время дает. А на ленточку самое то, там скорость не нужна. более правильный вариант это: из этой команды убрать -b чтобы не кушало памяти многоВряд ли временнОй интервал агрегации настолько большой,что буферы уменьшатся из-за перехода от суточных дампов к часовым. Скорее, имело бы смысл заменить "-b" на "-B". Просто путаешь ключи к коллектору и дампу: -b это почти аналог -a, но сессии агрегируются двунаправленно в рамках src, dst, ports. Изменено 21 ноября, 2010 пользователем XeonVs Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
marikoda Опубликовано 22 ноября, 2010 · Жалоба Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?Совместимы ли у них бинарные форматы файлов? Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них. ясно.а что по совместимости файлов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 22 ноября, 2010 · Жалоба marikoda По-моему не совместимы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XeonVs Опубликовано 22 ноября, 2010 (изменено) · Жалоба Так что же всё-таки лучше? flow-tools или nfcapd/nfdump ?Совместимы ли у них бинарные форматы файлов? Лучше nfcapd, т.к. у flow-capture под amd64 были утечки памяти. Не знаю, сдвинулось ли что-то в этом направлении у них. ясно.а что по совместимости файлов? из flow-tools в nfdump есть нормальный конвертер. Обратно нет(вариант с nfreplay не берем в расчет), да и в общем не надо. Изменено 22 ноября, 2010 пользователем XeonVs Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
