Netflow

[darknight]

Подскажите пожалуйста, есть два гигабитных оптических линка. Необходимо собирать с них статистику. Оба забиты в полку и RX и TX.

Вопрос:

Сколько данных будет литься в секунду? Мне нужно спланировать буфер куда будут литься данные и хранилище. Т.е. какого объема он должен быть.

[vlad11]

Подскажите пожалуйста, есть два гигабитных оптических линка. Необходимо собирать с них статистику. Оба забиты в полку и RX и TX.

Вопрос:

Сколько данных будет литься в секунду? Мне нужно спланировать буфер куда будут литься данные и хранилище. Т.е. какого объема он должен быть.

Может, вам достаточно SNMP с портов свитчей, в которые воткнуты эти линки?

Чтобы снимать netflow с загруженных в полочку линков рекомендуют миррорить в порт на свитче, а оттуда компом обрабатывать netflow.

[littlesavage]

Подскажите пожалуйста, есть два гигабитных оптических линка. Необходимо собирать с них статистику. Оба забиты в полку и RX и TX.

Сколько данных будет литься в секунду? Мне нужно спланировать буфер куда будут литься данные и хранилище. Т.е. какого объема он должен быть.

 

От загрузки линков не зависит. От pps - тоже.

Зависит от кол-ва сессий (уникальных proto src_ip src_port dst_ip dst_port + еще что-то)

 

Проще замерить netflow трафик за неделю и плясать от него.

[Hawk128]

Присоединяюсь к автору, какие у кого показатели по объему, например, за 1 час реального трафика. Торренты создают много цепочек портов и пар данных, у меня по вечерам пи примерно 600-700 мбит в каждую сторону получается около 3 гигов. Мне кажется, что многовато. Сбор в одной точке через ng_netflow, flowd. Естественно жму все bzip2`ом (до 500-600 мбайт), но все равно получается много, особенно на 3 года.

[darknight]

Чтобы снимать netflow с загруженных в полочку линков рекомендуют миррорить в порт на свитче, а оттуда компом обрабатывать netflow.

Видимо так.

у меня по вечерам пи примерно 600-700 мбит в каждую сторону получается около 3 гигов

600 + 700 = 1300 получается 3 гига в час, это после сжатия или до?

Значит:

на гигабит туда и сюда получим 4.7 Гб в час. 113Гб в сутки. Где-то 4терабайта статистики в месяц.

По нагрузке на CPU и файловую систему у кого нибудь есть статистика?

Edited October 5, 2011 by darknight

[Ilya Evseev]

Чтобы снимать netflow с загруженных в полочку линков рекомендуют миррорить в порт на свитче, а оттуда компом обрабатывать netflow.

Тогда уж в два порта, потому что суммарные ingress + egress при полке на одном из них не будут влезать в один egress на порту-зеркале.

 

Если портов на коммутаторе недостаточно, то может оказаться,

что дешевле поставить компьютер мостом между коммутатором и медиаконвертером.

 

Сколько данных будет литься в секунду? Мне нужно спланировать буфер куда будут литься данные и хранилище. Т.е. какого объема он должен быть.

Можно предположить, что после архивирования (bzip -9) будет получаться 7-10 гигабайт в сутки.

 

По нагрузке на CPU и файловую систему у кого нибудь есть статистика?

Она невелика. Главное - сразу включить слабое сжатие (-z3 или 4) при записи flows на диск, иначе они будут очень большими и от этого запись будет тормозить.

 

По ночам, когда трафика почти нет, можно перепаковывать всё, что старше N дней, с максимальным сжатием.