Сбор статистики для ГБ

[kostil]

Здравствуйте.

 

До недавнего времени собирали статистику по netflow. Но с ростом количества абонентов netflow коллектор перестает справлятся с количеством трафика, да и нагружать маршрутизаторы netflow тоже не хочется. Поискал в форуме - в основном советуют зеркалировать трафик на отдельный сервак где уже собирать всю статистику, например с помощью nfacctd.

Прошу поделиться опытом у кого реализована подобная схема

1) как зеркалируете трафик?

2) каким железом (PC) принимать такой объем?

3) какую ОС пользовать?

4) каким софтом обрабатывать?

 

P.S.

на данный момент до 14к пользователей онлайн. до 5Гб трафика в обе стороны.

 

[vIv]

это какие единицы? 5Gbps ?

[kostil]

да, 5Gbps

[kostil]

Ни кто не сталкивался с подобным? или не принято на форуме это обсуждать?

[Ivan Rostovikov]

5Gbps в одну сторону ?

Значит 7-10 в обе ?

Тут мега железка нужна...

 

Под словом "ГБ" Вы понимаете ФСБ ?

Так они не требуют netflow архивы. Закон не предписывает их собирать и хранить. По этому тут такие темы и не обсуждаются.

Edited August 5, 2010 by Ivan Rostovikov

[kostil]

На сколько мне известно, могут в любой момент спросить "кто ходил на этот ip два месяца назад, в такое-то время". netflow как раз эту информацию и предоставляет. или есть более простой способ?

[UncleDen]

Нет способов проще.

ФСБ не интересуют ваши проблемы. Мы живём в том, где партия велела - комсомол ответил "Есть!". Невыполнение влечёт приостановку с последующим лишением лицензии.

Включайте в расходы ежемесячную покупку десятка терабайтников. Писюк на Линуксе с флоутулзом с этим справится.

 

Нескромный вопрос - каким образом у вас план СОРМ реализован на таких нагрузках? Съёмник у вас или с магистралами смогли договориться?

 

[kostil]

То что это целиком и полностью наши проблемы я и не возражал. Просто интуресуюсь как у кого реализован этот процесс с технической точки зрения.

[OK-2004]

Шлюз в инет своей внутренней картой ( к хомякам ) включён в тагированный( у хомяков много вланов ) порт дес-3526. Порт миррорится на ТЕГИРОВАННЫЙ в тех же влан порт , в который включён писюк с интерфейсом в сквозном режиме, и ipt_netflow в RAW-PREROUTING цепочках.Всё шкворчит. IPT_NETFLOW - 4-ое и единственное решение ,удовлетворившее нас по производительности

[OK-2004]

В dec-3526 можно 2 нетагированных порта миррорить в один тагированный, но у нас такая схема не прокатила. так как клиентские порты - 1гиг, а 2гиг порта на дес-3526 пока не придумали :)

[ingress]

На сколько мне известно, могут в любой момент спросить "кто ходил на этот ip два месяца назад, в такое-то время". netflow как раз эту информацию и предоставляет. или есть более простой способ?

немного неправильно, раз они пришли к вам значит у них есть лог в котором есть ваши адреса, и есть время соотвественно.

а это уже подпадает под сессию, а сессии хранить намного проще чем тонны флова(нужен он только для разборок с абонами и выявления аномалий)

 

p.s. ну если у вас каждому абону даётся внешний адрес(динамический или статический) :)

[Giga-Byte]

1) как зеркалируете трафик?

monitor на кошке

2) каким железом (PC) принимать такой объем?

чего-нибудь (понятия не имею чего) с нормальной внешней 10гбитной картой,

чтобы железно умела параллелить приём по потокам

3) какую ОС пользовать?

у нас freebsd 7.2

4) каким софтом обрабатывать?

опять-же у нас ng_netflow + flowtools

 

пы.сы. при пиках до 600Мбит несжатый архив за месяц весит 140Гб

грубо говоря 1.5Тбайт/месяц у вас архив будет весить

я понятия не имею как это хранить 3 года...

учитывая ленты и сжатие, можно на почти топовую ленточку вместить ~1-1.2Тб

но с ленточками не набегаешься, вытаскивать данные при необходимости (хотя если приспичит...)

а столько винтов покупать, этож в копеечку (хотя тоже спорный вопрос)

 

p.s. ну если у вас каждому абону даётся внешний адрес(динамический или статический) :)

а если не даётся, ещё надо и соответствие хранить...

[SokolovS]

На самом деле данные полученные от сенсора можно еще пожать в 3 раза, если сделать отчет с группировкой ip-src/dst (он кстати есть в поставке flow-tools), хранить только time,src,dst,octets и пожать отчет gzip-ом. Если хранить только входящий, то добавить в отчет фильтр и ужмется относительно исходного в 6-8 раз.

[Giga-Byte]

На самом деле данные полученные от сенсора можно еще пожать в 3 раза, если сделать отчет с группировкой ip-src/dst (он кстати есть в поставке flow-tools), хранить только time,src,dst,octets и пожать отчет gzip-ом. Если хранить только входящий, то добавить в отчет фильтр и ужмется относительно исходного в 6-8 раз.

а потом понадобится по AS-кам разобрать... :)

не, пусть лучше он сырой будет, чтобы небыло мучительно больно за зря прожитые годы.

[kostil]

Нескромный вопрос - каким образом у вас план СОРМ реализован на таких нагрузках? Съёмник у вас или с магистралами смогли договориться?

СОРМ нам внедряли и я к этому не имел отношения - сказать не могу ничего, а вот запросы по статистике за прошлое время не только от органов, но и от сомневающихся абонентов частенько бывают

[UncleDen]

СОРМ нам внедряли и я к этому не имел отношения - сказать не могу ничего, а вот запросы по статистике за прошлое время не только от органов, но и от сомневающихся абонентов частенько бывают

А как же периодические тесты большого брата? Они своё не упустят, пальцем погрозят и попросят идти в ногу со временем. А там уж как вы договоритесь с мфи-софт или иным производителем съёмников. Мы пришли к выводу, что на каждый филиал нужен свой съёмник. А это дорого шоппц, зато нет головных болей и сухарей сушёных в суме.

Храню сжатый в девятку месячный флов на сервере (терабайта _пока_ хватает) - там же флоувьювер для сиюминутных разборок с хомячками и скриптик для выборки за произвольный период (считаю мало хранения сессий для разбора полётов, нужен именно src-dst расклад по ибоненту). Ещё ни один "орган" от меня не ушёл неудовлетворённым. В начале следующего месяца выкидываю на внешний винт. Стопка терабайтников в сейфе с 2008 года. Сейчас уже в ротацию пошли.

Кстати, на просьбы хомячков дать им раскладку по траффику (есть такие деятели - со своей учётной системой неохота заморачиваться, а сотрудников нагнуть за сидение в инете очень хочется или такие, которым везде чудится найопка, и свои потраченные 30 рублей в месяц на безлимите они готовы до милликопейки проверять) - введите в прейскурант "распечатка статистики - 1000 руб/лист" или тому подобное. Нуачо? Ваша обязанность услугу доступа предоставлять, а всё остальное - извините. Но любой каприз за ваши деньги. Почему так дорого? Потому что это титанический труд - искать вашу иголку в стогу сена.

В общем, придумайте сами.

 

[Ivan Rostovikov]

Вопрос: На чем основаны требования "органов" хранить netflow ?

Или это все таки не "требования" а "пожелания" ?

Я вот собираюсь совсем отказаться от netflow. Все тарифы безлимитные.

[martin74]

скажите пожалуйста, кто из ваших абонентов в период с 3.08.10 по 5.08.10 подключался к таким то ip адресам и портам. И список адрес-порт на поллиста А4....

Ваши действия?

[RialCom.ru]

А если несколько месяцев назад дата?

[martin74]

а какая разница?? Из личного опыта - обычно дата отстоит от текущей минимум на два три месяца. И приходят "нам надо срочно, сроки по делу истекают завтра"....

Иногда период из будущего берется....

[Giga-Byte]

после четвёртого запроса из МВД, начинаю думать о хранении мак-адресов с портов коммутаторов с аггрегированием по часам.

может кому-нибудь это поможет вернуть имущество.

 

[martin74]

маки ноутбуков?

Тоже задумываюсь....

[visir]

скажите пожалуйста, кто из ваших абонентов в период с 3.08.10 по 5.08.10 подключался к таким то ip адресам и портам. И список адрес-порт на поллиста А4....

Ваши действия?

"Такой статистики у нас нет". Сотню раз так отвечал - лишних вопросов не возникало.

[Giga-Byte]

маки ноутбуков?

Тоже задумываюсь....

ну мне то неважно, ноутбук это или айпод, или холодильник с автоматическим заказом продуктов.

 

[Ivan Rostovikov]

>Ваши действия?

Нет тех. возможности.