Jump to content
Калькуляторы

Сбор статистики для ГБ >20000 абонентов

Здравствуйте.

 

До недавнего времени собирали статистику по netflow. Но с ростом количества абонентов netflow коллектор перестает справлятся с количеством трафика, да и нагружать маршрутизаторы netflow тоже не хочется. Поискал в форуме - в основном советуют зеркалировать трафик на отдельный сервак где уже собирать всю статистику, например с помощью nfacctd.

Прошу поделиться опытом у кого реализована подобная схема

1) как зеркалируете трафик?

2) каким железом (PC) принимать такой объем?

3) какую ОС пользовать?

4) каким софтом обрабатывать?

 

P.S.

на данный момент до 14к пользователей онлайн. до 5Гб трафика в обе стороны.

 

Share this post


Link to post
Share on other sites

это какие единицы? 5Gbps ?

Share this post


Link to post
Share on other sites

Ни кто не сталкивался с подобным? или не принято на форуме это обсуждать?

Share this post


Link to post
Share on other sites

5Gbps в одну сторону ?

Значит 7-10 в обе ?

Тут мега железка нужна...

 

Под словом "ГБ" Вы понимаете ФСБ ?

Так они не требуют netflow архивы. Закон не предписывает их собирать и хранить. По этому тут такие темы и не обсуждаются.

Edited by Ivan Rostovikov

Share this post


Link to post
Share on other sites

На сколько мне известно, могут в любой момент спросить "кто ходил на этот ip два месяца назад, в такое-то время". netflow как раз эту информацию и предоставляет. или есть более простой способ?

Share this post


Link to post
Share on other sites

Нет способов проще.

ФСБ не интересуют ваши проблемы. Мы живём в том, где партия велела - комсомол ответил "Есть!". Невыполнение влечёт приостановку с последующим лишением лицензии.

Включайте в расходы ежемесячную покупку десятка терабайтников. Писюк на Линуксе с флоутулзом с этим справится.

 

Нескромный вопрос - каким образом у вас план СОРМ реализован на таких нагрузках? Съёмник у вас или с магистралами смогли договориться?

 

Share this post


Link to post
Share on other sites

То что это целиком и полностью наши проблемы я и не возражал. Просто интуресуюсь как у кого реализован этот процесс с технической точки зрения.

Share this post


Link to post
Share on other sites

Шлюз в инет своей внутренней картой ( к хомякам ) включён в тагированный( у хомяков много вланов ) порт дес-3526. Порт миррорится на ТЕГИРОВАННЫЙ в тех же влан порт , в который включён писюк с интерфейсом в сквозном режиме, и ipt_netflow в RAW-PREROUTING цепочках.Всё шкворчит. IPT_NETFLOW - 4-ое и единственное решение ,удовлетворившее нас по производительности

Share this post


Link to post
Share on other sites

В dec-3526 можно 2 нетагированных порта миррорить в один тагированный, но у нас такая схема не прокатила. так как клиентские порты - 1гиг, а 2гиг порта на дес-3526 пока не придумали :)

Share this post


Link to post
Share on other sites
На сколько мне известно, могут в любой момент спросить "кто ходил на этот ip два месяца назад, в такое-то время". netflow как раз эту информацию и предоставляет. или есть более простой способ?

немного неправильно, раз они пришли к вам значит у них есть лог в котором есть ваши адреса, и есть время соотвественно.

а это уже подпадает под сессию, а сессии хранить намного проще чем тонны флова(нужен он только для разборок с абонами и выявления аномалий)

 

p.s. ну если у вас каждому абону даётся внешний адрес(динамический или статический) :)

Share this post


Link to post
Share on other sites
1) как зеркалируете трафик?
monitor на кошке
2) каким железом (PC) принимать такой объем?
чего-нибудь (понятия не имею чего) с нормальной внешней 10гбитной картой,

чтобы железно умела параллелить приём по потокам

3) какую ОС пользовать?
у нас freebsd 7.2
4) каким софтом обрабатывать?
опять-же у нас ng_netflow + flowtools

 

пы.сы. при пиках до 600Мбит несжатый архив за месяц весит 140Гб

грубо говоря 1.5Тбайт/месяц у вас архив будет весить

я понятия не имею как это хранить 3 года...

учитывая ленты и сжатие, можно на почти топовую ленточку вместить ~1-1.2Тб

но с ленточками не набегаешься, вытаскивать данные при необходимости (хотя если приспичит...)

а столько винтов покупать, этож в копеечку (хотя тоже спорный вопрос)

 

p.s. ну если у вас каждому абону даётся внешний адрес(динамический или статический) :)
а если не даётся, ещё надо и соответствие хранить...

Share this post


Link to post
Share on other sites

На самом деле данные полученные от сенсора можно еще пожать в 3 раза, если сделать отчет с группировкой ip-src/dst (он кстати есть в поставке flow-tools), хранить только time,src,dst,octets и пожать отчет gzip-ом. Если хранить только входящий, то добавить в отчет фильтр и ужмется относительно исходного в 6-8 раз.

Share this post


Link to post
Share on other sites
На самом деле данные полученные от сенсора можно еще пожать в 3 раза, если сделать отчет с группировкой ip-src/dst (он кстати есть в поставке flow-tools), хранить только time,src,dst,octets и пожать отчет gzip-ом. Если хранить только входящий, то добавить в отчет фильтр и ужмется относительно исходного в 6-8 раз.
а потом понадобится по AS-кам разобрать... :)

не, пусть лучше он сырой будет, чтобы небыло мучительно больно за зря прожитые годы.

Share this post


Link to post
Share on other sites
Нескромный вопрос - каким образом у вас план СОРМ реализован на таких нагрузках? Съёмник у вас или с магистралами смогли договориться?

СОРМ нам внедряли и я к этому не имел отношения - сказать не могу ничего, а вот запросы по статистике за прошлое время не только от органов, но и от сомневающихся абонентов частенько бывают

Share this post


Link to post
Share on other sites
СОРМ нам внедряли и я к этому не имел отношения - сказать не могу ничего, а вот запросы по статистике за прошлое время не только от органов, но и от сомневающихся абонентов частенько бывают

А как же периодические тесты большого брата? Они своё не упустят, пальцем погрозят и попросят идти в ногу со временем. А там уж как вы договоритесь с мфи-софт или иным производителем съёмников. Мы пришли к выводу, что на каждый филиал нужен свой съёмник. А это дорого шоппц, зато нет головных болей и сухарей сушёных в суме.

Храню сжатый в девятку месячный флов на сервере (терабайта _пока_ хватает) - там же флоувьювер для сиюминутных разборок с хомячками и скриптик для выборки за произвольный период (считаю мало хранения сессий для разбора полётов, нужен именно src-dst расклад по ибоненту). Ещё ни один "орган" от меня не ушёл неудовлетворённым. В начале следующего месяца выкидываю на внешний винт. Стопка терабайтников в сейфе с 2008 года. Сейчас уже в ротацию пошли.

Кстати, на просьбы хомячков дать им раскладку по траффику (есть такие деятели - со своей учётной системой неохота заморачиваться, а сотрудников нагнуть за сидение в инете очень хочется или такие, которым везде чудится найопка, и свои потраченные 30 рублей в месяц на безлимите они готовы до милликопейки проверять) - введите в прейскурант "распечатка статистики - 1000 руб/лист" или тому подобное. Нуачо? Ваша обязанность услугу доступа предоставлять, а всё остальное - извините. Но любой каприз за ваши деньги. Почему так дорого? Потому что это титанический труд - искать вашу иголку в стогу сена.

В общем, придумайте сами.

 

Share this post


Link to post
Share on other sites

Вопрос: На чем основаны требования "органов" хранить netflow ?

Или это все таки не "требования" а "пожелания" ?

Я вот собираюсь совсем отказаться от netflow. Все тарифы безлимитные.

Share this post


Link to post
Share on other sites

скажите пожалуйста, кто из ваших абонентов в период с 3.08.10 по 5.08.10 подключался к таким то ip адресам и портам. И список адрес-порт на поллиста А4....

Ваши действия?

Share this post


Link to post
Share on other sites

а какая разница?? Из личного опыта - обычно дата отстоит от текущей минимум на два три месяца. И приходят "нам надо срочно, сроки по делу истекают завтра"....

Иногда период из будущего берется....

Share this post


Link to post
Share on other sites

после четвёртого запроса из МВД, начинаю думать о хранении мак-адресов с портов коммутаторов с аггрегированием по часам.

может кому-нибудь это поможет вернуть имущество.

 

Share this post


Link to post
Share on other sites

маки ноутбуков?

Тоже задумываюсь....

Share this post


Link to post
Share on other sites
скажите пожалуйста, кто из ваших абонентов в период с 3.08.10 по 5.08.10 подключался к таким то ip адресам и портам. И список адрес-порт на поллиста А4....

Ваши действия?

"Такой статистики у нас нет". Сотню раз так отвечал - лишних вопросов не возникало.

Share this post


Link to post
Share on other sites
маки ноутбуков?

Тоже задумываюсь....

ну мне то неважно, ноутбук это или айпод, или холодильник с автоматическим заказом продуктов.

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this