Jump to content
Калькуляторы

NetFlow как хранить весь этот мусор :)

У нас выходит гигов 800 в месяц... Кроме как на каждый месяц по винту в шкафчик убирать ничего в голову не приходит, серьезное хранилище уж больно дорого стоит.

Собственно вопрос к коллегам, каким образом вы флоу храните и как долго (насколько я знаю нужно хранить его 2 года)?

Share this post


Link to post
Share on other sites

неправильно. детализацию можно хранить например просто разбив по дням без учета направлений. в законодательстве не прописано в каком виде хранить статистику и насколько подробно

 

имхо хранить подробную - 3 месяца для разборок с клиентами.

Edited by woddy

Share this post


Link to post
Share on other sites

мы год храним, сжимаем по сессиям, скоро будем по дням сжимать, напрягает уже

Share this post


Link to post
Share on other sites

Агрегировать по совпадению источник - назначение интервалом в 60 мин, и из агрегатов выкидывать сессии менее 3-4кб.

Share this post


Link to post
Share on other sites

Хранить нужно три года, с возможностью доступа к информации в любой момент времени.

При чем в виде базы данных.

Регулируется НПА по СОРМ, ну и общий срок исковой данности - три года. Хотя в связи есть сокращающая оговорка, но на СОРМ она не распространяется.

Share this post


Link to post
Share on other sites

И скорость выборки оговаривается? Если нет, зайдите после завтра, выборка выберется. ;) Ну база у меня такая, шкаф 15, полка 8, ДВД 2346, файл 2008.01.01-01.tbz

Share this post


Link to post
Share on other sites

Че то я с нигде не видел чтобы требоволось хранить все соединения по клиенту....

Сессии - да, расчеты - да, но соединения ИП-ИП.... где вычитали - дайте ссылку.

Share this post


Link to post
Share on other sites

А это как Вы с управлением ФСБ договоритесь. В НПА доступ к базе в реальном времени.

Все вопросы решаются в местном управлении на этапе разработки плана мероприятий. И лучше, чем на месте вы эти вопросы не решите. Не стоит рисковать бизнесом исходя из понятия собственной крутизны и остроумия. Ибо достаточного одного письма из одного местного управления в другое, что бы встали надолго...

Share this post


Link to post
Share on other sites

А еще хранить нужно "сырую" информацию, а не после агрегаций/предбиллинга...

Share this post


Link to post
Share on other sites

кому нужно? законы/статьи?

мы с переходом на безлимит вообще перестали что-либо хранить.

 

сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как

WWW_NET_STATtemp.htm

Edited by woddy

Share this post


Link to post
Share on other sites
А это как Вы с управлением ФСБ договоритесь.

 

Ну значит нам попалось хорошее управление ;)

 

 

 

Share this post


Link to post
Share on other sites
кому нужно? законы/статьи?

мы с переходом на безлимит вообще перестали что-либо хранить.

 

сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как

Вудди, Вы это из праздного любопытства или по существу?

Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте.

Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо.

Удивляет, Вы вроде как профессионально занимаетесь зарабатыванием денег, а задаете странные вопросы по азам бизнеса...

 

А это как Вы с управлением ФСБ договоритесь.
Ну значит нам попалось хорошее управление ;)

Должен сказать, что технические специалисты в управлениях грамотные и адекватные специалисты. Лишнего при разработке не закладывают.

Share this post


Link to post
Share on other sites
Вудди, Вы это из праздного любопытства или по существу?

Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте.

Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо.

сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.

Share this post


Link to post
Share on other sites

А что был опыт - по этому поводу?

Вы кажется больны - померяйте температуру...

 

З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит.

 

Вам что в плане СОРМ написали хранить все пакеты переданные по сети?

Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел.

Share this post


Link to post
Share on other sites
сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.
Ну так и пишите открытым текстом, что мирорите весь трафик в нужное место.

 

Вам что в плане СОРМ написали хранить все пакеты переданные по сети?

Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел.

А на сайт Минсвязи сходить и посмотреть в разделе нормативной документации?

Что в плане напишут, то и будете делать. Иначе Ваших абонентов будет обслуживать другой оператор.

И если у Вас чего-то нет, то лучше об этом вслух не говорить. Ибо найдут, и у Вас будет все, или не будет ничего.

 

Share this post


Link to post
Share on other sites

Всё у нас есть. Вы бредите. Я ВАМ и ГОВОРЮ что буквально на той неделе обсуждалось это, в другой ветке форума и ссылки там были на нормативные акты.

 

И Я ИХ ЧИТАЛ - НЕТ ТАМ ТРЕБОВАНИЙ ХРАНИТЬ НЕТФЛОУ!!! НЕТУ!!!

СЕССИИ, ПОСТУПЛЕНИЯ БАБЛА, ДАННЫЕ КЛИЕНТОВ И ВСЁ!!!! 3 года.

Edited by sdy_moscow

Share this post


Link to post
Share on other sites

Чего орем?

http://minkomsvjaz.ru/ministry/documents/967/968/2138.shtml

 

14. Базы данных должны содержать следующую информацию об абонентах оператора связи:

фамилия, имя, отчество, место жительства и реквизиты основного документа, удостоверяющего личность, представленные при личном предъявлении абонентом указанного документа, - для абонента-гражданина;

 

наименование (фирменное наименование) юридического лица, его место нахождения, а также список лиц, использующих оконечное оборудование юридического лица, заверенный уполномоченным представителем юридического лица, в котором указаны их фамилии, имена, отчества, места жительства и реквизиты основного документа, удостоверяющего личность, - для абонента - юридического лица;

 

сведения баз данных о расчетах за оказанные услуги связи, в том числе о соединениях, трафике и платежах абонентов

.

Что Вы понимаете под словом сессии - это Ваша пробема, но в данном постановлении написано все, что должно быть.

Share this post


Link to post
Share on other sites

под словами "о соединения и трафике" можно понимать что угодно...

 

UDP пакет - это соединение?

 

трафик - по мне так это кол-во переданного и принятого.

 

этот кусок похоже пришел походу от телефонистов а у них именно это и имеется ввиду.

 

короче по мне так соединения - это сессии ППТП с ИП который получил клиент

а трафик - это кол-во принятого и переданного.

 

Я не знаю как у Вас, но к нам когда из Р обращались спрашивали вполне разумные вещи и никогда еще не просили данные нетфлоу.

А вот как раз данные по ИП и клиентам - это да.

Edited by sdy_moscow

Share this post


Link to post
Share on other sites

Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.

Share this post


Link to post
Share on other sites
З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит.

Бред. Гигабит netflow v5 не так много занимает.

Share this post


Link to post
Share on other sites
Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.
Акстись, Алекс. Не пугай людей своими бреднями.

Сессии в понимании органов это именно то, что sdy_moscow и написал.

Некоторые операторы любят похранить детализацию до твоего любимого уровня, но это лишь бывает востребовано клиентами и разборками с ними, не более того.

 

Share this post


Link to post
Share on other sites

Гость, сам акстись.

Как при таком подходе искать педофилов, шпионов и международных террористов?

Или злобных пиратов? ;-)

Никто не требует писать и хранить весь сеанс...

Share this post


Link to post
Share on other sites
А что был опыт - по этому поводу?

Вы кажется больны - померяйте температуру...

 

З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит.

 

Вам что в плане СОРМ написали хранить все пакеты переданные по сети?

Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел.

Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц.

 

Варианты утаптывания (как у нас сделано):

1) Собираем только входящий трафик

2) Из нетфлоу пакета выбираем только Time SIP DIP SPort Dport Type Size, все это раскладываем по файлам названия которых равны ID аккаунтов пользователей в биллинге (если не ошибаюсь 26 байт на запись тратится, можно убрать в принципе DIP SPort Dport, но пока не напрягает)

3) Пишем сразу в .gz путем добавления очередной (предварительно отсортированной по DIP) порции нетфлоу

4) После окончания очередного месяца перепаковываем архивы (при доливке в архив страдает сжатие)

5) Файлы хранятся типа 2008/12/31/17464.gz, планируем переделать на добавив еще один уровень типа 2008/12/31/10000/17464.gz, или 2008/12/31/00000/7777.gz

6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков)

 

Тут засада в другом, нетфловкеш на железках он по своим ресурсам не безграничен, у 7604 с которой я снимал исходящий до недавнего времени, иногда подзвякивало.

 

По поводу СОРМ, насколько я в курсе, в правилах нет конкретного описания механизма как, где и сколько хранить именно нетфлоу, но если у вас есть возможность то лучше это делать (потому что жопа она ваша и кроме вас за нее никто не ответит), если нет договариватся с кураторами по упрощению требований, например снимать sflow, вырезать записи с малым количеством пакетов, брать его у аплинков, итп.

Share this post


Link to post
Share on other sites
Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц.

 

6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков)

а вот это интереснее. может расскажите? про борьбу с вирусами?
Edited by woddy

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this