Перейти к содержимому
Калькуляторы

NetFlow как хранить весь этот мусор :)

У нас выходит гигов 800 в месяц... Кроме как на каждый месяц по винту в шкафчик убирать ничего в голову не приходит, серьезное хранилище уж больно дорого стоит.

Собственно вопрос к коллегам, каким образом вы флоу храните и как долго (насколько я знаю нужно хранить его 2 года)?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

неправильно. детализацию можно хранить например просто разбив по дням без учета направлений. в законодательстве не прописано в каком виде хранить статистику и насколько подробно

 

имхо хранить подробную - 3 месяца для разборок с клиентами.

Изменено пользователем woddy

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

мы год храним, сжимаем по сессиям, скоро будем по дням сжимать, напрягает уже

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Агрегировать по совпадению источник - назначение интервалом в 60 мин, и из агрегатов выкидывать сессии менее 3-4кб.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Хранить нужно три года, с возможностью доступа к информации в любой момент времени.

При чем в виде базы данных.

Регулируется НПА по СОРМ, ну и общий срок исковой данности - три года. Хотя в связи есть сокращающая оговорка, но на СОРМ она не распространяется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И скорость выборки оговаривается? Если нет, зайдите после завтра, выборка выберется. ;) Ну база у меня такая, шкаф 15, полка 8, ДВД 2346, файл 2008.01.01-01.tbz

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Че то я с нигде не видел чтобы требоволось хранить все соединения по клиенту....

Сессии - да, расчеты - да, но соединения ИП-ИП.... где вычитали - дайте ссылку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А это как Вы с управлением ФСБ договоритесь. В НПА доступ к базе в реальном времени.

Все вопросы решаются в местном управлении на этапе разработки плана мероприятий. И лучше, чем на месте вы эти вопросы не решите. Не стоит рисковать бизнесом исходя из понятия собственной крутизны и остроумия. Ибо достаточного одного письма из одного местного управления в другое, что бы встали надолго...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А еще хранить нужно "сырую" информацию, а не после агрегаций/предбиллинга...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

кому нужно? законы/статьи?

мы с переходом на безлимит вообще перестали что-либо хранить.

 

сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как

WWW_NET_STATtemp.htm

Изменено пользователем woddy

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А это как Вы с управлением ФСБ договоритесь.

 

Ну значит нам попалось хорошее управление ;)

 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

кому нужно? законы/статьи?

мы с переходом на безлимит вообще перестали что-либо хранить.

 

сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как

Вудди, Вы это из праздного любопытства или по существу?

Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте.

Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо.

Удивляет, Вы вроде как профессионально занимаетесь зарабатыванием денег, а задаете странные вопросы по азам бизнеса...

 

А это как Вы с управлением ФСБ договоритесь.
Ну значит нам попалось хорошее управление ;)

Должен сказать, что технические специалисты в управлениях грамотные и адекватные специалисты. Лишнего при разработке не закладывают.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вудди, Вы это из праздного любопытства или по существу?

Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте.

Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо.

сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А что был опыт - по этому поводу?

Вы кажется больны - померяйте температуру...

 

З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит.

 

Вам что в плане СОРМ написали хранить все пакеты переданные по сети?

Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.
Ну так и пишите открытым текстом, что мирорите весь трафик в нужное место.

 

Вам что в плане СОРМ написали хранить все пакеты переданные по сети?

Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел.

А на сайт Минсвязи сходить и посмотреть в разделе нормативной документации?

Что в плане напишут, то и будете делать. Иначе Ваших абонентов будет обслуживать другой оператор.

И если у Вас чего-то нет, то лучше об этом вслух не говорить. Ибо найдут, и у Вас будет все, или не будет ничего.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всё у нас есть. Вы бредите. Я ВАМ и ГОВОРЮ что буквально на той неделе обсуждалось это, в другой ветке форума и ссылки там были на нормативные акты.

 

И Я ИХ ЧИТАЛ - НЕТ ТАМ ТРЕБОВАНИЙ ХРАНИТЬ НЕТФЛОУ!!! НЕТУ!!!

СЕССИИ, ПОСТУПЛЕНИЯ БАБЛА, ДАННЫЕ КЛИЕНТОВ И ВСЁ!!!! 3 года.

Изменено пользователем sdy_moscow

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Чего орем?

http://minkomsvjaz.ru/ministry/documents/967/968/2138.shtml

 

14. Базы данных должны содержать следующую информацию об абонентах оператора связи:

фамилия, имя, отчество, место жительства и реквизиты основного документа, удостоверяющего личность, представленные при личном предъявлении абонентом указанного документа, - для абонента-гражданина;

 

наименование (фирменное наименование) юридического лица, его место нахождения, а также список лиц, использующих оконечное оборудование юридического лица, заверенный уполномоченным представителем юридического лица, в котором указаны их фамилии, имена, отчества, места жительства и реквизиты основного документа, удостоверяющего личность, - для абонента - юридического лица;

 

сведения баз данных о расчетах за оказанные услуги связи, в том числе о соединениях, трафике и платежах абонентов

.

Что Вы понимаете под словом сессии - это Ваша пробема, но в данном постановлении написано все, что должно быть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

под словами "о соединения и трафике" можно понимать что угодно...

 

UDP пакет - это соединение?

 

трафик - по мне так это кол-во переданного и принятого.

 

этот кусок похоже пришел походу от телефонистов а у них именно это и имеется ввиду.

 

короче по мне так соединения - это сессии ППТП с ИП который получил клиент

а трафик - это кол-во принятого и переданного.

 

Я не знаю как у Вас, но к нам когда из Р обращались спрашивали вполне разумные вещи и никогда еще не просили данные нетфлоу.

А вот как раз данные по ИП и клиентам - это да.

Изменено пользователем sdy_moscow

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит.

Бред. Гигабит netflow v5 не так много занимает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.
Акстись, Алекс. Не пугай людей своими бреднями.

Сессии в понимании органов это именно то, что sdy_moscow и написал.

Некоторые операторы любят похранить детализацию до твоего любимого уровня, но это лишь бывает востребовано клиентами и разборками с ними, не более того.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Гость, сам акстись.

Как при таком подходе искать педофилов, шпионов и международных террористов?

Или злобных пиратов? ;-)

Никто не требует писать и хранить весь сеанс...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А что был опыт - по этому поводу?

Вы кажется больны - померяйте температуру...

 

З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит.

 

Вам что в плане СОРМ написали хранить все пакеты переданные по сети?

Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел.

Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц.

 

Варианты утаптывания (как у нас сделано):

1) Собираем только входящий трафик

2) Из нетфлоу пакета выбираем только Time SIP DIP SPort Dport Type Size, все это раскладываем по файлам названия которых равны ID аккаунтов пользователей в биллинге (если не ошибаюсь 26 байт на запись тратится, можно убрать в принципе DIP SPort Dport, но пока не напрягает)

3) Пишем сразу в .gz путем добавления очередной (предварительно отсортированной по DIP) порции нетфлоу

4) После окончания очередного месяца перепаковываем архивы (при доливке в архив страдает сжатие)

5) Файлы хранятся типа 2008/12/31/17464.gz, планируем переделать на добавив еще один уровень типа 2008/12/31/10000/17464.gz, или 2008/12/31/00000/7777.gz

6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков)

 

Тут засада в другом, нетфловкеш на железках он по своим ресурсам не безграничен, у 7604 с которой я снимал исходящий до недавнего времени, иногда подзвякивало.

 

По поводу СОРМ, насколько я в курсе, в правилах нет конкретного описания механизма как, где и сколько хранить именно нетфлоу, но если у вас есть возможность то лучше это делать (потому что жопа она ваша и кроме вас за нее никто не ответит), если нет договариватся с кураторами по упрощению требований, например снимать sflow, вырезать записи с малым количеством пакетов, брать его у аплинков, итп.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц.

 

6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков)

а вот это интереснее. может расскажите? про борьбу с вирусами?
Изменено пользователем woddy

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.