[ALion]

У нас выходит гигов 800 в месяц... Кроме как на каждый месяц по винту в шкафчик убирать ничего в голову не приходит, серьезное хранилище уж больно дорого стоит.

Собственно вопрос к коллегам, каким образом вы флоу храните и как долго (насколько я знаю нужно хранить его 2 года)?

[woddy]

неправильно. детализацию можно хранить например просто разбив по дням без учета направлений. в законодательстве не прописано в каком виде хранить статистику и насколько подробно

 

имхо хранить подробную - 3 месяца для разборок с клиентами.

Изменено 27 марта, 2009 пользователем woddy

[networks]

Еще можно tar.gz. Уменьшает :)

[terrible]

мы год храним, сжимаем по сессиям, скоро будем по дням сжимать, напрягает уже

[disappointed]

Агрегировать по совпадению источник - назначение интервалом в 60 мин, и из агрегатов выкидывать сессии менее 3-4кб.

[AlexBT]

Хранить нужно три года, с возможностью доступа к информации в любой момент времени.

При чем в виде базы данных.

Регулируется НПА по СОРМ, ну и общий срок исковой данности - три года. Хотя в связи есть сокращающая оговорка, но на СОРМ она не распространяется.

[st_re]

И скорость выборки оговаривается? Если нет, зайдите после завтра, выборка выберется. ;) Ну база у меня такая, шкаф 15, полка 8, ДВД 2346, файл 2008.01.01-01.tbz

[sdy_moscow]

Че то я с нигде не видел чтобы требоволось хранить все соединения по клиенту....

Сессии - да, расчеты - да, но соединения ИП-ИП.... где вычитали - дайте ссылку.

[AlexBT]

А это как Вы с управлением ФСБ договоритесь. В НПА доступ к базе в реальном времени.

Все вопросы решаются в местном управлении на этапе разработки плана мероприятий. И лучше, чем на месте вы эти вопросы не решите. Не стоит рисковать бизнесом исходя из понятия собственной крутизны и остроумия. Ибо достаточного одного письма из одного местного управления в другое, что бы встали надолго...

[visir]

А еще хранить нужно "сырую" информацию, а не после агрегаций/предбиллинга...

[woddy]

кому нужно? законы/статьи?

мы с переходом на безлимит вообще перестали что-либо хранить.

 

сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как

WWW_NET_STATtemp.htm

Изменено 28 марта, 2009 пользователем woddy

[st_re]

А это как Вы с управлением ФСБ договоритесь.

 

Ну значит нам попалось хорошее управление ;)

 

 

 

[AlexBT]

кому нужно? законы/статьи?

мы с переходом на безлимит вообще перестали что-либо хранить.

 

сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как

Вудди, Вы это из праздного любопытства или по существу?

Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте.

Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо.

Удивляет, Вы вроде как профессионально занимаетесь зарабатыванием денег, а задаете странные вопросы по азам бизнеса...

 

А это как Вы с управлением ФСБ договоритесь.

Ну значит нам попалось хорошее управление ;)

Должен сказать, что технические специалисты в управлениях грамотные и адекватные специалисты. Лишнего при разработке не закладывают.

[woddy]

Вудди, Вы это из праздного любопытства или по существу?

Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте.

Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо.

сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.

[sdy_moscow]

А что был опыт - по этому поводу?

Вы кажется больны - померяйте температуру...

 

З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит.

 

Вам что в плане СОРМ написали хранить все пакеты переданные по сети?

Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел.

[AlexBT]

сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.

Ну так и пишите открытым текстом, что мирорите весь трафик в нужное место.

 

Вам что в плане СОРМ написали хранить все пакеты переданные по сети?

Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел.

А на сайт Минсвязи сходить и посмотреть в разделе нормативной документации?

Что в плане напишут, то и будете делать. Иначе Ваших абонентов будет обслуживать другой оператор.

И если у Вас чего-то нет, то лучше об этом вслух не говорить. Ибо найдут, и у Вас будет все, или не будет ничего.

 

[sdy_moscow]

Всё у нас есть. Вы бредите. Я ВАМ и ГОВОРЮ что буквально на той неделе обсуждалось это, в другой ветке форума и ссылки там были на нормативные акты.

 

И Я ИХ ЧИТАЛ - НЕТ ТАМ ТРЕБОВАНИЙ ХРАНИТЬ НЕТФЛОУ!!! НЕТУ!!!

СЕССИИ, ПОСТУПЛЕНИЯ БАБЛА, ДАННЫЕ КЛИЕНТОВ И ВСЁ!!!! 3 года.

Изменено 28 марта, 2009 пользователем sdy_moscow

[AlexBT]

Чего орем?

http://minkomsvjaz.ru/ministry/documents/967/968/2138.shtml

 

14. Базы данных должны содержать следующую информацию об абонентах оператора связи:

фамилия, имя, отчество, место жительства и реквизиты основного документа, удостоверяющего личность, представленные при личном предъявлении абонентом указанного документа, - для абонента-гражданина;

 

наименование (фирменное наименование) юридического лица, его место нахождения, а также список лиц, использующих оконечное оборудование юридического лица, заверенный уполномоченным представителем юридического лица, в котором указаны их фамилии, имена, отчества, места жительства и реквизиты основного документа, удостоверяющего личность, - для абонента - юридического лица;

 

сведения баз данных о расчетах за оказанные услуги связи, в том числе о соединениях, трафике и платежах абонентов

.

Что Вы понимаете под словом сессии - это Ваша пробема, но в данном постановлении написано все, что должно быть.

[sdy_moscow]

под словами "о соединения и трафике" можно понимать что угодно...

 

UDP пакет - это соединение?

 

трафик - по мне так это кол-во переданного и принятого.

 

этот кусок похоже пришел походу от телефонистов а у них именно это и имеется ввиду.

 

короче по мне так соединения - это сессии ППТП с ИП который получил клиент

а трафик - это кол-во принятого и переданного.

 

Я не знаю как у Вас, но к нам когда из Р обращались спрашивали вполне разумные вещи и никогда еще не просили данные нетфлоу.

А вот как раз данные по ИП и клиентам - это да.

Изменено 28 марта, 2009 пользователем sdy_moscow

[AlexBT]

Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.

[jab]

З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит.

Бред. Гигабит netflow v5 не так много занимает.

[Гoсть]

Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.

Акстись, Алекс. Не пугай людей своими бреднями.

Сессии в понимании органов это именно то, что sdy_moscow и написал.

Некоторые операторы любят похранить детализацию до твоего любимого уровня, но это лишь бывает востребовано клиентами и разборками с ними, не более того.

 

[AlexBT]

Гость, сам акстись.

Как при таком подходе искать педофилов, шпионов и международных террористов?

Или злобных пиратов? ;-)

Никто не требует писать и хранить весь сеанс...

[Magnum72]

А что был опыт - по этому поводу?

Вы кажется больны - померяйте температуру...

 

З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит.

 

Вам что в плане СОРМ написали хранить все пакеты переданные по сети?

Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел.

Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц.

 

Варианты утаптывания (как у нас сделано):

1) Собираем только входящий трафик

2) Из нетфлоу пакета выбираем только Time SIP DIP SPort Dport Type Size, все это раскладываем по файлам названия которых равны ID аккаунтов пользователей в биллинге (если не ошибаюсь 26 байт на запись тратится, можно убрать в принципе DIP SPort Dport, но пока не напрягает)

3) Пишем сразу в .gz путем добавления очередной (предварительно отсортированной по DIP) порции нетфлоу

4) После окончания очередного месяца перепаковываем архивы (при доливке в архив страдает сжатие)

5) Файлы хранятся типа 2008/12/31/17464.gz, планируем переделать на добавив еще один уровень типа 2008/12/31/10000/17464.gz, или 2008/12/31/00000/7777.gz

6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков)

 

Тут засада в другом, нетфловкеш на железках он по своим ресурсам не безграничен, у 7604 с которой я снимал исходящий до недавнего времени, иногда подзвякивало.

 

По поводу СОРМ, насколько я в курсе, в правилах нет конкретного описания механизма как, где и сколько хранить именно нетфлоу, но если у вас есть возможность то лучше это делать (потому что жопа она ваша и кроме вас за нее никто не ответит), если нет договариватся с кураторами по упрощению требований, например снимать sflow, вырезать записи с малым количеством пакетов, брать его у аплинков, итп.

[woddy]

Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц.

 

6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков)

а вот это интереснее. может расскажите? про борьбу с вирусами?

Изменено 28 марта, 2009 пользователем woddy