ALion Posted March 27, 2009 Posted March 27, 2009 У нас выходит гигов 800 в месяц... Кроме как на каждый месяц по винту в шкафчик убирать ничего в голову не приходит, серьезное хранилище уж больно дорого стоит. Собственно вопрос к коллегам, каким образом вы флоу храните и как долго (насколько я знаю нужно хранить его 2 года)? Вставить ник Quote
woddy Posted March 27, 2009 Posted March 27, 2009 (edited) неправильно. детализацию можно хранить например просто разбив по дням без учета направлений. в законодательстве не прописано в каком виде хранить статистику и насколько подробно имхо хранить подробную - 3 месяца для разборок с клиентами. Edited March 27, 2009 by woddy Вставить ник Quote
networks Posted March 27, 2009 Posted March 27, 2009 Еще можно tar.gz. Уменьшает :) Вставить ник Quote
terrible Posted March 27, 2009 Posted March 27, 2009 мы год храним, сжимаем по сессиям, скоро будем по дням сжимать, напрягает уже Вставить ник Quote
disappointed Posted March 27, 2009 Posted March 27, 2009 Агрегировать по совпадению источник - назначение интервалом в 60 мин, и из агрегатов выкидывать сессии менее 3-4кб. Вставить ник Quote
AlexBT Posted March 27, 2009 Posted March 27, 2009 Хранить нужно три года, с возможностью доступа к информации в любой момент времени. При чем в виде базы данных. Регулируется НПА по СОРМ, ну и общий срок исковой данности - три года. Хотя в связи есть сокращающая оговорка, но на СОРМ она не распространяется. Вставить ник Quote
st_re Posted March 27, 2009 Posted March 27, 2009 И скорость выборки оговаривается? Если нет, зайдите после завтра, выборка выберется. ;) Ну база у меня такая, шкаф 15, полка 8, ДВД 2346, файл 2008.01.01-01.tbz Вставить ник Quote
sdy_moscow Posted March 27, 2009 Posted March 27, 2009 Че то я с нигде не видел чтобы требоволось хранить все соединения по клиенту.... Сессии - да, расчеты - да, но соединения ИП-ИП.... где вычитали - дайте ссылку. Вставить ник Quote
AlexBT Posted March 28, 2009 Posted March 28, 2009 А это как Вы с управлением ФСБ договоритесь. В НПА доступ к базе в реальном времени. Все вопросы решаются в местном управлении на этапе разработки плана мероприятий. И лучше, чем на месте вы эти вопросы не решите. Не стоит рисковать бизнесом исходя из понятия собственной крутизны и остроумия. Ибо достаточного одного письма из одного местного управления в другое, что бы встали надолго... Вставить ник Quote
visir Posted March 28, 2009 Posted March 28, 2009 А еще хранить нужно "сырую" информацию, а не после агрегаций/предбиллинга... Вставить ник Quote
woddy Posted March 28, 2009 Posted March 28, 2009 (edited) кому нужно? законы/статьи? мы с переходом на безлимит вообще перестали что-либо хранить. сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как WWW_NET_STATtemp.htm Edited March 28, 2009 by woddy Вставить ник Quote
st_re Posted March 28, 2009 Posted March 28, 2009 А это как Вы с управлением ФСБ договоритесь. Ну значит нам попалось хорошее управление ;) Вставить ник Quote
AlexBT Posted March 28, 2009 Posted March 28, 2009 кому нужно? законы/статьи? мы с переходом на безлимит вообще перестали что-либо хранить. сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как Вудди, Вы это из праздного любопытства или по существу?Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте. Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо. Удивляет, Вы вроде как профессионально занимаетесь зарабатыванием денег, а задаете странные вопросы по азам бизнеса... А это как Вы с управлением ФСБ договоритесь.Ну значит нам попалось хорошее управление ;) Должен сказать, что технические специалисты в управлениях грамотные и адекватные специалисты. Лишнего при разработке не закладывают. Вставить ник Quote
woddy Posted March 28, 2009 Posted March 28, 2009 Вудди, Вы это из праздного любопытства или по существу?Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте. Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо. сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят. Вставить ник Quote
sdy_moscow Posted March 28, 2009 Posted March 28, 2009 А что был опыт - по этому поводу? Вы кажется больны - померяйте температуру... З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Вам что в плане СОРМ написали хранить все пакеты переданные по сети? Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. Вставить ник Quote
AlexBT Posted March 28, 2009 Posted March 28, 2009 сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.Ну так и пишите открытым текстом, что мирорите весь трафик в нужное место. Вам что в плане СОРМ написали хранить все пакеты переданные по сети?Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. А на сайт Минсвязи сходить и посмотреть в разделе нормативной документации?Что в плане напишут, то и будете делать. Иначе Ваших абонентов будет обслуживать другой оператор. И если у Вас чего-то нет, то лучше об этом вслух не говорить. Ибо найдут, и у Вас будет все, или не будет ничего. Вставить ник Quote
sdy_moscow Posted March 28, 2009 Posted March 28, 2009 (edited) Всё у нас есть. Вы бредите. Я ВАМ и ГОВОРЮ что буквально на той неделе обсуждалось это, в другой ветке форума и ссылки там были на нормативные акты. И Я ИХ ЧИТАЛ - НЕТ ТАМ ТРЕБОВАНИЙ ХРАНИТЬ НЕТФЛОУ!!! НЕТУ!!! СЕССИИ, ПОСТУПЛЕНИЯ БАБЛА, ДАННЫЕ КЛИЕНТОВ И ВСЁ!!!! 3 года. Edited March 28, 2009 by sdy_moscow Вставить ник Quote
AlexBT Posted March 28, 2009 Posted March 28, 2009 Чего орем? http://minkomsvjaz.ru/ministry/documents/967/968/2138.shtml 14. Базы данных должны содержать следующую информацию об абонентах оператора связи:фамилия, имя, отчество, место жительства и реквизиты основного документа, удостоверяющего личность, представленные при личном предъявлении абонентом указанного документа, - для абонента-гражданина; наименование (фирменное наименование) юридического лица, его место нахождения, а также список лиц, использующих оконечное оборудование юридического лица, заверенный уполномоченным представителем юридического лица, в котором указаны их фамилии, имена, отчества, места жительства и реквизиты основного документа, удостоверяющего личность, - для абонента - юридического лица; сведения баз данных о расчетах за оказанные услуги связи, в том числе о соединениях, трафике и платежах абонентов .Что Вы понимаете под словом сессии - это Ваша пробема, но в данном постановлении написано все, что должно быть. Вставить ник Quote
sdy_moscow Posted March 28, 2009 Posted March 28, 2009 (edited) под словами "о соединения и трафике" можно понимать что угодно... UDP пакет - это соединение? трафик - по мне так это кол-во переданного и принятого. этот кусок похоже пришел походу от телефонистов а у них именно это и имеется ввиду. короче по мне так соединения - это сессии ППТП с ИП который получил клиент а трафик - это кол-во принятого и переданного. Я не знаю как у Вас, но к нам когда из Р обращались спрашивали вполне разумные вещи и никогда еще не просили данные нетфлоу. А вот как раз данные по ИП и клиентам - это да. Edited March 28, 2009 by sdy_moscow Вставить ник Quote
AlexBT Posted March 28, 2009 Posted March 28, 2009 Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много. Вставить ник Quote
jab Posted March 28, 2009 Posted March 28, 2009 З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Бред. Гигабит netflow v5 не так много занимает. Вставить ник Quote
Гoсть Posted March 28, 2009 Posted March 28, 2009 Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.Акстись, Алекс. Не пугай людей своими бреднями.Сессии в понимании органов это именно то, что sdy_moscow и написал. Некоторые операторы любят похранить детализацию до твоего любимого уровня, но это лишь бывает востребовано клиентами и разборками с ними, не более того. Вставить ник Quote
AlexBT Posted March 28, 2009 Posted March 28, 2009 Гость, сам акстись. Как при таком подходе искать педофилов, шпионов и международных террористов? Или злобных пиратов? ;-) Никто не требует писать и хранить весь сеанс... Вставить ник Quote
Magnum72 Posted March 28, 2009 Posted March 28, 2009 А что был опыт - по этому поводу?Вы кажется больны - померяйте температуру... З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Вам что в плане СОРМ написали хранить все пакеты переданные по сети? Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц. Варианты утаптывания (как у нас сделано): 1) Собираем только входящий трафик 2) Из нетфлоу пакета выбираем только Time SIP DIP SPort Dport Type Size, все это раскладываем по файлам названия которых равны ID аккаунтов пользователей в биллинге (если не ошибаюсь 26 байт на запись тратится, можно убрать в принципе DIP SPort Dport, но пока не напрягает) 3) Пишем сразу в .gz путем добавления очередной (предварительно отсортированной по DIP) порции нетфлоу 4) После окончания очередного месяца перепаковываем архивы (при доливке в архив страдает сжатие) 5) Файлы хранятся типа 2008/12/31/17464.gz, планируем переделать на добавив еще один уровень типа 2008/12/31/10000/17464.gz, или 2008/12/31/00000/7777.gz 6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков) Тут засада в другом, нетфловкеш на железках он по своим ресурсам не безграничен, у 7604 с которой я снимал исходящий до недавнего времени, иногда подзвякивало. По поводу СОРМ, насколько я в курсе, в правилах нет конкретного описания механизма как, где и сколько хранить именно нетфлоу, но если у вас есть возможность то лучше это делать (потому что жопа она ваша и кроме вас за нее никто не ответит), если нет договариватся с кураторами по упрощению требований, например снимать sflow, вырезать записи с малым количеством пакетов, брать его у аплинков, итп. Вставить ник Quote
woddy Posted March 28, 2009 Posted March 28, 2009 (edited) Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц. 6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков) а вот это интереснее. может расскажите? про борьбу с вирусами? Edited March 28, 2009 by woddy Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.