ALion Posted March 27, 2009 · Report post У нас выходит гигов 800 в месяц... Кроме как на каждый месяц по винту в шкафчик убирать ничего в голову не приходит, серьезное хранилище уж больно дорого стоит. Собственно вопрос к коллегам, каким образом вы флоу храните и как долго (насколько я знаю нужно хранить его 2 года)? Share this post Link to post Share on other sites
woddy Posted March 27, 2009 (edited) · Report post неправильно. детализацию можно хранить например просто разбив по дням без учета направлений. в законодательстве не прописано в каком виде хранить статистику и насколько подробно имхо хранить подробную - 3 месяца для разборок с клиентами. Edited March 27, 2009 by woddy Share this post Link to post Share on other sites
networks Posted March 27, 2009 · Report post Еще можно tar.gz. Уменьшает :) Share this post Link to post Share on other sites
terrible Posted March 27, 2009 · Report post мы год храним, сжимаем по сессиям, скоро будем по дням сжимать, напрягает уже Share this post Link to post Share on other sites
disappointed Posted March 27, 2009 · Report post Агрегировать по совпадению источник - назначение интервалом в 60 мин, и из агрегатов выкидывать сессии менее 3-4кб. Share this post Link to post Share on other sites
AlexBT Posted March 27, 2009 · Report post Хранить нужно три года, с возможностью доступа к информации в любой момент времени. При чем в виде базы данных. Регулируется НПА по СОРМ, ну и общий срок исковой данности - три года. Хотя в связи есть сокращающая оговорка, но на СОРМ она не распространяется. Share this post Link to post Share on other sites
st_re Posted March 27, 2009 · Report post И скорость выборки оговаривается? Если нет, зайдите после завтра, выборка выберется. ;) Ну база у меня такая, шкаф 15, полка 8, ДВД 2346, файл 2008.01.01-01.tbz Share this post Link to post Share on other sites
sdy_moscow Posted March 27, 2009 · Report post Че то я с нигде не видел чтобы требоволось хранить все соединения по клиенту.... Сессии - да, расчеты - да, но соединения ИП-ИП.... где вычитали - дайте ссылку. Share this post Link to post Share on other sites
AlexBT Posted March 28, 2009 · Report post А это как Вы с управлением ФСБ договоритесь. В НПА доступ к базе в реальном времени. Все вопросы решаются в местном управлении на этапе разработки плана мероприятий. И лучше, чем на месте вы эти вопросы не решите. Не стоит рисковать бизнесом исходя из понятия собственной крутизны и остроумия. Ибо достаточного одного письма из одного местного управления в другое, что бы встали надолго... Share this post Link to post Share on other sites
visir Posted March 28, 2009 · Report post А еще хранить нужно "сырую" информацию, а не после агрегаций/предбиллинга... Share this post Link to post Share on other sites
woddy Posted March 28, 2009 (edited) · Report post кому нужно? законы/статьи? мы с переходом на безлимит вообще перестали что-либо хранить. сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как WWW_NET_STATtemp.htm Edited March 28, 2009 by woddy Share this post Link to post Share on other sites
st_re Posted March 28, 2009 · Report post А это как Вы с управлением ФСБ договоритесь. Ну значит нам попалось хорошее управление ;) Share this post Link to post Share on other sites
AlexBT Posted March 28, 2009 · Report post кому нужно? законы/статьи? мы с переходом на безлимит вообще перестали что-либо хранить. сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как Вудди, Вы это из праздного любопытства или по существу?Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте. Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо. Удивляет, Вы вроде как профессионально занимаетесь зарабатыванием денег, а задаете странные вопросы по азам бизнеса... А это как Вы с управлением ФСБ договоритесь.Ну значит нам попалось хорошее управление ;) Должен сказать, что технические специалисты в управлениях грамотные и адекватные специалисты. Лишнего при разработке не закладывают. Share this post Link to post Share on other sites
woddy Posted March 28, 2009 · Report post Вудди, Вы это из праздного любопытства или по существу?Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте. Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо. сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят. Share this post Link to post Share on other sites
sdy_moscow Posted March 28, 2009 · Report post А что был опыт - по этому поводу? Вы кажется больны - померяйте температуру... З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Вам что в плане СОРМ написали хранить все пакеты переданные по сети? Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. Share this post Link to post Share on other sites
AlexBT Posted March 28, 2009 · Report post сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.Ну так и пишите открытым текстом, что мирорите весь трафик в нужное место. Вам что в плане СОРМ написали хранить все пакеты переданные по сети?Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. А на сайт Минсвязи сходить и посмотреть в разделе нормативной документации?Что в плане напишут, то и будете делать. Иначе Ваших абонентов будет обслуживать другой оператор. И если у Вас чего-то нет, то лучше об этом вслух не говорить. Ибо найдут, и у Вас будет все, или не будет ничего. Share this post Link to post Share on other sites
sdy_moscow Posted March 28, 2009 (edited) · Report post Всё у нас есть. Вы бредите. Я ВАМ и ГОВОРЮ что буквально на той неделе обсуждалось это, в другой ветке форума и ссылки там были на нормативные акты. И Я ИХ ЧИТАЛ - НЕТ ТАМ ТРЕБОВАНИЙ ХРАНИТЬ НЕТФЛОУ!!! НЕТУ!!! СЕССИИ, ПОСТУПЛЕНИЯ БАБЛА, ДАННЫЕ КЛИЕНТОВ И ВСЁ!!!! 3 года. Edited March 28, 2009 by sdy_moscow Share this post Link to post Share on other sites
AlexBT Posted March 28, 2009 · Report post Чего орем? http://minkomsvjaz.ru/ministry/documents/967/968/2138.shtml 14. Базы данных должны содержать следующую информацию об абонентах оператора связи:фамилия, имя, отчество, место жительства и реквизиты основного документа, удостоверяющего личность, представленные при личном предъявлении абонентом указанного документа, - для абонента-гражданина; наименование (фирменное наименование) юридического лица, его место нахождения, а также список лиц, использующих оконечное оборудование юридического лица, заверенный уполномоченным представителем юридического лица, в котором указаны их фамилии, имена, отчества, места жительства и реквизиты основного документа, удостоверяющего личность, - для абонента - юридического лица; сведения баз данных о расчетах за оказанные услуги связи, в том числе о соединениях, трафике и платежах абонентов .Что Вы понимаете под словом сессии - это Ваша пробема, но в данном постановлении написано все, что должно быть. Share this post Link to post Share on other sites
sdy_moscow Posted March 28, 2009 (edited) · Report post под словами "о соединения и трафике" можно понимать что угодно... UDP пакет - это соединение? трафик - по мне так это кол-во переданного и принятого. этот кусок похоже пришел походу от телефонистов а у них именно это и имеется ввиду. короче по мне так соединения - это сессии ППТП с ИП который получил клиент а трафик - это кол-во принятого и переданного. Я не знаю как у Вас, но к нам когда из Р обращались спрашивали вполне разумные вещи и никогда еще не просили данные нетфлоу. А вот как раз данные по ИП и клиентам - это да. Edited March 28, 2009 by sdy_moscow Share this post Link to post Share on other sites
AlexBT Posted March 28, 2009 · Report post Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много. Share this post Link to post Share on other sites
jab Posted March 28, 2009 · Report post З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Бред. Гигабит netflow v5 не так много занимает. Share this post Link to post Share on other sites
Гoсть Posted March 28, 2009 · Report post Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.Акстись, Алекс. Не пугай людей своими бреднями.Сессии в понимании органов это именно то, что sdy_moscow и написал. Некоторые операторы любят похранить детализацию до твоего любимого уровня, но это лишь бывает востребовано клиентами и разборками с ними, не более того. Share this post Link to post Share on other sites
AlexBT Posted March 28, 2009 · Report post Гость, сам акстись. Как при таком подходе искать педофилов, шпионов и международных террористов? Или злобных пиратов? ;-) Никто не требует писать и хранить весь сеанс... Share this post Link to post Share on other sites
Magnum72 Posted March 28, 2009 · Report post А что был опыт - по этому поводу?Вы кажется больны - померяйте температуру... З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Вам что в плане СОРМ написали хранить все пакеты переданные по сети? Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц. Варианты утаптывания (как у нас сделано): 1) Собираем только входящий трафик 2) Из нетфлоу пакета выбираем только Time SIP DIP SPort Dport Type Size, все это раскладываем по файлам названия которых равны ID аккаунтов пользователей в биллинге (если не ошибаюсь 26 байт на запись тратится, можно убрать в принципе DIP SPort Dport, но пока не напрягает) 3) Пишем сразу в .gz путем добавления очередной (предварительно отсортированной по DIP) порции нетфлоу 4) После окончания очередного месяца перепаковываем архивы (при доливке в архив страдает сжатие) 5) Файлы хранятся типа 2008/12/31/17464.gz, планируем переделать на добавив еще один уровень типа 2008/12/31/10000/17464.gz, или 2008/12/31/00000/7777.gz 6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков) Тут засада в другом, нетфловкеш на железках он по своим ресурсам не безграничен, у 7604 с которой я снимал исходящий до недавнего времени, иногда подзвякивало. По поводу СОРМ, насколько я в курсе, в правилах нет конкретного описания механизма как, где и сколько хранить именно нетфлоу, но если у вас есть возможность то лучше это делать (потому что жопа она ваша и кроме вас за нее никто не ответит), если нет договариватся с кураторами по упрощению требований, например снимать sflow, вырезать записи с малым количеством пакетов, брать его у аплинков, итп. Share this post Link to post Share on other sites
woddy Posted March 28, 2009 (edited) · Report post Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц. 6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков) а вот это интереснее. может расскажите? про борьбу с вирусами? Edited March 28, 2009 by woddy Share this post Link to post Share on other sites
