ALion Опубликовано 27 марта, 2009 У нас выходит гигов 800 в месяц... Кроме как на каждый месяц по винту в шкафчик убирать ничего в голову не приходит, серьезное хранилище уж больно дорого стоит. Собственно вопрос к коллегам, каким образом вы флоу храните и как долго (насколько я знаю нужно хранить его 2 года)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
woddy Опубликовано 27 марта, 2009 (изменено) неправильно. детализацию можно хранить например просто разбив по дням без учета направлений. в законодательстве не прописано в каком виде хранить статистику и насколько подробно имхо хранить подробную - 3 месяца для разборок с клиентами. Изменено 27 марта, 2009 пользователем woddy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
networks Опубликовано 27 марта, 2009 Еще можно tar.gz. Уменьшает :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
terrible Опубликовано 27 марта, 2009 мы год храним, сжимаем по сессиям, скоро будем по дням сжимать, напрягает уже Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
disappointed Опубликовано 27 марта, 2009 Агрегировать по совпадению источник - назначение интервалом в 60 мин, и из агрегатов выкидывать сессии менее 3-4кб. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 27 марта, 2009 Хранить нужно три года, с возможностью доступа к информации в любой момент времени. При чем в виде базы данных. Регулируется НПА по СОРМ, ну и общий срок исковой данности - три года. Хотя в связи есть сокращающая оговорка, но на СОРМ она не распространяется. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 27 марта, 2009 И скорость выборки оговаривается? Если нет, зайдите после завтра, выборка выберется. ;) Ну база у меня такая, шкаф 15, полка 8, ДВД 2346, файл 2008.01.01-01.tbz Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 27 марта, 2009 Че то я с нигде не видел чтобы требоволось хранить все соединения по клиенту.... Сессии - да, расчеты - да, но соединения ИП-ИП.... где вычитали - дайте ссылку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 А это как Вы с управлением ФСБ договоритесь. В НПА доступ к базе в реальном времени. Все вопросы решаются в местном управлении на этапе разработки плана мероприятий. И лучше, чем на месте вы эти вопросы не решите. Не стоит рисковать бизнесом исходя из понятия собственной крутизны и остроумия. Ибо достаточного одного письма из одного местного управления в другое, что бы встали надолго... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
visir Опубликовано 28 марта, 2009 А еще хранить нужно "сырую" информацию, а не после агрегаций/предбиллинга... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
woddy Опубликовано 28 марта, 2009 (изменено) кому нужно? законы/статьи? мы с переходом на безлимит вообще перестали что-либо хранить. сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как WWW_NET_STATtemp.htm Изменено 28 марта, 2009 пользователем woddy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 28 марта, 2009 А это как Вы с управлением ФСБ договоритесь. Ну значит нам попалось хорошее управление ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 кому нужно? законы/статьи? мы с переходом на безлимит вообще перестали что-либо хранить. сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как Вудди, Вы это из праздного любопытства или по существу?Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте. Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо. Удивляет, Вы вроде как профессионально занимаетесь зарабатыванием денег, а задаете странные вопросы по азам бизнеса... А это как Вы с управлением ФСБ договоритесь.Ну значит нам попалось хорошее управление ;) Должен сказать, что технические специалисты в управлениях грамотные и адекватные специалисты. Лишнего при разработке не закладывают. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
woddy Опубликовано 28 марта, 2009 Вудди, Вы это из праздного любопытства или по существу?Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте. Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо. сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 28 марта, 2009 А что был опыт - по этому поводу? Вы кажется больны - померяйте температуру... З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Вам что в плане СОРМ написали хранить все пакеты переданные по сети? Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.Ну так и пишите открытым текстом, что мирорите весь трафик в нужное место. Вам что в плане СОРМ написали хранить все пакеты переданные по сети?Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. А на сайт Минсвязи сходить и посмотреть в разделе нормативной документации?Что в плане напишут, то и будете делать. Иначе Ваших абонентов будет обслуживать другой оператор. И если у Вас чего-то нет, то лучше об этом вслух не говорить. Ибо найдут, и у Вас будет все, или не будет ничего. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 28 марта, 2009 (изменено) Всё у нас есть. Вы бредите. Я ВАМ и ГОВОРЮ что буквально на той неделе обсуждалось это, в другой ветке форума и ссылки там были на нормативные акты. И Я ИХ ЧИТАЛ - НЕТ ТАМ ТРЕБОВАНИЙ ХРАНИТЬ НЕТФЛОУ!!! НЕТУ!!! СЕССИИ, ПОСТУПЛЕНИЯ БАБЛА, ДАННЫЕ КЛИЕНТОВ И ВСЁ!!!! 3 года. Изменено 28 марта, 2009 пользователем sdy_moscow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 Чего орем? http://minkomsvjaz.ru/ministry/documents/967/968/2138.shtml 14. Базы данных должны содержать следующую информацию об абонентах оператора связи:фамилия, имя, отчество, место жительства и реквизиты основного документа, удостоверяющего личность, представленные при личном предъявлении абонентом указанного документа, - для абонента-гражданина; наименование (фирменное наименование) юридического лица, его место нахождения, а также список лиц, использующих оконечное оборудование юридического лица, заверенный уполномоченным представителем юридического лица, в котором указаны их фамилии, имена, отчества, места жительства и реквизиты основного документа, удостоверяющего личность, - для абонента - юридического лица; сведения баз данных о расчетах за оказанные услуги связи, в том числе о соединениях, трафике и платежах абонентов .Что Вы понимаете под словом сессии - это Ваша пробема, но в данном постановлении написано все, что должно быть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 28 марта, 2009 (изменено) под словами "о соединения и трафике" можно понимать что угодно... UDP пакет - это соединение? трафик - по мне так это кол-во переданного и принятого. этот кусок похоже пришел походу от телефонистов а у них именно это и имеется ввиду. короче по мне так соединения - это сессии ППТП с ИП который получил клиент а трафик - это кол-во принятого и переданного. Я не знаю как у Вас, но к нам когда из Р обращались спрашивали вполне разумные вещи и никогда еще не просили данные нетфлоу. А вот как раз данные по ИП и клиентам - это да. Изменено 28 марта, 2009 пользователем sdy_moscow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 28 марта, 2009 З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Бред. Гигабит netflow v5 не так много занимает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Гoсть Опубликовано 28 марта, 2009 Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.Акстись, Алекс. Не пугай людей своими бреднями.Сессии в понимании органов это именно то, что sdy_moscow и написал. Некоторые операторы любят похранить детализацию до твоего любимого уровня, но это лишь бывает востребовано клиентами и разборками с ними, не более того. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 Гость, сам акстись. Как при таком подходе искать педофилов, шпионов и международных террористов? Или злобных пиратов? ;-) Никто не требует писать и хранить весь сеанс... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Magnum72 Опубликовано 28 марта, 2009 А что был опыт - по этому поводу?Вы кажется больны - померяйте температуру... З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Вам что в плане СОРМ написали хранить все пакеты переданные по сети? Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц. Варианты утаптывания (как у нас сделано): 1) Собираем только входящий трафик 2) Из нетфлоу пакета выбираем только Time SIP DIP SPort Dport Type Size, все это раскладываем по файлам названия которых равны ID аккаунтов пользователей в биллинге (если не ошибаюсь 26 байт на запись тратится, можно убрать в принципе DIP SPort Dport, но пока не напрягает) 3) Пишем сразу в .gz путем добавления очередной (предварительно отсортированной по DIP) порции нетфлоу 4) После окончания очередного месяца перепаковываем архивы (при доливке в архив страдает сжатие) 5) Файлы хранятся типа 2008/12/31/17464.gz, планируем переделать на добавив еще один уровень типа 2008/12/31/10000/17464.gz, или 2008/12/31/00000/7777.gz 6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков) Тут засада в другом, нетфловкеш на железках он по своим ресурсам не безграничен, у 7604 с которой я снимал исходящий до недавнего времени, иногда подзвякивало. По поводу СОРМ, насколько я в курсе, в правилах нет конкретного описания механизма как, где и сколько хранить именно нетфлоу, но если у вас есть возможность то лучше это делать (потому что жопа она ваша и кроме вас за нее никто не ответит), если нет договариватся с кураторами по упрощению требований, например снимать sflow, вырезать записи с малым количеством пакетов, брать его у аплинков, итп. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
woddy Опубликовано 28 марта, 2009 (изменено) Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц. 6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков) а вот это интереснее. может расскажите? про борьбу с вирусами? Изменено 28 марта, 2009 пользователем woddy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...