ALion Опубликовано 27 марта, 2009 · Жалоба У нас выходит гигов 800 в месяц... Кроме как на каждый месяц по винту в шкафчик убирать ничего в голову не приходит, серьезное хранилище уж больно дорого стоит. Собственно вопрос к коллегам, каким образом вы флоу храните и как долго (насколько я знаю нужно хранить его 2 года)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
woddy Опубликовано 27 марта, 2009 (изменено) · Жалоба неправильно. детализацию можно хранить например просто разбив по дням без учета направлений. в законодательстве не прописано в каком виде хранить статистику и насколько подробно имхо хранить подробную - 3 месяца для разборок с клиентами. Изменено 27 марта, 2009 пользователем woddy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
networks Опубликовано 27 марта, 2009 · Жалоба Еще можно tar.gz. Уменьшает :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
terrible Опубликовано 27 марта, 2009 · Жалоба мы год храним, сжимаем по сессиям, скоро будем по дням сжимать, напрягает уже Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
disappointed Опубликовано 27 марта, 2009 · Жалоба Агрегировать по совпадению источник - назначение интервалом в 60 мин, и из агрегатов выкидывать сессии менее 3-4кб. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 27 марта, 2009 · Жалоба Хранить нужно три года, с возможностью доступа к информации в любой момент времени. При чем в виде базы данных. Регулируется НПА по СОРМ, ну и общий срок исковой данности - три года. Хотя в связи есть сокращающая оговорка, но на СОРМ она не распространяется. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 27 марта, 2009 · Жалоба И скорость выборки оговаривается? Если нет, зайдите после завтра, выборка выберется. ;) Ну база у меня такая, шкаф 15, полка 8, ДВД 2346, файл 2008.01.01-01.tbz Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 27 марта, 2009 · Жалоба Че то я с нигде не видел чтобы требоволось хранить все соединения по клиенту.... Сессии - да, расчеты - да, но соединения ИП-ИП.... где вычитали - дайте ссылку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 · Жалоба А это как Вы с управлением ФСБ договоритесь. В НПА доступ к базе в реальном времени. Все вопросы решаются в местном управлении на этапе разработки плана мероприятий. И лучше, чем на месте вы эти вопросы не решите. Не стоит рисковать бизнесом исходя из понятия собственной крутизны и остроумия. Ибо достаточного одного письма из одного местного управления в другое, что бы встали надолго... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
visir Опубликовано 28 марта, 2009 · Жалоба А еще хранить нужно "сырую" информацию, а не после агрегаций/предбиллинга... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
woddy Опубликовано 28 марта, 2009 (изменено) · Жалоба кому нужно? законы/статьи? мы с переходом на безлимит вообще перестали что-либо хранить. сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как WWW_NET_STATtemp.htm Изменено 28 марта, 2009 пользователем woddy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 28 марта, 2009 · Жалоба А это как Вы с управлением ФСБ договоритесь. Ну значит нам попалось хорошее управление ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 · Жалоба кому нужно? законы/статьи? мы с переходом на безлимит вообще перестали что-либо хранить. сибирьтелеком и на помегабайтных тарифах направления не хранит уже 2 года как Вудди, Вы это из праздного любопытства или по существу?Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте. Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо. Удивляет, Вы вроде как профессионально занимаетесь зарабатыванием денег, а задаете странные вопросы по азам бизнеса... А это как Вы с управлением ФСБ договоритесь.Ну значит нам попалось хорошее управление ;) Должен сказать, что технические специалисты в управлениях грамотные и адекватные специалисты. Лишнего при разработке не закладывают. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
woddy Опубликовано 28 марта, 2009 · Жалоба Вудди, Вы это из праздного любопытства или по существу?Если у Ваших аплинков стоит сданный СОРМ, то Вы вобще ничего можете не хранить. Все, что нужно будет сохранено в другом месте. Но это до поры-времени. Пока кто-то из Ваших абонентов не попадет в поле зрения компетентных органов. Не сможете выполнить решение суда о предоставлении информации - узнаете Кузькину мать в лицо. сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 28 марта, 2009 · Жалоба А что был опыт - по этому поводу? Вы кажется больны - померяйте температуру... З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Вам что в плане СОРМ написали хранить все пакеты переданные по сети? Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 · Жалоба сорм стоит, не у аплинка а у нас. вот пусть сами и хранят что хотят и где хотят.Ну так и пишите открытым текстом, что мирорите весь трафик в нужное место. Вам что в плане СОРМ написали хранить все пакеты переданные по сети?Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. А на сайт Минсвязи сходить и посмотреть в разделе нормативной документации?Что в плане напишут, то и будете делать. Иначе Ваших абонентов будет обслуживать другой оператор. И если у Вас чего-то нет, то лучше об этом вслух не говорить. Ибо найдут, и у Вас будет все, или не будет ничего. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 28 марта, 2009 (изменено) · Жалоба Всё у нас есть. Вы бредите. Я ВАМ и ГОВОРЮ что буквально на той неделе обсуждалось это, в другой ветке форума и ссылки там были на нормативные акты. И Я ИХ ЧИТАЛ - НЕТ ТАМ ТРЕБОВАНИЙ ХРАНИТЬ НЕТФЛОУ!!! НЕТУ!!! СЕССИИ, ПОСТУПЛЕНИЯ БАБЛА, ДАННЫЕ КЛИЕНТОВ И ВСЁ!!!! 3 года. Изменено 28 марта, 2009 пользователем sdy_moscow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 · Жалоба Чего орем? http://minkomsvjaz.ru/ministry/documents/967/968/2138.shtml 14. Базы данных должны содержать следующую информацию об абонентах оператора связи:фамилия, имя, отчество, место жительства и реквизиты основного документа, удостоверяющего личность, представленные при личном предъявлении абонентом указанного документа, - для абонента-гражданина; наименование (фирменное наименование) юридического лица, его место нахождения, а также список лиц, использующих оконечное оборудование юридического лица, заверенный уполномоченным представителем юридического лица, в котором указаны их фамилии, имена, отчества, места жительства и реквизиты основного документа, удостоверяющего личность, - для абонента - юридического лица; сведения баз данных о расчетах за оказанные услуги связи, в том числе о соединениях, трафике и платежах абонентов .Что Вы понимаете под словом сессии - это Ваша пробема, но в данном постановлении написано все, что должно быть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 28 марта, 2009 (изменено) · Жалоба под словами "о соединения и трафике" можно понимать что угодно... UDP пакет - это соединение? трафик - по мне так это кол-во переданного и принятого. этот кусок похоже пришел походу от телефонистов а у них именно это и имеется ввиду. короче по мне так соединения - это сессии ППТП с ИП который получил клиент а трафик - это кол-во принятого и переданного. Я не знаю как у Вас, но к нам когда из Р обращались спрашивали вполне разумные вещи и никогда еще не просили данные нетфлоу. А вот как раз данные по ИП и клиентам - это да. Изменено 28 марта, 2009 пользователем sdy_moscow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 · Жалоба Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 28 марта, 2009 · Жалоба З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Бред. Гигабит netflow v5 не так много занимает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Гoсть Опубликовано 28 марта, 2009 · Жалоба Соединение - это адрес начала - адрес конца. Без разницы каким пакетом. И трафик - это количество переданной информации между двумя этими адресами. И таких соединений в пределах одной "сессии" может быть много.Акстись, Алекс. Не пугай людей своими бреднями.Сессии в понимании органов это именно то, что sdy_moscow и написал. Некоторые операторы любят похранить детализацию до твоего любимого уровня, но это лишь бывает востребовано клиентами и разборками с ними, не более того. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexBT Опубликовано 28 марта, 2009 · Жалоба Гость, сам акстись. Как при таком подходе искать педофилов, шпионов и международных террористов? Или злобных пиратов? ;-) Никто не требует писать и хранить весь сеанс... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Magnum72 Опубликовано 28 марта, 2009 · Жалоба А что был опыт - по этому поводу?Вы кажется больны - померяйте температуру... З.Ы. Интересно посмотреть на данные НетФлоу в 1 Гб-ном канале с 10000 пользователей и анлимами по 30 Мбит... Вам НИКАКИХ носителей не хватит. Вам что в плане СОРМ написали хранить все пакеты переданные по сети? Где-то кстати на форуме были ссылки на правила СОРМ... Че то я там такого не видел. Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц. Варианты утаптывания (как у нас сделано): 1) Собираем только входящий трафик 2) Из нетфлоу пакета выбираем только Time SIP DIP SPort Dport Type Size, все это раскладываем по файлам названия которых равны ID аккаунтов пользователей в биллинге (если не ошибаюсь 26 байт на запись тратится, можно убрать в принципе DIP SPort Dport, но пока не напрягает) 3) Пишем сразу в .gz путем добавления очередной (предварительно отсортированной по DIP) порции нетфлоу 4) После окончания очередного месяца перепаковываем архивы (при доливке в архив страдает сжатие) 5) Файлы хранятся типа 2008/12/31/17464.gz, планируем переделать на добавив еще один уровень типа 2008/12/31/10000/17464.gz, или 2008/12/31/00000/7777.gz 6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков) Тут засада в другом, нетфловкеш на железках он по своим ресурсам не безграничен, у 7604 с которой я снимал исходящий до недавнего времени, иногда подзвякивало. По поводу СОРМ, насколько я в курсе, в правилах нет конкретного описания механизма как, где и сколько хранить именно нетфлоу, но если у вас есть возможность то лучше это делать (потому что жопа она ваша и кроме вас за нее никто не ответит), если нет договариватся с кураторами по упрощению требований, например снимать sflow, вырезать записи с малым количеством пакетов, брать его у аплинков, итп. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
woddy Опубликовано 28 марта, 2009 (изменено) · Жалоба Ну это не совсем клинический случай, у меня большем канале, с 45000 пользователей, и анлимами до 20 мбит, выходит по сотне гигов в месяц. 6) При этом ведется жесткая борьба с вирусятниками, так как их архивы нетфлоу получаются самые большие в итоге (на порядок больше чем у торренщиков) а вот это интереснее. может расскажите? про борьбу с вирусами? Изменено 28 марта, 2009 пользователем woddy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...