Перейти к содержимому
Калькуляторы

NetFlow как хранить весь этот мусор :)

Ну вот у нас такие реальные данные, трафик в месяц порядка 15 Тб, храним только самые необходимые поля, база данных на данный момент порядка 290 Гб и порядка 2 млрд. записей (храним в БД с использованием Partitioning по ЛС абонента и по номеру год-месяц). Пока храним, но я думаю проконсультируемся с куратором и будем для помегабайтников хрянить не более полугода, там для них совсем мало, а для анлимщиков вобще не более месяца.

 

Просто при большом трафике на самом деле данных будет очень много, а смысл в них есть, как писали, только для внутренних разборок. А судя по моему опыту общения с органами, работают они не постфактно, а по реальным данным т.е. они не роются в архивах, а стараются взять преступника с поличным, мониторя СОРМ и сразу берут его на рабочем месте. Как мне объяснили по архивным данным сложно что-либо доказывать, нужно брать с поличным.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Гость, сам акстись.

Как при таком подходе искать педофилов, шпионов и международных террористов?

Или злобных пиратов? ;-)

Никто не требует писать и хранить весь сеанс...

Ага по вашему - собрать со всех операторов нетфлоу и искать в нём террористов :-)...

 

Все проще такие службы как мэйл, однокласники и тому подобные при логоне сохраняют клиентские ИП. Трафик "педофильских" серверов сниферится он лайн на магистральных узлах.

Органам только остается решить одну задачу, кто именно с ЭТОГО ИП в ЭТО ВРЕМЯ пользовался услугами.

 

Мне вот интересно - АлексБТ - а у вас органы хоть раз данные нетфлоу просили? И вообще у КОГО-ТО их просили? Что бы пришли и сказали - ну ка, куда этот клиент посылал пакеты с 11 утра до 12 дня 15 марта позапрошлого года?

И что они скажут когда увидят 1500 адресов скачаных веб страниц, банеров, днс, торентов и т.п. - да у любого следака от этого голова кругом пойдет.

Так что - сомневаюсь что нетфлоу нужен кому-то кроме вас самих.

Изменено пользователем sdy_moscow

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Товарищ, Вас заклинило?

Вы прочитали все, что написано, и до Вас не дошло?

Вы что тут хотите получить? Индульгенцию?

Вам написали, что нужно делать, а Вы продолжаете - скажите мне, что нетфло хранить ненадо...

У Вас написано, что Вы за оператор? Где схема организации связи, где план мероприятий и ТУ от управления? А иностранные организации на Вашей сети есть? А клиенты с гостайной на предприятии? Нету, или не для печати? Телепатов здесь нет...

Операторы разные бывают - у одних есть первый отдел и собственная служба безопасности - одни требования. А у других вообще ничего нет - и даже оборудования СОРМа на сети. И такое есть.

 

Идите к куратору и все вопросы решайте с ним. Не пытайтесь думать за других, дорого может закончиться.

И у Вас может ограничиться простым договором на аутосорминг с аплинком, или вообще без договора. И тогда Вам и нетфло или сфло нафиг ненужно...

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а на вопрос Вы так и не ответили - требуют у Вас нетфлоу или нет?

короче отвлеклись от темы.... вопрос был как хранить, а надо или не надо...

 

з.ы. а какой срез по времени нужен кстати т.е. в каком интервале агрегация 5 минут, 1 час, 2 часа, сутки, сессия....

Изменено пользователем sdy_moscow

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что-бы замочить нифельную аргументацию Алекса и снять напряженность у пионэров-операторов, громко повторяю - ОРГАНАМ НЕТФЛОВ НАХ НЕ НУЖЕН! Если какой-то юноша с погонами начинает с вас это говно истребывать, смело посылайте его на йух, делайте вид что непонимаете о чем речь, что у вас такой ***ни нет, никогда не было и не будет... но все-таки лучше поласковей конечно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А ваще какое отношение план меропринятий имеет к базе с нетфлу ? Единственное место которым оно имеет отношение - в плане стоит срок согласования состава групп взаимодействия между товарищем майором и оператором.

 

Вот чо понапишете в рыхламенте взаимодействия оных групп и что там вам товарищ майор подмахнет - так и будет.

 

А педофилов ловить у товарища майора порт зеркальный на пульту имеется. Пускай снифает да ловит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мне вот интересно - АлексБТ - а у вас органы хоть раз данные нетфлоу просили? И вообще у КОГО-ТО их просили? Что бы пришли и сказали - ну ка, куда этот клиент посылал пакеты с 11 утра до 12 дня 15 марта позапрошлого года?

Просят регулярно, если не даешь - намекают, что заставят покупать СОРМ. :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

приходили, просили. Но не сам нетфлов, а сказать "кто ходил на такие-то адреса с такого-то вашего адреса". Адрес естесна НАТ. Дал им 3.5 гига нетфлова (за день). Тока похоже оно у них не открылось. Или возиться не захотели...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мне вот интересно - АлексБТ - а у вас органы хоть раз данные нетфлоу просили? И вообще у КОГО-ТО их просили? Что бы пришли и сказали - ну ка, куда этот клиент посылал пакеты с 11 утра до 12 дня 15 марта позапрошлого года?

Просят регулярно, если не даешь - намекают, что заставят покупать СОРМ. :-)

Приходят и просят у Всех - но просят как было сказано КТО с ЭТОГО ИП в ЭТО ВРЕМЯ ходил ТУДА-ТО?

 

Я спрашиваю просили ли Вас дать информацию КУДА ходили с ЭТОГО ИП в ЭТО ВРЕМЯ?

 

Согласитесь что-бы на первый вопрос ответить Нетфлоу не нужен. Ответить на 2-ой вопрос без Нетфлоу никак!

 

Еще раз спрашиваю у КОГО-ТО просили

дать информацию КУДА ходили с ЭТОГО ИП в ЭТО ВРЕМЯ?

 

задним числом например. месяц назад.

Изменено пользователем sdy_moscow

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

<br />приходили, просили. Но не сам нетфлов, а сказать "кто ходил на такие-то адреса с такого-то вашего адреса". Адрес естесна НАТ. Дал им 3.5 гига нетфлова (за день). Тока похоже оно у них не открылось. Или возиться не захотели...<br />
<br /><br /><br />

 

Флешку им свою подарил ?

Иначе непонятно как они от тебя так легко отстали )

 

Если пришли с запросом то требуют официальный ответ на бумаге с печатью.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ДВД-Р подарил. С закрытой сессией. Просили безбумажно. Получили так же безбумажно.

Да, просили инфу за определенные дни в прошедшие 2 месяца.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Похоже что-то не то народ под netflow понимает :-)

 

Пример из жизни:

20к юзеров 2.5 Гигбита в сек туда и столько же обратно, netflow5 за день в bzip занимает 3.5G, без всяких обрезаний, отбрасываний и агрегирования

 

С частотой раз в месяц приходят "люди в черном" и спрашивают, "кто с таким ip ходил на такой ресурс в такой промежуток времени и предоставить логи сессий", инногда в запросе некоторых данных не хватает, и диапазон поиска бывал в 2-3 месяца.

 

И это в "демократической" стране Украина :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ключевыми словами являются:

"кто с таким ip ходил ...."
Для этого нет флоу нафиг не нужен. Достаточно хранить данные сессий (авторизаций) и выданных на них ИП. Исключение - если у вас НАТ и вы будите собирать нетфлоу до НАТа - тогда да - появится резон т.к. иначе ответить на поставленный вопрос вы не сможете.

 

Основной спор сейчас обязательно нужен нетфлоу или нет для СОРМ.

 

З.Ы. Мы от НАТа отказались не так давно и не жалеем. Проще быть лиром и ни от кого не зависеть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что-бы замочить нифельную аргументацию Алекса и снять напряженность у пионэров-операторов, громко повторяю - ОРГАНАМ НЕТФЛОВ НАХ НЕ НУЖЕН! Если какой-то юноша с погонами начинает с вас это говно истребывать, смело посылайте его на йух, делайте вид что непонимаете о чем речь, что у вас такой ***ни нет, никогда не было и не будет... но все-таки лучше поласковей конечно.
Гость, убей конкурента на любой территории? ;-).

Не юноша с погонами, а решение суда о предоставлении информации. И сырцы, и описание формата, а не художественное творчество оператора. Для легализации - распечатка за подписью уполномоченного лица с приложением печати оператора. В случае необходимости - протоколы допросов специалистов.

В нормативке все описано, как в ППРФ, так и в двух приказах министерии.

Последствия бездействия оператора и невыполнения мероприятий плана в судебной практике уже описаны.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Алекс, это капец какой ты тугой.

Как я незавидую твоим детям и внукам :)

Что-бы выполнить все лицензионные требования и постановления по этому вопросу, оператору нужно только две балалайки:

1. Черный сормовский ящик - снифер, установленный в точке наибольшей концентрации трафиков (модель - одна из трех - согласуется заранее);

2. Логи радиуса и/или дхцп серверов, фиксирующие вход-выход клиента в сеть и назначение ему ипы адреса.

 

Все остальное Алекс придумал в своем воспаленном воображении и к реальной жизни отношения этот бред не имеет.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а на вопрос Вы так и не ответили - требуют у Вас нетфлоу или нет?
Ключи от квартиры, наличные деньги, явка с повинной? ;-) Не дождетесь!

Информация, ставшая известной оператору в ходе мероприятий ОРД, разглошению не подлежит.

 

Запросить информацию могут только в том виде, как было обусловленно планом мероприятий и опытной эксплуатацией.

Прийти просто так и сказать - дай что-нибудь - не могут. Все по процедуре, а не с кандачка.

 

короче отвлеклись от темы.... вопрос был как хранить, а надо или не надо...

з.ы. а какой срез по времени нужен кстати т.е. в каком интервале агрегация 5 минут, 1 час, 2 часа, сутки, сессия....

По разному. Но обычно сырцы, (обязательно описание формата), файлами определенного размера. Например, один мегабайт, десять мегабайт, с датой временем записи файла. Т.е. без привязки к агрегации. Д.б. привязка выданных адресов и абонентов по времени, что бы можно было персонализировать данные сырцов. Но опять же, все это утрясается на месте. Потому что у каждого свое, и к примеру нет нетфло ;-).

И самое главное - в ходе ОРД не должны разглашаться сведения об объекте ОРД, и не должна разглашаться информация о тайне связи необъектов ОРД.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ключевыми словами являются:
"кто с таким ip ходил ...."
Для этого нет флоу нафиг не нужен. Достаточно хранить данные сессий (авторизаций) и выданных на них ИП. Исключение - если у вас НАТ и вы будите собирать нетфлоу до НАТа - тогда да - появится резон т.к. иначе ответить на поставленный вопрос вы не сможете.

А если нету авторизации? ))

максимум - привязка на порту mac+ip и acl на кошке, который разрешает ходить или не ходить наружу... Все клиенты на "белой" статике, есть некоторые на dhcp, но, опять таки - dhcp-а статичная )

тут мы видим уже второе исключение ))

А вообще... 30К абонов, 1.3 тера в месяц (на данный момент)

Изменено пользователем Zmey_skif

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Алекс, это капец какой ты тугой.

Как я незавидую твоим детям и внукам :)

Что-бы выполнить все лицензионные требования и постановления по этому вопросу, оператору нужно только две балалайки:

1. Черный сормовский ящик - снифер, установленный в точке наибольшей концентрации трафиков (модель - одна из трех - согласуется заранее);

2. Логи радиуса и/или дхцп серверов, фиксирующие вход-выход клиента в сеть и назначение ему ипы адреса.

 

Все остальное Алекс придумал в своем воспаленном воображении и к реальной жизни отношения этот бред не имеет.

Гость, специально для тебя - у каждого свое.

Говоришь о себе - говори, что у меня так. Или видел у соседа, говори, что видел у соседа. или говори, что я думаю так, а как на самом деле - хрен его знает...

Может вообще не быть того, о чем ты говоришь. И вообще ничего, связанного с СОРМом.

А может стоять железка за сотню тысяч баксов от производителя коммуникационного оборудования, а не из рекомендованного списка, и при полном отсутствии информации об абонентах.

Жизнь многообразна, однако...

 

А оператору нужен согласованный план мероприятий и подписанный тремя сторонами акт, либо письмо об отсутствии требований по СОРМ. Больше ему ничего ненадо...

 

+1
Не забудьте про вазелин.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А оператору нужен согласованный план мероприятий и подписанный тремя сторонами акт, либо письмо об отсутствии требований по СОРМ. Больше ему ничего ненадо...

 

+1
Не забудьте про вазелин.

Подводя итоги беседы скажем - так:

 

Если в вашем плане СОРМ про нетфлоу ничего не сказано, то он ВАМ НАФИГ не нужен! :-) (с оговорками сказанными ранее)

 

Что и требовалось доказать.

 

Жаль, что только вместо ответа на вопрос создателя темы тут такой офтопик вылез. Из-за упрямства некоторых товарищей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вы вобще когда-нибудь в глаза видели того, кто отвечает за СОРМ по отношению к Вам?

Или Вам просто поговорить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А вообще... 30К абонов, 1.3 тера в месяц

Упс... Странное какое соотношение, у вас там дайлапщики, что ли? :) Или Вы терабайты с гигабитами перепутали?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Раз в год видим и подписываем план.

Ну тогда вопросов нет. Продолжайте подписывать и дальше...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.