Jump to content
Калькуляторы

Технические аспекты реализации "закона Яровой"

"Уж полночь близится, а Германа все нет"...

 

Не так много осталось времени до того момента как у компетентных органов возникнут вопросы к операторам по состоянию дел по закону Яровой.

На ткущий момент разговоров на тему "безпредела/глупости/и т. д." много.

А вот технических решений пока нет. А время идет. Может стоит обсудить именно техническую сторону:

1. метод сбора (оборудование, софт....)

2. хранения (объемы, оборудование, ПО)

3. управление/мониторинг 

4. организация доступа ФСБ/МВД/... к данным

Edited by snik_1900

Share this post


Link to post
Share on other sites

Какая-то более-менее реальная картина "бедствия" будет видна после принятия подзаконных актов. Тот же срок, "до шести месяцев", весьма размытый, могут указать полностью а могут и на усмотрение.

Видимо вначале нужно также определить исходные данные и требования.

 

  • Цитата

    Оператор связи, оказывающий иные услуги связи, хранит содержание сообщений в хранилище следующего объема:
    с 1 июля 2018 года в объеме 1 Пбайт на каждый Гбит/с емкости (пропускной способности) введенного в эксплуатацию узла связи;
    с 1 января 2019 года в объеме 2 Пбайт на каждый Гбит/с емкости (пропускной способности) введенного в эксплуатацию узла связи.

     

 

Share this post


Link to post
Share on other sites

Вопрос не "когда?", а "как?"

Реализовывать придется. 6 месяцев это ОЧЕНЬ МАЛО. И никого не будет интересовать как операторы это сделают. 

"Должон съесть!" (с) 

 

Как мне кажется первоначально нужно разработать способ сбора данных.

За-тем нужно будет добавить анализ и хранение.

 

Самый простой вариант mirror с центрального коммутатора на какой то сервер, который собирёт, отсортирует и сохранит перхваченый трафик.

На текущий момент можно обсудить все плюсы/минусы различных сборщиков, способы фильтрации/сортировки.

Share this post


Link to post
Share on other sites

На мой взгляд уже очевидно, что "Яровую" будут делать на базе уже работающих у провайдеров СОРМ-ов. Новый софт + больше HDD/SSD. А если СОРМ-а у провайдера по какой-то причине еще еще не стоит, начнут интенсивней выкручивать руки - отвертеться станет гораздо сложнее.

Share this post


Link to post
Share on other sites
8 минут назад, Умник сказал:

На мой взгляд уже очевидно, что "Яровую" будут делать на базе уже работающих у провайдеров СОРМ-ов. Новый софт + больше HDD/SSD. А если СОРМ-а у провайдера по какой-то причине еще еще не стоит, начнут интенсивней выкручивать руки - отвертеться станет гораздо сложнее.

Возможно. Но хранилища скорее всего будут делать "у" и "за" счет провайдера. Сейчас провайдер не может/не должен иметь доступ к СОРМу. Соответственно сделать оператора "козлом отпущения" в случае сбоев в работе системы будет гораздо сложнее. Так что наиболее вероятно, что как в ситуацией с фильтрацией трафика, оператор будет решать свои проблемы сам. Хотя бы на начальном этапе.

Share this post


Link to post
Share on other sites
В 19.09.2017 в 12:55, snik_1900 сказал:

А вот технических решений пока нет. А время идет. Может стоит обсудить именно техническую сторону:

А зачем тратить на это своё время? Поручили  "Правительству России" вот пусть у него голова и болит.

 

Вот предположим, станет известно, что через 6 месяцев на Солнце произойдет мощная вспышка.

Наши "мудрые" законодатели решат, что "надо потушить Солнце через 6 месяцев" и издадут закон.

Вот скажите, вы тоже будете с космонавтами технические аспекты обсуждать полета на Солнце? Или всё-же с метростроевцами строить убежища и создавать резервы продовольствия?

 

Всем оператором давно ясно - реализовать весь этот бред, в нынешней постановке и нынешних рыночных условиях - НЕВОЗМОЖНО.

 

Так зачем тратить своё время, нервы  и деньги? Вот уже прошел 1 год, пройдет 6 месяцев, потом еще 6 месяцев, потом еще 6 месяцев... а там глядишь или Шах умрет, или Осел сдохнет или Ходжа отправится к праотцам.

 

Забейте, и не морочьте себе и нам голову!

 

В любом случае, что-бы ВЫ  сейчас не придумали, без подзаконных актов это пустая трата времени. Ну кто знает, что им там еще в голову взбредет?

Share this post


Link to post
Share on other sites
Только что, sdy_moscow сказал:

А зачем тратить на это время?

Вот предположим, станет известно, что ерез 6 месяцев на солнце произойдет мощная вспышка.

Наши "мудрые" законодатели решат, что "надо потушить солнце через 6 месяцев" и издадут закон.

Вот скажите, вы тоже будете с космонавтами технические аспекты обсуждать или с метростроевцами и строить убежища и создавать резервы продовольствия.

Все оператором давно и ясно - реализовать весь этот бред в нынешней постановке и нынешних рыночных условиях - НЕ ВОЗМОЖНО.

 

Так зачем тратить своё время и деньги? Вот уже прошел год, пройдет 6 месяцев, потом еще 6 месяцев, потом еще 6 месяцев... а там глядишь или Шах умрет, или Осел сдохнет или Ходжа отправится к праотцам.

 

Забейте!

Что-то подобное было когда поднимался вопрос с фильтрацией. И ничего заставили. Криво, косо но этот бред работает.

 

"Пятилетка за 3 дня" это не самое увлекательное занятие. Никто не заставляет покупать оборудование, но осмыслить проблему не мешало бы.

 

Share this post


Link to post
Share on other sites
13 минут назад, snik_1900 сказал:

Что-то подобное было когда поднимался вопрос с фильтрацией. И ничего заставили. Криво, косо но этот бред работает

Вы только вспомните, сколько времени прошло и что написано в законе. Всё-таки, тот закон хоть и вредный и бесполезный, но исполнимый! Изначально мы должны фильтровать просто по ИП, что вполне реализуемо за разумные  деньги, а все проблемы возникли от желания "и сесть, и съесть". К тому-же реализация его серьезных затрат не требовала. И ведь всё равно - не работает!.

 

Если сравнивать Яровую и Фильтрацию, то это как полет на Солнце и полет на Луну.

Помните анекдот?

 

Брежнев созывает совещание:

- Товарищи, США высадили человека на Луну, я решил, мы должны высадить человека на Солнце!

- Но это невозможно, он-же сгорит!

- Не переживайте, я всё продумал! Мы полетим туда ночью!

 

Ничего не напоминает?

 

Отвлекитесь на секунду...

Обратите внимание, пока Греф кричит "Блок чейн спасет мир!". Китайцы тихой сапой запрещают биткоин. А знаете почему?

 

Потому, что у одних в стране принято с утра до вечера пи..деть, а у других работать.

Share this post


Link to post
Share on other sites
1 минуту назад, sdy_moscow сказал:

Вы только вспомните, сколько времени прошло и что написано в законе. Всё-таки тот закон хоть и вредный и бесполезный, но исполнимый! Изначально мы должны фильтровать просто по ИП, что вполне реализуемо за разумные  деньги, а все проблемы возникли от желания "и сесть, и съесть". К тому-же реализация его серьезных затрат не требовала. И ведь всё равно не работает!.

В чем не реализуемость закона Яровой? В деньгах? ФСБ глубоко безразличны проблемы провайдеров. Их будут "любить" вышестоящее начальство не за сочувствие операторам, а за не выполнение закона. Когда мы СОРМ устанавливали это ощутили в полной мере. Повторений не хочется.

 

Минимальные требования (без учета хранилища) реализовать возможно. Mirror на порту центрального коммутатора в сторону сервера, допустим  c FreeBSD. Далее, например, tcpdump для сбора данных в файл. И переброска данных в хранилище. Вопрос в объеме хранилища. 

Share this post


Link to post
Share on other sites
4 минуты назад, snik_1900 сказал:

Минимальные требования (без учета хранилища) реализовать возможно.

Вечную жизнь, без учёта жизни, тоже можно реализовать.

Вот из той же оперы.

 

Ну будет ФСБ всех любить, от этого никто не научится писать терабайты так чтобы потом показать можно было, и денег на это очевидно нет.

Просто позакрываются нахер, или введут помегабайтные тарифы, вернутся локальный чаты и файлопомойки.

 

Про tcpdump я вообще комментировать не хочу, очевидно что ты даже не пытался думать над проблемой даже записи, не говоря уже о том, чтобы потом это отдавать по запросу.

 

Share this post


Link to post
Share on other sites
19 минут назад, sdy_moscow сказал:

Отвлекитесь на секунду...

Обратите внимание, пока Греф кричит "Блок чейн спасет мир!". Китайцы тихой сапой запрещают биткоин. А знаете почему?

 

Потому, что у одних в стране принято с утра до вечера пи..деть, а у других работать.

Вот и я о том. Авральные работы до добра не доводят. Для начало хотя бы проработать обобщенную концепцию. Которую каждый сможет "допелить" под себя. 

Share this post


Link to post
Share on other sites
1 минуту назад, Ivan_83 сказал:

Про tcpdump я вообще комментировать не хочу, очевидно что ты даже не пытался думать над проблемой даже записи, не говоря уже о том, чтобы потом это отдавать по запросу.

+1

Share this post


Link to post
Share on other sites
4 минуты назад, snik_1900 сказал:

tcpdump для сбора данных в файл

На скорости 1 гигабайт в секунду, в случае всего одной десяточки, например. (Ржаку про tcpdump оставим за скобками).
 

Цитата

И переброска данных в хранилище.

Диск на 10 ТБ заполняется за 2.5 часа. А вам надо 6 месяцев. И ещё как-то бить по абонентам и по этому всему искать. И вспоминаем что HDD одновременно пишут и читают на скорости на порядок меньшей, чем что-то одно.

 

Вы точно всё ещё хотите лично лететь на это Солнце? и перебираете купюры в кошельке в попытке прикинуть "хватит ли"?

Share this post


Link to post
Share on other sites
1 минуту назад, Ivan_83 сказал:

Ну будет ФСБ всех любить, от этого никто не научится писать терабайты так чтобы потом показать можно было, и денег на это очевидно нет.

Просто позакрываются нахер, или введут помегабайтные тарифы, вернутся локальный чаты и файлопомойки.

 

Про tcpdump я вообще комментировать не хочу, очевидно что ты даже не пытался думать над проблемой даже записи, не говоря уже о том, чтобы потом это отдавать по запросу.

 

Да нет, мы уже давно посчитали объемы хранения данных, результат впечатлил. А tcpdump был упомянут для примера, это не есть конечная реализация.

Кластерную организацию еще никто не отменял. "Под лежачий камень вода не течет". Закрыться не сложно. "Выжить" сложнее. 

Share this post


Link to post
Share on other sites
28 минут назад, sdy_moscow сказал:

И ведь всё равно - не работает!.

Если речь идет о фильтрации, то есть вполне работающие решения.

Share this post


Link to post
Share on other sites
7 минут назад, rm_ сказал:

На скорости 1 гигабайт в секунду, в случае всего одной десяточки, например. (Ржаку про tcpdump оставим за скобками).
 

Диск на 10 ТБ заполняется за 2.5 часа. А вам надо 6 месяцев. И ещё как-то бить по абонентам и по этому всему искать. И вспоминаем что HDD одновременно пишут и читают на скорости на порядок меньшей, чем что-то одно.

 

Я прошу прощения, а вы про сетевые хранилища слышали? Кластеры? Вас кто-то заставляет писать на единственный диск установленный в сервер? 

 

 

5 минут назад, alibek сказал:

Если речь идет о фильтрации, то есть вполне работающие решения.

Не работает у тех кто этого не хочет или не может сделать.

Share this post


Link to post
Share on other sites
8 минут назад, rm_ сказал:

Диск на 10 ТБ заполняется за 2.5 часа.

 

9 минут назад, rm_ сказал:

И вспоминаем что HDD одновременно пишут и читают на скорости на порядок меньшей

Увы нет.

Скорость записи хорошо если гиг позволит писать без затыков, в один ровный поток.

А если пытаться читать то хана.

 

3 минуты назад, snik_1900 сказал:

Кластерную организацию еще никто не отменял.

Это рокетсаенс.

Думаешь ты щас хуяк-хуяк наговноскриптишь и накопипастишь конфигов с инета и всё взлетит в продакшене?

А вот и фиг.

Оно обязательно упадёт и что нибудь отдавит. Ночью. В праздники.

 

Нет косумерских решений на сотни тб уже обкатанных.

Есть у всяких вендоров за много денег, ну так они и мамой клянутся что оно будет работать хотя бы как то.

Share this post


Link to post
Share on other sites
19 минут назад, alibek сказал:

Если речь идет о фильтрации, то есть вполне работающие решения.

Решения есть, но они скорее не "работающие", а удовлетворяющие "дополнительным" требованиям РКН. Или вы про Оперу, ВПН. Анонимайзеры, Тор уже забыли?

 

20 минут назад, snik_1900 сказал:

Закрыться не сложно. "Выжить" сложнее. 

Вы что в России первый день в бизнесе? Будете роутер в аренду сдавать, а не оказывать услуги связи! Думайте шире!

Share this post


Link to post
Share on other sites
9 минут назад, Ivan_83 сказал:

 

Увы нет.

Скорость записи хорошо если гиг позволит писать без затыков, в один ровный поток.

А если пытаться читать то хана.

 

Это рокетсаенс.

Думаешь ты щас хуяк-хуяк наговноскриптишь и накопипастишь конфигов с инета и всё взлетит в продакшене?

А вот и фиг.

Оно обязательно упадёт и что нибудь отдавит. Ночью. В праздники.

 

Нет косумерских решений на сотни тб уже обкатанных.

Есть у всяких вендоров за много денег, ну так они и мамой клянутся что оно будет работать хотя бы как то.

"Страусиная технология" до добра не доведет. Проблемы надо решать, а не складировать. 

У HP есть вполне "нормальные" (в этом мире всё относительно) сетевые хранилища с оптическим линком 10Гб с ценой не от новой "летающей тарелки".

Edited by snik_1900

Share this post


Link to post
Share on other sites

Когда планировались и разрабатывались мероприятия по фильтрации сайтов, тоже были похожие обсуждения (но с меньшим накалом, в силу более достижимой реализуемости).

Не знаю, как в других местах, а в нашем регионе РКН и правоохранители были совсем не против подискутировать с представителями отрасли, приглашали на рабочие обсуждения всех желающих.

Некоторые даже прямо говорили, что фильтрация будет так или иначе, и если операторы не будут участвовать в обсуждении ее реализации, значит им придется делать то, что решили без них.

Разумеется, не все предложения операторов принимались, но какой-то эффект был, некоторые пожелания учли.

 

Сейчас запись всего трафика «в лоб» (с индексацией и поиском) задача не столько техническая, сколько организационная (потому что вопрос не в том «как», а в том «сколько»).

Есть определенные компромиссы, на которые согласятся, чтобы не парализовать отрасль, но так или иначе со временем придется эти требования реализовать или оставить это деятельность.

Поэтому мнения «мы все умрем» или «я не буду этого делать» понятны, но не конструктивны. Это пассивная роль и ее следствием будет постановка перед фактом исполнения требований, разработанных далекими от отрасли людьми.

Считать затраты сейчас смысла действительно нет.

Но есть смысл обсуждать компромиссы.

И в идеале дообсуждаться до записи трафика только на трансграничных узлах.

Потому что даже с фильтрацией это выглядело целесообразным, а запись петабайтов и экзабайтов трафика в сотнях и тысячах точек совершенно нерациональна.

 

1 минуту назад, sdy_moscow сказал:

Или вы про Оперу, ВПН. Анонимайзеры, Тор уже забыли?

Сейчас государство вполне устраивает текущая ситуация. Никто здравомыслящий не будет требовать абсолютного исполнения законов, вполне достаточно определенного уровня, чтобы держать ситуацию под контролем.

Если доля VPN станет заметной и начнет причинять беспокойство, эту лазейку тоже закроют.

Share this post


Link to post
Share on other sites
1 минуту назад, snik_1900 сказал:

Страусиная технология" до добра не доведет. Проблемы надо решать, а не складировать

Проблему приказа "лететь на Солнце" можно решить только двумя путями:  или сдохнуть, или отменить приказ. Правда "третий вариант" я уже Вам сказал в предыдущем посту. Мы пока "по велению сборища идиотов" подыхать не торопимся, сами пусть летят, посмотрим еще чем всё это безумство идей закончится. При такой активности "дебилов", глядишь, через 3-4 года и страны такой, как Россия - не будет.

Share this post


Link to post
Share on other sites
11 минут назад, snik_1900 сказал:

"Страусиная технология" до добра не доведет. Проблемы надо решать, а не складировать. 

У HP есть вполне "нормальные" (в этом мире всё относительно) сетевые хранилища с оптическим линком 10Гб с ценой не от новой "летающей тарелки".

Лучше задонатить эти деньги альтернативным политикам, которые такой хернёй страдать не будут.

Share this post


Link to post
Share on other sites
1 минуту назад, Ivan_83 сказал:

Лучше задонатить эти деньги альтернативным политикам, которые такой хернёй страдать не будут.

Провайдеры в РФ не доросли до лоббирования.

А так в условиях капитализма это было бы оптимальным решением.

Share this post


Link to post
Share on other sites
6 минут назад, alibek сказал:

Не знаю, как в других местах, а в нашем регионе РКН и правоохранители были совсем не против подискутировать с представителями отрасли, приглашали на рабочие обсуждения всех желающих.

Лично я считаю что дискутировать "о полетах на Солнце" - это пустая трата времени. Ну хотят они отрасль, под тем или иным предлогом, положить под 2-3 монополиста, пусть кладут - опять же посмотрим, чем это кончится.

 

Объясните, по вашему к чему приведет уменьшение глубины архива? Зачем писать трафик глубиной 3 дня или неделю? На моей памяти обращений по СОРМ с глубиной меньше 1,5 - 2 месяца было 3-5% остальное как правило гораздо глубже, отсюда и минималка 6 месяцев и хотелка год, силовики то не дураки, но только и это уже для операторов не реально.

 

Так что, начинать надо не с вопроса КАК, а с вопроса ЗАЧЕМ и что с этим потом делать? Может достаточно просто коннекшн лог сделать по какому-то единому централизованному стандарту? Причем очевидно, что реализовывать это не на магистралях.

 

Share this post


Link to post
Share on other sites
1 минуту назад, Ivan_83 сказал:

Лучше задонатить эти деньги альтернативным политикам, которые такой хернёй страдать не будут.

Анекдот про червей:

"Это наша родина, сынок."

 

Других политиков у нас нет. И провайдеры не занимаются назначением власти.

Надо работать с тем что есть. И подстраиваться под существующие законы. Под каждого из нас персонально законы переписывать никто не будет.

 

В других странах не лучше. В Германии тотальный мониторинг сетевой активности. И ничего живут.

 

15 минут назад, alibek сказал:

Сейчас государство вполне устраивает текущая ситуация. Никто здравомыслящий не будет требовать абсолютного исполнения законов, вполне достаточно определенного уровня, чтобы держать ситуацию под контролем.

И с законом Яровой будет та же история. Необходимо подготовиться.

Вот кто из присутствующих обсуждал с РКН, ФСБ, и т. д. ? Кто запрашивал рекомендации? 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now