[Ivan_83]

Придется держать это все онлайн. Все N петабайт + как-то оперативно искать нужные данные в этом объеме.

В standby. После забивания диска его можно гасить и пусть ждёт запрсов, скорее всего он так и будет стоять без дела до следующей записи через год или сколько там хранить.

 

Вот придет запрос вида кто там передавал сообщение о подготовке теракта (текст неизвестен, кто - неизвестно) - и ищи...

Тут всё просто: пишем скрипт который через Х+ранд возвращает ответ: "Фсё в порядке, ничо не найдено".

 

 

Что делать с данными клиентов, которые сами сильно государственно-специальные и нервно реагируют на попытки к ним в трафик заглянуть.

Посылать по дальше.

Кому надо купили себе шифраторы или заказали впн/волокно, а раз гонят через инет значит согласные на форсмажоры.

 

Ну, флоппинет сейчас изврат. А вот со смарта на смарт - самое то. Шпионский сценарий: приходим в условленное место, встаем у нужного булыжника и смарт свежую порцию почты передает/забирает.

Так есть же вмурованные флешки для всех желающих.

 

 

Можно кэш сделать, раз на хранилище потратились :-)

Не выйдет.

Те технически это очень сложно.

Гораздо проще получить экономию введя сжатие и дедуплекацию при записи.

[rm_]

получить экономию введя сжатие и дедуплекацию при записи.

Да, особенно шифрованный трафик (которого больше половины) хорошо сжимается и дедуплицируется.

[Sergey Gilfanov]

(которого больше половины) хорошо сжимается и дедуплицируется.

Вторая ссылка после раскручивания цитирования. Данные Гугла. Те, которые Хром им сообщает. Причем в "процент страниц"(запросов?), а не по объему трафика.

[rm_]

в "процент страниц"(запросов?), а не по объему трафика.

Вы не верите что уже где-то в районе половины, если не больше? (один "запрос страницы" это точно так же и часовое видео)

Самый тяжёлый трафик: Ютуб, Нетфликс, даже нишевые сервисы вроде Vimeo, Twitch или Rutube -- все на HTTPS.

Вконтакт весь, опять же.

Торренты.

Изменено 11 января, 2017 пользователем rm_

[Sergey Gilfanov]

Я как раз думаю, что половина по страницам транслируется в значительно больше половины по объёму.

[Галушко Дмитрий]

Ну во первых проекты есть не у всех, у кого-то возможно просто ТМ, на кол таких?)

Если есть лицензия - значит должны оказывать услуги - значит должен быть сдан хотя бы один узел. С перечнем оборудования. А уж по оборудованию ясно какая производительность этого узла. Например, стоит коммутатор 24 порта 1G - значит со скоростями все ясно - 24G (они явно привыкли считать по максимуму возможного) :)

Сейчас считают 1Г.

 

Вы провидец? Господь БОГ?

Я еще помню, что произошло с законами про черный список. Который, кстати, тоже по началу не мешался и казался безвредным, а сейчас Касперский и браузер постоянно вопит, что мой провайдер MitM пытается делать. И я как-то не очень понимаю, например, как своему отцу объяснить происходящее и как сделать так, чтобы он тупо 'разрешить исключение' не привык нажимать. А то ведь когда-нибудь он так же исключение на странице онлайн-банка разрешит, предоставив доступ какому-нибудь вклинившемуся в соединение зловреду.

Не надо путать солёное с острым.

Черн списки дорогу никому не переходили, кроме правдорубцев, а Яровая 374-фз уже встала поперек горла многим.

Простые пользователи многие понимают маразм.

Имхо на крайняк примут Требования к сорм-3 и успокоятся.

[Macil]

Вы не верите что уже где-то в районе половины, если не больше?

Дык, всё много проще! Не нужно перечислять сервисы: достаточно просто сказать «HTTP/2».

 

И хотя в спецификации TLS как MUST не объявлен, все современные браузеры работают только через TLS. Утверждают, что на этапе тестирования столкнулись с адскими middle-box'ами, которые резали всё что не HTTP/1.1

 

Но TLS'изация только всё усугубляет. Когда шифрован весь критичный трафик, нельзя задавить эту дурацкую затею аргументом о защите неприкосновенности частной жизни.

 

Ясен пень, будут списки AS, трафик для которых хранению подлежать не будет. Зачем всякое говно хранить? Но зашифрованный трафик храниться будет, и увы, очень резво расшифровываться. А дальше будет и ещё хужее.

[Ivan_83]

Но зашифрованный трафик храниться будет, и увы, очень резво расшифровываться.

Это всё влажные мечты внутренних органов.

Есть варианты когда TSL работает с одноразовым/сеансовым ключём, там даже если сервер забрать ничего не расшифруешь.

АНБ по умному искала дыры в алгоритмах и слабости реализаций и ошибки конфигурации. Кой чего пытались внедрять.

И таки находила, но всё равно это требовало много выч ресурсов.

 

Гугел и твитор на шару не дадут свой трафик копать.

Они как минимум хотя чтобы к ним приходили с запросами. И мозгов с ресурсами у них полно, в отличии от.

 

И вообще, об использовании сорм я слышал в контексте всего пары дел, и те были весьма громкими.

Тут же я сильно сомневаюсь что как то будет использоваться, потому что это детсяки-сотни мегабайт сырых данных как минимум (если повезло и абонент мало инетом пользовался), нужно потратить кучу человеко часов весьма квалифицированного персонала чтобы эти потоки говн отсортировать, разгрести и найти там что то полезное.

 

Проводя простую аналогию: теперь каждому идиоту доступна настоящая сильная крипта, можно сказать как пробирка с боевой сибирской язвой. И каждый хомяк может этим воспользоваться. В любой момент. Чтобы провернуть всё обратно - тут как повезёт, если будут хорошие спецы, лекарства и ПРОФИЛАКТИКА (заранее протроянят/ослабят) может и спасут, но скорее всего инфа пропадёт с концами.

[fhunter]

Проводя простую аналогию: теперь каждому идиоту доступна настоящая сильная крипта, можно сказать как пробирка с боевой сибирской язвой. И каждый хомяк может этим воспользоваться. В любой момент. Чтобы провернуть всё обратно - тут как повезёт, если будут хорошие спецы, лекарства и ПРОФИЛАКТИКА (заранее протроянят/ослабят) может и спасут, но скорее всего инфа пропадёт с концами.

Самое страшное - это то, что это не "профилактика" - вспоминаем Clipper, вспоминаем Mifare, и прочие, случайно или специально ослабленные реализации. Ключи/лазейки будут находить не только те, кому якобы можно, но и все остальные со временем. В современном мире - очень быстро. А дальше - в меру вашего воображения.

Изменено 12 января, 2017 пользователем fhunter

[Ivan_83]

Быстро!?

Наивный.

Сколько в опенссл жила та бага с чтением памяти?

Сколько жил FIPS RND DUAL EC?

Сколько жили в пакетах прегенерированные параметры/модули для хттп серверов?

[Macil]

там даже если сервер забрать ничего не расшифруешь

А зачем вообще сервер *забирать*?

 

Щас вон как у нас, в TLS 1.2? У нас щас сервер посылает нам зашифрованный криптографический контекст. Типа, чувак, подержи у себя, негде мне. А ключи сколько раз ротируются? И между узлами мигрируют. Но это уже прошлое. И доживает последние дни.

 

В TLS не нужно ничего ломать. Достаточно сделать так, чтобы либо: а) одна из сторон генерила ключи по какому-либо закону; б) одна из сторон использовала ServerHello.random / ClientHello.random в качестве канала утечки. Если всё сделано правильно, то ничего извне обнаружить невозможно.

 

Организовать это можно разными способами. И упирается всё только в отсутствие необходимого массива сырых данных.

 

Зачем всё это — вопрос тридцатый. Но факт, вся эта TLS-истерия умело используется для нужд интернет-компаний. Их-то профит понятен: защита *их* трафика. Уже давно шифрование используется как средство чтобы приструнить распоясавшиеся миддл-боксы. Кстати, защита трафика и выдача ключей спецслужбам друг-другу не противоречат.

 

Для спецслужб профит, я думаю, в следующем:

Во-первых, можно невозбранно собирать трафик. Поскольку всё шифровано, то аргументы о вмешательстве в частную жизнь идут лесом. Поскольку всё шифровано, сбор можно поручать любым неграм по объявлению, не боясь любых репутационных последствий.

 

Во-вторых, метаданные (кто кому куда) никуда не делись. Более того, в случае TLS 1.2 в открытом виде передаётся много всякой вкусноты типа сертификатов в т.ч. и клиентских. В TLS 1.3. остались только SNI и ALPN, но и это не мало.

 

В-третьих, тотальное шифрование — лишний повод для расширения полномочий и закручивания гаек. Полицейские меры были и есть наиболее эффективным способом решения различного спектра задач.

 

В-четвертых, тотальное шифрование — оправдание чрезмерного применения силы, нарушения закона и сомнительных с точки зрения этики мер. Незаконные задержания, пытки, целевые атаки на инфраструктуру с использованием в т.ч. покупных уязвимостей. Теперь есть железобетонный аргумент.

 

В-пятых, возможность заболтать любую проблему. Стоит только поднять тему контроля над криптографией.

 

В-шестых, я думаю у спецслужб и интернет-компаний есть договорённость: вы нам не запрещаете заниматься защитой своего трафика от обнаглевших миддл-боксов, а мы вам за это организуем «интернет по паспорту». В рамках TLS 1.3 проверка клиентского сертификата не является неотъемлемой частью хэндшейка. Последнее препятствие пало.

[fhunter]

Быстро!?

Наивный.

Сколько в опенссл жила та бага с чтением памяти?

Сколько жил FIPS RND DUAL EC?

Сколько жили в пакетах прегенерированные параметры/модули для хттп серверов?

С чтением памяти - публично нашли через 2 года. Примерно как и debian-овская бага с кривой генерацией ключей. Кто нашёл и использовал до этого - неизвестно.

FIPS RND - как стандарт пробито в 2006. Критиковалось изначально. Шнайер писал статью с критикой в 2007-м.

Прегенерированные параметры/модули - что именно имеется в виду? Сертификаты имени snake-oil-кого-то там? Или фиксированные параметры обмена diffie-hellman? Про это не в курсе.

[Ivan_83]

В TLS не нужно ничего ломать. Достаточно сделать так, чтобы либо: а) одна из сторон генерила ключи по какому-либо закону; б) одна из сторон использовала ServerHello.random / ClientHello.random в качестве канала утечки. Если всё сделано правильно, то ничего извне обнаружить невозможно.

Учитывая в какой стране мы живём и в какой это всё пишут думаешь кто то тут сможет воспользоваться?

 

Во-первых, можно невозбранно собирать трафик. Поскольку всё шифровано, то аргументы о вмешательстве в частную жизнь идут лесом. Поскольку всё шифровано, сбор можно поручать любым неграм по объявлению, не боясь любых репутационных последствий.

Нельзя, ибо твой же п2.

 

Во-вторых, метаданные (кто кому куда) никуда не делись. Более того, в случае TLS 1.2 в открытом виде передаётся много всякой вкусноты типа сертификатов в т.ч. и клиентских. В TLS 1.3. остались только SNI и ALPN, но и это не мало.

Ну передаётся, оно не для этого задумано - не является средство анонимизации.

 

В-третьих, тотальное шифрование — лишний повод для расширения полномочий и закручивания гаек. Полицейские меры были и есть наиболее эффективным способом решения различного спектра задач.

Нет. Только теругроза, ибо граждане шифрования не боятся, они вообще слабо понимают что это такое но знают что оно в целом для их же блага.

 

В-четвертых, тотальное шифрование — оправдание чрезмерного применения силы, нарушения закона и сомнительных с точки зрения этики мер. Незаконные задержания, пытки, целевые атаки на инфраструктуру с использованием в т.ч. покупных уязвимостей. Теперь есть железобетонный аргумент.

Ты опять путаешь криптопанк и террористов.

 

В-пятых, возможность заболтать любую проблему. Стоит только поднять тему контроля над криптографией.

У нас щас забалтывают мизулиной, она и слов то таких не знает.

 

В-шестых, я думаю у спецслужб и интернет-компаний есть договорённость: вы нам не запрещаете заниматься защитой своего трафика от обнаглевших миддл-боксов, а мы вам за это организуем «интернет по паспорту». В рамках TLS 1.3 проверка клиентского сертификата не является неотъемлемой частью хэндшейка. Последнее препятствие пало.

Думаю там всё сильно сложнее. Но с местными силовиками все сотрудничают, чтобы он при этом не говорили.

 

 

FIPS RND - как стандарт пробито в 2006. Критиковалось изначально. Шнайер писал статью с критикой в 2007-м.

Так его никто не слушал, волна поднялась значительно позже.

 

Прегенерированные параметры/модули - что именно имеется в виду? Сертификаты имени snake-oil-кого-то там? Или фиксированные параметры обмена diffie-hellman? Про это не в курсе.

С апачем и нгинхом шли прегенерированные модули вроде 1024 бита для RSA диффи-хэлмена, вроде так.

https://geektimes.ru/post/264040/

https://dxdt.ru/2015/08/11/7593/