[Ecomp]

Как украсть триллион. Коррупционная составляющая в «пакете Яровой»

Глава Минпромторга: "пакет Яровой" послужит драйвером развития IT-индустрии в России

"Это возможность для нашей радиоэлектронной промышленности, IT-индустрии получить импульс в развитии, поскольку у нас за последние несколько лет наработаны компетенции не только в технологиях, но и в самой продукции, а также концепции защищенного хранения информации", - отметил он.

Кроме того, Мантуров выразил уверенность, что данная задача будет реализована "достаточно быстро и эффективно".

 

Осталось дождаться 1.11.16 и увидеть план правительства по разделу бюджета строительству заводов.

Что им там такое в столовую завезли?

[Sergey Gilfanov]

Что им там такое в столовую завезли?

А может, в том, что они там у себя в кабинетах читают - приблизительно 99% приписок? Помнится, был такой эффект в СССР. Снова проявляться начал, поди.

[abab]

Что им там такое в столовую завезли?

 

 

Да ничего им не завезли. Они просто считать не умеют. Когда наконец поймут, что цифры на сотню порядков не сходятся, почесав репу тупо дадут задний ход. Если бы были поумней можно было бы чёто распилить, а так придется идти лесом не солоно хлебавши.

Нефига всяких Ашмановых слушать, которые провайдерский трафик даже представить не могут. И копии интернета чуть ли не в кармане на флешке носят.

Просто считать надо, байты брать и складывать. Одно дело офисная L7 подглядывалка и совсем другое дело операторский трафик, они думают что если с офисным справились они сейчас на всю страну эту хренатень поставят. Как тут Лаврова не вспомнить.... Д... Б...

 

Про копии интернета и Ашманова это вот от сюда.

http://tsargrad.tv/opinion/2016/05/25/kak-ustroeny-poiskoviki-radio-kuzichev

 

смотреть с 3:30 примерно.

"Гугл держит у себя пять шесть копий мирового интернета. Ну и Яндекс столько же"

И им верят, но это же даже не часть правды, это её мелкий огрызок. Они то не держат торренты и триллионы терабайт порнухи которые летают по каналам.

 

Вот примерно такие люди с программерскими компетенциямия и подходом, близко не нюхавшие провайдерского пороха там и "советуют".

И люди ему пока еще верят. Тот же Стариков поверил что это "не дорого". Ну такая вера то до первого прокола.

Изменено 13 июля, 2016 пользователем abab

[fhunter]

Кошмар от тодина. ;) (вброс в стиле современных СМИ)

Телеком обеспечит спрос на процессоры Эльбрус, в составе ли новых "чёрных ящиков" для СОРМ, или в составе СХД, построенных на нём или ещё как. Для чего напишут "национально-патриотический" софт.

http://servernews.ru/936089 http://servernews.ru/932698?k861315

Прелесть какая. А диски для них кто делать будет? И память?

[thodin]

Samsung диски больше не делает - Seagate продал весь бизнес на эту тему.

[zi_rus]

А диски для них кто делать будет?

Диски не надо, SSD

[thodin]

http://yunpan.360.cn/

 

Эти китайцы дают в облаке 36 Тб бесплатно. Идея ясна? :)

[20Ilya]

http://yunpan.360.cn/

 

Эти китайцы дают в облаке 36 Тб бесплатно. Идея ясна? :)

Эти китайцы давали 36ТБ, но за пределами Китая, в связи с Великим Киатйским Файером, скорость залива всегда хромала... В Китае для китайцев же всё ок было... Отключился от них год назад... Что сейчас не скажу...

Причина 36 ТБ - отлично построенная дедупликация... CRC считается перед отправкой файла и потом, если такая же пара размер файла+CRC уже есть, то в акке в облаке мгновенно появляется файл...

 

ЗЫ. на многих файлообменниках такая же дедупликация искаропки, но только файл всё равно придётся сначала залить на сервак ФО...

[stas_k]

"Гугл держит у себя пять шесть копий мирового интернета. Ну и Яндекс столько же"

И им верят, но это же даже не часть правды, это её мелкий огрызок. Они то не держат торренты и триллионы терабайт порнухи которые летают по каналам.

Всё очень просто, чего нет в гугле/яндексе, того нет нигде.

 

Американе не зря свои блокировки сайтов делают исключая сайт из выдачи популярных поисковиков. 99% аудитории никогда не увидят сайта с запрещенным контентом. А тот один процент который найдет такой сайт, нашел бы его в любом случае.

[abab]

Все таки смутили меня миллиарды в предидущих расчетах.

Решил еще раз с калькулятором пересчитать стоимость хранения информации за полгода на абонента.

Коллеги подправьте пожалуйста если где ошибся. Может у кого есть более точные цифры по стоимости систем хранения или другие оценки по количеству трафика на абонента.

 

Допустим что канал Интернет некого сфероконического провайдера в среднем загружен трафиком на 1 Гигабит в секунду, это в зависимости от типа клиентов и еще кучи параметров примерно от 3 до 10 тысяч абонентов при сегодняшнем потреблении трафика, ( причем скорее ближе к 3 чем к 10) ну возьмем 5 тысяч.

 

Считаем нагрузку.

 

1 Гб/сек = 125 мегабайт в секунду

125 мегабайт в секунду = 0.45 Терабайт в час ( 125* 3600= 450000 )

0.45 Терабайт в час = 10.8 Терабайт в сутки (0.45*24=10.8)

Полгода это примерно 182 дня итого 1965.6 Терабайта надо где то хранить. Грубо 2 Петабайта хранилища на 1 Гиг аплинка.

 

стоимость подобной системы хранения будет порядка от 0.5-1 миллиона долларов США, да подправят меня коллеги которые более в теме. Ну пусть будет 500 000 долларов итого стоимость хранения данных одного абонента получается 100 баксов.

 

Как то слишком оптимистично получилось аж самому не верится, видимо что то не так, но не вижу где.

 

 

ЗЫ

http://www.osp.ru/news/2016/0630/13033211

"По данным исследования IDC EMEA Quarterly Enterprise Storage Systems Tracker, в первом квартале 2016 года на российский рынок были поставлены внешние системы хранения данных общим объемом более 141,2 петабайт; их совокупная стоимость превысила 90,02 млн долл"

 

Получается средняя цена 638 000 за петабайт и учитывая "распильный" и "брендовые" коэффициенты 0.5-1 лям за 2 Петабайта правдоподобная цифра. Ну или 300 баксов на абонента по плохому. Ну в любом случае оно сильно ужмется за счет дубликатов.

 

Понятно что в этом как то еще надо поиск организовавать, (просто капец задача) размещать охлаждать и тому подобное.

Изменено 14 июля, 2016 пользователем abab

[A_Max]

А ещё чтобы эта СХД такой поток могла стабильно постоянно в себя вливать.

[straus]

Допустим что канал Интернет этого провайдера в среднем загружен трафиком на 1 Гигабит в секунду, это в зависимости от типа клиентов и еще кучи параметров примерно от 3 до 10 тысяч абонентов при сегодняшнем потреблении трафика, ( причем скорее ближе к 3 чем к 10) ну возьмем 5 тысяч.

Чё-то слабо у вас загружают. Тут несколько тысяч юзеров могут иногда 10 гигабит в полку вывалить. В UA-IX подключения есть и по 40Gb/s. А ещё есть внешние каналы.

 

И есть интересный момент. Если общая ёмкость хранилища определяется средней загрузкой, то скорость записи определяется пиковой загрузкой. И если диски не SSD, то с учётом времени позиционирования головок всё получается несколько напряжно.

[SergeiK]

Все таки смутили меня миллиарды в предидущих расчетах.

...

Как то слишком оптимистично получилось аж самому не верится, видимо что то не так, но не вижу где.

Тимур в соседней теме считал. Тоже счел, что не все так плохо.

Я там добавил соображение, которые несколько портят картинку.

 

...

Понятно что в этом как то еще надо поиск организовавать, (просто капец задача) размещать охлаждать и тому подобное.

Вот Поиск, по моему - это вообще не проблема.

Файловая система, иерархия по датам (месяц, день, час), там дополнительный разбор, или по пользователям, или по IP адресам. При необходимости - дополнительная иерархия по блокам IP или по именам.

[rm_]

Файловая система, иерархия по датам (месяц, день, час), там дополнительный разбор, или по пользователям, или по IP адресам. При необходимости - дополнительная иерархия по блокам IP или по именам.

Лолчто, "по пользователям или адресам" прям на этапе записи? Как только вы попытаетесь сделать что-либо отличное от линейной записи всего потока трафика сплошняком, у вас СХД ляжет в ноль из-за постоянных seek'ов винчестерами головок туда-сюда. Одно дело писать 125 (250 - 500 - 1000) МБ/сек линейно, и совсем-совсем другое - раскидывая на лету "по пользователям". Или вы уже пишете на SSD? Ну тогда и цены раз в сто умножаем.

 

И кстати да, отсюда вытекает факт что если "вот этот ящик с винчестерами" сейчас пишет трафик, про возможность одновременно искать по нему же - можно сразу забыть.

Изменено 14 июля, 2016 пользователем rm_

[snvoronkov]

Файловая система, иерархия по датам (месяц, день, час), там дополнительный разбор, или по пользователям, или по IP адресам. При необходимости - дополнительная иерархия по блокам IP или по именам.

Лолчто, "по пользователям или адресам" прям на этапе записи? Как только вы попытаетесь сделать что-либо отличное от линейной записи всего потока трафика сплошняком, у вас СХД ляжет в ноль из-за постоянных seek'ов винчестерами головок туда-сюда. Одно дело писать 125 (250 - 500 - 1000) МБ/сек линейно, и совсем-совсем другое - раскидывая на лету "по пользователям". Или вы уже пишете на SSD? Ну тогда и цены раз в сто умножаем.

 

И кстати да, отсюда вытекает факт что если "вот этот ящик с винчестерами" сейчас пишет трафик, про возможность одновременно искать по нему же - можно сразу забыть.

Да легко! Даешь на каждого пользователя - по RAID10! (Ну, и FC коммутаторами собиралку облепить)

[SergeiK]

Файловая система, иерархия по датам (месяц, день, час), там дополнительный разбор, или по пользователям, или по IP адресам. При необходимости - дополнительная иерархия по блокам IP или по именам.

Лолчто, "по пользователям или адресам" прям на этапе записи? Как только вы попытаетесь сделать что-либо отличное от линейной записи всего потока трафика сплошняком, у вас СХД ляжет в ноль из-за постоянных seek'ов винчестерами головок туда-сюда. Одно дело писать 125 (250 - 500 - 1000) МБ/сек линейно, и совсем-совсем другое - раскидывая на лету "по пользователям". Или вы уже пишете на SSD? Ну тогда и цены раз в сто умножаем.

 

И кстати да, отсюда вытекает факт что если "вот этот ящик с винчестерами" сейчас пишет трафик, про возможность одновременно искать по нему же - можно сразу забыть.

Это сильно зависит от организации вашей хранилки. Не надо мыслить категорией одного диска.

У Тимура, я оценил что нужно 2-3 тысячи дисков. Вы вполне можете писать на разные полки и разные диски разные потоки данных.

 

Я не утверждаю, что задача сортировки и поиска информации будет совсем легкая, поработать придется, но эта задача НЕ сложнее задачи организации хранилки такого масштаба, особенно если, вдруг, потребуется хоть какая-то надежность.

[mike76]

Все таки смутили меня миллиарды в предидущих расчетах.

Решил еще раз с калькулятором пересчитать стоимость хранения информации за полгода на абонента.

Коллеги подправьте пожалуйста если где ошибся. Может у кого есть более точные цифры по стоимости систем хранения или другие оценки по количеству трафика на абонента.

 

Допустим что канал Интернет некого сфероконического провайдера в среднем загружен трафиком на 1 Гигабит в секунду, это в зависимости от типа клиентов и еще кучи параметров примерно от 3 до 10 тысяч абонентов при сегодняшнем потреблении трафика, ( причем скорее ближе к 3 чем к 10) ну возьмем 5 тысяч.

 

 

Я может что пропустил, но в законе вроде надо хранить трафик абонента, а не провайдера? А то вы так и трафик на IX выдернете, и между городами своими не будете считать, да вообще оставите один VPN с full view в Новую Зеландию, а остальное считать не будете... Я не оператор, мой трафик абонента (я беру 50 Мбит/с) в месяц по логам основного аплинка - от 3 до 6 Террабайт (торренты режутся, прокси, etc, у физика будет побольше). Возьмём 4 Тб * 6 = 24 Тб/клиент.

Сколько вы хотите клиентов там писать? Ладно, порты предполагаем виртуально можно будет зеркалировать... На ваши 2 Петабайта - 100 клиентов максимум.

[ayf]

Все таки смутили меня миллиарды в предидущих расчетах.

Решил еще раз с калькулятором пересчитать стоимость хранения информации за полгода на абонента.

Коллеги подправьте пожалуйста если где ошибся. Может у кого есть более точные цифры по стоимости систем хранения или другие оценки по количеству трафика на абонента.

 

Допустим что канал Интернет некого сфероконического провайдера в среднем загружен трафиком на 1 Гигабит в секунду, это в зависимости от типа клиентов и еще кучи параметров примерно от 3 до 10 тысяч абонентов при сегодняшнем потреблении трафика, ( причем скорее ближе к 3 чем к 10) ну возьмем 5 тысяч.

 

 

Я может что пропустил, но в законе вроде надо хранить трафик абонента, а не провайдера? А то вы так и трафик на IX выдернете, и между городами своими не будете считать, да вообще оставите один VPN с full view в Новую Зеландию, а остальное считать не будете... Я не оператор, мой трафик абонента (я беру 50 Мбит/с) в месяц по логам основного аплинка - от 3 до 6 Террабайт (торренты режутся, прокси, etc, у физика будет побольше). Возьмём 4 Тб * 6 = 24 Тб/клиент.

Сколько вы хотите клиентов там писать? Ладно, порты предполагаем виртуально можно будет зеркалировать... На ваши 2 Петабайта - 100 клиентов максимум.

 

Согласен. У меня где-то также получалось, что 2 петабайта на сотню небольших юриков.

[Sergey Gilfanov]

стоимость подобной системы хранения будет порядка от 0.5-1 миллиона долларов США, да подправят меня коллеги которые более в теме.

Я думаю, ошибка тут. Стоимость на данный объем - может быть. Но хранилище за эту стоимость не сможет с нужной скоростью писать.

 

Ну в любом случае оно сильно ужмется за счет дубликатов.

Не ужмется. Смотри долю шифрованного трафика.

[stas_k]

И кстати да, отсюда вытекает факт что если "вот этот ящик с винчестерами" сейчас пишет трафик, про возможность одновременно искать по нему же - можно сразу забыть.

Не стоит забывать о Multi Head / Dual Actuator Head HDD

 

В те времена, когда десктопные HDD были уже IDE но еще 5.25" несколько производителей, предлагали SCSI накопители, в которых было 2 (и даже 4) независимых магнитных головы на сторону блина. Одна пишет, другая читает. Или обе все читают\пишут.

 

[ttttt]

Допустим что канал Интернет некого сфероконического провайдера в среднем загружен трафиком на 1 Гигабит в секунду, это в зависимости от типа клиентов и еще кучи параметров примерно от 3 до 10 тысяч абонентов при сегодняшнем потреблении трафика, ( причем скорее ближе к 3 чем к 10) ну возьмем 5 тысяч.

В 5 раз ошиблись, про фулл дуплекс забыли, тренды не учли (все-таки не на сейчас, а на через пару-тройку лет).

[rm_]

Не стоит забывать о Multi Head / Dual Actuator Head HDD

Как раз таки уже давно пора забыть, направление не взлетело и давно загнулось.

 

В те времена, когда десктопные HDD были уже IDE но еще 5.25" несколько производителей, предлагали SCSI накопители, в которых было 2 (и даже 4) независимых магнитных головы на сторону блина. Одна пишет, другая читает. Или обе все читают\пишут.

Разве что вы их производство на Саратовском холодильном заводе собрались открывать.

Изменено 14 июля, 2016 пользователем rm_

[ttttt]

в которых было 2 (и даже 4) независимых магнитных головы на сторону блина

SSD ж не было, извращались, как могли :)

 

 

На самом деле индексирование сегодня не требует диких постоянных сиков по диску, это речь скорее о лэгаси системах со времен B-деревьев и прочих допотопных алгоритмов. Все современное - это уже LSM-деревья и подобное.

[mike76]

Вообще, есть некоторое ощущение, что наработки то уже есть :-)

 

Кто-то сидел себе ленточные хранилища старые ковырял, прикинул - можно сделать более-менее быструю запись новыми технологиями, типа для бэкапа.

Вот восстановление из бэкапа непотребное будет по скорости - кто готов с ленты разворачивать свои виртуалки в течении недели?

 

А вот мы и придумаем, кому продать новые технологии бэкапа А то всё на СХД, диски-скорость, дедупликация.

 

ЗЫ Кто не видит смайлов: высказанное - домыслы, не имеющие никакого отношения к реальности.

[abab]

Я может что пропустил, но в законе вроде надо хранить трафик абонента, а не провайдера? А то вы так и трафик на IX выдернете, и между городами своими не будете считать, да вообще оставите один VPN с full view в Новую Зеландию, а остальное считать не будете...

Если локалками сильно не увлекаться, то трафик между абонентами пренебрежимо мал.