Jump to content
Калькуляторы

Хранение информации теоретически

Вот прикинул объемы хранения абстрагируясь от того что нужно а что не нужно хранить:

Если сохранять поток трафика идущий со средней скоростью 1Гбит то за месяц нужно сложить 324Тб или почти 1944Тб за пол года.

С этой задачей справится любое серверное железо. Нужно два контроллера на 256 дисков каждый типа такого Adaptec ASR-5405Z по 25тр каждый, 486 хардов по 4Тб например Seagate ST4000DM004 это 3млн по розничной цене.

Нужен только переключатель питания с блоков питания хардов чтоб по мере заполнения они отключались.

В принципе, наверное даже контроллеры по проще можно использовать, поскольку одновременно столько хардов включенными держать не нужно, включать только при необходимости считать или удалить устаревшее и записать туда свежее.

Харды влезают 80штук в 5 унитов или 640 штук в одну стойку, т.е. вся композиция уместится в одну стойку, что вполне приемлемо и не будет потреблять много энергии, ведь включенным будет один обычный сервер и несколько хардов.

Может для считывания информации можно держать отдельный сервер, но тут сложнее с переключением хардов.

Если брать харды по 8Тб то это 243 харда - 3,6млн

Если по 3Тб то 162 харда - 4,2млн

Харды считал не дорогие по сути они пишутся раз в 6 месяцев, а потом стоят отключенными, использовать можно вечно.

Share this post


Link to post
Share on other sites

там в хотелках было время доступа к информации по запросу... Выдайте трафик от Васи к мейл ру за 23 декабря с 11.00 до 17.00. И, кажется все это было минуя ваших людей, т.е. через АПИ...

Share this post


Link to post
Share on other sites

С тем же успехом можно посчитать, сколько ангелов уместится на кончике иглы. Пока нет ППА, бессмысленно оценивать. Вот выйдет приказ: "На 1 Гбит/с полосы нужно X Гбайт", покупать у контор X, Y, Z.

Share this post


Link to post
Share on other sites

Для провайдера с 1 Гбит/c 3 млн это очень большая сумма затрат.  1 абонент потребляет в среднем 1 мегабит. 1000 абонентов по, допустим, 300р = 300000р выручки в месяц. Минус расходы, зарплаты, налоги = 50т, на "инвестиции". 

3000/50 = 5 лет надо строить такую систему.  А требовать будут - за полгода. Кредит получать 3000т - это 40т рублей в месяц только на проценты. 

Добавим к этому, что РКН оценивает не среднюю, а максимальную скорость. Т.е. придется 6 млн на диски тратить.
Добавим к этому - не просто максимальную фактическую, а максимальную смонтированную емкость. Т.е. как бы затраты еще в 10 раз не выросли...

А у провайдеров с каналами сотни гигабит еще дополнительные сложности - тут уже простые серверы не подходят. Нужно все сильно специализированное и жутко дорогое. Там ценник растет по экспоненте. А фактические реализации подобных хранилищ - единицы если вообще есть...

 

5 часов назад, MATPOC сказал:

Пока нет ППА, бессмысленно оценивать.

Совершенно согласен.

Share this post


Link to post
Share on other sites
6 часов назад, sergsa сказал:

486 хардов по 4Тб например Seagate ST4000DM004 это 3млн по розничной цене.

Нужен только переключатель питания с блоков питания хардов чтоб по мере заполнения они отключались.

Количество хардов надо умножить на 2 - никто не позволит такие данные хранить без отказоустойчивости.

А выключатель питания на 486 реле со схемами управления, плюс программа, которая будет подключать-отключать нужные харды - это тоже не 5 копеек.

И ещё неизвестно, как отнесётся контроллер к постоянному отваливанию хардов.

Да, а что там с файловой системой, ОС, базой и прочими мелочами?
 

Share this post


Link to post
Share on other sites
12 часов назад, Tosha сказал:

Для провайдера с 1 Гбит/c


 

12 часов назад, Tosha сказал:

1000 абонентов

А межабонентский трафик не пишем? Ладно.

Но у провайдера на 1000 абонов внешний канал плюс паритеты всего 1 Гбит/с? А что делать тем, у кого в точку обмена 40 Гбит/с? Или в РФ таких нет?
 


 

Share this post


Link to post
Share on other sites

У нас директора спокойны как удавы. "Никто не закроет предприятие, дающее связь и интернет". В пример приводят Эр-телеком - зачем-то он ведь скупает активы. Наверное, что-то знают. "Это ж-ж-ж - неспроста!" (с).

Share this post


Link to post
Share on other sites
9 часов назад, MATPOC сказал:

Пока нет ППА, бессмысленно оценивать.

поэтому тема в флудилке

4 часа назад, Tosha сказал:

Добавим к этому, что РКН оценивает не среднюю, а максимальную скорость. Т.е. придется 6 млн на диски тратить.
Добавим к этому - не просто максимальную фактическую, а максимальную смонтированную емкость. Т.е. как бы затраты еще в 10 раз не выросли...

Нет я говорю именно о хранении, 1гбит именно идет на хранилки, емкость вводная может быть какая угодно, просто средняя за 6месяцев = 1Гбит.

Да и я просчитал примитивный вариант с розничными ценами. А можно начать крахоборство = скупать бу и т.п. Харды включаются один раз в 6 месяцев можно любое гамно ставить.

Да и 1 абонент генерит 1мбит, а сколько из этого нужно сохранять...

3 часа назад, straus сказал:

Количество хардов надо умножить на 2 - никто не позволит такие данные хранить без отказоустойчивости

брр... какая отказоустойчивость эти данные вообще ни кому не нужны будут, отказоустойчивость не равна дублированию, тут отказоустойчивость обеспечивается низкой нагрузкой, даже если сдохнет контроллер харда данные не теряются

 

3 часа назад, straus сказал:

А что делать тем, у кого в точку обмена 40 Гбит/с

точки обмена вообще не при делах, хранить нужно абонентский трафик, присоединяться можно чем угодно вопрос только в том сколько из 40Гбит уйдет на хранение.

Для крупных операторов вообще не проблема, там кредиты доступны, они просто сразу по 12Гб харды могут юзать и уже стойки на 3Гбита хватать будет. Дальше можно масштабировать.

Т.е. оператору на 100К абонентов нужно 30 стоек всего - вообще не смертельно.

 

понятно что все может упереться в

9 часов назад, MATPOC сказал:

Вот выйдет приказ: "На 1 Гбит/с полосы нужно X Гбайт", покупать у контор X, Y, Z.

и могут какую угодно цену назначать

но тема не об этом

Share this post


Link to post
Share on other sites
5 часов назад, straus сказал:

А межабонентский трафик не пишем? Ладно.

Его почти уже и нет...  Запишется в общей куче...

 

2 часа назад, sergsa сказал:

Для крупных операторов вообще не проблема, там кредиты доступны

Не все так хорошо. Если бы это было так ПП год назад приняли бы и Ростелеком получил кредит.

Затраты от повышения объемов записи и хранения растут нелинейно не в пользу крупных. И кредит в размере, скажем, 10 лет выручки желающих давать мало. Представляете какой кредит надо взять Ростелекому? Я бы такой кредит не дал - он невозвратный. При текущем уровне абонплаты.

Вот примут ПП - будем все рисовать бизнес-план и подбирать уровень абонплаты при котором банки согласятся финансировать этот праздник. 

Share this post


Link to post
Share on other sites
2 часа назад, sergsa сказал:

Т.е. оператору на 100К абонентов нужно 30 стоек всего - вообще не смертельно.

+ куча дисков в архиве на полке...
это будет тяжелый удар. минимум 500 миллионов затрат и еще неизвестно под какие проценты. 

 

Share this post


Link to post
Share on other sites
13 часов назад, Tosha сказал:

1 абонент потребляет в среднем 1 мегабит

Мне даже курс статистики в непрофильном вузе позволяет усомниться в этом утверждении. Какого рода абонент (возраст,пол итп.)? В каком регионе? В каком городе? У какого провайдера? И так далее. Лучше смотрите на циферки в своей системе мониторинга/учета трафика,чтобы получить более менее реальные объемы (близкие к реальности). Вместо подсчета сферических абонентов в вакууме,"потребляющих в среднем 1 мегабит".

Edited by alexwin

Share this post


Link to post
Share on other sites
1 час назад, alexwin сказал:

Мне даже курс статистики в непрофильном вузе позволяет усомниться в этом утверждении. Какого рода абонент (возраст,пол итп.)? В каком регионе? В каком городе? У какого провайдера? И так далее. Лучше смотрите на циферки в своей системе мониторинга/учета трафика,чтобы получить более менее реальные объемы (близкие к реальности). Вместо подсчета сферических абонентов в вакууме,"потребляющих в среднем 1 мегабит".

 

я с физиками давно не работаю, но на мой взгляд 1Мбит это даже много - 316Гб в месяц почти 2Тб за пол года, да и торренты наверное прекратят качать, поскольку вся информация будет сохраняться, пару человек посадят или обложат непомерными штрафами и всЁ

Share this post


Link to post
Share on other sites
1 час назад, sergsa сказал:

я с физиками давно не работаю, но на мой взгляд 1Мбит это даже много - 316Гб в месяц почти 2Тб за пол года, да и торренты наверное прекратят качать, поскольку вся информация будет сохраняться, пару человек посадят или обложат непомерными штрафами и всЁ

Перестанут торренты качать,вы серъезно?)

Share this post


Link to post
Share on other sites
2 часа назад, sergsa сказал:

я с физиками давно не работаю, но на мой взгляд 1Мбит это даже много

Согласен. 1 Мбит это среднее значение максимума а не среднее вообще. И это конечно зависит и от регионов и от многого другого. Сайты сейчас жирные. Онлайн видео популярно.

Немного завысил. Но РКН судя по тенденции хочет завысить очень намного. Чуть ли не в параметрах смонтированной емкости портов. 

 

59 минут назад, alexwin сказал:

Перестанут торренты качать,вы серъезно?)

Кстати заметно меньше торрентов качают чем 8 лет назад. Очень много онлайн сервисов завелось. В т.ч. легально бесплатных. Плюс "рейтинги" на трекерах отменили.

Share this post


Link to post
Share on other sites
2 часа назад, Tosha сказал:

Чуть ли не в параметрах смонтированной емкости портов.

ну это не страшно, на бумаге можно писать одно, а в реале совсем другое.

оно и на самом деле так, есть узел по адресу и всем пофиг что оборудование на бумаге от реального отличается координально.

 

Share this post


Link to post
Share on other sites
5 часов назад, sergsa сказал:

ну это не страшно, на бумаге можно писать одно, а в реале совсем другое.

оно и на самом деле так, есть узел по адресу и всем пофиг что оборудование на бумаге от реального отличается координально.

 

Увы, двух портовых коммутаторов нет. Стоит у меня на сданном узле коммутатор на 48 гигабитных портов. И систему я должен рассчитывать не на 1 гигабит аплинка, а на 48 гигабит емкости. Вот и подсчитайте теперь, сколько надо хардов и стоек. А к ним еще надо питание и охлаждение.

Share this post


Link to post
Share on other sites
18 часов назад, Tosha сказал:

Кстати заметно меньше торрентов качают чем 8 лет назад. Очень много онлайн сервисов завелось. В т.ч. легально бесплатных. Плюс "рейтинги" на трекерах отменили.

Я имел ввиду пользователей,которые в основном качают,а не раздают.

 

18 часов назад, Tosha сказал:

Но РКН судя по тенденции хочет завысить очень намного

Давайте уже начистоту: весь этот закон и хранение данных (которые 95% https) - это бред сивой кобылы.

Share this post


Link to post
Share on other sites
14 часов назад, ayf сказал:

Стоит у меня на сданном узле коммутатор на 48 гигабитных портов. И систему я должен рассчитывать не на 1 гигабит аплинка, а на 48 гигабит емкости. Вот и подсчитайте теперь, сколько надо хардов и стоек. А к ним еще надо питание и охлаждение.

Да хоть 1Мбит аплинка можете делать. Ни кому вы не обязаны 48Гбит рассчитывать. Заключаете договор присоединения на 10Мбит с одним оператором, его показываете в узле, а дальше хоть по 100500Гбит подключайте - можно не показывать. 

У меня до сих пор 10Мбит показано, думал обновить документацию по узлу, уже все оборудование заменено, аплинки совсем другие. Правда старое оборудование рядом лежит чтоб если что изобразить что все живое.

Share this post


Link to post
Share on other sites
9 часов назад, alexwin сказал:

Давайте уже начистоту: весь этот закон и хранение данных (которые 95% https) - это бред сивой кобылы.

То что он заявленной цели не соответствует - давно уже почти все поняли.

Ведь у всех уже давно СОРМ, который реально работает онлайн и помогает ловить террористов. И у ФСБ никогда не появлялось каких-либо дополнительных вопросов чтобы можно было предположить что им сильно не достает какой-либо оперативной (в смысле очень свежей) информации.  И по своей потребности совершенствуют этот СОРМ. Уже 3 релиз на носу.

А если какой-то информации не достает - то тогда почему руководитель ФСБ не подошел к Медведеву или Путину и почему не Путин инициатор этого законопроекта?  Кто такая Яровая чтобы предполагать чего не хватает ФСБ для их работы?  Почему Путин был не  в курсе? Почему руководитель ФСБ, получается, отчитывается перед Яровой о своих нуждах? Раз Яровая этот вопрос двигает - она что-то знает про работу ФСБ того что не знал даже Путин. Ведь именно такая мысль приходит в голову от этого безобразия...

Операторы, положим, за борьбу с тероризмом. Но система должна быть одна. Либо СОРМ либо Яровая.

Share this post


Link to post
Share on other sites
8 часов назад, sergsa сказал:

Да хоть 1Мбит аплинка можете делать. Ни кому вы не обязаны 48Гбит рассчитывать. Заключаете договор присоединения на 10Мбит с одним оператором, его показываете в узле, а дальше хоть по 100500Гбит подключайте - можно не показывать. 

У меня до сих пор 10Мбит показано, думал обновить документацию по узлу, уже все оборудование заменено, аплинки совсем другие. Правда старое оборудование рядом лежит чтоб если что изобразить что все живое.

Еще раз. В тексте идет речь не о аплинке! 
Цитирую: с 1 января 2019 года в объеме 2 Пбайт на каждый Гбит/с емкости (пропускной способности) введенного в эксплуатацию узла связи.(с)
Вот и смотрите, сколько у вас пропускная способность коммутатора.

Беру, что у меня на узле стоит 2960-24TC-L. И о-па! Пропускная способность его - 6,5 Гигабит/с. И для Яровой это значит, что вы должны поставить хранилище на 13 Петабайт.

Share this post


Link to post
Share on other sites
8 часов назад, ayf сказал:

с 1 января 2019 года в объеме 2 Пбайт на каждый Гбит/с емкости (пропускной способности) введенного в эксплуатацию узла связи.(с)
Вот и смотрите, сколько у вас пропускная способность коммутатора.

Пропускная способность узла и коммутатора это разные вещи. У Вас присоединение может 1Мбит, а интерфейс 10Гбит. Скорость на портах может устанавливаться какой угодно не важно какую возможность дает интерфейс.

Пропускная способность узла ограничивается скорость аплинков!

 

10 часов назад, Tosha сказал:

Ведь у всех уже давно СОРМ, который реально работает онлайн и помогает ловить террористов

бугага, особенно помогают этому планы реализации, сомневаюсь что этим СОРМом хоть одного террориста поймали

Share this post


Link to post
Share on other sites
57 минут назад, sergsa сказал:

Пропускная способность узла ограничивается скорость аплинков!

С чего вдруг??? Пропускная способность - это всё, что может пролезть, хоть между абонентами. Писать надо ВСЁ.
 

Share this post


Link to post
Share on other sites
12 часов назад, sergsa сказал:

бугага, особенно помогают этому планы реализации, сомневаюсь что этим СОРМом хоть одного террориста поймали

СОРМ тоже очень дорогая штука тем более начинающему оператору. Тем более когда ему нечего заложить  для обеспечения кредита. Слава богу что ФСБ это понимало и шло навстречу. Кто мог - поставил. Кто не мог сразу - к тому относились с пониманием. Все равно у магистралов СОРМ есть и международный терроризм не пройдет. А с местными хулиганами нехай полиция разбирается.

Яровую в текущих планах тоже придется внедрять десятилетиями. Это ведь законы экономики а не нежелание операторов. Все упирается в платежеспособность абонентов.

Share this post


Link to post
Share on other sites
2 часа назад, Tosha сказал:

СОРМ тоже очень дорогая штука тем более начинающему оператору. Тем более когда ему нечего заложить  для обеспечения кредита. Слава богу что ФСБ это понимало и шло навстречу. Кто мог - поставил. Кто не мог сразу - к тому относились с пониманием. Все равно у магистралов СОРМ есть и международный терроризм не пройдет. А с местными хулиганами нехай полиция разбирается.

Яровую в текущих планах тоже придется внедрять десятилетиями. Это ведь законы экономики а не нежелание операторов. Все упирается в платежеспособность абонентов.

А платежеспособность имеет тенденцию к падению...

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now