Перейти к содержимому
Калькуляторы

Хранение информации теоретически

Вот прикинул объемы хранения абстрагируясь от того что нужно а что не нужно хранить:

Если сохранять поток трафика идущий со средней скоростью 1Гбит то за месяц нужно сложить 324Тб или почти 1944Тб за пол года.

С этой задачей справится любое серверное железо. Нужно два контроллера на 256 дисков каждый типа такого Adaptec ASR-5405Z по 25тр каждый, 486 хардов по 4Тб например Seagate ST4000DM004 это 3млн по розничной цене.

Нужен только переключатель питания с блоков питания хардов чтоб по мере заполнения они отключались.

В принципе, наверное даже контроллеры по проще можно использовать, поскольку одновременно столько хардов включенными держать не нужно, включать только при необходимости считать или удалить устаревшее и записать туда свежее.

Харды влезают 80штук в 5 унитов или 640 штук в одну стойку, т.е. вся композиция уместится в одну стойку, что вполне приемлемо и не будет потреблять много энергии, ведь включенным будет один обычный сервер и несколько хардов.

Может для считывания информации можно держать отдельный сервер, но тут сложнее с переключением хардов.

Если брать харды по 8Тб то это 243 харда - 3,6млн

Если по 3Тб то 162 харда - 4,2млн

Харды считал не дорогие по сути они пишутся раз в 6 месяцев, а потом стоят отключенными, использовать можно вечно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

там в хотелках было время доступа к информации по запросу... Выдайте трафик от Васи к мейл ру за 23 декабря с 11.00 до 17.00. И, кажется все это было минуя ваших людей, т.е. через АПИ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

С тем же успехом можно посчитать, сколько ангелов уместится на кончике иглы. Пока нет ППА, бессмысленно оценивать. Вот выйдет приказ: "На 1 Гбит/с полосы нужно X Гбайт", покупать у контор X, Y, Z.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Для провайдера с 1 Гбит/c 3 млн это очень большая сумма затрат.  1 абонент потребляет в среднем 1 мегабит. 1000 абонентов по, допустим, 300р = 300000р выручки в месяц. Минус расходы, зарплаты, налоги = 50т, на "инвестиции". 

3000/50 = 5 лет надо строить такую систему.  А требовать будут - за полгода. Кредит получать 3000т - это 40т рублей в месяц только на проценты. 

Добавим к этому, что РКН оценивает не среднюю, а максимальную скорость. Т.е. придется 6 млн на диски тратить.
Добавим к этому - не просто максимальную фактическую, а максимальную смонтированную емкость. Т.е. как бы затраты еще в 10 раз не выросли...

А у провайдеров с каналами сотни гигабит еще дополнительные сложности - тут уже простые серверы не подходят. Нужно все сильно специализированное и жутко дорогое. Там ценник растет по экспоненте. А фактические реализации подобных хранилищ - единицы если вообще есть...

 

5 часов назад, MATPOC сказал:

Пока нет ППА, бессмысленно оценивать.

Совершенно согласен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

6 часов назад, sergsa сказал:

486 хардов по 4Тб например Seagate ST4000DM004 это 3млн по розничной цене.

Нужен только переключатель питания с блоков питания хардов чтоб по мере заполнения они отключались.

Количество хардов надо умножить на 2 - никто не позволит такие данные хранить без отказоустойчивости.

А выключатель питания на 486 реле со схемами управления, плюс программа, которая будет подключать-отключать нужные харды - это тоже не 5 копеек.

И ещё неизвестно, как отнесётся контроллер к постоянному отваливанию хардов.

Да, а что там с файловой системой, ОС, базой и прочими мелочами?
 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@sergsa Госпожа Яровая - перелогиньтесь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

12 часов назад, Tosha сказал:

Для провайдера с 1 Гбит/c


 

12 часов назад, Tosha сказал:

1000 абонентов

А межабонентский трафик не пишем? Ладно.

Но у провайдера на 1000 абонов внешний канал плюс паритеты всего 1 Гбит/с? А что делать тем, у кого в точку обмена 40 Гбит/с? Или в РФ таких нет?
 


 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У нас директора спокойны как удавы. "Никто не закроет предприятие, дающее связь и интернет". В пример приводят Эр-телеком - зачем-то он ведь скупает активы. Наверное, что-то знают. "Это ж-ж-ж - неспроста!" (с).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

9 часов назад, MATPOC сказал:

Пока нет ППА, бессмысленно оценивать.

поэтому тема в флудилке

4 часа назад, Tosha сказал:

Добавим к этому, что РКН оценивает не среднюю, а максимальную скорость. Т.е. придется 6 млн на диски тратить.
Добавим к этому - не просто максимальную фактическую, а максимальную смонтированную емкость. Т.е. как бы затраты еще в 10 раз не выросли...

Нет я говорю именно о хранении, 1гбит именно идет на хранилки, емкость вводная может быть какая угодно, просто средняя за 6месяцев = 1Гбит.

Да и я просчитал примитивный вариант с розничными ценами. А можно начать крахоборство = скупать бу и т.п. Харды включаются один раз в 6 месяцев можно любое гамно ставить.

Да и 1 абонент генерит 1мбит, а сколько из этого нужно сохранять...

3 часа назад, straus сказал:

Количество хардов надо умножить на 2 - никто не позволит такие данные хранить без отказоустойчивости

брр... какая отказоустойчивость эти данные вообще ни кому не нужны будут, отказоустойчивость не равна дублированию, тут отказоустойчивость обеспечивается низкой нагрузкой, даже если сдохнет контроллер харда данные не теряются

 

3 часа назад, straus сказал:

А что делать тем, у кого в точку обмена 40 Гбит/с

точки обмена вообще не при делах, хранить нужно абонентский трафик, присоединяться можно чем угодно вопрос только в том сколько из 40Гбит уйдет на хранение.

Для крупных операторов вообще не проблема, там кредиты доступны, они просто сразу по 12Гб харды могут юзать и уже стойки на 3Гбита хватать будет. Дальше можно масштабировать.

Т.е. оператору на 100К абонентов нужно 30 стоек всего - вообще не смертельно.

 

понятно что все может упереться в

9 часов назад, MATPOC сказал:

Вот выйдет приказ: "На 1 Гбит/с полосы нужно X Гбайт", покупать у контор X, Y, Z.

и могут какую угодно цену назначать

но тема не об этом

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 часов назад, straus сказал:

А межабонентский трафик не пишем? Ладно.

Его почти уже и нет...  Запишется в общей куче...

 

2 часа назад, sergsa сказал:

Для крупных операторов вообще не проблема, там кредиты доступны

Не все так хорошо. Если бы это было так ПП год назад приняли бы и Ростелеком получил кредит.

Затраты от повышения объемов записи и хранения растут нелинейно не в пользу крупных. И кредит в размере, скажем, 10 лет выручки желающих давать мало. Представляете какой кредит надо взять Ростелекому? Я бы такой кредит не дал - он невозвратный. При текущем уровне абонплаты.

Вот примут ПП - будем все рисовать бизнес-план и подбирать уровень абонплаты при котором банки согласятся финансировать этот праздник. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, sergsa сказал:

Т.е. оператору на 100К абонентов нужно 30 стоек всего - вообще не смертельно.

+ куча дисков в архиве на полке...
это будет тяжелый удар. минимум 500 миллионов затрат и еще неизвестно под какие проценты. 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

13 часов назад, Tosha сказал:

1 абонент потребляет в среднем 1 мегабит

Мне даже курс статистики в непрофильном вузе позволяет усомниться в этом утверждении. Какого рода абонент (возраст,пол итп.)? В каком регионе? В каком городе? У какого провайдера? И так далее. Лучше смотрите на циферки в своей системе мониторинга/учета трафика,чтобы получить более менее реальные объемы (близкие к реальности). Вместо подсчета сферических абонентов в вакууме,"потребляющих в среднем 1 мегабит".

Изменено пользователем alexwin

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, alexwin сказал:

Мне даже курс статистики в непрофильном вузе позволяет усомниться в этом утверждении. Какого рода абонент (возраст,пол итп.)? В каком регионе? В каком городе? У какого провайдера? И так далее. Лучше смотрите на циферки в своей системе мониторинга/учета трафика,чтобы получить более менее реальные объемы (близкие к реальности). Вместо подсчета сферических абонентов в вакууме,"потребляющих в среднем 1 мегабит".

 

я с физиками давно не работаю, но на мой взгляд 1Мбит это даже много - 316Гб в месяц почти 2Тб за пол года, да и торренты наверное прекратят качать, поскольку вся информация будет сохраняться, пару человек посадят или обложат непомерными штрафами и всЁ

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, sergsa сказал:

я с физиками давно не работаю, но на мой взгляд 1Мбит это даже много - 316Гб в месяц почти 2Тб за пол года, да и торренты наверное прекратят качать, поскольку вся информация будет сохраняться, пару человек посадят или обложат непомерными штрафами и всЁ

Перестанут торренты качать,вы серъезно?)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, sergsa сказал:

я с физиками давно не работаю, но на мой взгляд 1Мбит это даже много

Согласен. 1 Мбит это среднее значение максимума а не среднее вообще. И это конечно зависит и от регионов и от многого другого. Сайты сейчас жирные. Онлайн видео популярно.

Немного завысил. Но РКН судя по тенденции хочет завысить очень намного. Чуть ли не в параметрах смонтированной емкости портов. 

 

59 минут назад, alexwin сказал:

Перестанут торренты качать,вы серъезно?)

Кстати заметно меньше торрентов качают чем 8 лет назад. Очень много онлайн сервисов завелось. В т.ч. легально бесплатных. Плюс "рейтинги" на трекерах отменили.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, Tosha сказал:

Чуть ли не в параметрах смонтированной емкости портов.

ну это не страшно, на бумаге можно писать одно, а в реале совсем другое.

оно и на самом деле так, есть узел по адресу и всем пофиг что оборудование на бумаге от реального отличается координально.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 часов назад, sergsa сказал:

ну это не страшно, на бумаге можно писать одно, а в реале совсем другое.

оно и на самом деле так, есть узел по адресу и всем пофиг что оборудование на бумаге от реального отличается координально.

 

Увы, двух портовых коммутаторов нет. Стоит у меня на сданном узле коммутатор на 48 гигабитных портов. И систему я должен рассчитывать не на 1 гигабит аплинка, а на 48 гигабит емкости. Вот и подсчитайте теперь, сколько надо хардов и стоек. А к ним еще надо питание и охлаждение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

18 часов назад, Tosha сказал:

Кстати заметно меньше торрентов качают чем 8 лет назад. Очень много онлайн сервисов завелось. В т.ч. легально бесплатных. Плюс "рейтинги" на трекерах отменили.

Я имел ввиду пользователей,которые в основном качают,а не раздают.

 

18 часов назад, Tosha сказал:

Но РКН судя по тенденции хочет завысить очень намного

Давайте уже начистоту: весь этот закон и хранение данных (которые 95% https) - это бред сивой кобылы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

14 часов назад, ayf сказал:

Стоит у меня на сданном узле коммутатор на 48 гигабитных портов. И систему я должен рассчитывать не на 1 гигабит аплинка, а на 48 гигабит емкости. Вот и подсчитайте теперь, сколько надо хардов и стоек. А к ним еще надо питание и охлаждение.

Да хоть 1Мбит аплинка можете делать. Ни кому вы не обязаны 48Гбит рассчитывать. Заключаете договор присоединения на 10Мбит с одним оператором, его показываете в узле, а дальше хоть по 100500Гбит подключайте - можно не показывать. 

У меня до сих пор 10Мбит показано, думал обновить документацию по узлу, уже все оборудование заменено, аплинки совсем другие. Правда старое оборудование рядом лежит чтоб если что изобразить что все живое.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

9 часов назад, alexwin сказал:

Давайте уже начистоту: весь этот закон и хранение данных (которые 95% https) - это бред сивой кобылы.

То что он заявленной цели не соответствует - давно уже почти все поняли.

Ведь у всех уже давно СОРМ, который реально работает онлайн и помогает ловить террористов. И у ФСБ никогда не появлялось каких-либо дополнительных вопросов чтобы можно было предположить что им сильно не достает какой-либо оперативной (в смысле очень свежей) информации.  И по своей потребности совершенствуют этот СОРМ. Уже 3 релиз на носу.

А если какой-то информации не достает - то тогда почему руководитель ФСБ не подошел к Медведеву или Путину и почему не Путин инициатор этого законопроекта?  Кто такая Яровая чтобы предполагать чего не хватает ФСБ для их работы?  Почему Путин был не  в курсе? Почему руководитель ФСБ, получается, отчитывается перед Яровой о своих нуждах? Раз Яровая этот вопрос двигает - она что-то знает про работу ФСБ того что не знал даже Путин. Ведь именно такая мысль приходит в голову от этого безобразия...

Операторы, положим, за борьбу с тероризмом. Но система должна быть одна. Либо СОРМ либо Яровая.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 часов назад, sergsa сказал:

Да хоть 1Мбит аплинка можете делать. Ни кому вы не обязаны 48Гбит рассчитывать. Заключаете договор присоединения на 10Мбит с одним оператором, его показываете в узле, а дальше хоть по 100500Гбит подключайте - можно не показывать. 

У меня до сих пор 10Мбит показано, думал обновить документацию по узлу, уже все оборудование заменено, аплинки совсем другие. Правда старое оборудование рядом лежит чтоб если что изобразить что все живое.

Еще раз. В тексте идет речь не о аплинке! 
Цитирую: с 1 января 2019 года в объеме 2 Пбайт на каждый Гбит/с емкости (пропускной способности) введенного в эксплуатацию узла связи.(с)
Вот и смотрите, сколько у вас пропускная способность коммутатора.

Беру, что у меня на узле стоит 2960-24TC-L. И о-па! Пропускная способность его - 6,5 Гигабит/с. И для Яровой это значит, что вы должны поставить хранилище на 13 Петабайт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 часов назад, ayf сказал:

с 1 января 2019 года в объеме 2 Пбайт на каждый Гбит/с емкости (пропускной способности) введенного в эксплуатацию узла связи.(с)
Вот и смотрите, сколько у вас пропускная способность коммутатора.

Пропускная способность узла и коммутатора это разные вещи. У Вас присоединение может 1Мбит, а интерфейс 10Гбит. Скорость на портах может устанавливаться какой угодно не важно какую возможность дает интерфейс.

Пропускная способность узла ограничивается скорость аплинков!

 

10 часов назад, Tosha сказал:

Ведь у всех уже давно СОРМ, который реально работает онлайн и помогает ловить террористов

бугага, особенно помогают этому планы реализации, сомневаюсь что этим СОРМом хоть одного террориста поймали

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

57 минут назад, sergsa сказал:

Пропускная способность узла ограничивается скорость аплинков!

С чего вдруг??? Пропускная способность - это всё, что может пролезть, хоть между абонентами. Писать надо ВСЁ.
 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

12 часов назад, sergsa сказал:

бугага, особенно помогают этому планы реализации, сомневаюсь что этим СОРМом хоть одного террориста поймали

СОРМ тоже очень дорогая штука тем более начинающему оператору. Тем более когда ему нечего заложить  для обеспечения кредита. Слава богу что ФСБ это понимало и шло навстречу. Кто мог - поставил. Кто не мог сразу - к тому относились с пониманием. Все равно у магистралов СОРМ есть и международный терроризм не пройдет. А с местными хулиганами нехай полиция разбирается.

Яровую в текущих планах тоже придется внедрять десятилетиями. Это ведь законы экономики а не нежелание операторов. Все упирается в платежеспособность абонентов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, Tosha сказал:

СОРМ тоже очень дорогая штука тем более начинающему оператору. Тем более когда ему нечего заложить  для обеспечения кредита. Слава богу что ФСБ это понимало и шло навстречу. Кто мог - поставил. Кто не мог сразу - к тому относились с пониманием. Все равно у магистралов СОРМ есть и международный терроризм не пройдет. А с местными хулиганами нехай полиция разбирается.

Яровую в текущих планах тоже придется внедрять десятилетиями. Это ведь законы экономики а не нежелание операторов. Все упирается в платежеспособность абонентов.

А платежеспособность имеет тенденцию к падению...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.