[Связной (С)]

за нехранение чего положено?

ф/л =3-5тр, юл =300-500тр.

[Ivan_83]

Я пока вижу такой комплекс

Агрегировать - не надо.

У тебя любой тазик сможет легко принять такой пакетрейт, учитывая что ему его только принять, а дальше даже внутрь смотреть не надо, просто опять по дма скинуть на диск.

Отдельный вопрос в том как строить индекс.

Пожалуй я бы брал диск, бил по GPT на два раздела: один под индекс второй под данные.

Индекс вероятно хранил бы как обычный файл с форматом: время (с точностью до секунды) - оффсет. (вероятно time64 - uint64_t - отсюда можно размер раздела точно высчитать, и вообще отказаться от ФС на нём тоже)

А на второй раздел даже ФС бы не вешал, так бы и писал сырой поток IP пакетов.

Выковыривать конечно не очень удобно, но ничего сложного нет.

Из плюсов:

- невероятная простота

- относительная стандартность

- линейная запись всегда = почти постоянная скорость (как минимум без резких просадок ниже плинтуса, особенно если индекс писать на другой диск)

 

Балансировал бы между узлами записи скажем по хэшу от IP, хоть на плисе, хоть на обычном тазике. На той же фре на нетграфе модуль для такого можно довольно быстро нарисовать, а то и просто через ng_bpf всё сделать.

[Sergey Gilfanov]

Пожалуй я бы брал диск

И поставить поставить железку с диском каждому абоненту. Прямо в абонентский маршрутизатор. Сколько там все это удовольствие стоить должно?

Я подозреваю, как раз хватит, чтобы всем абонентам по новой железке на их 100Мбит порт поставить. Заодно софт приложить, что бы они на эту железку резервные копии своих компов делать могли. И распределенный кэш из этих железок не забыть сделать. Будет в России весь Интернет многократно зарезервирован.

[Ivan_83]

Так идею хранения я не поддерживаю.

Просто конструктивная критика одного варианта технической реализации.

[Sergey Gilfanov]

Так у меня тоже конструктов найти можно.

1) Абонент видит, за что он внезапно лишние деньги платить стал.

2) Абоненту польза есть - бакапы есть куда складывать.

3) Винты на 100Мбит скорости должны быть дешевле, чем полноценные. Возможно, у производителей брак есть, который можно на низкую скорость перенастроить.

4) Не надо место для хранилища у себя искать.

5) Стандартизация абонентского оборудования. Ставится будет одинаковая и с нужными фичами(как маршрутизатора) железка.

6) Из (5) следует, что можно сразу на IPv6 перейти.

7) Несколько сложнее, но можно ютубу/нетфликсу/прочим CDN дисковое место вот прямо под боком у пользователя предложить. Тем более, что у них затраты возрастут из за возросшей стоимости дисков.

8) Функцию фильтрации можно тоже на эту железку закинуть.

Сплошная польза же. </sarcasm>

[Tosha]

тока с требованиями 2ПТ на гигабит каждому абоненту 100 Мбит надо поставить ящик с 200 Тб хранения. 20 дисков по 10 Тбайт. а 1 диск 10 Тбайт это у нас около 30т 30т*20 = 600000р. С учетом сервера это будет около миллиона. Интересно, сколько человек в таких условиях захочет себе интернет по такой цене? А ведь надо не только затраты отбить, а еще чтобы на налоги хватило и на зарплату. Итого 2 миллиона.

 

Соответственно для 10 Мбит это 200 тысяч. Тут уже реально найти желающих подключиться :)

[SpheriX]

Ivan_83 Баланс "экономика-живучесть-ремонтопригодность-масштабируемость".

Интересно.

Помню, у китайцев был рейд-контроллер на вроде 10 шт MicroSD, прикидывался SSD диском с SATA интерфейсом.

В импортозамещении нужны массовые тиражи микросхем. Если у нас будут делать фабрику микросхем флеш-памяти, будет иметь смысл сделать плату под устройство хранения, скажем, с пачкой адаптеров под корпус микросхемы. У того же TSOP-48 NAND Flash памяти реально используется мало ног. Пусть микрухи будут расходником. И плата хранилища на каком-нибудь PCI-E. История движется по спирали ведь.

 

тока с требованиями 2ПТ на гигабит каждому абоненту 100 Мбит надо поставить ящик с 200 Тб хранения. 20 дисков по 10 Тбайт. а 1 диск 10 Тбайт это у нас около 30т 30т*20 = 600000р. С учетом сервера это будет около миллиона. Интересно, сколько человек в таких условиях захочет себе интернет по такой цене? А ведь надо не только затраты отбить, а еще чтобы на налоги хватило и на зарплату. Итого 2 миллиона.

 

Соответственно для 10 Мбит это 200 тысяч. Тут уже реально найти желающих подключиться :)

Если делать на том же кирквуде, то плата c Ethernet и SATA будет стоить около 1000-1200. То есть сервак по экономике проиграет пачке дешевых кирквудов. Основная цена останется в накопителе. И геморрой в габаритах и питании этого "кластера".

[Sergey Gilfanov]

Пусть микрухи будут расходником. История движется по спирали ведь.

Тогда уж не флеш-памяти. А микросхемы однократной записи. Проще в производстве, надежнее хранение.

[SpheriX]

А нам не нужно хранить это г-но вечно. Нам нужно дешевле всего менять исчерпавший ресурс элемент. UBIFS и прочие алгоритмы снижения количества циклов перезаписи помогают в этом.

[Sergey Gilfanov]

А нам не нужно хранить это г-но вечно.

А мы и не будем. Просто вытащим одноразовую 'флешку' и отправим в измельчитель. Разумеется, это сработает, если цена такой одноразовой памяти будет на порядки ниже той, что перезаписываемая.

[Галушко Дмитрий]

за нехранение чего положено?

ф/л =3-5тр, юл =300-500тр.

не правда.

За не хранение Операторами связи нет ответственности!

[Sergey Gilfanov]

За не хранение Операторами связи нет ответственности!

Контекст в конкретно этой нити обсуждения уже съехал на хранение сообщений не операторами, а абонентами, которые потенциально ОРИ.

[SpheriX]

цена такой одноразовой памяти будет на порядки ниже той, что перезаписываемая.

А она не на порядки, а только в разы. Оптический WORM городить - не взлетит. Габариты, надежность механики и энергопотребление.

[Ivan_83]

Помню, у китайцев был рейд-контроллер на вроде 10 шт MicroSD, прикидывался SSD диском с SATA интерфейсом. В импортозамещении нужны массовые тиражи микросхем. Если у нас будут делать фабрику микросхем флеш-памяти, будет иметь смысл сделать плату под устройство хранения, скажем, с пачкой адаптеров под корпус микросхемы. У того же TSOP-48 NAND Flash памяти реально используется мало ног. Пусть микрухи будут расходником. И плата хранилища на каком-нибудь PCI-E. История движется по спирали ведь.

На флешках дорого выходит.

Если взять хард на 6тб за 20к руб то один гиг стоит 3,34 руб - где такой флеш накопитель возьмёшь?

 

Если делать на том же кирквуде, то плата c Ethernet и SATA будет стоить около 1000-1200. То есть сервак по экономике проиграет пачке дешевых кирквудов. Основная цена останется в накопителе. И геморрой в габаритах и питании этого "кластера".

Не надо никаких кирквудов, уж лучше сразу на Байкале или Эльбрусе. )

Ты же в курсе что есть разветвители сата? бэкплейны или как их, когда к одному сата порту можно десяток устройств подключить.

Ну вот на этом собирается полка или покупается готовая от вендора за х10 денег.

Ставятся туда боксы под винты без салазок (те подходишь и просто винт как дискету достаёшь/ставишь), и таких полок делается несколько, скажем 3-7, чтобы можно было раз сутки спокойно её останавливать и менять диски, записанные диски в архив на полку.

Это ультрадешман решение.

Городить 100500 тараканов на 1-2 диска и со своим портом это себе дороже в плане эксплуатационных расходов.

[Связной (С)]

Проект для ОРИ:

Правила‎ хранения организатором распространения информации в сети «Интернет» текстовых сообщений, голосовой информации, изображений, звуков, видео- и иных электронных сообщений пользователей информационно-телекоммуникационной сети «Интернет»

1. Настоящие Правила устанавливают порядок, сроки и объем хранения на территории Российской Федерации организатором распространения информации в информационно-телекоммуникационная сети «Интернет» (далее - организатор распространения информации) текстовых сообщений, голосовой информации, изображений, звуков, видео- и иных электронных сообщений пользователей сети «Интернет», переданных (принятых) в процессе осуществления деятельности организатора распространения информации.

2. Хранению подлежит содержание электронных сообщений пользователей сети «Интернет» и включает в себя:

а) текстовые сообщения;

б) голосовая информация;

в) изображения;

г) звуковая информация;

д) видео- информация;

е) и иные электронные сообщения.

3. Организатор распространения информации в сети «Интернет» обеспечивает хранение указанных в пункте 2 настоящих Правил сведений (далее – содержание электронных сообщений) на территории Российской Федерации и предоставление этих сведений в установленном порядке уполномоченным государственным органам, осуществляющим оперативно-розыскную деятельность, в отношении пользователей:

а) зарегистрировавшихся с использованием сетевых адресов, определяемых организатором распространения информации в сети «Интернет» как используемые на территории Российской Федерации;

б) авторизовавшихся с использованием сетевых адресов, определяемых организатором распространения информации в сети «Интернет» как используемые на территории Российской Федерации;

в) указавших при регистрации или при использовании функций коммуникационного интернет-сервиса документ, удостоверяющий личность, выданный органом государственной власти Российской Федерации (основной документ или иной документ, удостоверяющий личность);

г) использующих для доступа к коммуникационному интернет-сервису устройства и (или) программы для электронных вычислительных машин, передающие коммуникационному интернет-сервису географические данные (метаданные), указывающие на нахождение (в том числе временное) пользователя на территории Российской Федерации;

д) указавших при регистрации или при использовании функций коммуникационного интернет-сервиса в качестве контактной информации телефонные номера, выделенные российскими операторами связи при заключении с абонентом договора об оказании услуг связи.

4. Оборудование, выполняющее функцию хранилища содержания электронных сообщений и его программное обеспечение, устанавливается организатором распространения информации для проведения осуществляющими оперативно-разыскную деятельность органами в случаях, установленных федеральными законами, мероприятий в целях реализации возложенных на них задач.

5. Организатор распространения информации хранит содержание электронных сообщений в хранилище, обеспечивая его обновление в объеме, достаточном для его хранения в течение шести месяцев.

6. Запрос на получение информации с оборудования организатора распространения информации осуществляется по команде с пункта управления ОРМ при организации круглосуточного удаленного доступа к хранилищу.

7. Каналы связи с пунктом управления ОРМ (далее – канал связи), организуемые организатором распространения информации на территории Российской Федерации, должны обеспечить съём содержания электронных сообщений уполномоченными государственными органами для исполнения возложенных на них задач в порядке и случаях, установленных федеральными законами.

8. Характеристики канала связи определяются в соответствии с классом оборудования, устанавливаемом федеральным органом исполнительной власти в области связи по согласованию с уполномоченными государственными органами, осуществляющими оперативно-разыскную деятельность или обеспечение безопасности Российской Федерации в требованиях к оборудованию и программно-техническим средствам, используемым организатором распространения информации в эксплуатируемых им информационных системах.

9. Необходимое количество и тип цифровых каналов связи, а также точки подключения хранилища содержания электронных сообщений к пункту управления ОРМ определяет уполномоченный государственный орган, осуществляющий оперативно-разыскную деятельность или обеспечение безопасности в субъекте Российской Федерации.

[Галушко Дмитрий]

За не хранение Операторами связи нет ответственности!

Контекст в конкретно этой нити обсуждения уже съехал на хранение сообщений не операторами, а абонентами, которые потенциально ОРИ.

так зачем от темы то отошли!

Модератор! ты где? :)

[Sergey Gilfanov]

так зачем от темы то отошли!

Как отошли, антиутопия же. Вот как представишь, что то, что там в предыдущем сообщении, нужно частнику-клинуту-теперь-уже-ОРИ делать - так сразу можно начинать сюжет для книжки в жанре антиутопия-киберпанк придумывать.

[Галушко Дмитрий]

так зачем от темы то отошли!

Как отошли, антиутопия же. Вот как представишь, что то, что там в предыдущем сообщении, нужно частнику-клинуту-теперь-уже-ОРИ делать - так сразу можно начинать сюжет для книжки в жанре антиутопия-киберпанк придумывать.

я не про ОРИ, про Операторов связи!

Здесь Операторский форум.

У них нет ответственности за не хранение.

И это других Операторов радует. А тебя нет?

[st_re]

ну это же временное явление ? (отсутствие ответственности). Разве нет ?

[Sergey Gilfanov]

У них нет ответственности за не хранение.

И это других Операторов радует. А тебя нет?

Совершенно очевидно, что это исправят. Т.к. совсем бестолковщина получается, обязанность чего-то делать есть, а ответственности за невыполнение этой обязанности нет. И вот когда исправят - то срока для выполнения у радующихся операторов еще меньше будет. Есть шансы, что не успеют, их накажут, они позакрываются. Станет меньше конкуренция. И цены, и так подросшие из-за необходимости стройки хранилищь, полезут еще выше. Так что не очень радует.

 

Это если длинно. А если коротко - все радуются, что пронесло и меньше делают, чтобы это нейтрализовать. А потом совсем-совсем поздно будет.

[Галушко Дмитрий]

У них нет ответственности за не хранение.

И это других Операторов радует. А тебя нет?

Совершенно очевидно, что это исправят. Т.к. совсем бестолковщина получается, обязанность чего-то делать есть, а ответственности за невыполнение этой обязанности нет. И вот когда исправят - то срока для выполнения у радующихся операторов еще меньше будет. Есть шансы, что не успеют, их накажут, они позакрываются. Станет меньше конкуренция. И цены, и так подросшие из-за необходимости стройки хранилищь, полезут еще выше. Так что не очень радует.

 

Это если длинно. А если коротко - все радуются, что пронесло и меньше делают, чтобы это нейтрализовать. А потом совсем-совсем поздно будет.

Вы провидец? Господь БОГ?

[Tosha]

У них нет ответственности за не хранение.

Для чего нет наказания персонально - скорее всего есть общая плетка за несоблюдение требований законов.

[SpheriX]

Ivan_83 А какие там эксплуатационные расходы? Поставил, настроил и забыл. Сторадж сделать не проблема. Проблема его зарезервировать

[Sergey Gilfanov]

Вы провидец? Господь БОГ?

Я еще помню, что произошло с законами про черный список. Который, кстати, тоже по началу не мешался и казался безвредным, а сейчас Касперский и браузер постоянно вопит, что мой провайдер MitM пытается делать. И я как-то не очень понимаю, например, как своему отцу объяснить происходящее и как сделать так, чтобы он тупо 'разрешить исключение' не привык нажимать. А то ведь когда-нибудь он так же исключение на странице онлайн-банка разрешит, предоставив доступ какому-нибудь вклинившемуся в соединение зловреду.

[Ivan_83]

А какие там эксплуатационные расходы? Поставил, настроил и забыл. Сторадж сделать не проблема. Проблема его зарезервировать

Так это когда он у тебя 1-2-5 оно обычно работает без проблем, а когда у тебя 1-2-5 сотен то начинается: то провод отошёл, то девайс сдох то ещё какая херня, которая на единичных экземплярах маловероятна.