Jump to content
Калькуляторы

Касательно рекомендаций использовать сервер вместо видеорегистратора...

37 минут назад, sdy_moscow сказал:

Не догнали, он имел ввиду, что "Тупень - он во всём тупень....", но это не обратная, а расширенная формулировка.

Тут есть сложность: тупой никогда не поймёт, что он тупой. В силу своей тупизны. Рекурсия получается, однако...

 

54 минуты назад, Saab95 сказал:

Рейд был нужен и стал не нужен, вот поговорка.

А вот это и есть пример тупизны: чувак предложил Software RAID 1, отрицая, что это RAID. "Это не кондитерское изделие, это пирожное."

Share this post


Link to post
Share on other sites

On 2/1/2025 at 8:44 PM, TheUser said:

Тут одни ребята разобрали сервер GGC. Количество найденных NVME - 0.

Так они же устарели! Это же каждая бабушка на лавочке знает.

Share this post


Link to post
Share on other sites

1 час назад, naves сказал:

Так они же устарели! Это же каждая бабушка на лавочке знает.

Спроси у бабушек на лавочке, что эффективней, GGC или VK Cache в пересчете на рубли-за-мбит-в-сек?

Share this post


Link to post
Share on other sites

В 02.02.2025 в 01:28, straus сказал:

Это же какой будет удар для любителя микротиков, если я расскажу ему про ситуацию, где нижний уровень RAID обеспечивается отдельными хардварными контроллерами, на каждом из которых висит по 14 дисков; далее эти контроллеры собраны специальным софтом в следующий уровень RAID в пределах сервера; а ещё выше эти срервера собраны в ещё один уровень в пределах кластера. Любитель микротиков от отчаяния повесится на витой паре...

Ну давайте представим ситуацию, есть массив рейд 5 или 6, на дисках в 1тб, сломался один диск, сломался другой, меняем на 4тб, потом сломался последний диск на 1тб и все диски стали 4тб, как увеличить объем хранения до дисков 4тб без перерыва в работе?

 

То, что вы пишите про сервера, кластеры и т.п. это все привязано к вендору. Сегодня он один, завтра другой, через 3 года потребовалось кардинально поменять систему хранения. И получается что не нужны никакие рейд и используется прямой доступ к дискам. Тот же Яндекс выкладывал презентацию своей схемы работы с дисками.

Share this post


Link to post
Share on other sites

19 hours ago, Saab95 said:

Тот же Яндекс выкладывал презентацию своей схемы работы с дисками.

Презентации мы тоже не увидим? И название системы видеонаблюдения с дефрагментацией дисков. И название города, в котором ездят автобусы с компьютерами для видеонаблюдения.

Share this post


Link to post
Share on other sites

4 часа назад, naves сказал:

видеонаблюдения с дефрагментацией диско

он же говорил что там ssd пользуют, а на них фрагментация не баг а фича...

мысль про вред райда под видеонаблюдение тоже имеет право на жизнь... предложенный выше страйп, в случае краша завалит весь архив, с зеркалом тоже нюансы, в каком режиме окажется архив при краше? деградация с записью, декрадация с только на чтение, или отвал архива? зависит от производителя железа...

группировать камеры на разные диски для ускорения вместо страйпа менее болезненно в случае отвала диска, как и писать одновременно поток с камеры на два диска вместо нулевого райда..

 

использование разношёрстных дисков в райде также ограничивает возможности

но все эти самосборы и пр... это когда есть в подчинении рукоблудник, который будет это всё крутить-настраивать... а когда эксплуатанты - далекие от этого всего люди, то конечно проще\дешевле законченная железка

Share this post


Link to post
Share on other sites

6 часов назад, naves сказал:

Презентации мы тоже не увидим?

Цитата

Подсистема хранения в YDB работает с дисками напрямую, без использования файловой системы, потому что это помогает делать систему быстрее, надёжнее и при этом меньше изнашивать диски. 

Поддерживаются все основные типы дисков: NVMe, SSD или HDD. За работу с конкретным блочным устройством отвечает компонент PDisk. Также есть специальный компонент DSProxy, который анализирует доступность и характеристики дисков и выбирает, какие диски будут обрабатывать запрос, а какие нет.

Когда YDB записывает данные на три зоны доступности, он не отправляет запросы на явно некорректные диски и продолжает работать без прерываний, даже если одна зона доступности и диск в другой зоне доступности потеряны.

 

Ссылка на видео рутуб.

https://rutube.ru/video/8b96f4178b2173a3defb9313c8bbf7d4/

Share this post


Link to post
Share on other sites

В 04.02.2025 в 21:28, sheft сказал:

мысль про вред райда под видеонаблюдение тоже имеет право на жизнь...

Имеет.

 

В 04.02.2025 в 21:28, sheft сказал:

предложенный выше страйп, в случае краша завалит весь архив, с зеркалом тоже нюансы, в каком режиме окажется архив при краше? деградация с записью, декрадация с только на чтение, или отвал архива? зависит от производителя железа...

Зеркало продолжит работу без изменений. В Degraded массив слетит после установки нового диска и начала процедуры восстановления.

 

В 04.02.2025 в 21:28, sheft сказал:

группировать камеры на разные диски для ускорения вместо страйпа менее болезненно в случае отвала диска

Есть такое. Нужно считать конкретный случай в цифрах.

 

В 04.02.2025 в 21:28, sheft сказал:

как и писать одновременно поток с камеры на два диска вместо нулевого райда..

Во-первых, зеркало это RAID не 0, а 1. Во-вторых - это получается тот же RAID 1, только средствами ОС - Soft RAID. Это в случае зеркалирования на уровне дисков. Можно зеркалировать на уровне файлов (на разные буквы дисков), но тут будут очень большие накладные расходы (двойная обработка файловых систем, которая весьма медленная).

 

В 04.02.2025 в 21:28, sheft сказал:

использование разношёрстных дисков в райде также ограничивает возможности

Разумеется. Ограничение по самому тормозному и самому малоёмкому. Только вот остальных методов это касается в той же самой степени.

 

Есть у Hardware Dedicaded RAID (отдельная коробка с кнопками и дисплеем) и Hardware Embedded RAID (аппаратный контроллер в виде платы расширения в системном блоке) одно достаточно важное преимущество перед Hardware Assisted (Hardware Accelerated) и Sofware RAID - у последних двух при глюках системы получаем практически со стопроцентной вероятностью RAID Inconsistency. В полноценных Hardware RAID все операции выполняются отдельным контроллером, и состояние системы ему абсолютно пофиг.

Share this post


Link to post
Share on other sites

8 часов назад, straus сказал:

Во-первых, зеркало это RAID не 0, а 1

да, разумеется, моя опечатка..

8 часов назад, straus сказал:

Зеркало продолжит работу без изменений.

зависит от контроллера, мой личный опыт с адаптеком говорит о расхождении ожиданий с практикой... но если не райд диск можно переставить в другую систему и крути его как хочешь... то с райдами, в случае чего, и невозможности исправить куцыми штатными исправлялками, всегда звучит одно - обратитесь к саппорту вендора..

 

8 часов назад, straus сказал:

но тут будут очень большие накладные расходы

по сравнению со скоростью записи дисков это ничто, возможно будет ощутимо когда в полке 20(30) дисков и выше... но это моё имхо

 

9 часов назад, straus сказал:

Hardware Dedicaded RAID

с таким дела не имел, может там всё по другому..

Share this post


Link to post
Share on other sites

43 минуты назад, sheft сказал:

по сравнению со скоростью записи дисков это ничто

Как раз наоборот, работа с файловой системой весьма медленная - нужно найти цепочки свободных секторов, временно захватить их, посчитать место, открыть журнал, начать запись куска файла, обновить индексы, продолжить запись, опять обновить индексы, поправить журнал, сделать запись в MFT, закрыть журнал. И это ещё упрощённо. Сделать такое на четырёх разных дисках - лучше сразу повеситься.

Share this post


Link to post
Share on other sites

Ну обычно все не так плохо.

Во-первых, файловая система кешируется в памяти.

Во-вторых, обычно резервируется сразу большой файл-контейнер, который заполняется данными.

Share this post


Link to post
Share on other sites

17 hours ago, Saab95 said:

Ссылка на видео рутуб.

Поздравляю вас, возможно, вы узнали про существование кластерных файловых систем.

А теперь вопрос, какие системы видеонаблюдения изначально написаны для использования кластерных ФС? Наверное, это та загадочная система, которая и диски умеет дефрагментировать, а теперь еще выяснилось, что умеет писать в YDB-кластер.

 

А еще могу по секрету рассказать, что вместо резервирования на уровне рейдов используют коды Рида-Соломона для так называемого Erasure coding

http://onreader.mdl.ru/MasteringCeph/content/Ch04.html

Как это относится с тезисом "кто-то вместо фс системы использует прямой доступ к диску"? ответ - никак.

 

В теории, можно отделить систему хранения от системы аналитики и построить кластер уровня CERN на петабайты. Есть отраслевой стандарт хранения файлов в S3, нарезай видосы по 10мб, да сохраняй. Но кому это нужно. Сдохли пара дисков, ну подумаешь потеряли пару тысяч записей с рандомных камер, через месяц никто уже и не вспомнит про это.

https://indico.cern.ch/event/1457076/attachments/2934445/5156641/Ceph, Storage for CERN Cloud.pdf

 

4 hours ago, straus said:

Сделать такое на четырёх разных дисках - лучше сразу повеситься.

Вы как-то странно интерпретируете это процесс.

Записать 4 разных файла на 4 разных диска. Вот "как бы" нулевой рейд для данных. данные размазаны по дискам.

Или записать один файл на 4 диска.

Если под условным soft-raid будет хоть 10 раз аппаратный рейд, то как бы число операций записи на диск примерно одинаково и зависит только от типа рейда stripe или mirror, и конкретных алгоритмов журналирования определенного рейда.

 

Причем этот процесс еще часто путают с реальными процессами записи данных на самом диске. Часть операций делается с опцией SYNC запись в журнал в ФС, например. А часть операций делается без опции SYNC. Отсюда появляется заблуждение, что запись условного одного кадра с 100 камер вызывает 100 операций записи головок на диск.

 

Уважаемый специалист по микротикам, что вы думаете про покадровую запись со 100 камер?

Edited by naves

Share this post


Link to post
Share on other sites

14 hours ago, straus said:

Есть у Hardware Dedicaded RAID (отдельная коробка с кнопками и дисплеем) и Hardware Embedded RAID (аппаратный контроллер в виде платы расширения в системном блоке) одно достаточно важное преимущество перед Hardware Assisted (Hardware Accelerated) и Sofware RAID - у последних двух при глюках системы получаем практически со стопроцентной вероятностью RAID Inconsistency. В полноценных Hardware RAID все операции выполняются отдельным контроллером, и состояние системы ему абсолютно пофиг.

Ну тут такое тоже вилами по воде.

Hardware Dedicaded RAID, вообще обычные люди это называют просто внешнее СХД, и сделано оно внезапно тоже на каком-либо вычислительном устройстве, которое точно так же свойственно глюкам. Глюк в прошивке и лотерея с записанными данными.

Зависшая ОС в системе опасна только для Sofware RAID. И здесь опять-таки не надо путать с уровнями абстракции.

Проблема raid write hole https://www.raid-recovery-guide.com/raid5-write-hole.aspx

Или если ОС зависла и повредила журнал ФС, то хоть какой там был рейд, внешний или внутренний - ФС повреждена. А еще есть сетевые файловые системы NFS или SMB, в которых обычно зависший клиент не испортит всю ФС в хранилище. Там правда бывают отдельные нюансы с блокировками файлов, но это уже углубление в дьявольские нюансы.

 

И опять же не надо путать кластерные сетевые ФС с просто сетевыми ФС.

 

Сервер с видеонаблюдением можно подключить кучей способов к внешней СХД, а потом рассказывать сказки, что iSCSI надежней SMB, или наоборот.

 

Или подключить к кластерной сетевой ФС и рассказывать как софт использует прямой доступ к дискам.

Яндекс YDB использует прямой доступ к дискам, поэтому ФС не нужны. сарказм.

Edited by naves

Share this post


Link to post
Share on other sites

4 часа назад, naves сказал:

Или подключить к кластерной сетевой ФС и рассказывать как софт использует прямой доступ к дискам.

Яндекс YDB использует прямой доступ к дискам, поэтому ФС не нужны. сарказм.

Так можно поверх YDB использовать обычную файловую систему. Не в прямом смысле этого слова, а просто обращаться как к обычным файлам через сетевой диск.

 

5 часов назад, naves сказал:

Записать 4 разных файла на 4 разных диска. Вот "как бы" нулевой рейд для данных. данные размазаны по дискам.

Или записать один файл на 4 диска.

Никакой разницы для дисков нет, ведь это 4 разных диска сработают параллельно.

Для самого сервера разбить поток на 4 разных диска так же не проблема по нагрузке, это мизер. Не тысячи же обращений к мелким файлам производится.

Share this post


Link to post
Share on other sites

22 часа назад, Saab95 сказал:

Подсистема хранения в YDB работает с дисками напрямую, без использования файловой системы

Это лишь означает, что файловая система есть, но зашита в само приложение, в юзерспейсе, и хранится в какой-то БД. Таким образом исключают переключения контекста и зависимость от эффективности соотв.фильтров и драйверов ОС. Яндекс бохатый и может себе позволить такое написать, но явно не для видеонаблюдения сие написано, скорее финтех, где нужны минимальные задержки и надежность, превышающая стандартные уровни RAID.

Share this post


Link to post
Share on other sites

В 05.02.2025 в 16:19, naves сказал:

Hardware Dedicaded RAID, вообще обычные люди это называют просто внешнее СХД

Лучше чётко разделять понятия. Внешнее СХД - это внешнее СХД. А RAID может являться его составной частью. А может и не являться.

 

В 05.02.2025 в 16:19, naves сказал:

сделано оно внезапно тоже на каком-либо вычислительном устройстве, которое точно так же свойственно глюкам

Естественно. Но объём программы в прошивке и глубокое тестирование этой прошивки оставляют меньше шансов глюкам.

Говорить же о надёжности Soft RAID, да ещё под виндой - из разряда юмора.

 

В 05.02.2025 в 16:19, naves сказал:

Зависшая ОС в системе опасна только для Sofware RAID.

А также для Hardware Assisted / Hardware Accelerated RAID, который суть тот же Software.

 

В 05.02.2025 в 16:19, naves сказал:

Проблема raid write hole

Это было актуально тогда, когда присутствие BBU было скорее исключением. И решалось обычным UPS. Сейчас наличие BBU считается стандартом.

 

В 05.02.2025 в 16:19, naves сказал:

Или если ОС зависла и повредила журнал ФС, то хоть какой там был рейд, внешний или внутренний - ФС повреждена.

С этим никто не спорит. Назначение RAID - защита от отказов накопителей. И только. Остальные прблемы должны решаться соответствующими методами.

 

В 05.02.2025 в 16:19, naves сказал:

Сервер с видеонаблюдением можно подключить кучей способов к внешней СХД

На самом деле мы отошли от изначальной темы. Когда я создавал тему, то продвигал основную идею - решение должно соответствовать задачам. Где-то лучше сервер, где-то лучше регистратор.

Оппонент продвигал (и продвигает) тезис, что видеорегистраторы применять вообще нельзя никогда, и только сервер способен решить любую задачу.

Потом оказалось, что нормальных регистраторов он и не видел никогда. Которые могут делать видеоаналитику намного круче, чем его самосборные сервера. И в которых даже предусмотрена отказоустойчивость. Вот тут и возникла тема RAID.

И вот тут оппонент начал втирать, что рейды - устаревшее говно, которое никому не нужно.

Share this post


Link to post
Share on other sites

9 hours ago, straus said:

А также для Hardware Assisted / Hardware Accelerated RAID, который суть тот же Software.

Только сейчас понял, что под вашим научным термином скрывается банальный fakeraid, который промежуточное звено между полноценной PCI-платой в компе, и чистым soft-raid. Это те самые встроенный рейды на десктопных материнках, и часто есть в серверных на уровне чипсета, тот же самый Intel Rapid Storage

9 hours ago, straus said:

Это было актуально тогда, когда присутствие BBU было скорее исключением. И решалось обычным UPS. Сейчас наличие BBU считается стандартом.

Write Hole может возникнуть на любом рейде и сейчас. soft, hard, или даже кластерная ФС. Вопрос лишь в том какими мерами минимизируются его вероятность и последствия.

 

14 hours ago, jffulcrum said:

Яндекс бохатый и может себе позволить такое написать, но явно не для видеонаблюдения сие написано, скорее финтех, где нужны минимальные задержки и надежность, превышающая стандартные уровни RAID.

Нет, нет, и нет. Кластерные ФС это вообще не про минимизацию задержек, скорее наоборот.

Для минимальной задержки ставят локально NVME-диски, любые попытки вынести наружу увеличивают задержки. Отдельная ветка - это всякие Infiniband, но опять же локальный nvme будет быстрее.

> превышающая стандартные уровни RAID.

Держать три копии в разных дц на обычных RAID или лентах - это будет надежней, чем все эти clusterFS.

Вот есть S3-протокол, например, это НЕ кластерная ФС, это вообще поверх HTTP, но как ни странно отлично подошел бы для видео. Складывать 1-100мб сегментами файлы, перезапись в середине файла не нужна, записал, прочитал, потом удалил.

Share this post


Link to post
Share on other sites

17 часов назад, straus сказал:

Потом оказалось, что нормальных регистраторов он и не видел никогда. Которые могут делать видеоаналитику намного круче, чем его самосборные сервера. И в которых даже предусмотрена отказоустойчивость. Вот тут и возникла тема RAID.

Ваши абстрактные нормальные регистраторы, по сути, и есть сервера, только крутится на них линукс с неким самописным софтом, не стандартная ОС и всего делов. По цене оказывается дороже сервера + стоимость лицензии на камеры.

 

У той же линии есть "железные" регистраторы в виде маленьких серверов. У других производителей есть. Но они сделаны для минимальной стоимости, сложности с добавлением дисков (часто ограничение на 2 или 4, не более), проблемы с охлаждениями, заменой БП и прочего.

 

 

Share this post


Link to post
Share on other sites

1 час назад, Saab95 сказал:

Ваши абстрактные нормальные регистраторы, по сути, и есть сервера, только крутится на них линукс с неким самописным софтом, не стандартная ОС и всего делов.

И опять ты облажался в главном. Там не процессор, а ASIC, с аппаратным кодированием/декодированием видеопотоков. Плюс аппаратное БПФ/ДПФ для аналитики.

 

1 час назад, Saab95 сказал:

Но они сделаны для минимальной стоимости, сложности с добавлением дисков (часто ограничение на 2 или 4, не более)

Ага, я помню, как ты на этом форуме человеку с трёмя камерами предлагал выкинуть регистратор и поставить полноценный сервер.

 

9 часов назад, naves сказал:

Нет, нет, и нет. Кластерные ФС это вообще не про минимизацию задержек, скорее наоборот.

Для минимальной задержки ставят локально NVME-диски, любые попытки вынести наружу увеличивают задержки. Отдельная ветка - это всякие Infiniband, но опять же локальный nvme будет быстрее.

> превышающая стандартные уровни RAID.

Держать три копии в разных дц на обычных RAID или лентах - это будет надежней, чем все эти clusterFS.

Каждая отдельная задача должна решаться соответствующими средствами. RAID решает задачу непрерывности доступа к данным. Плюс фоновое восстановление при повреждении части накопителей. Но отказы RAID-контроллера - уже другая задача. Пожар в ДЦ - третья задача. Разрушение файловой системы при глюках ОС - четвёртая задача. Поэтому RAID не отменяет наличие резервных копий, и желательно в географически удалённом месте.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.