straus Posted February 1 · Report post 37 минут назад, sdy_moscow сказал: Не догнали, он имел ввиду, что "Тупень - он во всём тупень....", но это не обратная, а расширенная формулировка. Тут есть сложность: тупой никогда не поймёт, что он тупой. В силу своей тупизны. Рекурсия получается, однако... 54 минуты назад, Saab95 сказал: Рейд был нужен и стал не нужен, вот поговорка. А вот это и есть пример тупизны: чувак предложил Software RAID 1, отрицая, что это RAID. "Это не кондитерское изделие, это пирожное." Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted February 2 · Report post @straus Это вы еще шедевры мэтра в не читали Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
naves Posted February 3 · Report post On 2/1/2025 at 8:44 PM, TheUser said: Тут одни ребята разобрали сервер GGC. Количество найденных NVME - 0. Так они же устарели! Это же каждая бабушка на лавочке знает. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TheUser Posted February 3 · Report post 1 час назад, naves сказал: Так они же устарели! Это же каждая бабушка на лавочке знает. Спроси у бабушек на лавочке, что эффективней, GGC или VK Cache в пересчете на рубли-за-мбит-в-сек? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted February 3 · Report post В 02.02.2025 в 01:28, straus сказал: Это же какой будет удар для любителя микротиков, если я расскажу ему про ситуацию, где нижний уровень RAID обеспечивается отдельными хардварными контроллерами, на каждом из которых висит по 14 дисков; далее эти контроллеры собраны специальным софтом в следующий уровень RAID в пределах сервера; а ещё выше эти срервера собраны в ещё один уровень в пределах кластера. Любитель микротиков от отчаяния повесится на витой паре... Ну давайте представим ситуацию, есть массив рейд 5 или 6, на дисках в 1тб, сломался один диск, сломался другой, меняем на 4тб, потом сломался последний диск на 1тб и все диски стали 4тб, как увеличить объем хранения до дисков 4тб без перерыва в работе? То, что вы пишите про сервера, кластеры и т.п. это все привязано к вендору. Сегодня он один, завтра другой, через 3 года потребовалось кардинально поменять систему хранения. И получается что не нужны никакие рейд и используется прямой доступ к дискам. Тот же Яндекс выкладывал презентацию своей схемы работы с дисками. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted February 4 · Report post Напоминает анекдот, где теоретики-девственники обсуждали, что можно делать с женщиной. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
naves Posted February 4 · Report post 19 hours ago, Saab95 said: Тот же Яндекс выкладывал презентацию своей схемы работы с дисками. Презентации мы тоже не увидим? И название системы видеонаблюдения с дефрагментацией дисков. И название города, в котором ездят автобусы с компьютерами для видеонаблюдения. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sheft Posted February 4 · Report post 4 часа назад, naves сказал: видеонаблюдения с дефрагментацией диско он же говорил что там ssd пользуют, а на них фрагментация не баг а фича... мысль про вред райда под видеонаблюдение тоже имеет право на жизнь... предложенный выше страйп, в случае краша завалит весь архив, с зеркалом тоже нюансы, в каком режиме окажется архив при краше? деградация с записью, декрадация с только на чтение, или отвал архива? зависит от производителя железа... группировать камеры на разные диски для ускорения вместо страйпа менее болезненно в случае отвала диска, как и писать одновременно поток с камеры на два диска вместо нулевого райда.. использование разношёрстных дисков в райде также ограничивает возможности но все эти самосборы и пр... это когда есть в подчинении рукоблудник, который будет это всё крутить-настраивать... а когда эксплуатанты - далекие от этого всего люди, то конечно проще\дешевле законченная железка Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted February 4 · Report post 6 часов назад, naves сказал: Презентации мы тоже не увидим? Цитата Подсистема хранения в YDB работает с дисками напрямую, без использования файловой системы, потому что это помогает делать систему быстрее, надёжнее и при этом меньше изнашивать диски. Поддерживаются все основные типы дисков: NVMe, SSD или HDD. За работу с конкретным блочным устройством отвечает компонент PDisk. Также есть специальный компонент DSProxy, который анализирует доступность и характеристики дисков и выбирает, какие диски будут обрабатывать запрос, а какие нет. Когда YDB записывает данные на три зоны доступности, он не отправляет запросы на явно некорректные диски и продолжает работать без прерываний, даже если одна зона доступности и диск в другой зоне доступности потеряны. Ссылка на видео рутуб. https://rutube.ru/video/8b96f4178b2173a3defb9313c8bbf7d4/ Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
straus Posted February 4 · Report post В 04.02.2025 в 21:28, sheft сказал: мысль про вред райда под видеонаблюдение тоже имеет право на жизнь... Имеет. В 04.02.2025 в 21:28, sheft сказал: предложенный выше страйп, в случае краша завалит весь архив, с зеркалом тоже нюансы, в каком режиме окажется архив при краше? деградация с записью, декрадация с только на чтение, или отвал архива? зависит от производителя железа... Зеркало продолжит работу без изменений. В Degraded массив слетит после установки нового диска и начала процедуры восстановления. В 04.02.2025 в 21:28, sheft сказал: группировать камеры на разные диски для ускорения вместо страйпа менее болезненно в случае отвала диска Есть такое. Нужно считать конкретный случай в цифрах. В 04.02.2025 в 21:28, sheft сказал: как и писать одновременно поток с камеры на два диска вместо нулевого райда.. Во-первых, зеркало это RAID не 0, а 1. Во-вторых - это получается тот же RAID 1, только средствами ОС - Soft RAID. Это в случае зеркалирования на уровне дисков. Можно зеркалировать на уровне файлов (на разные буквы дисков), но тут будут очень большие накладные расходы (двойная обработка файловых систем, которая весьма медленная). В 04.02.2025 в 21:28, sheft сказал: использование разношёрстных дисков в райде также ограничивает возможности Разумеется. Ограничение по самому тормозному и самому малоёмкому. Только вот остальных методов это касается в той же самой степени. Есть у Hardware Dedicaded RAID (отдельная коробка с кнопками и дисплеем) и Hardware Embedded RAID (аппаратный контроллер в виде платы расширения в системном блоке) одно достаточно важное преимущество перед Hardware Assisted (Hardware Accelerated) и Sofware RAID - у последних двух при глюках системы получаем практически со стопроцентной вероятностью RAID Inconsistency. В полноценных Hardware RAID все операции выполняются отдельным контроллером, и состояние системы ему абсолютно пофиг. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sheft Posted February 5 · Report post 8 часов назад, straus сказал: Во-первых, зеркало это RAID не 0, а 1 да, разумеется, моя опечатка.. 8 часов назад, straus сказал: Зеркало продолжит работу без изменений. зависит от контроллера, мой личный опыт с адаптеком говорит о расхождении ожиданий с практикой... но если не райд диск можно переставить в другую систему и крути его как хочешь... то с райдами, в случае чего, и невозможности исправить куцыми штатными исправлялками, всегда звучит одно - обратитесь к саппорту вендора.. 8 часов назад, straus сказал: но тут будут очень большие накладные расходы по сравнению со скоростью записи дисков это ничто, возможно будет ощутимо когда в полке 20(30) дисков и выше... но это моё имхо 9 часов назад, straus сказал: Hardware Dedicaded RAID с таким дела не имел, может там всё по другому.. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
straus Posted February 5 · Report post 43 минуты назад, sheft сказал: по сравнению со скоростью записи дисков это ничто Как раз наоборот, работа с файловой системой весьма медленная - нужно найти цепочки свободных секторов, временно захватить их, посчитать место, открыть журнал, начать запись куска файла, обновить индексы, продолжить запись, опять обновить индексы, поправить журнал, сделать запись в MFT, закрыть журнал. И это ещё упрощённо. Сделать такое на четырёх разных дисках - лучше сразу повеситься. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted February 5 · Report post Ну обычно все не так плохо. Во-первых, файловая система кешируется в памяти. Во-вторых, обычно резервируется сразу большой файл-контейнер, который заполняется данными. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
naves Posted February 5 (edited) · Report post 17 hours ago, Saab95 said: Ссылка на видео рутуб. Поздравляю вас, возможно, вы узнали про существование кластерных файловых систем. А теперь вопрос, какие системы видеонаблюдения изначально написаны для использования кластерных ФС? Наверное, это та загадочная система, которая и диски умеет дефрагментировать, а теперь еще выяснилось, что умеет писать в YDB-кластер. А еще могу по секрету рассказать, что вместо резервирования на уровне рейдов используют коды Рида-Соломона для так называемого Erasure coding http://onreader.mdl.ru/MasteringCeph/content/Ch04.html Как это относится с тезисом "кто-то вместо фс системы использует прямой доступ к диску"? ответ - никак. В теории, можно отделить систему хранения от системы аналитики и построить кластер уровня CERN на петабайты. Есть отраслевой стандарт хранения файлов в S3, нарезай видосы по 10мб, да сохраняй. Но кому это нужно. Сдохли пара дисков, ну подумаешь потеряли пару тысяч записей с рандомных камер, через месяц никто уже и не вспомнит про это. https://indico.cern.ch/event/1457076/attachments/2934445/5156641/Ceph, Storage for CERN Cloud.pdf 4 hours ago, straus said: Сделать такое на четырёх разных дисках - лучше сразу повеситься. Вы как-то странно интерпретируете это процесс. Записать 4 разных файла на 4 разных диска. Вот "как бы" нулевой рейд для данных. данные размазаны по дискам. Или записать один файл на 4 диска. Если под условным soft-raid будет хоть 10 раз аппаратный рейд, то как бы число операций записи на диск примерно одинаково и зависит только от типа рейда stripe или mirror, и конкретных алгоритмов журналирования определенного рейда. Причем этот процесс еще часто путают с реальными процессами записи данных на самом диске. Часть операций делается с опцией SYNC запись в журнал в ФС, например. А часть операций делается без опции SYNC. Отсюда появляется заблуждение, что запись условного одного кадра с 100 камер вызывает 100 операций записи головок на диск. Уважаемый специалист по микротикам, что вы думаете про покадровую запись со 100 камер? Edited February 5 by naves Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
naves Posted February 5 (edited) · Report post 14 hours ago, straus said: Есть у Hardware Dedicaded RAID (отдельная коробка с кнопками и дисплеем) и Hardware Embedded RAID (аппаратный контроллер в виде платы расширения в системном блоке) одно достаточно важное преимущество перед Hardware Assisted (Hardware Accelerated) и Sofware RAID - у последних двух при глюках системы получаем практически со стопроцентной вероятностью RAID Inconsistency. В полноценных Hardware RAID все операции выполняются отдельным контроллером, и состояние системы ему абсолютно пофиг. Ну тут такое тоже вилами по воде. Hardware Dedicaded RAID, вообще обычные люди это называют просто внешнее СХД, и сделано оно внезапно тоже на каком-либо вычислительном устройстве, которое точно так же свойственно глюкам. Глюк в прошивке и лотерея с записанными данными. Зависшая ОС в системе опасна только для Sofware RAID. И здесь опять-таки не надо путать с уровнями абстракции. Проблема raid write hole https://www.raid-recovery-guide.com/raid5-write-hole.aspx Или если ОС зависла и повредила журнал ФС, то хоть какой там был рейд, внешний или внутренний - ФС повреждена. А еще есть сетевые файловые системы NFS или SMB, в которых обычно зависший клиент не испортит всю ФС в хранилище. Там правда бывают отдельные нюансы с блокировками файлов, но это уже углубление в дьявольские нюансы. И опять же не надо путать кластерные сетевые ФС с просто сетевыми ФС. Сервер с видеонаблюдением можно подключить кучей способов к внешней СХД, а потом рассказывать сказки, что iSCSI надежней SMB, или наоборот. Или подключить к кластерной сетевой ФС и рассказывать как софт использует прямой доступ к дискам. Яндекс YDB использует прямой доступ к дискам, поэтому ФС не нужны. сарказм. Edited February 5 by naves Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted February 5 · Report post 4 часа назад, naves сказал: Или подключить к кластерной сетевой ФС и рассказывать как софт использует прямой доступ к дискам. Яндекс YDB использует прямой доступ к дискам, поэтому ФС не нужны. сарказм. Так можно поверх YDB использовать обычную файловую систему. Не в прямом смысле этого слова, а просто обращаться как к обычным файлам через сетевой диск. 5 часов назад, naves сказал: Записать 4 разных файла на 4 разных диска. Вот "как бы" нулевой рейд для данных. данные размазаны по дискам. Или записать один файл на 4 диска. Никакой разницы для дисков нет, ведь это 4 разных диска сработают параллельно. Для самого сервера разбить поток на 4 разных диска так же не проблема по нагрузке, это мизер. Не тысячи же обращений к мелким файлам производится. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted February 5 · Report post 22 часа назад, Saab95 сказал: Подсистема хранения в YDB работает с дисками напрямую, без использования файловой системы Это лишь означает, что файловая система есть, но зашита в само приложение, в юзерспейсе, и хранится в какой-то БД. Таким образом исключают переключения контекста и зависимость от эффективности соотв.фильтров и драйверов ОС. Яндекс бохатый и может себе позволить такое написать, но явно не для видеонаблюдения сие написано, скорее финтех, где нужны минимальные задержки и надежность, превышающая стандартные уровни RAID. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
straus Posted February 6 · Report post В 05.02.2025 в 16:19, naves сказал: Hardware Dedicaded RAID, вообще обычные люди это называют просто внешнее СХД Лучше чётко разделять понятия. Внешнее СХД - это внешнее СХД. А RAID может являться его составной частью. А может и не являться. В 05.02.2025 в 16:19, naves сказал: сделано оно внезапно тоже на каком-либо вычислительном устройстве, которое точно так же свойственно глюкам Естественно. Но объём программы в прошивке и глубокое тестирование этой прошивки оставляют меньше шансов глюкам. Говорить же о надёжности Soft RAID, да ещё под виндой - из разряда юмора. В 05.02.2025 в 16:19, naves сказал: Зависшая ОС в системе опасна только для Sofware RAID. А также для Hardware Assisted / Hardware Accelerated RAID, который суть тот же Software. В 05.02.2025 в 16:19, naves сказал: Проблема raid write hole Это было актуально тогда, когда присутствие BBU было скорее исключением. И решалось обычным UPS. Сейчас наличие BBU считается стандартом. В 05.02.2025 в 16:19, naves сказал: Или если ОС зависла и повредила журнал ФС, то хоть какой там был рейд, внешний или внутренний - ФС повреждена. С этим никто не спорит. Назначение RAID - защита от отказов накопителей. И только. Остальные прблемы должны решаться соответствующими методами. В 05.02.2025 в 16:19, naves сказал: Сервер с видеонаблюдением можно подключить кучей способов к внешней СХД На самом деле мы отошли от изначальной темы. Когда я создавал тему, то продвигал основную идею - решение должно соответствовать задачам. Где-то лучше сервер, где-то лучше регистратор. Оппонент продвигал (и продвигает) тезис, что видеорегистраторы применять вообще нельзя никогда, и только сервер способен решить любую задачу. Потом оказалось, что нормальных регистраторов он и не видел никогда. Которые могут делать видеоаналитику намного круче, чем его самосборные сервера. И в которых даже предусмотрена отказоустойчивость. Вот тут и возникла тема RAID. И вот тут оппонент начал втирать, что рейды - устаревшее говно, которое никому не нужно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
naves Posted February 6 · Report post 9 hours ago, straus said: А также для Hardware Assisted / Hardware Accelerated RAID, который суть тот же Software. Только сейчас понял, что под вашим научным термином скрывается банальный fakeraid, который промежуточное звено между полноценной PCI-платой в компе, и чистым soft-raid. Это те самые встроенный рейды на десктопных материнках, и часто есть в серверных на уровне чипсета, тот же самый Intel Rapid Storage 9 hours ago, straus said: Это было актуально тогда, когда присутствие BBU было скорее исключением. И решалось обычным UPS. Сейчас наличие BBU считается стандартом. Write Hole может возникнуть на любом рейде и сейчас. soft, hard, или даже кластерная ФС. Вопрос лишь в том какими мерами минимизируются его вероятность и последствия. 14 hours ago, jffulcrum said: Яндекс бохатый и может себе позволить такое написать, но явно не для видеонаблюдения сие написано, скорее финтех, где нужны минимальные задержки и надежность, превышающая стандартные уровни RAID. Нет, нет, и нет. Кластерные ФС это вообще не про минимизацию задержек, скорее наоборот. Для минимальной задержки ставят локально NVME-диски, любые попытки вынести наружу увеличивают задержки. Отдельная ветка - это всякие Infiniband, но опять же локальный nvme будет быстрее. > превышающая стандартные уровни RAID. Держать три копии в разных дц на обычных RAID или лентах - это будет надежней, чем все эти clusterFS. Вот есть S3-протокол, например, это НЕ кластерная ФС, это вообще поверх HTTP, но как ни странно отлично подошел бы для видео. Складывать 1-100мб сегментами файлы, перезапись в середине файла не нужна, записал, прочитал, потом удалил. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted February 6 · Report post 17 часов назад, straus сказал: Потом оказалось, что нормальных регистраторов он и не видел никогда. Которые могут делать видеоаналитику намного круче, чем его самосборные сервера. И в которых даже предусмотрена отказоустойчивость. Вот тут и возникла тема RAID. Ваши абстрактные нормальные регистраторы, по сути, и есть сервера, только крутится на них линукс с неким самописным софтом, не стандартная ОС и всего делов. По цене оказывается дороже сервера + стоимость лицензии на камеры. У той же линии есть "железные" регистраторы в виде маленьких серверов. У других производителей есть. Но они сделаны для минимальной стоимости, сложности с добавлением дисков (часто ограничение на 2 или 4, не более), проблемы с охлаждениями, заменой БП и прочего. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
straus Posted February 6 · Report post 1 час назад, Saab95 сказал: Ваши абстрактные нормальные регистраторы, по сути, и есть сервера, только крутится на них линукс с неким самописным софтом, не стандартная ОС и всего делов. И опять ты облажался в главном. Там не процессор, а ASIC, с аппаратным кодированием/декодированием видеопотоков. Плюс аппаратное БПФ/ДПФ для аналитики. 1 час назад, Saab95 сказал: Но они сделаны для минимальной стоимости, сложности с добавлением дисков (часто ограничение на 2 или 4, не более) Ага, я помню, как ты на этом форуме человеку с трёмя камерами предлагал выкинуть регистратор и поставить полноценный сервер. 9 часов назад, naves сказал: Нет, нет, и нет. Кластерные ФС это вообще не про минимизацию задержек, скорее наоборот. Для минимальной задержки ставят локально NVME-диски, любые попытки вынести наружу увеличивают задержки. Отдельная ветка - это всякие Infiniband, но опять же локальный nvme будет быстрее. > превышающая стандартные уровни RAID. Держать три копии в разных дц на обычных RAID или лентах - это будет надежней, чем все эти clusterFS. Каждая отдельная задача должна решаться соответствующими средствами. RAID решает задачу непрерывности доступа к данным. Плюс фоновое восстановление при повреждении части накопителей. Но отказы RAID-контроллера - уже другая задача. Пожар в ДЦ - третья задача. Разрушение файловой системы при глюках ОС - четвёртая задача. Поэтому RAID не отменяет наличие резервных копий, и желательно в географически удалённом месте. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...