LostSoul Опубликовано 27 декабря, 2019 · Жалоба 1 минуту назад, Shurhenchik сказал: Кому надо - бери карепак и не нужен тебе такой же сервер, пусть вендор голову себе греет хорошо быть богатым, здоровым и иметь свою маленькую серверную в калифорнии , прямо около склада вендора. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 27 декабря, 2019 · Жалоба 1 минуту назад, LostSoul сказал: Мой опыт за 20+ лет Ну письками меряться не будем, я еще ленту с дырдочками видел :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LostSoul Опубликовано 27 декабря, 2019 · Жалоба Только что, Shurhenchik сказал: Если решение не ответственное, то можно хоть из домашнего компа датасторадж сделать и щеки надувать что дешево. Задача не надувать щеки, а обеспечить гарантированную доступность и гарантированное время востановления. Без гипотетического волшебника на голубом вертолете , который может быть прилетит под утро в новый год, а может не прилетит. Для фирменных закрытых решений , сопоставимый уровень надежности стоит на порядки дороже. 2 минуты назад, Shurhenchik сказал: Ну письками меряться не будем, я еще ленту с дырдочками видел :) ну так и не надо спорить тогда, что набор дисков с стандартным sas/sata интерфейсом который можно быстро переставить в любое пригодное железо, это лучше чем анальный вендорлок. а вендорлок годен лишь тогда , когда у вас стоит много дорогих и однотипных серверов + имеется к ним зип на складе. Но это не укладывается в концепцию ТС "одинокая хранилка видео, которая несколько лет росла от 1 до 10 дисков" Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 27 декабря, 2019 · Жалоба 1 минуту назад, LostSoul сказал: Для фирменных закрытых решений , сопоставимый уровень надежности стоит на порядки дороже. Ну это смотря кто сопоставляет. P.S. а еще в фирменный датасторадж диски из ближайшего магазина не воткнешь - тоже минус, то-ли дело хранилка, собранная из старого домашнего компа в новом большом и просторном корпусе Инвин :))) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rm_ Опубликовано 27 декабря, 2019 · Жалоба 15 minutes ago, Shurhenchik said: Вот только работает это решение не на твоем процессоре, которому еще всякой хрени надо кучу делать, а на своем собственном. Это имело смысл в 90ых или начале 2000ых, откуда все эти ваши аппаратные говна мамонта и родом, но сегодня с 8-16 ядрами на CPU практически всегда есть ядра недогруженные или простаивающие, которым вдобавок по меркам современных CPU посчитать что-то там на скорости доступа к крутящимся дискам - это раз плюнуть. Quote [ 2.704020] raid6: using algorithm sse2x4 gen() 13838 MB/s Вижу 14 гигабайт в секунду на не самом новом FX'е, в CPU это упрётся где-то в районе 100шт подключенных HDD. А таких ядер восемь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 27 декабря, 2019 · Жалоба 16 минут назад, rm_ сказал: Вижу 14 гигабайт в секунду на не самом новом FX'е, в CPU это упрётся где-то в районе 100шт подключенных HDD. А таких ядер восемь. Фантазии :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 27 декабря, 2019 · Жалоба 37 минут назад, LostSoul сказал: как вы будете чинить это решение, если оно внезапно сгорит? или как то еще непредсказуемо и внезапно кончится? Внезапно оно не сгорит и не умрет, потому что там резервирование 2x2. Такое событие будет не случайным, его нужно специально спланировать, и при этом еще отключить выгрузку диагностики вендору и игнорировать алармы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LostSoul Опубликовано 27 декабря, 2019 · Жалоба 22 минуты назад, Shurhenchik сказал: P.S. а еще в фирменный датасторадж диски из ближайшего магазина не воткнешь - тоже минус если ОЧЕНЬ НАДО то воткнешь, какие проблемы то? ну система конечно удивится, а может даже и возражать попробует против обьединения sas и sata в одном массиве , но после пинка должно запустится. Но смысл как раз именно в том, да. Что собирая крутой сторадж в селе гадюкино, на крутых спецефических дисках, которые везти с большой земли самолетом 2 недели - это значит или собирать свой маленький локальный склад запчастей с абсолютно всем, что может понадобится ( включая крутого специалиста по данной системе хранения в криокамере ) , или постоянно жить как на вулкане. Только что, alibek сказал: Внезапно оно не сгорит и не умрет, потому что там резервирование 2x2. тысячи и тысячи случаев когда никак не помогает это ваше 2x2. в общем, вы что делать будете не знаете и надеетесь что пронесет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
1dimon1 Опубликовано 27 декабря, 2019 · Жалоба Коллеги, подскажите мне на имеющемся LSI MegaRAID SAS 2108 что лучше использовать? Какой RAID? Почему-то хочется RAID 50 (один или несколько), но теоретически возможны ситуации, 30 камер на 1 HDD. Или я зря волнуюсь? А может быть всё же использовать скрипт от "Форпост", привязывающий определённые камеры к определённым HDD? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 27 декабря, 2019 · Жалоба Сколько всего дисков? Я бы для вообще не использовал RAID5, особенно для видео. Если очень хочется, то используйте хотя бы RAID6. А лучше вообще использовать отдельно подключенные диски, раскидав их по камерам. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 27 декабря, 2019 · Жалоба 13 минут назад, 1dimon1 сказал: Почему-то хочется RAID 50 (один или несколько) Интересно, сколько хочешь "несколько RAID 50" собрать на LSI MegaRAID SAS 2108 у когорого всего ? 6 минут назад, alibek сказал: Если очень хочется, то используйте хотя бы RAID6. + я бы один диск оставил бы Hot Spare По поводу раскидать камеры по дискам... не всегда можно равномерно трафик распределить, ну или придет весна и все опять изменится. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 27 декабря, 2019 · Жалоба 37 минут назад, Shurhenchik сказал: не всегда можно равномерно трафик распределить А какая разница? Если узким местом будет шина контроллера, то тут ничего не сделаешь, никакой RAID не поможет. А если камеры просто количественно раскидать по дискам (пусть даже без учета трафика), то для дисковых IOPS это все равно будет намного лучше, чем никак не делать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 27 декабря, 2019 · Жалоба 1 минуту назад, alibek сказал: А если камеры просто количественно раскидать по дискам (пусть даже без учета трафика), то для дисковых IOPS это все равно будет намного лучше, чем никак не делать. Да дискам-то лучше, а юзеры недовольны - 3 камеры неделю хранятся, четыре только сутки, а еще одна полгода :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
straus Опубликовано 27 декабря, 2019 · Жалоба 7 часов назад, LostSoul сказал: "аппаратный контроллер" это точно такое-же софтовое решение , но закрытое , исполняемое ( частично ) на отдельном слабо документированном процессоре и сложно доступное к анализу и дебагу. при прочих равных, почти всегда лучше широко распостраненное, встроенное в ядро linux открытое решение , универсальное между разными платформами серверов, широко освещенное на форумах и имеющее большое сообщество пользователей. Его хотя бы понятно как чинить, когда рассыпется. А не "обратитесь на платную поддержку в рабочее время". Аппаратный контроллер лучше для ситуаций "дорого богато". Когда на складе всегда лежит в коробке такой же точно новый сервер в ЗИП , когда стоит дорогая и быстрая бекап-система, позволяющая в случае краха все очень быстро развернуть с свежей резервной копии на запасное железо и.т.п. Если бюджеты ограничены и нужно вылететь "на честном слове и одном крыле" - большая глупость использовать аппаратный контроллер. Софтовые рейды даже работают. Иногда. Например до момента BSOD или Kernel Panic. Или до ещё некоторых моментов, заканчивающихся развалом рейда. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
straus Опубликовано 27 декабря, 2019 · Жалоба 10 часов назад, LostSoul сказал: Если бюджеты ограничены и нужно вылететь "на честном слове и одном крыле" - большая глупость использовать аппаратный контроллер. Я этой большой глупостью пользуюсь с незапамятных времён. Работают у меня даже Mylex DAC960 и ICP-Vortex GDT6527RP. До сих пор работают. Можно представить, сколько времени они уже работают, если GDT6527 это ещё SCSI Ultra-40. За это время на альтернативных решениях развалились десятки рэйдов, а эти и в ус не дуют. А, фигня. В одном тазике стоит вообще наидревнейшее изделие DC690CD. Это IDE-контроллер эпохи, когда винчестера были 80-120-170 МЕГАБАЙТ. Он работает! И винты те работают! Тазик специфический, большого объёма винтов не надо, но нужно резервирование. 10 часов назад, rm_ сказал: Это имело смысл в 90ых или начале 2000ых, откуда все эти ваши аппаратные говна мамонта и родом, но сегодня с 8-16 ядрами на CPU практически всегда есть ядра недогруженные или простаивающие, которым вдобавок по меркам современных CPU посчитать что-то там на скорости доступа к крутящимся дискам - это раз плюнуть. Это имеет смысл всегда. Поскольку софтовый рэйд улетает вместе с критическим событием на основном процессоре. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 27 декабря, 2019 · Жалоба 1 час назад, straus сказал: Тазик специфический, большого объёма винтов не надо, но нужно резервирование. Если такой HDD вылетит, тазик может и будет работать (если избыточности RAID хватит), но не думаю, что сейчас можно будет где-то купить IDE-диск подходящего типа на замену. Я с полгода назад искал IDE, найти в магазинах не смог. Хорошо у знакомого нашелся, пылился в ящике, но работал. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
straus Опубликовано 27 декабря, 2019 · Жалоба 1 час назад, alibek сказал: Если такой HDD вылетит, тазик может и будет работать (если избыточности RAID хватит), но не думаю, что сейчас можно будет где-то купить IDE-диск подходящего типа на замену. Я с полгода назад искал IDE, найти в магазинах не смог. Хорошо у знакомого нашелся, пылился в ящике, но работал. Да у меня их целый ящик. Не хотят они помирать. При такой интенсивности отказов этого запаса уже лет на 200-300 хватит. А если вдруг что - тоже не беда, переходников IDE-SATA в продаже как грязи. И кстати, через пассивный переходник из двух разъёмов прекрасно работают карты Compact Flash (этакий винчестер с нулевым временем доступа). А вот реально, современные винты ёмкостью от 160 гиг где-то мрут не просто намного, а в пересчёте на часы наработки - в сотни раз чаще. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 27 декабря, 2019 · Жалоба 12 часов назад, LostSoul сказал: Пользователи linux рейдов живут скучно, никаких приключений на жопу. Оно просто работает и все. И если сломалось то в гугле сразу 100500 ссылок как все правильно собрать, с подробным описанием всех подводных камней. Недавно мне понадобилось пару дисков в зеркале dmraid переставить в новый сервер. Но после вставки дисков Centos 8 сказал "кря" и упал в kernel panic. И загружаться отказывался, пока не вынули оба диска. Причину искать пришлось долго, но все же нашлась: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/considerations_in_adopting_rhel_8/index#the-dmraid-package-has-been-removed_file-systems-and-storage . Ладно, сказал я себе, счас загружусь с LiveCD Centos 7, удалю RAID в dmraid, потом соберу уже в mdadm. Но все попытки удалить конфигурацию с дисков оказались тщетны - не могу удалить конфигурацию, т.к. никогда не была инициализирована. Помог только найденный в сети скрипт для dd, ищущий сигнатуру на диске и затирающий область секторов суперблока. Ладно, в итоге с почищенными дисками система стартовала, и было собрано новое зеркало, уже в mdadm. Но захотелось проверить, ну а теперь-то можно пару дисков в другую машину переставить? И переставил в машину Ubuntu. И ничего, мы видим два отдельных диска. Оказывается, надо на предыдущем сервер сделать файл экспорта mdadm.conf и перенести на новый. Нет, есть команда скана -auto...вот только в описании не рекомендуется ей пользоваться, видите ли может аррею того...затереть случайно. И вы думаете импорт помог? А вот хрен. Была словлена еще вот такая белочка: https://askubuntu.com/questions/247981/software-raid-mdadm-re-find-my-array Скучная жизнь - она такая. Да, починить можно по советам из Интернет. Хранилку, однако, платный саппорт тоже чинит неплохо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
straus Опубликовано 27 декабря, 2019 · Жалоба 1 час назад, alibek сказал: тазик может и будет работать (если избыточности RAID хватит) В этом контроллере ещё нет понятия RAID, там есть Link (это фактически JBOD) и Mirroring (а это RAID1). При Mirroring всё будет работать как положено. Кстати самих контроллеров таких тоже лежит около десятка, половина под PCI, половина ещё под ISA. Жалко выбрасывать - память. И когда-то под такой контроллер переписали BIOS сами и получилась аппаратная шифровалка винтов, правда по нынешним временам это уже очень медленно. Да, тут в теме была фраза про "плохо документированные процессоры" на аппаратных RAID-контроллерах. Так вот на этих древних TEKRAM'ах стоят процессоры 80286 (по тем временам весьма таки неслабый процессор), а на SCSI-вых ICP и Mylex стоят i960. Просто для информации тем, кто вживую никогда с такой техникой не работал. А ещё у меня есть внешний RAID-контроллер. Это такая железяка с кнопками и дисплеем, которая позволяет подключить до 30 накопителей и имеет выходы на два хоста. То есть, из 30 накопителей она может создать кучу произвольных массивов, которые предоставит двум отдельным серверам. Ну и бэкпланы SAF-TE (интересно, кто-то ещё помнит/знает, что такое SAF-TE и зачем оно нужно)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shurhenchik Опубликовано 28 декабря, 2019 · Жалоба 21 час назад, LostSoul сказал: Но это не укладывается в концепцию ТС "одинокая хранилка видео, которая несколько лет росла от 1 до 10 дисков" Вот и пришла пора переходить к профессиональным решениям 20 часов назад, rm_ сказал: Это имело смысл в 90ых или начале 2000ых, откуда все эти ваши аппаратные говна мамонта и родом, но сегодня с 8-16 ядрами на CPU практически всегда есть ядра недогруженные или простаивающие, которым вдобавок по меркам современных CPU посчитать что-то там на скорости доступа к крутящимся дискам - это раз плюнуть. 2 года назад заказчик захотел новое железо под хранение видео приобресть, так чтобы на полгода записи хватало. А видео у него копится со скоростью 2 Тб в сутки. Кто-нибудь предлложит решение на "высокопроизводительных многоядерных супербыстродействующих процессорах" в качестве альтернативы технологиям прошлого века? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LostSoul Опубликовано 28 декабря, 2019 · Жалоба В 27.12.2019 в 17:11, straus сказал: Софтовые рейды даже работают. Иногда. Например до момента BSOD или Kernel Panic. Или до ещё некоторых моментов, заканчивающихся развалом рейда. Ох уж мне эти сказки , ох уж эти сказочники. Чему там в обычном рейде от kerbel panic разваливатся , так что оно потом не собралось? Отличие софтового рейда от фирменного закрытого как раз в том что миллионами хомячков все баги вылизаны Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LostSoul Опубликовано 28 декабря, 2019 · Жалоба 21 час назад, straus сказал: За это время на альтернативных решениях развалились десятки рэйдов, а эти и в ус не дуют. Ну это какие то ваши индивидуальные заморочки. За всю мою практику есть два варианта развала рейда - все диски дошли до цугундера в отсутствие мониторинга и обслуживания , вторая ошибка оператора при обслуживании. Никаких иных причин на развал рейдов не бывало как и самих развалов. Но вот починить то что развалилось на софтовом можно быстро и с гарантией. Самому 21 час назад, straus сказал: Это имеет смысл всегда. Поскольку софтовый рэйд улетает вместе с критическим событием на основном процессоре. Куда он простите улетает? Что это за событие такое хитрое что оно начнет целенаправленно и равномерно уничтожать данные сразу на всех дисках попадая во все зеркальные участки данных сразу, пересчитывая клрректные crc для блоков данных итп? 19 часов назад, jffulcrum сказал: Помог только найденный в сети скрипт для dd, ищущий сигнатуру на диске и затирающий область секторов суперблока. Ну так вы просто слабо понимаете как это устроено и работает. Я могу провести очистку с помощью dd и без скриптов их интернета. Просто глядя на диск и рассчитывая аргументы на калькуляторе. dmraid это аварийный способ доступа к дисковым наборам от умерших серверов/контроллеров дисковых полок , где был аппаратный рейд. Зачем вы используете его противоестественным способом? Вы бы еще на ntfs центос поставили Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LostSoul Опубликовано 28 декабря, 2019 · Жалоба 19 часов назад, jffulcrum сказал: Оказывается, надо на предыдущем сервер сделать файл экспорта mdadm.conf и перенести на новый Это не требуется. Достаточно было дисковым разделам mdraid поставить нужный тип - fd (Linux raid autodetect) 19 часов назад, jffulcrum сказал: И вы думаете импорт помог? А вот хрен. Была словлена еще вот такая белочка: https://askubuntu.com/questions/247981/software-raid-mdadm-re-find-my-array По вашей ссылке странный чудила пытается собирать рейд из whole disk , не создав таблицу разделов gpt или mbr в начале диска. Это нестандартное противоестественное применение mdraid, если так можно делать то не значит что так нужно. Это для тех, кто понимает что он делает . Стандартным вариантом является хранение связанных с разделами mdraid метаданных в mbr/gpt затем уже в метаблоке раздела. Тогда и полный плюг анд плей и автодетект 19 часов назад, straus сказал: Так вот на этих древних TEKRAM'ах стоят процессоры 80286 (по тем временам весьма таки неслабый процессор) Просто мечтаю когда что-то пойдет не так брать дебагер и асемблерный код дремучих лет отлаживать Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
LostSoul Опубликовано 28 декабря, 2019 · Жалоба 19 часов назад, straus сказал: А ещё у меня есть внешний RAID-контроллер. Это такая железяка с кнопками и дисплеем, которая позволяет подключить до 30 накопителей и имеет выходы на два хоста Оно обычно совмещено с дисковыми корзинами , имеет два дублированных бп , два контроллера и 2 вентилятора и зовется дисковой полкой. У меня такая от IBM даже дома стоит 11 часов назад, Shurhenchik сказал: 2 года назад заказчик захотел новое железо под хранение видео приобресть, так чтобы на полгода записи хватало. А видео у него копится со скоростью 2 Тб Ну так тут уже без вариантов уходит в область дорого-богато или надо урезать осетра. Хотя в том же гугла итп нормально реализуют такое на дешевом железе. 100500 дешевых помоек и люстра сверху Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 28 декабря, 2019 · Жалоба 22 минуты назад, LostSoul сказал: Ну так вы просто слабо понимаете как это устроено и работает. Я не сомневаюсь, что просматривая диск в HEX-редакторе можно определить версию, размер, и расположение суперблока, и там же и потереть, но мысли о троллейбусе из буханки в ходе процесса - не радуют. Это не индустриальный подход, это типичное красноглазое говно наколенное, "я задачу свою решил и высрал в Main, а вы - ебитесь". Какой миллион хомчков ЭТО вылизывал, каким местом? 21 минуту назад, LostSoul сказал: По вашей ссылке странный чудила пытается собирать рейд из whole disk , не создав таблицу разделов gpt или mbr в начале диска. До конца не читаем, да? Просто в какой-то момент диск лочится, хотел бы написать, что от какого-то бага, но их же в Linux RAID нет... Хотя Ubuntu да, типа уже не Linux. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...