[LostSoul]

1 минуту назад, Shurhenchik сказал:

Кому надо - бери карепак и не нужен тебе такой же сервер, пусть вендор голову себе греет

хорошо быть богатым, здоровым и иметь свою маленькую серверную в калифорнии , прямо около склада вендора.

 

[Shurhenchik]

1 минуту назад, LostSoul сказал:

Мой опыт за 20+ лет

Ну письками меряться не будем, я еще ленту с дырдочками видел :)

[LostSoul]

Только что, Shurhenchik сказал:

Если решение не ответственное, то можно хоть из домашнего компа датасторадж сделать  и щеки надувать что дешево.

Задача не надувать щеки, а обеспечить гарантированную доступность  и гарантированное время востановления.

Без гипотетического волшебника на голубом вертолете , который может быть прилетит под утро в новый год, а может не прилетит.

 

Для фирменных закрытых решений , сопоставимый  уровень надежности стоит на порядки дороже.

 

 

 

2 минуты назад, Shurhenchik сказал:

Ну письками меряться не будем, я еще ленту с дырдочками видел :)

ну так и не надо спорить тогда, что набор дисков с стандартным sas/sata интерфейсом который можно быстро переставить  в любое пригодное железо, это лучше чем анальный вендорлок.

а вендорлок годен лишь тогда , когда у вас стоит много дорогих и однотипных серверов + имеется к ним зип на складе.

 

Но это не укладывается в концепцию ТС  "одинокая хранилка видео, которая несколько лет росла от 1 до 10 дисков"

 

[Shurhenchik]

 

1 минуту назад, LostSoul сказал:

Для фирменных закрытых решений , сопоставимый  уровень надежности стоит на порядки дороже.

Ну это смотря кто сопоставляет.

 

P.S. а еще в фирменный датасторадж диски из ближайшего магазина не воткнешь - тоже минус, то-ли дело хранилка, собранная из старого домашнего компа в новом большом и просторном корпусе Инвин :)))

[rm_]

15 minutes ago, Shurhenchik said:

Вот только работает это решение не на твоем процессоре, которому еще всякой хрени надо кучу делать, а на своем собственном.

Это имело смысл в 90ых или начале 2000ых, откуда все эти ваши аппаратные говна мамонта и родом, но сегодня с 8-16 ядрами на CPU практически всегда есть ядра недогруженные или простаивающие, которым вдобавок по меркам современных CPU посчитать что-то там на скорости доступа к крутящимся дискам - это раз плюнуть.

 

Quote

[    2.704020] raid6: using algorithm sse2x4 gen() 13838 MB/s

Вижу 14 гигабайт в секунду на не самом новом FX'е, в CPU это упрётся где-то в районе 100шт подключенных HDD. А таких ядер восемь.

[Shurhenchik]

16 минут назад, rm_ сказал:

Вижу 14 гигабайт в секунду на не самом новом FX'е, в CPU это упрётся где-то в районе 100шт подключенных HDD. А таких ядер восемь.

Фантазии :)

[alibek]

37 минут назад, LostSoul сказал:

как вы будете чинить это решение,  если оно внезапно сгорит? или как то еще непредсказуемо и внезапно кончится?

Внезапно оно не сгорит и не умрет, потому что там резервирование 2x2.

Такое событие будет не случайным, его нужно специально спланировать, и при этом еще отключить выгрузку диагностики вендору и игнорировать алармы.

[LostSoul]

22 минуты назад, Shurhenchik сказал:

P.S. а еще в фирменный датасторадж диски из ближайшего магазина не воткнешь - тоже минус

если ОЧЕНЬ НАДО то воткнешь, какие проблемы то?

ну система конечно удивится, а может даже и возражать попробует против обьединения sas и sata в одном массиве , но после пинка должно запустится.

 

Но смысл как раз именно в том, да.  Что собирая крутой сторадж в селе гадюкино,  на крутых спецефических дисках,  которые везти с большой земли самолетом 2 недели - это значит или собирать свой маленький локальный склад запчастей с абсолютно всем, что может понадобится ( включая крутого специалиста по данной системе хранения в криокамере )  , или постоянно жить как на вулкане.

 

 

 

Только что, alibek сказал:

Внезапно оно не сгорит и не умрет, потому что там резервирование 2x2.

 

тысячи и тысячи случаев когда никак не помогает это ваше 2x2.

в общем, вы что делать будете не знаете и надеетесь что пронесет.

 

[1dimon1]

Коллеги, подскажите мне на имеющемся LSI MegaRAID SAS 2108 что лучше использовать? Какой RAID? Почему-то хочется RAID 50 (один или несколько), но теоретически возможны ситуации, 30 камер на 1 HDD. Или я зря волнуюсь?

А может быть всё же использовать скрипт от "Форпост", привязывающий определённые камеры к определённым HDD?

 

[alibek]

Сколько всего дисков?

Я бы для вообще не использовал RAID5, особенно для видео.

Если очень хочется, то используйте хотя бы RAID6.

А лучше вообще использовать отдельно подключенные диски, раскидав их по камерам.

[Shurhenchik]

13 минут назад, 1dimon1 сказал:

Почему-то хочется RAID 50 (один или несколько)

Интересно, сколько хочешь "несколько RAID 50" собрать на LSI MegaRAID SAS 2108 у когорого всего  ?

 

6 минут назад, alibek сказал:

Если очень хочется, то используйте хотя бы RAID6.

+ я бы один диск оставил бы Hot Spare

 

По поводу раскидать камеры по дискам... не всегда можно равномерно трафик распределить, ну или придет весна и все опять изменится.

 

[alibek]

37 минут назад, Shurhenchik сказал:

не всегда можно равномерно трафик распределить

А какая разница?

Если узким местом будет шина контроллера, то тут ничего не сделаешь, никакой RAID не поможет.

А если камеры просто количественно раскидать по дискам (пусть даже без учета трафика), то для дисковых IOPS это все равно будет намного лучше, чем никак не делать.

[Shurhenchik]

1 минуту назад, alibek сказал:

А если камеры просто количественно раскидать по дискам (пусть даже без учета трафика), то для дисковых IOPS это все равно будет намного лучше, чем никак не делать.

Да дискам-то лучше, а юзеры недовольны - 3 камеры неделю хранятся, четыре только сутки, а еще одна полгода :) 

[straus]

7 часов назад, LostSoul сказал:

"аппаратный контроллер" это  точно такое-же софтовое решение , но закрытое , исполняемое ( частично ) на отдельном слабо документированном процессоре и сложно доступное к анализу и дебагу.

при прочих равных,  почти всегда лучше широко распостраненное, встроенное в ядро linux  открытое решение , универсальное между разными платформами серверов, широко освещенное на форумах и имеющее большое сообщество пользователей.

 

Его хотя бы понятно как чинить, когда рассыпется.  А не "обратитесь на платную поддержку в рабочее время".

 

Аппаратный контроллер лучше для ситуаций "дорого богато".  Когда на складе всегда лежит в коробке такой же точно новый сервер в ЗИП , когда стоит дорогая и быстрая бекап-система, позволяющая в случае краха все очень быстро развернуть с свежей резервной копии на запасное железо и.т.п.

 

Если бюджеты ограничены и нужно вылететь "на честном слове и одном крыле"  - большая глупость использовать аппаратный контроллер.

 

Софтовые рейды даже работают. Иногда. Например до момента BSOD или Kernel Panic. Или до ещё некоторых моментов, заканчивающихся развалом рейда.
 

[straus]

10 часов назад, LostSoul сказал:

Если бюджеты ограничены и нужно вылететь "на честном слове и одном крыле"  - большая глупость использовать аппаратный контроллер.

Я этой большой глупостью пользуюсь с незапамятных времён. Работают у меня даже Mylex DAC960 и ICP-Vortex GDT6527RP. До сих пор работают. Можно представить, сколько времени они уже работают, если GDT6527 это ещё SCSI Ultra-40. За это время на альтернативных решениях развалились десятки рэйдов, а эти и в ус не дуют.

А, фигня. В одном тазике стоит вообще наидревнейшее изделие DC690CD. Это IDE-контроллер эпохи, когда винчестера были 80-120-170 МЕГАБАЙТ. Он работает! И винты те работают! Тазик специфический, большого объёма винтов не надо, но нужно резервирование.
 

 

10 часов назад, rm_ сказал:

Это имело смысл в 90ых или начале 2000ых, откуда все эти ваши аппаратные говна мамонта и родом, но сегодня с 8-16 ядрами на CPU практически всегда есть ядра недогруженные или простаивающие, которым вдобавок по меркам современных CPU посчитать что-то там на скорости доступа к крутящимся дискам - это раз плюнуть.

Это имеет смысл всегда. Поскольку софтовый рэйд улетает вместе с критическим событием на основном процессоре.
 

[alibek]

1 час назад, straus сказал:

Тазик специфический, большого объёма винтов не надо, но нужно резервирование.

Если такой HDD вылетит, тазик может и будет работать (если избыточности RAID хватит), но не думаю, что сейчас можно будет где-то купить IDE-диск подходящего типа на замену.

Я с полгода назад искал IDE, найти в магазинах не смог. Хорошо у знакомого нашелся, пылился в ящике, но работал.

[straus]

1 час назад, alibek сказал:

Если такой HDD вылетит, тазик может и будет работать (если избыточности RAID хватит), но не думаю, что сейчас можно будет где-то купить IDE-диск подходящего типа на замену.

Я с полгода назад искал IDE, найти в магазинах не смог. Хорошо у знакомого нашелся, пылился в ящике, но работал.

Да у меня их целый ящик. Не хотят они помирать. При такой интенсивности отказов этого запаса уже лет на 200-300 хватит.

А если вдруг что - тоже не беда, переходников IDE-SATA в продаже как грязи. И кстати, через пассивный переходник из двух разъёмов прекрасно работают карты Compact Flash (этакий винчестер с нулевым временем доступа).

 

А вот реально, современные винты ёмкостью от 160 гиг где-то мрут не просто намного, а в пересчёте на часы наработки - в сотни раз чаще.

 

[jffulcrum]

12 часов назад, LostSoul сказал:

Пользователи linux рейдов живут скучно,  никаких приключений на жопу. Оно просто работает и все.  И если сломалось то в гугле сразу 100500 ссылок как все правильно собрать, с подробным описанием всех подводных камней.

Недавно мне понадобилось пару дисков в зеркале dmraid переставить в новый сервер. Но после вставки дисков Centos 8 сказал "кря" и упал в kernel panic. И загружаться отказывался, пока не вынули оба диска. Причину искать пришлось долго, но все же нашлась: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/considerations_in_adopting_rhel_8/index#the-dmraid-package-has-been-removed_file-systems-and-storage . Ладно, сказал я себе, счас загружусь с LiveCD Centos 7, удалю RAID в dmraid, потом соберу уже в mdadm. Но все попытки удалить конфигурацию с дисков оказались тщетны - не могу удалить конфигурацию, т.к. никогда не была инициализирована. Помог только найденный в сети скрипт для dd, ищущий сигнатуру на диске и затирающий область секторов суперблока.

 

Ладно, в итоге с почищенными дисками система стартовала, и было собрано новое зеркало, уже в mdadm. Но захотелось проверить, ну а теперь-то можно пару дисков в другую машину переставить? И переставил в машину Ubuntu. И ничего, мы видим два отдельных диска. Оказывается, надо на предыдущем сервер сделать файл экспорта mdadm.conf и перенести на новый. Нет, есть команда скана -auto...вот только в описании не рекомендуется ей пользоваться, видите ли может аррею того...затереть случайно.

 

И вы думаете импорт помог? А вот хрен. Была словлена еще вот такая белочка: https://askubuntu.com/questions/247981/software-raid-mdadm-re-find-my-array 

 

Скучная жизнь - она такая. Да, починить можно по советам из Интернет. Хранилку, однако, платный саппорт тоже чинит неплохо.

 

 

[straus]

1 час назад, alibek сказал:

тазик может и будет работать (если избыточности RAID хватит)

В этом контроллере ещё нет понятия RAID, там есть Link (это фактически JBOD) и Mirroring (а это RAID1). При Mirroring всё будет работать как положено. Кстати самих контроллеров таких тоже лежит около десятка, половина под PCI, половина ещё под ISA. Жалко выбрасывать - память. И когда-то под такой контроллер переписали BIOS сами и получилась аппаратная шифровалка винтов, правда по нынешним временам это уже очень медленно.

 

Да, тут в теме была фраза про "плохо документированные процессоры" на аппаратных RAID-контроллерах. Так вот на этих древних TEKRAM'ах стоят процессоры 80286 (по тем временам весьма таки неслабый процессор), а на SCSI-вых ICP и Mylex стоят i960. Просто для информации тем, кто вживую никогда с такой техникой не работал.

А ещё у меня есть внешний RAID-контроллер. Это такая железяка с кнопками и дисплеем, которая позволяет подключить до 30 накопителей и имеет выходы на два хоста. То есть, из 30 накопителей она может создать кучу произвольных массивов, которые предоставит двум отдельным серверам.

Ну и бэкпланы SAF-TE (интересно, кто-то ещё помнит/знает, что такое SAF-TE и зачем оно нужно)?



 

[Shurhenchik]

21 час назад, LostSoul сказал:

Но это не укладывается в концепцию ТС  "одинокая хранилка видео, которая несколько лет росла от 1 до 10 дисков"

Вот и пришла пора переходить к профессиональным решениям

 

20 часов назад, rm_ сказал:

Это имело смысл в 90ых или начале 2000ых, откуда все эти ваши аппаратные говна мамонта и родом, но сегодня с 8-16 ядрами на CPU практически всегда есть ядра недогруженные или простаивающие, которым вдобавок по меркам современных CPU посчитать что-то там на скорости доступа к крутящимся дискам - это раз плюнуть.

2 года назад заказчик захотел новое железо под хранение видео приобресть, так чтобы на полгода записи хватало.

А видео у него копится со скоростью 2 Тб в сутки.

Кто-нибудь предлложит решение на "высокопроизводительных многоядерных супербыстродействующих процессорах" в качестве альтернативы технологиям прошлого века?

:)

[LostSoul]

В 27.12.2019 в 17:11, straus сказал:

Софтовые рейды даже работают. Иногда. Например до момента BSOD или Kernel Panic. Или до ещё некоторых моментов, заканчивающихся развалом рейда.

Ох уж мне эти сказки , ох уж эти сказочники.  Чему там в обычном рейде от kerbel panic разваливатся , так что оно потом не собралось? Отличие софтового рейда от фирменного закрытого как раз в том что миллионами хомячков все баги вылизаны 

[LostSoul]

21 час назад, straus сказал:

За это время на альтернативных решениях развалились десятки рэйдов, а эти и в ус не дуют.

Ну это какие то ваши индивидуальные заморочки. За всю мою практику есть два варианта развала рейда - все диски дошли до цугундера в отсутствие мониторинга и обслуживания , вторая ошибка оператора при обслуживании.

Никаких иных причин на развал рейдов не бывало как и самих развалов.

Но вот починить то что развалилось на софтовом можно быстро и с гарантией. Самому

 

21 час назад, straus сказал:

Это имеет смысл всегда. Поскольку софтовый рэйд улетает вместе с критическим событием на основном процессоре.

Куда он простите улетает? Что это за событие такое хитрое что оно начнет целенаправленно и равномерно уничтожать данные сразу на всех дисках попадая во все зеркальные участки  данных сразу, пересчитывая клрректные crc для блоков данных итп?

 

19 часов назад, jffulcrum сказал:

Помог только найденный в сети скрипт для dd, ищущий сигнатуру на диске и затирающий область секторов суперблока.

Ну так вы просто слабо понимаете как это устроено и работает. Я могу провести очистку с помощью dd и без скриптов их интернета. Просто глядя на диск и рассчитывая аргументы на калькуляторе.

 

dmraid это аварийный способ доступа к дисковым наборам от умерших серверов/контроллеров дисковых полок , где был аппаратный рейд. 

Зачем вы используете его противоестественным способом? Вы бы еще на ntfs центос поставили

[LostSoul]

19 часов назад, jffulcrum сказал:

Оказывается, надо на предыдущем сервер сделать файл экспорта mdadm.conf и перенести на новый

Это не требуется. Достаточно было дисковым разделам mdraid поставить нужный тип - fd (Linux raid autodetect)

 

19 часов назад, jffulcrum сказал:

И вы думаете импорт помог? А вот хрен. Была словлена еще вот такая белочка: https://askubuntu.com/questions/247981/software-raid-mdadm-re-find-my-array 

По вашей ссылке странный чудила пытается собирать рейд из whole disk , не создав таблицу разделов gpt или mbr в начале диска.

Это нестандартное противоестественное применение mdraid, если так можно делать то не значит что так нужно. Это для тех, кто понимает что он делает .

Стандартным вариантом является хранение связанных с разделами mdraid метаданных в mbr/gpt затем уже в метаблоке раздела.

Тогда и полный плюг анд плей и автодетект

 

19 часов назад, straus сказал:

Так вот на этих древних TEKRAM'ах стоят процессоры 80286 (по тем временам весьма таки неслабый процессор)

Просто мечтаю когда что-то пойдет не так брать дебагер и асемблерный код дремучих лет отлаживать

[LostSoul]

19 часов назад, straus сказал:

А ещё у меня есть внешний RAID-контроллер. Это такая железяка с кнопками и дисплеем, которая позволяет подключить до 30 накопителей и имеет выходы на два хоста

Оно обычно совмещено с дисковыми корзинами , имеет два дублированных бп , два контроллера и 2 вентилятора и зовется дисковой полкой. У меня такая от IBM даже дома стоит

 

11 часов назад, Shurhenchik сказал:

2 года назад заказчик захотел новое железо под хранение видео приобресть, так чтобы на полгода записи хватало.

А видео у него копится со скоростью 2 Тб

Ну так тут уже без вариантов уходит в область дорого-богато или надо урезать осетра.

Хотя в том же гугла итп нормально реализуют такое на дешевом железе. 100500 дешевых помоек и люстра сверху

[jffulcrum]

22 минуты назад, LostSoul сказал:

Ну так вы просто слабо понимаете как это устроено и работает.

Я не сомневаюсь, что просматривая диск в HEX-редакторе можно определить версию, размер, и расположение суперблока, и там же и потереть, но мысли о троллейбусе из буханки в ходе процесса - не радуют. Это не индустриальный подход, это типичное красноглазое говно наколенное, "я задачу свою решил и высрал в Main, а вы - ебитесь". Какой миллион хомчков ЭТО вылизывал, каким местом?

 

21 минуту назад, LostSoul сказал:

По вашей ссылке странный чудила пытается собирать рейд из whole disk , не создав таблицу разделов gpt или mbr в начале диска.

До конца не читаем, да? Просто в какой-то момент диск лочится, хотел бы написать, что от какого-то бага, но их же в Linux RAID нет... Хотя Ubuntu да, типа уже не Linux.