[RN3DCX]

Гугл молчит либо меня там забанили... Так что надеюсь на помощь зала.

Ищу контроллер с поддержкой дисков 20ТБ. Желательно с прямым подключением от 12 до 16 дисков.

Мож у кого есть инфа какие нынче вендоры/модели поддерживают данный объём?

 

[jffulcrum]

 9560-16i

ST20000NM007D или (для состоятельных парней) ST20000NM003D

 

На самом деле на такой массив брать только SAS диски. Потому как ребилд такого массива и так занимает слишком много времени, чтобы рисковать затупившим диском. 

[RN3DCX]

Цитата

Потому как ребилд такого массива и так занимает слишком много времени, чтобы рисковать затупившим диском

1-й вариант JBOD ?

2-й пятидесятый raid где теоретически допускается выход из строя до двух дисков.

 

Цитата

ST20000NM007D или (для состоятельных парней) ST20000NM003D

Не внушили мне доверия, так-что прикупил вот такие: WD201KRYZ

 

Цитата

9560-16i

А истчё есть варианты? =)

[jffulcrum]

Гипотетически Adaptec SmartRAID 3154-16i. Exos в HCL есть, WDC ваших - нет. Но практика по этим контроллерам практически отсутствует. В старые сервера вставлять точно не стоит, в Supermicro X9 Adaptec не грузились в UEFI режиме, помнится.

 

14 минут назад, RN3DCX сказал:

2-й пятидесятый raid где теоретически допускается выход из строя до двух дисков.

Да

[RN3DCX]

Цитата

Adaptec SmartRAID 3154-16i

Это для меня чересчур... чё нибудь по проще...

[jffulcrum]

На 16 дисков просто получается только у новичков, с перепугу. Опытных джедаев поджидают write hole, порча данных при отсутствии батарейки, command timeout из-за плохих кабелей и всё такое.

[alibek]

RAID 50 не лучшее решение (как и любой пятый RAID).

Лучше уж 6.

 

Последний раз я собирал четыре RAID 6 с целой корзиной hot spare, а уже на хосте тома объединял в один логический диск. Пока вроде нравится.

[Saab95]

Любые адаптеры поддерживают любые диски, если только список моделей и параметров не зашит в контроллер для отсечения несовместимых моделей дисков.

 

В старый сервер где стоял диск на 1тб легко поставили диски на 16тб и завели в рейд. Адаптер примерно 10-ти летней давности.

[RN3DCX]

Цитата

На 16 дисков просто получается только у новичков

Батарейка (суперконденcатор) - обязательное условие.

Признателен, что еще раз наполнители про потерю данных!

 

Цитата

а уже на хосте тома объединял в один логический диск

alibek, вы говорте про LVM ?

 

 

Отдельный коммент для Saab95:

Вся боль начинается с 20ТБ и фсё ... тут мир переворачивается...

Все ваши old school контроллеры скажут, что не в курсе, точнее не видят данный HDD на 20ТБ

 

МОЙ запас raid контроллеров  отрицательно НЕ увидевших hdd 20 TB: 

RS3DC080A

RS2BL040

AOC-S3008L-L8E

 

 

[alibek]

Нет, не LVM, а динамический диск (хост на Windows).

Но не суть, то же самое можно и на LVM сделать, там в чем-то даже удобнее.

 

5 часов назад, RN3DCX сказал:

контроллеры скажут, что не в курсе, точнее не видят данный HDD на 20ТБ

20...

Я вот в прошлом году взял б/у сервер Dell и к нему 4 диска по 6ТБ.

А его контроллер на дисках только 2ТБ видит.

Пришлось использовать только треть объема.

[RialCom.ru]

ну  в этом б/у сервере наверное MFM, а нужно контроллер RLL

а еще я бы попробовал ESDI

[vurd]

16 часов назад, alibek сказал:

RAID 50 не лучшее решение (как и любой пятый RAID).

Лучше уж 6.

Чем лучше? Он медленнее, а сборка после вылета не пройдет ни там ни там)

[alibek]

RAID 5 это вообще мина с отложенным действиям, его не следует использовать там, где потеря данных может быть проблемой.

А потеря данных в RAID 5 довольна вероятна, особенно для дисков больших размеров.

RAID 5 допускает вылет одного диска, но массив при этом деградирует, а при его замене будет долгая реконструкция. И если в этот момент вылетит еще один диск, то это все.

 

RAID 6 допускает вылет до двух дисков, при этом вылет одного диска почти не сказывается на производительности.

Тоже не следует злоупотреблять большими томами, но RAID 6 все же дает больше возможностей не допустить потери информации.

Поэтому его лучше комбинировать с другими методами.

 

38 минут назад, RialCom.ru сказал:

в этом б/у сервере

 

[st_re]

В 23.12.2022 в 21:14, Saab95 сказал:

 

 

В старый сервер где стоял диск на 1тб легко поставили диски на 16тб и завели в рейд. Адаптер примерно 10-ти летней давности.

то что Вам повезло и контроллер соизволил увидеть >2T, не говорит о том что ВСЕ контроллеры так сделают. ага...

 

еще есть разница (обычно) JBOD вы смотрите на диски, или собираете RAID средствами контроллера. во втором случае проблемы более вероятны.. еще бывают контроллеры которые JBOD не умеют вааще. можно сделать RAID0 на 1 диск, но это таки не JBOD

 

вообще человечество по этим граблям ходит с завидной регулярность. то 120Г не прёт, то 2Т

 

а Dell PowerEdge R410 это платформа, контроллеры там могу оказаться разные из коробки. у меня есть сервера с 2 типами контроллеров, но возможно бывают и еще. в большинстве (у меня) >2Т видятся (на примере 3 и 4Т).. в части. судя по всему тоже Dell SAS 6/iR это MPT, и да, тот еще ужос...

 

за 20Т, за неимением, не скажу, в 12 и 16Т на контроллере

Avago Technologies (LSI) SAS2308

увиделись (контроллер с прошивкой без поддержки RAID, прошивки бывают и с ним и без него), соотв только как JBOD.

[Saab95]

Грабли только на брендовых серверах. Если сервер обычный и контроллер покупался отдельно без привязки к вендору - он все понимает.

[st_re]

23 минуты назад, Saab95 сказал:

Грабли только на брендовых серверах. Если сервер обычный и контроллер покупался отдельно без привязки к вендору - он все понимает.

Ну такой ответ говорит лишь о малом опыте работы с различным железом.. если ВАМ повезло не встретить проблем, не значит что их нет..

[sdy_moscow]

3 часа назад, st_re сказал:

вообще человечество по этим граблям ходит с завидной регулярность. то 120Г не прёт, то 2Т

Аппаратная адресация - штука дорогая.

[naves]

Крылья, ноги...

как вам 6 рейд, в котором ТРИ диска с ошибками?

ZFS смогла пережить

[st_re]

только это не 6 рейд с 3 вылетевшими дисками, а (raidz2 конечно не совсем 6 рейд, но смысл да, похожий) 6 рейд с 2 запасными дисками, и оба этих запасных диска уже тогось... вылетели. никто не мешал сделать 5 рейд на 3 дисках и 12 spare к ним, и потом рассказывать что в 5 рейде вылетело 13 дисков из 15 и тот выжил.. но по факту это не так. просто кто то повафлил когда диски вылелали и не менял их.

[naves]

10 hours ago, st_re said:

просто кто то повафлил когда диски вылелали и не менял их.

Вот не надо додумывать. Там действительно было два hot-spare, но был нюанс.

Там все четко по теории пошло. Вылетел один диск, начался resilvering на spare-диск, потом посыпались ошибки еще на двух дисках. resilvering делается чуть меньше недели. Плюс нюанс, если второй диск уходит в faulted, то заполнение второе диска не начинается, пока не закончится восстановление другого ранее сбоившего диска. В ZFS за это отвечают отдельные флаги массива.

На одном из скринов именно идущий resilvering с двумя почти сразу сбойных диска. Повезло в том, что диски не умерли совсем, и ZFS продолжает с них читать, а не отстреливает их полностью, как сделал бы любой аппаратный RAID

А изначальная проблема, судя по всему бракованная партия, из 30 дисков за чуть больше чем полгода в режиме "счас усе развалится" поменяли 10 дисков.

 

 

Spoiler

6 апреля

 

8 апреля

 

[13.04.2022 10:17]

 

август

Spoiler

сентябрь

Spoiler

 

Edited December 25, 2022 by naves

[st_re]

ну у ZFS тут преимущество в том, что он синкает не диски, а данные. обычно рейд не в курсе, что тут лежит и лежит ли, и синкает 100%, диска, упираясь в нечитаемое говорит ой (иногда бывают настройки что мол игнорить,, но обычно сразу ОЙ). а ZFS синкает только данные, и, если повезёт, то на сбойный участок не попадёт. чем меньше занято, тем больше шансов..

[alex_001]

Для ZFS кстати еще dRAID не так давно завезли - resilver вообще должен быть очень быстрый..

Правда проблемы тоже бывают - на прошлой неделе вылетел диск в FAULT из массива после сбоя по питанию (причем диск рабочий) . Пришлось насильно зачищать (clearlabel и replace) на него же делать.

А так то конечно с ZFS намного спокойнее чем с аппаратным RAID - всеже resilver сильно быстрее если не заполнено под завязку , соответственно меньше шансов что в этот момент произойдет что-то еще.

 

[RN3DCX]

Задался вопросом: КАК ТАК?

 

Контроллер Intel RS2BL080:

Скорость передачи данных - 6Gb.

До 8-и с прямым подключением ко внутренним портам или до 32-х устройств с помощью SAS-экспандеров.

Пропускная способность интерфейса 600 Мбайт/сек (по каждому каналу до HDD).

 

8x600=4,8Gb т.е. в 6-ть положенных гигов укладываемся, но как при схеме 32х600=19,2Gb - вот тут возникает вопрос по пропускной способности и алгоритме работы!?

[bike]

В 18.01.2023 в 14:17, RN3DCX сказал:

Задался вопросом: КАК ТАК?

 

Контроллер Intel RS2BL080:

Скорость передачи данных - 6Gb.

До 8-и с прямым подключением ко внутренним портам или до 32-х устройств с помощью SAS-экспандеров.

Пропускная способность интерфейса 600 Мбайт/сек (по каждому каналу до HDD).

 

8x600=4,8Gb т.е. в 6-ть положенных гигов укладываемся, но как при схеме 32х600=19,2Gb - вот тут возникает вопрос по пропускной способности и алгоритме работы!?

Интерфейс  PCIe PCIe x8 Gen2

[jffulcrum]

28 минут назад, RN3DCX сказал:

вот тут возникает вопрос по пропускной способности и алгоритме работы!?

Система работает как коммутатор: то есть порты динамически линкуются между собой, образуя виртуальные каналы на период обмена. Если у нас HDD, то там и так большую часть времени интерфейс ждет механику, и полоса в это время ему не нужна. С SSD вопросы интереснее, но опять же, утопить линк не так уж и просто. Там есть лимиты занятия полосы - по сути TDMA.