RN3DCX Опубликовано 23 декабря, 2022 · Жалоба Гугл молчит либо меня там забанили... Так что надеюсь на помощь зала. Ищу контроллер с поддержкой дисков 20ТБ. Желательно с прямым подключением от 12 до 16 дисков. Мож у кого есть инфа какие нынче вендоры/модели поддерживают данный объём? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 23 декабря, 2022 · Жалоба 9560-16i ST20000NM007D или (для состоятельных парней) ST20000NM003D На самом деле на такой массив брать только SAS диски. Потому как ребилд такого массива и так занимает слишком много времени, чтобы рисковать затупившим диском. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RN3DCX Опубликовано 23 декабря, 2022 · Жалоба Цитата Потому как ребилд такого массива и так занимает слишком много времени, чтобы рисковать затупившим диском 1-й вариант JBOD ? 2-й пятидесятый raid где теоретически допускается выход из строя до двух дисков. Цитата ST20000NM007D или (для состоятельных парней) ST20000NM003D Не внушили мне доверия, так-что прикупил вот такие: WD201KRYZ Цитата 9560-16i А истчё есть варианты? =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 23 декабря, 2022 · Жалоба Гипотетически Adaptec SmartRAID 3154-16i. Exos в HCL есть, WDC ваших - нет. Но практика по этим контроллерам практически отсутствует. В старые сервера вставлять точно не стоит, в Supermicro X9 Adaptec не грузились в UEFI режиме, помнится. 14 минут назад, RN3DCX сказал: 2-й пятидесятый raid где теоретически допускается выход из строя до двух дисков. Да Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RN3DCX Опубликовано 23 декабря, 2022 · Жалоба Цитата Adaptec SmartRAID 3154-16i Это для меня чересчур... чё нибудь по проще... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 23 декабря, 2022 · Жалоба На 16 дисков просто получается только у новичков, с перепугу. Опытных джедаев поджидают write hole, порча данных при отсутствии батарейки, command timeout из-за плохих кабелей и всё такое. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 23 декабря, 2022 · Жалоба RAID 50 не лучшее решение (как и любой пятый RAID). Лучше уж 6. Последний раз я собирал четыре RAID 6 с целой корзиной hot spare, а уже на хосте тома объединял в один логический диск. Пока вроде нравится. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Saab95 Опубликовано 23 декабря, 2022 · Жалоба Любые адаптеры поддерживают любые диски, если только список моделей и параметров не зашит в контроллер для отсечения несовместимых моделей дисков. В старый сервер где стоял диск на 1тб легко поставили диски на 16тб и завели в рейд. Адаптер примерно 10-ти летней давности. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RN3DCX Опубликовано 24 декабря, 2022 · Жалоба Цитата На 16 дисков просто получается только у новичков Батарейка (суперконденcатор) - обязательное условие. Признателен, что еще раз наполнители про потерю данных! Цитата а уже на хосте тома объединял в один логический диск alibek, вы говорте про LVM ? Отдельный коммент для Saab95: Вся боль начинается с 20ТБ и фсё ... тут мир переворачивается... Все ваши old school контроллеры скажут, что не в курсе, точнее не видят данный HDD на 20ТБ МОЙ запас raid контроллеров отрицательно НЕ увидевших hdd 20 TB: RS3DC080A RS2BL040 AOC-S3008L-L8E Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 24 декабря, 2022 · Жалоба Нет, не LVM, а динамический диск (хост на Windows). Но не суть, то же самое можно и на LVM сделать, там в чем-то даже удобнее. 5 часов назад, RN3DCX сказал: контроллеры скажут, что не в курсе, точнее не видят данный HDD на 20ТБ 20... Я вот в прошлом году взял б/у сервер Dell и к нему 4 диска по 6ТБ. А его контроллер на дисках только 2ТБ видит. Пришлось использовать только треть объема. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RialCom.ru Опубликовано 24 декабря, 2022 · Жалоба ну в этом б/у сервере наверное MFM, а нужно контроллер RLL а еще я бы попробовал ESDI Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vurd Опубликовано 24 декабря, 2022 · Жалоба 16 часов назад, alibek сказал: RAID 50 не лучшее решение (как и любой пятый RAID). Лучше уж 6. Чем лучше? Он медленнее, а сборка после вылета не пройдет ни там ни там) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 24 декабря, 2022 · Жалоба RAID 5 это вообще мина с отложенным действиям, его не следует использовать там, где потеря данных может быть проблемой. А потеря данных в RAID 5 довольна вероятна, особенно для дисков больших размеров. RAID 5 допускает вылет одного диска, но массив при этом деградирует, а при его замене будет долгая реконструкция. И если в этот момент вылетит еще один диск, то это все. RAID 6 допускает вылет до двух дисков, при этом вылет одного диска почти не сказывается на производительности. Тоже не следует злоупотреблять большими томами, но RAID 6 все же дает больше возможностей не допустить потери информации. Поэтому его лучше комбинировать с другими методами. 38 минут назад, RialCom.ru сказал: в этом б/у сервере Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 24 декабря, 2022 · Жалоба В 23.12.2022 в 21:14, Saab95 сказал: В старый сервер где стоял диск на 1тб легко поставили диски на 16тб и завели в рейд. Адаптер примерно 10-ти летней давности. то что Вам повезло и контроллер соизволил увидеть >2T, не говорит о том что ВСЕ контроллеры так сделают. ага... еще есть разница (обычно) JBOD вы смотрите на диски, или собираете RAID средствами контроллера. во втором случае проблемы более вероятны.. еще бывают контроллеры которые JBOD не умеют вааще. можно сделать RAID0 на 1 диск, но это таки не JBOD вообще человечество по этим граблям ходит с завидной регулярность. то 120Г не прёт, то 2Т а Dell PowerEdge R410 это платформа, контроллеры там могу оказаться разные из коробки. у меня есть сервера с 2 типами контроллеров, но возможно бывают и еще. в большинстве (у меня) >2Т видятся (на примере 3 и 4Т).. в части. судя по всему тоже Dell SAS 6/iR это MPT, и да, тот еще ужос... за 20Т, за неимением, не скажу, в 12 и 16Т на контроллере Avago Technologies (LSI) SAS2308 увиделись (контроллер с прошивкой без поддержки RAID, прошивки бывают и с ним и без него), соотв только как JBOD. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Saab95 Опубликовано 24 декабря, 2022 · Жалоба Грабли только на брендовых серверах. Если сервер обычный и контроллер покупался отдельно без привязки к вендору - он все понимает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 24 декабря, 2022 · Жалоба 23 минуты назад, Saab95 сказал: Грабли только на брендовых серверах. Если сервер обычный и контроллер покупался отдельно без привязки к вендору - он все понимает. Ну такой ответ говорит лишь о малом опыте работы с различным железом.. если ВАМ повезло не встретить проблем, не значит что их нет.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sdy_moscow Опубликовано 24 декабря, 2022 · Жалоба 3 часа назад, st_re сказал: вообще человечество по этим граблям ходит с завидной регулярность. то 120Г не прёт, то 2Т Аппаратная адресация - штука дорогая. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
naves Опубликовано 25 декабря, 2022 · Жалоба Крылья, ноги... как вам 6 рейд, в котором ТРИ диска с ошибками? ZFS смогла пережить Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 25 декабря, 2022 · Жалоба только это не 6 рейд с 3 вылетевшими дисками, а (raidz2 конечно не совсем 6 рейд, но смысл да, похожий) 6 рейд с 2 запасными дисками, и оба этих запасных диска уже тогось... вылетели. никто не мешал сделать 5 рейд на 3 дисках и 12 spare к ним, и потом рассказывать что в 5 рейде вылетело 13 дисков из 15 и тот выжил.. но по факту это не так. просто кто то повафлил когда диски вылелали и не менял их. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
naves Опубликовано 25 декабря, 2022 (изменено) · Жалоба 10 hours ago, st_re said: просто кто то повафлил когда диски вылелали и не менял их. Вот не надо додумывать. Там действительно было два hot-spare, но был нюанс. Там все четко по теории пошло. Вылетел один диск, начался resilvering на spare-диск, потом посыпались ошибки еще на двух дисках. resilvering делается чуть меньше недели. Плюс нюанс, если второй диск уходит в faulted, то заполнение второе диска не начинается, пока не закончится восстановление другого ранее сбоившего диска. В ZFS за это отвечают отдельные флаги массива. На одном из скринов именно идущий resilvering с двумя почти сразу сбойных диска. Повезло в том, что диски не умерли совсем, и ZFS продолжает с них читать, а не отстреливает их полностью, как сделал бы любой аппаратный RAID А изначальная проблема, судя по всему бракованная партия, из 30 дисков за чуть больше чем полгода в режиме "счас усе развалится" поменяли 10 дисков. Spoiler 6 апреля 8 апреля [13.04.2022 10:17] август Spoiler сентябрь Spoiler Изменено 25 декабря, 2022 пользователем naves Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 25 декабря, 2022 · Жалоба ну у ZFS тут преимущество в том, что он синкает не диски, а данные. обычно рейд не в курсе, что тут лежит и лежит ли, и синкает 100%, диска, упираясь в нечитаемое говорит ой (иногда бывают настройки что мол игнорить,, но обычно сразу ОЙ). а ZFS синкает только данные, и, если повезёт, то на сбойный участок не попадёт. чем меньше занято, тем больше шансов.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alex_001 Опубликовано 29 декабря, 2022 · Жалоба Для ZFS кстати еще dRAID не так давно завезли - resilver вообще должен быть очень быстрый.. Правда проблемы тоже бывают - на прошлой неделе вылетел диск в FAULT из массива после сбоя по питанию (причем диск рабочий) . Пришлось насильно зачищать (clearlabel и replace) на него же делать. А так то конечно с ZFS намного спокойнее чем с аппаратным RAID - всеже resilver сильно быстрее если не заполнено под завязку , соответственно меньше шансов что в этот момент произойдет что-то еще. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RN3DCX Опубликовано 18 января, 2023 · Жалоба Задался вопросом: КАК ТАК? Контроллер Intel RS2BL080: Скорость передачи данных - 6Gb. До 8-и с прямым подключением ко внутренним портам или до 32-х устройств с помощью SAS-экспандеров. Пропускная способность интерфейса 600 Мбайт/сек (по каждому каналу до HDD). 8x600=4,8Gb т.е. в 6-ть положенных гигов укладываемся, но как при схеме 32х600=19,2Gb - вот тут возникает вопрос по пропускной способности и алгоритме работы!? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bike Опубликовано 18 января, 2023 · Жалоба В 18.01.2023 в 14:17, RN3DCX сказал: Задался вопросом: КАК ТАК? Контроллер Intel RS2BL080: Скорость передачи данных - 6Gb. До 8-и с прямым подключением ко внутренним портам или до 32-х устройств с помощью SAS-экспандеров. Пропускная способность интерфейса 600 Мбайт/сек (по каждому каналу до HDD). 8x600=4,8Gb т.е. в 6-ть положенных гигов укладываемся, но как при схеме 32х600=19,2Gb - вот тут возникает вопрос по пропускной способности и алгоритме работы!? Интерфейс PCIe PCIe x8 Gen2 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 18 января, 2023 · Жалоба 28 минут назад, RN3DCX сказал: вот тут возникает вопрос по пропускной способности и алгоритме работы!? Система работает как коммутатор: то есть порты динамически линкуются между собой, образуя виртуальные каналы на период обмена. Если у нас HDD, то там и так большую часть времени интерфейс ждет механику, и полоса в это время ему не нужна. С SSD вопросы интереснее, но опять же, утопить линк не так уж и просто. Там есть лимиты занятия полосы - по сути TDMA. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...