[labi]

Вот такую статейку я сегодня выложил - http://www.labi.su/content/view/60/33/

 

В ней рассмотрены общие принципы построения хранилищ для IP-видеонаблюдения.

Изменено 19 марта, 2009 пользователем labi

[vIv]

Есть мнение, что SATA HDD в серьёзных вещах использовать не стоит.

[jurs]

Есть мнение, что SATA HDD в серьёзных вещах использовать не стоит.

А что предлагаете?

[vIv]

Я бы предпочёл, раз уж есть желание рыться в деталях, почитать чужие комментарии тезиса "SATA диски - отбраковка от SAS". Желательно с отсылками к каким-то тестам, сравнениям...

[Beginner]

Я бы предпочёл, раз уж есть желание рыться в деталях, почитать чужие комментарии тезиса "SATA диски - отбраковка от SAS". Желательно с отсылками к каким-то тестам, сравнениям...

Бредовый тезис. Тем более теперь, когда SAS - это не только 10 или 15K, но и 7200 в том числе и большой емкости. Это просто разные интерфейсы с совместимостью сверху вниз.

[labi]

Безусловно то, что SAS на 20 гигабайт надёжнее SATA на полтора терабайта. Ровно на столько-же, насколько SATA на 20 гигабайт надёжнее SATA на 1.5 терабайта.

 

Входная отбраковка безусловно полезна, но сделать её выгоднее самому. C учётом стоимости SAS это себя окупает. Далее в силу вступает статистика по вероятности отказа - http://www.labi.su/lib/documentation/failu...sk_failures.pdf

 

Реально (в нашей жизни, т.е. на практике) большая часть отказов происходит в течении первых трёх месяцев. Не зависимо от того, тестировались (удорожались) винты производителем или нет. После входного контроля одинаково (при равных характеристиках) падают и дорогие и простые диски.

 

Ну и главное в том, что SAS в видеонаблюдении никто не используют из-за многократного увеличения стоимости системы в целом (не только дисков, но и стоимости всего оборудования, включая контроллеры (каналы) и дополнительные массивы и место в стойках).

 

Однако, есть разные исключения. В БГ Уфа используют FC хранилище стоимостью 24 миллиона рублей, размещённое в трёх стойках (одна стойка - UPS, такую фигню ещё и питать надо), чтобы писать картинки с нескольких десятков аналоговых камер в течении... менее 2-суток.

[vIv]

Я про винчестеры с одинаковыми "банками". Прошла банка тест - привинчивают платку с SAS. Фигово банка получилась, много ремапов от рождения - привинчиваем платку с SATA и сбываем на ширпотреб. А вот если совсем не работает - вздыхаем и отправляем на переработку. Или разница в цене объясняется исключительно самой крохотной платкой и маркетингом?

[UglyAdmin]

Маркетингом можно объяснить любую разницу в цене, хоть стократную.

Поубывав бы...

[labi]

Стоит отметить, что 3.5 дюймовые жёсткие диски (те, что сегодня выгодно использовать в видеонаблюдении) - не то место, куда производителю разумно вкладывать деньги. Наоборот, с этих дисков логичнее (с учётом забугорных жизненных ценностей) сегодня зарабатывать как можно больше, а тратить на них как можно меньше.

 

Драйверы рынка - это 2.5 диски. Будущее - в районе твердотельных дисков (2.5, 1.8 и т.д дюйма).

 

Это, видимо, определяется ростом доли рынка ноутбуков и неттопов. Такой производитель, как HP уже во всех новых серверах ставит исключительно 2.5-дюймовые диски.

[vIv]

Для архивов лучше ленточные библиотеки. И чем дольше срок хранения, тем они "лучшее". Тем более, что у лидеров отрасли давно есть специализированные решения.

 

2labi: кстати, в статье вообще отсутствует момент территориального разнесения копий.

 

И ещё:

Если выбирать не Adaptec, то логичнее использовать RAID-контроллеры той же фирмы (торговой марки), что и сервер (IBM, HP, Intel и т.д.).

В случае с IBM и HP втыкивание чего ни попадя (кроме как из списка запчастей к этой конкретной модели) в сервер автоматически аннулирует гарантию. За Intel не скажу, не сталкивался.

[vIv]

Маркетингом можно объяснить любую разницу в цене, хоть стократную.

С другой стороны у SAS диска под множественным доступом нагрузка на банку может быть в разы интенсивнее... Запретить множественный доступ, - глядишь, банка дольше проживёт. Так бы сдохла за квартал-другой, а в виде SATA потихочнечку вытянет гарантийный год...

 

Кстати о хранилищах всяких: в Москве периодически проходят специализированные семинары. Правда, они не совсем открытые, но материалы оттуда можно надёргать. Надо кому?

[Beginner]

Про банки какой-то неправильный пример. 10К и 15К SAS никак под 7200 SATA не притянешь.

[labi]

vIv

 

Скажу больше. "Чужие" диски в массивах HP, IBM и т.д. просто не работают.

 

У Intela всё по честному - покупаешь голое шасси и сам устанавливаешь в него всё то, что надо.

 

О территориальном распределении хранилищ подмечено верно - позже обязательно раскрою и эту тему.

 

А сейчас я готовлю статейку об очень доступных и весьма надёжных дисковых массивах. Допишу - сразу выложу.

Изменено 19 марта, 2009 пользователем labi

[vIv]

Писать много текста лень, но могу подогнать материалы по профессиональным хранилищам, в том числе гибридным.

[labi]

vIv

 

Предлагаю говорить и писать о том, что реально сегодня может быть востребованным. Толку-то от красивых брошюр, если применение описанных в них решений экономически нецелесообразно. Пусть производители "профессиональных" систем разводят своих европейских потребителей.

 

Мне кажется кризис был вчера. Когда деньги пилились, отмывались и тупо тратились... Слово "эффективность" в этот период было второстепенным.

 

Бездумно дорогое оборудование и решение тогда = рост капитализации. Блин!

 

Сейчас самое время думать головой. Бездумно дорогое оборудование сегодня = бестолковые специалисты/руководители.

[vIv]

Чушь и бред! Всё считается. Причём, желательно не по стоимости покупки, а по TCO. Хотя бы года на три... Не спорю, для пары терабайт сойдёт и писюшатина с базара за углом. Когда же встаёт задача хранить хотя бы пол-года и на сотен пяток хотя бы камер - гибриды бьют по баблу винчестеры, как Валуев того дедушку. Стоит сюда добавить анализ реального конкурентного доступа (не много-много-мильярдов, а реальные максимум десятки параллельных архивных просмотров) - всё становится ещё грустнее. Будете спорить - примкну сюда многомегапиксельные камеры, чтобы гарантированно overkill ;-)

 

По стоимости хранимого гигабайта с лентой никакие винчестеры ещё очень-очень долго не сравнятся. Вот просто ткнулся на-угад: картридж HP 600 ГБ в розницу 100 баксов/штука. Есть желание посравнивать с SSD?

 

А на гибридах можно запросто хранить в горячем доступе, например, последние 7 дней, а на ленту выливать то, что старше. Тогда в эти 7 дней тоже будут доступны мега-много конкурентных зрителей.

 

К тому же ленточные библиотеки могут вываливать в разные лотки архивные кассеты для уноса в сейф. Ещё раз: всё уже не только придумано, но и на практике долгими годами отлажено.

[agabekov]

Стоит отметить, что 3.5 дюймовые жёсткие диски (те, что сегодня выгодно использовать в видеонаблюдении) - не то место, куда производителю разумно вкладывать деньги. Наоборот, с этих дисков логичнее (с учётом забугорных жизненных ценностей) сегодня зарабатывать как можно больше, а тратить на них как можно меньше.

 

Драйверы рынка - это 2.5 диски. Будущее - в районе твердотельных дисков (2.5, 1.8 и т.д дюйма).

 

Это, видимо, определяется ростом доли рынка ноутбуков и неттопов. Такой производитель, как HP уже во всех новых серверах ставит исключительно 2.5-дюймовые диски.

Хм, вроде последние DL100 и ML100 все рассчитаны на 3.5. И не сказать, что линейки устаревшие - по крайней мере, у HP уже были такие модели, как DL380G5 и ML370 G5, с 2.5-дюймовыми дисками. Да и в последних их хранилках такого тоже не видно - чтобы только 2.5.

[vIv]

Такой производитель, как HP уже во всех новых серверах ставит исключительно 2.5-дюймовые диски.

Хм, вроде последние DL100 и ML100 все рассчитаны на 3.5. И не сказать, что линейки устаревшие - по крайней мере, у HP уже были такие модели, как DL380G5 и ML370 G5, с 2.5-дюймовыми дисками. Да и в последних их хранилках такого тоже не видно - чтобы только 2.5.

Подтверждаю: действительно 3.5" остаются только постольку-поскольку. Legacy SCSI и 3.5" уходят, их не рекомендуют в новые длинные проекты.

[Дегтярев Илья]

Давайте лучше пообсуждаем правильную настройку софта для подобного наса.

 

Фотки моего

 

Бюджетный вариант за $4k на 16Tb и еще 8 корзин свободны

[jurs]

Маркетингом можно объяснить любую разницу в цене, хоть стократную.

С другой стороны у SAS диска под множественным доступом нагрузка на банку может быть в разы интенсивнее... Запретить множественный доступ, - глядишь, банка дольше проживёт. Так бы сдохла за квартал-другой, а в виде SATA потихочнечку вытянет гарантийный год...

 

Кстати о хранилищах всяких: в Москве периодически проходят специализированные семинары. Правда, они не совсем открытые, но материалы оттуда можно надёргать. Надо кому?

Дайте почитать, если не секретное, интересно наверно :)

 

Некоторый оффтоп )

Насчет HP и 2.5дюймовых сасов это классно, да - здоровенная дура глубиной в 70см, а в ней эти крохотульки, емкостью в 70 (ну пусть 150) Гб. Хотя в 1юнитовый корпус прекрасно помещают 4 корзинки по 3.5.

 

Насчет проприетарных хранилищ кстати - если в этом чуде за бешенное бабло что-нить поломается, кто будет чинить? Как там раид устроен, никто не знает, в произвольную машину винты не потыкаешь чтоб попытаться раид собрать и данные вынуть. В саппорт звонить? Не знаю, можт в москве это прокатывает, но в провинции что-то не наблюдается людей, которые помогут в случае чего.

 

Вообще мне кажется, что для хранения больших объемов информации щас скорее используются кластера и распределенные ФС поверх, чем проприетарные 'черные ящики'.

Например:

гугль http://news.cnet.com/8301-10784_3-9955184-7.html

yahoo http://jeremy.zawodny.com/blog/archives/009992.html

Уж они-то наверняка в курсе, что такое огромное количество запросов и огромное количество данных :)

 

 

[vIv]

Личный опыт, когда драйвер контроллера на неподдерживаемой FreeBSD не задышал (выглядело как IRQ-шторм непонятный): позвонил в саппорт, на следующий день приехал мальчик с запчастями, поменял. Опять не заработало. Грустно уехал. Всё бесплатно. Пришлось-таки ставить Линукс :-)

 

В больших системах собственно и фишка в том, что ежели что ломается - работа не останавливается. Просто спокойно меняешь и не паришься. А дальше два варианта: или ты держишь запчасти у себя, или ждёшь, пока подвезут. И "чинить райд" там руками не надо, надо только менять сдохшие запчасти, если уж что-то сдохло.

 

А есть ещё фишка, но это не в эту тему: "восстановление одной кнопкой" из бэкапа. Если у тебя система сдохла, то ставишь новую систему по-минимуму, драйвер бэкапа. Потом в библиотеку загружаешь ленточки, начиная с последней тебе нужной (и назад). Потом нажимаешь "большую красную кнопку" - и всё. Когда закончит шуршать, система восстановлена на ту дату, какую последнюю ленточку ты засунул. Думать - не надо! ;-)

[kuru]

Скажу больше. "Чужие" диски в массивах HP, IBM и т.д. просто не работают.

У Intela всё по честному - покупаешь голое шасси и сам устанавливаешь в него всё то, что надо.

Не пробовали -- не гоните. Либо указывайте модели оборудования.

 

В HP прекрасно работают чужие 3.5" SATA. Даже не имеет смысла покупать HP-шные SATA диски, т.к. на них гарантия 1 год.

Если бы была гарантия 3 года, еще можно было бы подумать.

 

Лучше купить сигейты (NS series) в 2-3 раза дешевле на которые гарантия 5 лет.

Единственно, проблема с салазками. Либо искать на ebay, либо покупать дешевый HP 80Gb sata. Все равно значительно дешевле.

 

Но у SATA есть проблемы с производительностью. Обычно на корзину идет один канал с контроллера (1 x lane). На backplane стоит SAS expander.

Макс производительность будет равна 4м одновременно работающим дискам. У SAS такого нет.

 

 

Еще забыли про рейды. Если нормальные условия эксплуатации, то raid6 в 100 раз надежнее raid5.

 

Про tape бекап - смотрите на обьем картриджа без компресии (делить на 2). На видео файлах хорошо если компрессия будет 1.1.

Так что большой desktop SATA диск в качестве картриджа может быть интересней.

Изменено 20 марта, 2009 пользователем kuru

[vIv]

Про tape бекап - смотрите на обьем картриджа без компресии (делить на 2). На видео файлах хорошо если компрессия будет 1.1.

НР указывает физический объём самой ленты, специально переспросил. Возможное сжатие пишется не на картридже, а в буклетах.

[jurs]

Скажу больше. "Чужие" диски в массивах HP, IBM и т.д. просто не работают.

У Intela всё по честному - покупаешь голое шасси и сам устанавливаешь в него всё то, что надо.

В HP прекрасно работают 3.5" SATA. Даже не имеет смысла покупать HP-шные SATA диски, т.к. на них гарантия 1 год.

Если бы была гарантия 3 года, еще можно было бы подумать.

 

Лучше купить сигейты (NS series) в 2-3 раза дешевле на которые гарантия 5 лет.

Единственно, проблема с салазками. Либо искать на ebay, либо покупать дешевый HP 80Gb sata. Все равно значительно дешевле.

 

Но у SATA есть проблемы с производительностью. Обычно на корзину идет один канал с контроллера (1 x lane). На backplane стоит SAS expander.

Макс производительность будет равна 4м одновременно работающим дискам. У SAS такого нет.

 

 

Еще забыли про рейды. Если нормальные условия эксплуатации, то raid6 в 100 раз надежнее raid5.

 

Про tape бекап - смотрите на обьем картриджа без компресии (делить на 2). На видео файлах хорошо если компрессия будет 1.1.

Так что большой desktop SATA в качестве картриджа может быть интересней.

Ага. HP сами-то вообще диски не производят, производит тот же сигейт или там самсунг, заливает другие прошивки (кстати, с прошивками НР там отдельная песня, был опыт). А терабайтный винт 'HP' (тот же сигейт NSка, тока с прошивкой и наклейкой) стоит в разы дороже того же сигейта, но без наклейки и с родной прошивкой.

 

[jurs]

Личный опыт, когда драйвер контроллера на неподдерживаемой FreeBSD не задышал (выглядело как IRQ-шторм непонятный): позвонил в саппорт, на следующий день приехал мальчик с запчастями, поменял. Опять не заработало. Грустно уехал. Всё бесплатно. Пришлось-таки ставить Линукс :-)

 

В больших системах собственно и фишка в том, что ежели что ломается - работа не останавливается. Просто спокойно меняешь и не паришься. А дальше два варианта: или ты держишь запчасти у себя, или ждёшь, пока подвезут. И "чинить райд" там руками не надо, надо только менять сдохшие запчасти, если уж что-то сдохло.

 

А есть ещё фишка, но это не в эту тему: "восстановление одной кнопкой" из бэкапа. Если у тебя система сдохла, то ставишь новую систему по-минимуму, драйвер бэкапа. Потом в библиотеку загружаешь ленточки, начиная с последней тебе нужной (и назад). Потом нажимаешь "большую красную кнопку" - и всё. Когда закончит шуршать, система восстановлена на ту дату, какую последнюю ленточку ты засунул. Думать - не надо! ;-)

А дело происходило в москве? С заездами мальчиков? В нашем замкадье ) обычно процесс замены чего-либо даже при явных косяках занимает месяц и более. Кроме того, какие-то распространенные и недорогие вещи наверняка есть в наличии, чтоб их можно было подвести, но если за 1000км от москвы сломается какой-нить NAS на 30Тб, то, боюсь, волшебные мальчики не приедут и не помогут. Рассчитывать можно только на себя, тоже личный опыт, и не только мой :)

Про большие системы - вон я кидал ссылки на гугль и яху. У них концепция другая - берем простые детали ( все равно любой энтерпрайз может сломаться), собираем из них отказоустойчивую систему, ломается - меняем. Поскольку узлы простые и общедоступные, то поменять их легко и недорого.

Видимо, выбор решения зависит сильно от подхода компании; для небольших объемов можно купить и небольшой NAS, и сервак с 4 винтами; для гигантской конторы можно построить кластера с десятками/сотнями тысяч узлов, а можно видимо купить гигантские NAS'ы. :)