[shicoy]

Коллеги, возник вопрос СХД для виртуалок.

ТЗ примерно такое:

 

Кол-во ВМ - ~10..15, нагрузка не сильно высокая, ну там внутрение веб-проекты, dns, dhcp и прочие внутрипровайдерские дела.

Общий объем СХД ~ 4Tб.

 

Покупать брендовые СХД - денег нет. Поэтому возник вопрос, на чем собрать СХД, желательно с удобным интерфейсом для замены/добавления дисков.

Очень желательна поддержка SSD-кеша.

 

Посмотрел в сторону ceph и scaleio, все хорошо, но требуется минимум 3 сервера.

А хотелось бы, что-то быстрое, удобное, желательно HA :)

[vlad11]

Proxmox на Линуксе или Jail на FreeBSD прекрасно уместятся на двух физических серверах (N+1).

 

И не надо никаких ломанных Vmware и бэкапилок к ней.

[s.lobanov]

shicoy

Если не секрет, зачем вообще нужны виртуальные машины в ISP? По мне, так только для лаб

[Night_Snake]

Если не секрет, зачем вообще нужны виртуальные машины в ISP? По мне, так только для лаб

Ээм... затем же, зачем и остальнм - экономия на вычислительных ресурсах. В ISP ровно так же есть AD, CRM, Wiki и еще куча разного стаффа, который удобно держать на виртуалках. Плюс астериски, плюс dns/dhcp... вообще идея в 2016 году пользовать голое железо для меня более, чем странная.

[vlad11]

+ изоляция от разных версий ПО и библиотек.

[boco]

эти минимальные 3 сервера тоже могут жить в vmware. =) более того, это один из рекомендуемых дизайнов развертывания scaleio

[catalist]

смотрите в сторону nexenta есть бесплатная версия до 8 ТБ, мы пользуем уже три года, очень довольны

[orlik]

А в чем смысл отдельной схд на таком объёме ? Это же 2 диска по 4тб в рейде для зеркалирования. Если серверов с виртуалками будет несколько, ставьте на каждом такой рейд. И не забывайте бекапиться :)

[FATHER_FBI]

Сколько гипервизоров у вас? Зачем вам СХД, у вас кластер? Если у вас 3 сервера, посмотрите в сторону vSAN. Если же вы сами не знаете чего хотите, тогда остановитесь на локальных дисках. Купите на ebay, вагон SSD.

[s.lobanov]

Если не секрет, зачем вообще нужны виртуальные машины в ISP? По мне, так только для лаб

Ээм... затем же, зачем и остальнм - экономия на вычислительных ресурсах. В ISP ровно так же есть AD, CRM, Wiki и еще куча разного стаффа, который удобно держать на виртуалках. Плюс астериски, плюс dns/dhcp... вообще идея в 2016 году пользовать голое железо для меня более, чем странная.

 

Не, ну это-то понятно (мелочовка и обвязка). А то тут кто-то на НАГе pptpd bras-ы запускает в виртуалках, думал кто-то ещё нашёлся и сможет объяснить профит от этого дела

[thodin]

Ну я вот использую на виртуалках всю кору. Причем уже много лет..

[FATHER_FBI]

Не, ну это-то понятно (мелочовка и обвязка). А то тут кто-то на НАГе pptpd bras-ы запускает в виртуалках, думал кто-то ещё нашёлся и сможет объяснить профит от этого дела

Виртуализация в ISP это не неотъемлемая часть, если все плодить на физических тазиках, во первых это все место, электроэнергия, тепловыделения, охлаждение, куча расходников в виде БП/HDD/etc..

На первое работе у нас было 2 шкафа оборудования и были некоторые сервисы, типа сетевой файлопомойки совмещенные например с хостингом и главными сайтами компании. А тогда ESXi только анонсировали, когда перешел на него, у меня 2 шкафа старых серверов превратились в 3 гипервизора. Мало того что все сервисы перестали друг от друга зависеть, DNS отдельная виртуалка, zabbix отдельная виртуалка и так далее..Ну и плюс есть куча удобств в обслуживании, нужно сервер обслужить, перенес с него виртуалки на другой сервак, и делай с ним че хочешь. Потом бекапы, физический сервер забекапить и раскатать на другом тазике, это довольно трудоемкая работа по времени. В случае с виртуализацией. Есть ВМ на которой крутиться DNS, vmdk диск весит 5гб, информация в vmdk занимает 900мб. Вот по сути мы будем восстанавливать только 900мб. Можно поступить по другому, делать реплики. С физическими тазиками такое не прокатит, а свиртуалками запросто, снимается бекап ВМ и тут же раскатывается на соседнем сервере. А чего только стоит клонирование ВМ для дальнейших тестов. Я как вспомню свою молодость, когда не было под рукой свободного тазика, и перед тем как вносить изменения в продакш проект, нужно было сделать кучу бекапов, записать что где и как, что бы в случае чего откатиться. Короче плюсов валом..

Что касается брасов, у меня сейчас на виртуалке старый брас доживает свои часы, в пиках бегало 500Мбит. Крутился на довольно модном тазике, которого второго не было, без остановки сервиса, через vmware vcenter converter утянул его в гипервизор, ночью сделал переключение, простой абонентов был пару секунд, а админ тем временем начал подготавливать тазик под IPoE.

 

Что касается цен, начальный бандл на 3 сервера стоит как 3 свича, 600$ я думаю даже пионер сеть с 2к абонентов вполне может себе его позволить.

Edited July 7, 2016 by FATHER_FBI

[Wingman]

У нас на drbd + nfs крутится; пару лет - полет нормальный; благополучно пережило несколько ребутов по питанию как обеих нод, так и по одной :)

[Night_Snake]

Не, ну это-то понятно (мелочовка и обвязка). А то тут кто-то на НАГе pptpd bras-ы запускает в виртуалках, думал кто-то ещё нашёлся и сможет объяснить профит от этого дела

А почему бы и нет? Накладные ресурсы на виртуализацию сейчас минимальны при грамотной настройке гипервизора, плюс плюшки типа direct I/O с пробрососом сетевой прямо в виртуалку, минуя виртуальный свич. На одной из моих работ у нас в виртуалке жил хотспот на микротике, квагга на фре для всяких IX и районный брас на несколько сотен клиентов. И нормально жило.

[vlad11]

А в чем смысл отдельной схд на таком объёме ? Это же 2 диска по 4тб в рейде для зеркалирования. Если серверов с виртуалками будет несколько, ставьте на каждом такой рейд. И не забывайте бекапиться :)

 

Вы явно не знаете про IOPS'ы.

[s.lobanov]

Не, ну это-то понятно (мелочовка и обвязка). А то тут кто-то на НАГе pptpd bras-ы запускает в виртуалках, думал кто-то ещё нашёлся и сможет объяснить профит от этого дела

А почему бы и нет? Накладные ресурсы на виртуализацию сейчас минимальны при грамотной настройке гипервизора, плюс плюшки типа direct I/O с пробрососом сетевой прямо в виртуалку, минуя виртуальный свич. На одной из моих работ у нас в виртуалке жил хотспот на микротике, квагга на фре для всяких IX и районный брас на несколько сотен клиентов. И нормально жило.

 

Ага, direct i/o это виртуализация ради виртуализации :)

[FATHER_FBI]

Вы явно не знаете про IOPS'ы.

Вы знаете, учитывая цены на SSD я уже давно не смотрю на IOPS, а пройдет пару лет, все и забудут что это такое, только старички будут рассказывать юным эникеям что это такое)

[vlad11]

Вы явно не знаете про IOPS'ы.

Вы знаете, учитывая цены на SSD я уже давно не смотрю на IOPS, а пройдет пару лет, все и забудут что это такое, только старички будут рассказывать юным эникеям что это такое)

 

Нет, спасибо.

SSD только в зеркале, или зеркало для кеша обычных дисков.

В лотерею с вылетом SSD через пол-года-год эксплуатации - я не играю.

 

P.S. По вашей ссылке:

Warranty: 90-day limited from OCZ/Toshiba

про кол-во GB на износ тоже не указано.

 

P.P.S. У onix.kiev.ua серверные SSD на 400GB - 500-800$

[Дегтярев Илья]

контроллеры серии LSI Syncro и внешний JBOD любой с 2 экспандерами - идеальное решение на 2 гипервизора.

[FATHER_FBI]

Нет, спасибо.

SSD только в зеркале, или зеркало для кеша обычных дисков.

В лотерею с вылетом SSD через пол-года-год эксплуатации - я не играю.

Я вас уверяю, если вы будете брать какое нибудь Китайское noname лайно, тогда там действительно лотерея. А SSD диски работают на столько, сколько заявлено производителем. Например буквально недавно у меня умер SSD, на котором крутился zabbix, сразу скажу, ссд из разряда самый дешевый и самый нормальный kingston, проработал на 120TB больше, чем заявлял производитель, с учетом того что забикс жрал его на скорости 2500-4000 IOPS.

 

про кол-во GB на износ тоже не указано.

 

P.P.S. У onix.kiev.ua серверные SSD на 400GB - 500-800$

Дорогие потому что сразу на границе дорожает на 30% из за пошлины + магазин делает свою наценку. Вот вам яркий пример изменения ценовой политики rozetka VS newegg

 

P.S. Что касается SSD в RAID, очень много статей читал по этому поводу. Если RAID классический 0/1/10, то тут в принципе ничего страшного нет при работе с TRIM, а вот если группы более сложные RAID 5/6/50/60 то тут могут грабли по вылазить и зачастую производители просто игнорируют TRIM в таких ситуациях.

[vlad11]

И что это показало?

1)по поводу Кингстона - вам повезло, что он проработал заявленный ресурс.

2)приведенные параметры в таблице имеют важную приставку "up to". Далее могут быть разные версии железа и прошивки. И на ebay можно тоже нарваться на китайские подделки. Причем продавец будет прав, что в описании товара все правильно описано, а это покупатель дописал себе характеристики товара с оффсайта, согласно названию продукта :)

3)цены для американского рынка и для украинского не корректно сравнивать. При закупке в Америке с пересылкой в Украину, добавится таможенная пошлина, стоимость пересылки, страховка, и в итоге может быть дороже, чем в той же Розетке.

 

P.S. По поводу Заббикса - примите мои соболезнования. Cacti менее ресурсоемкий, как по памяти, так и по IOPS.

[FATHER_FBI]

1)по поводу Кингстона - вам повезло, что он проработал заявленный ресурс.

 

Ни какого везения, у меня в ферме крутиться огромное количество SSD дисков, и все они равномерно умирают когда наступает заявленный производителем порог записанных даных

2)приведенные параметры в таблице имеют важную приставку "up to". Далее могут быть разные версии железа и прошивки. И на ebay можно тоже нарваться на китайские подделки. Причем продавец будет прав, что в описании товара все правильно описано, а это покупатель дописал себе характеристики товара с оффсайта, согласно названию продукта :)

 

Значение "До" зависит от размера записываемых блоков. Если у вас такой скепсис касательно ССД, почитайте какие SSD используются в энтерпрайз сегменте. Если бы все так было плохо, такие вендоры как EMC/NetAPP/IBM/HP/DELL не выпускали бы СХД на ССД.

P.S. По поводу Заббикса - примите мои соболезнования. Cacti менее ресурсоемкий, как по памяти, так и по IOPS.

 

Ну тут понятное дело RRD дает о себе знать. Забикс тоже не прожорливый, по ресурсам cpu/ram он как и cacti, а вот что касается хранения данных, в кактусе rrd в zabbix база данных. Но как по мне, кактус годиться исключительно для графиков и карты.

[vlad11]

 

Ни какого везения, у меня в ферме крутиться огромное количество SSD дисков, и все они равномерно умирают когда наступает заявленный производителем порог записанных даных

 

При массивах, сложнее RAID1, одновременный выход из строя нескольких SSD не такой уж редкий случай. К тому же система неравномерно использует блоки дисков.

 

Значение "До" зависит от размера записываемых блоков. Если у вас такой скепсис касательно ССД, почитайте какие SSD используются в энтерпрайз сегменте.

Размер блоков давно 4k байт. В Энтерпрайз дисках используют чуть другой конструктив, другое ПО и получше выбирают чипы памяти.

 

Если бы все так было плохо, такие вендоры как EMC/NetAPP/IBM/HP/DELL не выпускали бы СХД на ССД.

 

А у них нет других вариантов замене HDD при таком большом росте требований IOPS.

К тому же у каждой полки вышеперечисленных вендоров, свои требования к внедрению, эксплуатации и бэст практикс.

[FATHER_FBI]

При массивах, сложнее RAID1, одновременный выход из строя нескольких SSD не такой уж редкий случай. К тому же система неравномерно использует блоки дисков.

 

Описанная вами ситуация происходит когда администратор строит сложные рейды на дешевых контроллерах, если использовать контроллеры которые поддерживают сложные рейды из ССД, проблем ни каких не будет. Это так же само как собрать фейк рейд в биосе материнской платы или же с помощью mdadm

 

А у них нет других вариантов замене HDD при таком большом росте требований IOPS.

К тому же у каждой полки вышеперечисленных вендоров, свои требования к внедрению, эксплуатации и бэст практикс.

Но они не на столько узкие, в основном опциональность и специализация заключается в какой среде будет использовано, физической или виртуальной и вытекающие из этого опции, снапшоты на стороне схд, репликация между схд, зеркалирование и прочая хрень. По поводу требования к внедрению, чаще всего подразумевается комплектация дисков, количество контроллеров, метод подключения, расчетные нагрузки массива (процентное соотношение приоритетов записи/чтения), что касается бест практикс. Опять же все зависит от дизайна. Можно купить самую дешманскую комплектацию, например у того же netapp есть СХД которая все в одной коробке (блоки питания, диски, контроллеры) а можно купить СХД которая состоит из filer head и кучи дисковых полок, которые можно собрать в RAID, то есть в такой конфигурации можно не то что диск потерять, можно целую дисковую полку потерять и простоя сервиса не будет. У EMC есть более сложные конфигурации.

[vlad11]

Описанная вами ситуация происходит когда администратор строит сложные рейды на дешевых контроллерах, если использовать контроллеры которые поддерживают сложные рейды из ССД, проблем ни каких не будет. Это так же само как собрать фейк рейд в биосе материнской платы или же с помощью mdadm

 

Не-не-не.

Нормальный аппаратный рейд имеет минимум 6 физических портов, память и аккумулятор для кеша.

Есть программная поддержка RAID 1|0|10|50|60.

Речь идет о одновременном вылете двух SSD.

RAID научились анализировать SMART ? Износ блоков?

 

Но они не на столько узкие, в основном опциональность и специализация заключается в какой среде будет использовано, физической или виртуальной и вытекающие из этого опции, снапшоты на стороне схд, репликация между схд, зеркалирование и прочая хрень. По поводу требования к внедрению, чаще всего подразумевается комплектация дисков, количество контроллеров, метод подключения, расчетные нагрузки массива (процентное соотношение приоритетов записи/чтения), что касается бест практикс. Опять же все зависит от дизайна. Можно купить самую дешманскую комплектацию, например у того же netapp есть СХД которая все в одной коробке (блоки питания, диски, контроллеры) а можно купить СХД которая состоит из filer head и кучи дисковых полок, которые можно собрать в RAID, то есть в такой конфигурации можно не то что диск потерять, можно целую дисковую полку потерять и простоя сервиса не будет. У EMC есть более сложные конфигурации.

 

Опять же, кто такое кроме банков в лучшие времена купит? :)

У кого такие потребности и такой бюджет? :)