shicoy Опубликовано 7 июля, 2016 · Жалоба Коллеги, возник вопрос СХД для виртуалок. ТЗ примерно такое: Кол-во ВМ - ~10..15, нагрузка не сильно высокая, ну там внутрение веб-проекты, dns, dhcp и прочие внутрипровайдерские дела. Общий объем СХД ~ 4Tб. Покупать брендовые СХД - денег нет. Поэтому возник вопрос, на чем собрать СХД, желательно с удобным интерфейсом для замены/добавления дисков. Очень желательна поддержка SSD-кеша. Посмотрел в сторону ceph и scaleio, все хорошо, но требуется минимум 3 сервера. А хотелось бы, что-то быстрое, удобное, желательно HA :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 7 июля, 2016 · Жалоба Proxmox на Линуксе или Jail на FreeBSD прекрасно уместятся на двух физических серверах (N+1). И не надо никаких ломанных Vmware и бэкапилок к ней. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 7 июля, 2016 · Жалоба shicoy Если не секрет, зачем вообще нужны виртуальные машины в ISP? По мне, так только для лаб Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Night_Snake Опубликовано 7 июля, 2016 · Жалоба Если не секрет, зачем вообще нужны виртуальные машины в ISP? По мне, так только для лаб Ээм... затем же, зачем и остальнм - экономия на вычислительных ресурсах. В ISP ровно так же есть AD, CRM, Wiki и еще куча разного стаффа, который удобно держать на виртуалках. Плюс астериски, плюс dns/dhcp... вообще идея в 2016 году пользовать голое железо для меня более, чем странная. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 7 июля, 2016 · Жалоба + изоляция от разных версий ПО и библиотек. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
boco Опубликовано 7 июля, 2016 · Жалоба эти минимальные 3 сервера тоже могут жить в vmware. =) более того, это один из рекомендуемых дизайнов развертывания scaleio Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
catalist Опубликовано 7 июля, 2016 · Жалоба смотрите в сторону nexenta есть бесплатная версия до 8 ТБ, мы пользуем уже три года, очень довольны Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
orlik Опубликовано 7 июля, 2016 · Жалоба А в чем смысл отдельной схд на таком объёме ? Это же 2 диска по 4тб в рейде для зеркалирования. Если серверов с виртуалками будет несколько, ставьте на каждом такой рейд. И не забывайте бекапиться :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
FATHER_FBI Опубликовано 7 июля, 2016 · Жалоба Сколько гипервизоров у вас? Зачем вам СХД, у вас кластер? Если у вас 3 сервера, посмотрите в сторону vSAN. Если же вы сами не знаете чего хотите, тогда остановитесь на локальных дисках. Купите на ebay, вагон SSD. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 7 июля, 2016 · Жалоба Если не секрет, зачем вообще нужны виртуальные машины в ISP? По мне, так только для лаб Ээм... затем же, зачем и остальнм - экономия на вычислительных ресурсах. В ISP ровно так же есть AD, CRM, Wiki и еще куча разного стаффа, который удобно держать на виртуалках. Плюс астериски, плюс dns/dhcp... вообще идея в 2016 году пользовать голое железо для меня более, чем странная. Не, ну это-то понятно (мелочовка и обвязка). А то тут кто-то на НАГе pptpd bras-ы запускает в виртуалках, думал кто-то ещё нашёлся и сможет объяснить профит от этого дела Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
thodin Опубликовано 7 июля, 2016 · Жалоба Ну я вот использую на виртуалках всю кору. Причем уже много лет.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
FATHER_FBI Опубликовано 7 июля, 2016 (изменено) · Жалоба Не, ну это-то понятно (мелочовка и обвязка). А то тут кто-то на НАГе pptpd bras-ы запускает в виртуалках, думал кто-то ещё нашёлся и сможет объяснить профит от этого дела Виртуализация в ISP это не неотъемлемая часть, если все плодить на физических тазиках, во первых это все место, электроэнергия, тепловыделения, охлаждение, куча расходников в виде БП/HDD/etc.. На первое работе у нас было 2 шкафа оборудования и были некоторые сервисы, типа сетевой файлопомойки совмещенные например с хостингом и главными сайтами компании. А тогда ESXi только анонсировали, когда перешел на него, у меня 2 шкафа старых серверов превратились в 3 гипервизора. Мало того что все сервисы перестали друг от друга зависеть, DNS отдельная виртуалка, zabbix отдельная виртуалка и так далее..Ну и плюс есть куча удобств в обслуживании, нужно сервер обслужить, перенес с него виртуалки на другой сервак, и делай с ним че хочешь. Потом бекапы, физический сервер забекапить и раскатать на другом тазике, это довольно трудоемкая работа по времени. В случае с виртуализацией. Есть ВМ на которой крутиться DNS, vmdk диск весит 5гб, информация в vmdk занимает 900мб. Вот по сути мы будем восстанавливать только 900мб. Можно поступить по другому, делать реплики. С физическими тазиками такое не прокатит, а свиртуалками запросто, снимается бекап ВМ и тут же раскатывается на соседнем сервере. А чего только стоит клонирование ВМ для дальнейших тестов. Я как вспомню свою молодость, когда не было под рукой свободного тазика, и перед тем как вносить изменения в продакш проект, нужно было сделать кучу бекапов, записать что где и как, что бы в случае чего откатиться. Короче плюсов валом.. Что касается брасов, у меня сейчас на виртуалке старый брас доживает свои часы, в пиках бегало 500Мбит. Крутился на довольно модном тазике, которого второго не было, без остановки сервиса, через vmware vcenter converter утянул его в гипервизор, ночью сделал переключение, простой абонентов был пару секунд, а админ тем временем начал подготавливать тазик под IPoE. Что касается цен, начальный бандл на 3 сервера стоит как 3 свича, 600$ я думаю даже пионер сеть с 2к абонентов вполне может себе его позволить. Изменено 7 июля, 2016 пользователем FATHER_FBI Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 7 июля, 2016 · Жалоба У нас на drbd + nfs крутится; пару лет - полет нормальный; благополучно пережило несколько ребутов по питанию как обеих нод, так и по одной :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Night_Snake Опубликовано 8 июля, 2016 · Жалоба Не, ну это-то понятно (мелочовка и обвязка). А то тут кто-то на НАГе pptpd bras-ы запускает в виртуалках, думал кто-то ещё нашёлся и сможет объяснить профит от этого дела А почему бы и нет? Накладные ресурсы на виртуализацию сейчас минимальны при грамотной настройке гипервизора, плюс плюшки типа direct I/O с пробрососом сетевой прямо в виртуалку, минуя виртуальный свич. На одной из моих работ у нас в виртуалке жил хотспот на микротике, квагга на фре для всяких IX и районный брас на несколько сотен клиентов. И нормально жило. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 8 июля, 2016 · Жалоба А в чем смысл отдельной схд на таком объёме ? Это же 2 диска по 4тб в рейде для зеркалирования. Если серверов с виртуалками будет несколько, ставьте на каждом такой рейд. И не забывайте бекапиться :) Вы явно не знаете про IOPS'ы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 8 июля, 2016 · Жалоба Не, ну это-то понятно (мелочовка и обвязка). А то тут кто-то на НАГе pptpd bras-ы запускает в виртуалках, думал кто-то ещё нашёлся и сможет объяснить профит от этого дела А почему бы и нет? Накладные ресурсы на виртуализацию сейчас минимальны при грамотной настройке гипервизора, плюс плюшки типа direct I/O с пробрососом сетевой прямо в виртуалку, минуя виртуальный свич. На одной из моих работ у нас в виртуалке жил хотспот на микротике, квагга на фре для всяких IX и районный брас на несколько сотен клиентов. И нормально жило. Ага, direct i/o это виртуализация ради виртуализации :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
FATHER_FBI Опубликовано 8 июля, 2016 · Жалоба Вы явно не знаете про IOPS'ы. Вы знаете, учитывая цены на SSD я уже давно не смотрю на IOPS, а пройдет пару лет, все и забудут что это такое, только старички будут рассказывать юным эникеям что это такое) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 9 июля, 2016 · Жалоба Вы явно не знаете про IOPS'ы. Вы знаете, учитывая цены на SSD я уже давно не смотрю на IOPS, а пройдет пару лет, все и забудут что это такое, только старички будут рассказывать юным эникеям что это такое) Нет, спасибо. SSD только в зеркале, или зеркало для кеша обычных дисков. В лотерею с вылетом SSD через пол-года-год эксплуатации - я не играю. P.S. По вашей ссылке: Warranty: 90-day limited from OCZ/Toshiba про кол-во GB на износ тоже не указано. P.P.S. У onix.kiev.ua серверные SSD на 400GB - 500-800$ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Дегтярев Илья Опубликовано 9 июля, 2016 · Жалоба контроллеры серии LSI Syncro и внешний JBOD любой с 2 экспандерами - идеальное решение на 2 гипервизора. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
FATHER_FBI Опубликовано 9 июля, 2016 · Жалоба Нет, спасибо. SSD только в зеркале, или зеркало для кеша обычных дисков. В лотерею с вылетом SSD через пол-года-год эксплуатации - я не играю. Я вас уверяю, если вы будете брать какое нибудь Китайское noname лайно, тогда там действительно лотерея. А SSD диски работают на столько, сколько заявлено производителем. Например буквально недавно у меня умер SSD, на котором крутился zabbix, сразу скажу, ссд из разряда самый дешевый и самый нормальный kingston, проработал на 120TB больше, чем заявлял производитель, с учетом того что забикс жрал его на скорости 2500-4000 IOPS. про кол-во GB на износ тоже не указано. P.P.S. У onix.kiev.ua серверные SSD на 400GB - 500-800$ Дорогие потому что сразу на границе дорожает на 30% из за пошлины + магазин делает свою наценку. Вот вам яркий пример изменения ценовой политики rozetka VS newegg P.S. Что касается SSD в RAID, очень много статей читал по этому поводу. Если RAID классический 0/1/10, то тут в принципе ничего страшного нет при работе с TRIM, а вот если группы более сложные RAID 5/6/50/60 то тут могут грабли по вылазить и зачастую производители просто игнорируют TRIM в таких ситуациях. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 9 июля, 2016 · Жалоба И что это показало? 1)по поводу Кингстона - вам повезло, что он проработал заявленный ресурс. 2)приведенные параметры в таблице имеют важную приставку "up to". Далее могут быть разные версии железа и прошивки. И на ebay можно тоже нарваться на китайские подделки. Причем продавец будет прав, что в описании товара все правильно описано, а это покупатель дописал себе характеристики товара с оффсайта, согласно названию продукта :) 3)цены для американского рынка и для украинского не корректно сравнивать. При закупке в Америке с пересылкой в Украину, добавится таможенная пошлина, стоимость пересылки, страховка, и в итоге может быть дороже, чем в той же Розетке. P.S. По поводу Заббикса - примите мои соболезнования. Cacti менее ресурсоемкий, как по памяти, так и по IOPS. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
FATHER_FBI Опубликовано 9 июля, 2016 · Жалоба 1)по поводу Кингстона - вам повезло, что он проработал заявленный ресурс. Ни какого везения, у меня в ферме крутиться огромное количество SSD дисков, и все они равномерно умирают когда наступает заявленный производителем порог записанных даных 2)приведенные параметры в таблице имеют важную приставку "up to". Далее могут быть разные версии железа и прошивки. И на ebay можно тоже нарваться на китайские подделки. Причем продавец будет прав, что в описании товара все правильно описано, а это покупатель дописал себе характеристики товара с оффсайта, согласно названию продукта :) Значение "До" зависит от размера записываемых блоков. Если у вас такой скепсис касательно ССД, почитайте какие SSD используются в энтерпрайз сегменте. Если бы все так было плохо, такие вендоры как EMC/NetAPP/IBM/HP/DELL не выпускали бы СХД на ССД. P.S. По поводу Заббикса - примите мои соболезнования. Cacti менее ресурсоемкий, как по памяти, так и по IOPS. Ну тут понятное дело RRD дает о себе знать. Забикс тоже не прожорливый, по ресурсам cpu/ram он как и cacti, а вот что касается хранения данных, в кактусе rrd в zabbix база данных. Но как по мне, кактус годиться исключительно для графиков и карты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 9 июля, 2016 · Жалоба Ни какого везения, у меня в ферме крутиться огромное количество SSD дисков, и все они равномерно умирают когда наступает заявленный производителем порог записанных даных При массивах, сложнее RAID1, одновременный выход из строя нескольких SSD не такой уж редкий случай. К тому же система неравномерно использует блоки дисков. Значение "До" зависит от размера записываемых блоков. Если у вас такой скепсис касательно ССД, почитайте какие SSD используются в энтерпрайз сегменте. Размер блоков давно 4k байт. В Энтерпрайз дисках используют чуть другой конструктив, другое ПО и получше выбирают чипы памяти. Если бы все так было плохо, такие вендоры как EMC/NetAPP/IBM/HP/DELL не выпускали бы СХД на ССД. А у них нет других вариантов замене HDD при таком большом росте требований IOPS. К тому же у каждой полки вышеперечисленных вендоров, свои требования к внедрению, эксплуатации и бэст практикс. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
FATHER_FBI Опубликовано 9 июля, 2016 · Жалоба При массивах, сложнее RAID1, одновременный выход из строя нескольких SSD не такой уж редкий случай. К тому же система неравномерно использует блоки дисков. Описанная вами ситуация происходит когда администратор строит сложные рейды на дешевых контроллерах, если использовать контроллеры которые поддерживают сложные рейды из ССД, проблем ни каких не будет. Это так же само как собрать фейк рейд в биосе материнской платы или же с помощью mdadm А у них нет других вариантов замене HDD при таком большом росте требований IOPS. К тому же у каждой полки вышеперечисленных вендоров, свои требования к внедрению, эксплуатации и бэст практикс. Но они не на столько узкие, в основном опциональность и специализация заключается в какой среде будет использовано, физической или виртуальной и вытекающие из этого опции, снапшоты на стороне схд, репликация между схд, зеркалирование и прочая хрень. По поводу требования к внедрению, чаще всего подразумевается комплектация дисков, количество контроллеров, метод подключения, расчетные нагрузки массива (процентное соотношение приоритетов записи/чтения), что касается бест практикс. Опять же все зависит от дизайна. Можно купить самую дешманскую комплектацию, например у того же netapp есть СХД которая все в одной коробке (блоки питания, диски, контроллеры) а можно купить СХД которая состоит из filer head и кучи дисковых полок, которые можно собрать в RAID, то есть в такой конфигурации можно не то что диск потерять, можно целую дисковую полку потерять и простоя сервиса не будет. У EMC есть более сложные конфигурации. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 10 июля, 2016 · Жалоба Описанная вами ситуация происходит когда администратор строит сложные рейды на дешевых контроллерах, если использовать контроллеры которые поддерживают сложные рейды из ССД, проблем ни каких не будет. Это так же само как собрать фейк рейд в биосе материнской платы или же с помощью mdadm Не-не-не. Нормальный аппаратный рейд имеет минимум 6 физических портов, память и аккумулятор для кеша. Есть программная поддержка RAID 1|0|10|50|60. Речь идет о одновременном вылете двух SSD. RAID научились анализировать SMART ? Износ блоков? Но они не на столько узкие, в основном опциональность и специализация заключается в какой среде будет использовано, физической или виртуальной и вытекающие из этого опции, снапшоты на стороне схд, репликация между схд, зеркалирование и прочая хрень. По поводу требования к внедрению, чаще всего подразумевается комплектация дисков, количество контроллеров, метод подключения, расчетные нагрузки массива (процентное соотношение приоритетов записи/чтения), что касается бест практикс. Опять же все зависит от дизайна. Можно купить самую дешманскую комплектацию, например у того же netapp есть СХД которая все в одной коробке (блоки питания, диски, контроллеры) а можно купить СХД которая состоит из filer head и кучи дисковых полок, которые можно собрать в RAID, то есть в такой конфигурации можно не то что диск потерять, можно целую дисковую полку потерять и простоя сервиса не будет. У EMC есть более сложные конфигурации. Опять же, кто такое кроме банков в лучшие времена купит? :) У кого такие потребности и такой бюджет? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...