[straus]

В 3 января 2020 г. в 03:51, Shurhenchik сказал:

Ломать хорошую вещь просто потому что боишься контроллера? :)))

Мне и в голову не пришло что резерв ты хочешь держать без дисков, и при проблеме упражняться именно с ними в попытке переставить их на другое железо.

Да, у него более чем странный подход.

Мне также постоянно бросается в глаза в теме, что он в случае подыхания RAID-контроллера почему-то говорит менять сервер. Неужели он никогда не видел вставные контроллеры в виде плат расширения? Вообще не проблема иметь в ящике их запас.
 

 

12 часов назад, LostSoul сказал:

Да хотя бы вот тут.

https://wiki.colobridge.net/полезное/советы/шпаргалка_по_megacli

 

http://linux-bash.ru/menudisk/113-megacli.html

 

Это каким джедаем надо быть, чтоб вот так вот на работающей системе без предварительных тестов с первого раза верно команду угадать и составить не развалив ничего?

Программа настройки в BIOS RAID-контроллера или его родная утилита с графическим интерфейсом не?
 

[straus]

13 часов назад, LostSoul сказал:

Те кто за что-то отвечает лично сам, VMware не использует.  В силу тех же обстоятельств что и аппаратный рейд - при нештатной ситуации никто не знает как это починить . В отличии от открытой системы с открытыми исходниками вроде KVM

Там, где нештатная ситуация может вызвать большие проблемы, линукс не используется.

 

И вообще устойчивость линукса сильно преувеличена, причём самими линуксоидами. У него есть много своих плюсов, но для критичных применений что он что винда - одного поля ягода.

Кстати видеонаблюдение - применение критичное во многих случаях. И вот для этой цели пока 99.9 % решений к сожалению на линуксе и винде. Так что есть куда расти.

 

[straus]

13 часов назад, LostSoul сказал:

Не пробовал, ввиду отсутствия такой надобности.

В случае mdadm просто нет необходимости в таком извращении.

Вот нифига не понял, причём здесь mdadm. Есть операционная система на системном диске, его нужно сделать отказоустойчивым и непрерывно доступным. То есть, ОС должна находиться на массиве, и причём с хотсваповой корзиной. И ОС скорее всего не ущербный линукс.
 

[LostSoul]

1 час назад, straus сказал:

Я сейчас плохо непонял... Там что, на сервере память без ECC?

На огромной линейке бюджетных серверов память без ECC.

Xeon E3 например.

На которых даже IBM немало "бюджетных" моделей наклепал

 

 

 

48 минут назад, straus сказал:

Да, у него более чем странный подход.

А вам никогда не доводилось видеть сервер с спонтанно плавающим глюком, типа зависания раз в n дней?

при этом сервер в работе без полноценного дублирования и особо не поэксперементируешь.

и самое быстрое что можно сделать это придти и быстренько переставить дисковые корзины в другую тушку.

( как это и решается в 90% случаев )

при этом как раз сами диски никто не мешает менять на горячую и стоят они относительно недорого.  поэтому сомнения  исправности дисков нет, а все остальное под вопросов и нет времени разбираться.

 

50 минут назад, straus сказал:

Программа настройки в BIOS RAID-контроллера или его родная утилита с графическим интерфейсом не?

для этого нужно остановить сервер с аптаймом в сотни дней и работающий 24/7 или как минимум установить библиотеки работы с графическим интерфейсом на сервер,  что на боевых серверах в телекоме не приветствуется. ни у богатых , ни у бедных.

 

 

[LostSoul]

39 минут назад, straus сказал:

И вообще устойчивость линукса сильно преувеличена, причём самими линуксоидами. У него есть много своих плюсов, но для критичных применений что он что винда - одного поля ягода.

Я раньше не понимал, как вроде бы внешне адекватные люди могут такое утверждать.

Потом понял  -  они просто сравнивают "коробочный windows hyper-v"/vmware   с коробочным же каким-нибудь proxmox , xen server и.т.п.

И тогда действительно, одного поля ягоды.

Когда поставил proxmox на десяток серверов, то понял что при использовании всяких там zfs , lvm thin provision и прочей мути оно стремительно теряет в надежности.

 

Это бессмысленно сравнивать с грамотно развернутым и настроенным сервером из коробки.

Вот мой конфиг, работающий приблизительно с 2008 года:

сервера xeon e3 v2 3.2ггц , 4-ядерные.  16гб озу.   2 x 3Tb SATA диска на сервер.  удаленное управление Intel vPro ( экран/мышь/клавиатура  )

-centos 6 с ядром от openvz

-гипервизор kvm управляемый через libvirt  ( контейнеры , соответственно через vzctl )

дисковая система:

три массива raid1 через mdraid  - системный ,  для шифрованных данных,  для нешифрованных данных

две группы lvm разделов , шифрованных и не шифрованных соответственно.  шифрованный через luks с собственным механизмом загрузки ключей.

дисковые разделы для виртуалок и контейнеров - жесткое выделение томов lvm с недопущением из фрагментирования по дискам.  при необходимости увеличения размера раздела - создается новый, данные переносятся , старый очищается и направляется пул хранения "свободных областей".

 

На каждом сервере порядка 2-6 виртуальных машин linux/windows ( жестко выделенная каждому гостю память без оверсейлинга ) и несколько мелких контейнеров.

На ряде хостов оставлены свободные ресурсы для live-переноса виртуалок онлайн с помощью virsh.

 

Указанный конфиг >10 лет работает железобетонно.  Ни о каких kernel panic или синих экранах нету и речи.   Естественно что и случаев разрушения массивов RAID1 не наблюдается ввиду технической невозможности.

Сделано именно так , так  как эти узлы географически распределены по разным площадкам, обеспечивая наличие 1-2 серверов на каждой из них.

На более крутые не хватило ресурсов , но и те что есть отработали замечательно.

В настоящий момент потихоньку с матом и стонами проводится их постепенная попытка миграции на proxmox , но там как раз стабильность примерно на уровне Windows или того же vmware.

 

Тем, кто никогда не настраивал сервера нормально сам руками, выверяя каждую мелочь, тем не обьяснить что оно работает так же стабильно как bare metal и даже надежнее.  Судят по наколеночным подделкам или переусложненным вундервафлям.

 

 

 

 

-

 

 

[rz3dwy]

2 часа назад, straus сказал:

Программа настройки в BIOS RAID-контроллера или его родная утилита с графическим интерфейсом не?

Для доступа к утилите настройки RAID-контроллера нужно перезагружать сервер, это не всегда возможно, а на сервере графического интерфейса может не быть. Megacli позволяет из-под установленной системы управлять контроллером. Это же относится и к ESXI, кстати, в которой не всегда работает CIM-провайдер для RAID-контроллера

[naves]

Божечки мои, что из темы сотворили.

У одного винда в бсод уходит, другой проксмох готовить не умеет, третий пытается вмварю на софт-рейд поставить.

Перемешать правду с вымыслами, придти к выводу, что все г**но...

On 1/5/2020 at 12:51 AM, straus said:

И вообще устойчивость линукса сильно преувеличена, причём самими линуксоидами. У него есть много своих плюсов, но для критичных применений что он что винда - одного поля ягода.

Кстати видеонаблюдение - применение критичное во многих случаях. И вот для этой цели пока 99.9 % решений к сожалению на линуксе и винде. Так что есть куда расти.

Ага, регулярно падает трассир, виноват значит линух

[straus]

44 минуты назад, naves сказал:

виноват значит линух

Да задолбали вы своим ущербным линуксом. Ни один нормальный специалист не станет его использовать для действительно критичных применений - нефтехимия, атомная отрасль, авиация, космос... Есть для таких применений другие ОС, например Integrity-178B.

 

И ещё, специально для тебя, разглагольствующего про синие экраны в винде: запомни - их наличие не зависит от прямых рук администратора. Если система такое позволяет - она в принципе не может (не должна) использоваться в сколь-нибудь ответственных применениях, поскольку чего от неё ожидать не знают даже её разработчики.

 

И учитывать ВСЕ возможные проблемы функционирования системы - обязанность сколь-нибудь грамотного специалиста. Так что твои посылы с намёком на кривые руки других говорят только о том, что сам ты в создании отказоустойчивых систем полный ноль. Никогда в жизни ты не создал ничего действительно серьёзного, никогда не проходил приёмку военпредом, никогда не сертифицировался на использование в атомной энергетике или вообще на уровни SIL. Так что пусть супернадёжные не падающие линуксы и винды поддерживают жизнь пациента где-нибудь в твоей реальности, а мы будем применять для этого более адекватные средства.

 

[naves]

Ээээ, и тут Остапа понесло...

Мы тут вроде говорили, как нищебродам собрать пяток дисков в недо-рейд, а Вы тут со своим mission-critical-realtime в наш линукс лезете... ндя.

 

>То есть, ОС должна находиться на массиве, и причём с хотсваповой корзиной. И ОС скорее всего не ущербный линукс.

1) линукс давно умеет ставиться на RAID без перекомпиляции ядра.

2) Кто вас заставляет его использовать, непонятно.

Изменено 9 января, 2020 пользователем naves

[straus]

А что, если ОС падает в критичных применениях - в менее критичных она перестанет падать?

 

А нищебродам можно поставить и софт-RAID, и полуаппаратный RAID, и полноценный RAID. Но последний вариант будет иметь более высокую степень отказоустойчивости. А если контроллеры купить на вторичном рынке и с запасом - по цене этот вариант будет тоже не напряжным. В моём случае вставные контроллеры стоили по 80 грн (200 руб) а внешние с ЖК-дисплеем по 200 грн (500 руб) - вряд-ли это неподъёмная цена даже для нищеброда (сколько нынче в РФ стоит порция мороженого или торт?). Другое дело, что за пределами крупных городов такая лафа маловероятна, и тогда может иметь смысл софтовый RAID, на придётся учитывать многие его особенности - например описанный мною вариант вылета винды в синий экран при определённых видах отказа дисков.
 

[LostSoul]

3 часа назад, straus сказал:

И ещё, специально для тебя, разглагольствующего про синие экраны в винде: запомни - их наличие не зависит от прямых рук администратора.

Любая операционная система имеет обработку исключений.  Хоть это будет синий экран, хоть черный, хоть оранжевый в крапинку.

Любой функционирующий  проект можно вывести в состояние запроектной аварии , просто создав условия более экстремальные, чем предельные наихудшие прогнозы конструкторов.

Если какой-то спутник запускают на 5 лет, а потом еще 5 раз продлевают срок службы  , рано или поздно при любой ОС найдется слабое звено и генерация исключений.

 

Другой вопрос, что на нормально настроенном и протестированном сервере , при наличии таких серверов в количесте нескольких штук , количество исключений за весь срок службы равно нулю.

Это справедливо и для Linux и для Windows.

Но философия Linux изначально провоцирует создавать более надежные конфигурации by desing.

 

 

 

25 минут назад, straus сказал:

Но последний вариант будет иметь более высокую степень отказоустойчивости.

Для простого рейда а-ля RAID1 / RAID10 он НЕ БУДЕТ иметь более высокую степень отказоустойчивости.

По совокупности параметров отказоустойчивость будет НИЖЕ.

Так как надежность комплекса  диски + контроллер + сервер + операционка + исполняемое ПО + человек который все это обслуживает определяется не надежностью отдельно взятого компонента , а слаженностью совместной работы всех компонентов вместе.

Слаженность и заменяемость на участке контроллер-человек будет выше для типового давно знакомого человеку решения, слабо зависимого  от аппаратной платформы и производителя контроллера. Кто тут писал что через raid-контроллер даже smart не посмотреть без адовых плясок с бубном?

А для софт-raid даже отсылка уведомлений на e-mail уже настроена из коробки  СРАЗУ  ( е-маил насильно выпрашивает в процессе установки )

 

Для маленького рейда из 2/4 дисков, назначение которого - непотопляемость сервера при отказе одного из дисков , софтрейд почти всегда будет надежнее и будет являться лучшим выбором в маленькой малоимущей конторе.  Некоторые мелочи типа того что скажем у аппаратных рейдов чаще работает подсветка нужной корзины с отказавшим диском, снижающая риск ошибочной манипуляции --- это наверное единственный плюс в защиту аппаратных.  Но опять таки никто не мешает нищему админу последние 4 буквы серийника на корзинке спереди на наклейке подписать

 

 

 

[LostSoul]

33 минуты назад, straus сказал:

А если контроллеры купить на вторичном рынке и с запасом - по цене этот вариант будет тоже не напряжным.

Тем , кому философия / бизнес модель / начальство позволяет покупать б.у. оборудование, они разумеется купят по дешевке нормальных серверов с нормальными аппаратными контроллерами, включая ЗИП на полку.

Но есть и другие конторы.  Где купить можно только новое , заявку на все надо подать на следующий год за 4-6 месяцев до конца текущего и весь ЗИП предусмотреть заранее, причем за ЗИП по цене больше оборудования еще и жестко трахнут.

Купить же что-то внезапно вышедшее из строя займет месяц согласования дополнительных бумажек.  Или покупай за черный нал а потом проводи задним числом, а потом на нары , коррупционер проклятый.

 

[Shurhenchik]

7 часов назад, LostSoul сказал:

Но есть и другие конторы.  Где купить можно только новое , заявку на все надо подать на следующий год за 4-6 месяцев до конца текущего и весь ЗИП предусмотреть заранее, причем за ЗИП по цене больше оборудования еще и жестко трахнут.

Вот эти, поверь, купят новое фирменное железо, еще с карепаком и всеми лицензиями на необходимый софт :)

[LostSoul]

5 часов назад, Shurhenchik сказал:

Вот эти, поверь, купят новое фирменное железо, еще с карепаком и всеми лицензиями на необходимый софт :)

купят то, на что хватит денег.  сумма которую можно потратить зачастую спускается сверху в приказном порядке.

и в нее нужно вписать необходимый обьём исследований/обработки.

 

[Shurhenchik]

Только что, LostSoul сказал:

купят то, на что хватит денег.  сумма которую можно потратить зачастую спускается сверху в приказном порядке.

и в нее нужно вписать необходимый обьём исследований/обработки.

 

В организациях с плановой экономикой :) сумма на следующий год определяется по заявкам ИТ-служб, которые они смогли обосновать. 

Обосновали - получили, не обосновали - поразали.

Бизнес не станет тратить деньги на хотелки/развлекалки, но бизнес готов вкладывать в то, что принесет доход либо уменьшит расходы.

[LostSoul]

6 минут назад, Shurhenchik сказал:

В организациях с плановой экономикой :)

в организациях, занятых фундаментальными исследованиями размер гранта, бывает , определяется грантодателем.   и пропорциональный распил гранта на оборудование/оплату труда и.т.п. делается согласно принятым в организации политикам.

Заявки ИТ-служб там вообще меньше всего кого-то волнуют.

Точнее заявка то быть должна, но она должна уложится с лимиты указанные ответственным за проект бюрократом.

По вашей логике, видимо, бюджет государства в целом тоже определяют ИТ-службы.  Ну типа нам надо новый портал госуслуг апгрейдить, поэтому в этом году НДС поднимем до 40% :-)

 

[Shurhenchik]

Я имею ввиду не распил бабла, а частный бизнес

[maxlapshin]

20 hours ago, naves said:

Ээээ, и тут Остапа понесло...

Мы тут вроде говорили, как нищебродам собрать пяток дисков в недо-рейд, а Вы тут со своим mission-critical-realtime в наш линукс лезете... ндя.

 

>То есть, ОС должна находиться на массиве, и причём с хотсваповой корзиной. И ОС скорее всего не ущербный линукс.

1) линукс давно умеет ставиться на RAID без перекомпиляции ядра.

2) Кто вас заставляет его использовать, непонятно.

 

у деда таблетки закончились =)

[jffulcrum]

В 03.01.2020 в 23:14, straus сказал:

Да, кстати, а что там с загрузкой системы с программного RAID?

Линь: Ставится система, доставить mdadm, сделать суперблок, сделать зеркало, потом LiveCD-chroot-правка конфигов. Винь: LiveCD - собрать dynamic mirror в diskpart - поставить систему

[naves]

Не спора ради, а для тех, кто все же будет это читать.

22 hours ago, LostSoul said:

Кто тут писал что через raid-контроллер даже smart не посмотреть без адовых плясок с бубном?

нет, никаких плясок

https://www.smartmontools.org/wiki/Supported_RAID-Controllers

 

On 12/31/2019 at 2:46 PM, Shurhenchik said:

Если бизнесу нужен сервер за много миллионов, а бизнес не обладает возможностью его приобрести - значит бизнес не будет жить в любом случае.

Если бизнесу нужна отказоустойчивость сервера. а бизнес не обладает возможностью это сделать - значит бизнес не будет жить в любом случае. 

Значит бизнес может и будет жить без сервера, примеров достаточно. Уволился админ, сервер сдох, погоревали недельку и вернулись к екселю.

 

On 1/3/2020 at 11:59 PM, straus said:

Если накопитель в массиве повисает (по любым причинам) в состоянии BUSY - хардварный контроллер это обрабатывает корректно, а винда после таймаута выбрасывает синий флаг. Вот такой вот "отказоустойчивый" виндовый программный массив. А довольно многие модели накопителей "уходят в себя" (BUSY) после попадания на не читающиеся блоки.

Иногда, но не всегда. Поведение накопителя настраивается в SCT ERC (SMART Command Transport Error Recovery Control)

https://habr.com/en/post/92701/

 

22 hours ago, straus said:

А что, если ОС падает в критичных применениях - в менее критичных она перестанет падать?

 

On 1/9/2020 at 6:36 PM, straus said:

Ни один нормальный специалист

Странно, что специалисту нужно рассказывать про величину допустимого простоя умноженного на стоимость этого отказа, в условиях реального рыночного заказчика.

Хотите надежности 99,9(9) ну так и платите соответственно за такое решение.

[straus]

23 минуты назад, naves сказал:

нет, никаких плясок

https://www.smartmontools.org/wiki/Supported_RAID-Controllers

Вот смотрел-смотрел - не могу там найти Acusys, например ACS-89310.

И отказываться от подобных контроллеров нет никакого желания - там есть реально серверные фичи, которых софтовый RAID не может дать по определению. Например, на самом контроллере есть порты RS232 (модемный и терминальный), и контроллер в случае чего может мне отстучать, даже если сервер вообще не подымается. Для олдов может даже на факс отзвониться (я был удивлён - оказывается для некоторых факс до сих пор актуален). Ну и Ethernet естественно на борту. И Event Log хранится в контроллере, а не в системе.

Короче, если кто не сталкивался - серверные контроллеры это как и сервера - не просто отдельный компьютер, на который взгромоздили серверную ОС, а имеющий кучу именно серверных фич. В серверах даже с материнских плат в БП заходит дополнительный шнурок SMBUS, по которому БП общается с материнкой. Ну и отдельная аппаратная плата менеджмента в серверах - тоже нужная вещь (для того, кто знает, а не собирает "сервера" из десктопного барахла).

35 минут назад, naves сказал:

Значит бизнес может и будет жить без сервера, примеров достаточно. Уволился админ, сервер сдох, погоревали недельку и вернулись к екселю.

Да, вполне реальный кейс.

36 минут назад, naves сказал:

Иногда, но не всегда. Поведение накопителя настраивается в SCT ERC (SMART Command Transport Error Recovery Control)

https://habr.com/en/post/92701/

Да согласен, для некоторых накопителей поведение можно настроить. Но сразу же несколько замечаний:

1. Для некоторых.

2. Бывают ошибки в фирмвейре, когда на некоторых ошибках накопитель вообще зависает в BUSY.

3. Большинство тех, кто агитирует за софтовые рэйды, про эту фичу вообще не в курсе.

4. Поведение накопителя настроить можно, а поведение винды - нет. Выбросит ли она синий флаг - зависит от драйвера (и даже версии драйвера) контроллера винтов. Любая ошибка, которую винда признаёт критической для своего функционирования (отвал или зависание устройства, обязательного для продолжения работы), приводит к выбрасыванию синего флага. И ей, суке, пофиг, что у нас софтовый RAID с резервом и можно продолжать работу - драйвер контроллера выставил Critical Error OS Level - сушите вёсла.

42 минуты назад, naves сказал:

Странно, что специалисту нужно рассказывать про величину допустимого простоя умноженного на стоимость этого отказа, в условиях реального рыночного заказчика.

Хотите надежности 99,9(9) ну так и платите соответственно за такое решение.

Да возражений как раз и нет.

 

Возражения по теме у меня по другому поводу. Конкретно: выше в теме есть посыл, что софтовый RAID лучше всегда, даже когда есть бесплатных хороший хардовый контроллер. Вот с этим я категорически не согласен.
 

 

1 час назад, jffulcrum сказал:

Винь: LiveCD - собрать dynamic mirror в diskpart - поставить систему

Динамические диски в винде - отдельная грустная песня. Её часто поют те, кто вдруг получает "Диск X - Динамический Инородный".
 

[naves]

7 minutes ago, straus said:

И отказываться от подобных контроллеров нет никакого желания - там есть реально серверные фичи, которых софтовый RAID не может дать по определению. Например, на самом контроллере есть порты RS232 (модемный и терминальный), и контроллер в случае чего может мне отстучать, даже если сервер вообще не подымается. Для олдов может даже на факс отзвониться (я был удивлён - оказывается для некоторых факс до сих пор актуален). Ну и Ethernet естественно на борту. И Event Log хранится в контроллере, а не в системе.

Зачем такой функционал в самом RAID-контроллере, когда в сервере есть отдельной платой Dell iDRAC, HP iLO, On-board IPMI BMC, и тд?

Изменено 10 января, 2020 пользователем naves

[straus]

5 минут назад, naves сказал:

Зачем такой функционал в самом RAID-контроллере, когда в сервере есть отдельной платой Dell iDRAC, HP iLO, ipmi, и тд?

Это внешний RAID-контроллер. Отдельное устройство, которое может обслуживать более одного сервера. Со своим дисплеем и кнопками. Удобная штука, надо сказать.

Мне иногда везёт прибарахлить что-то серьёзное с модернизации крутелыков. Вставные контроллеры приехали из другой страны, у нас была в Киеве фирма, которая продавала серверные вещи по охрененным ценам (просто смешным). Три раза не съел хорошее мороженое - прибарахлил два вставных RAID-контроллера. А внешние - это у нас национальный мобильный оператор своё ядро модернизировал. Привезли на утилизацию кучу всего, но некоторые винчестеры потребовали раскурочить в присутствии их службы безопасности. Ещё в своё время прибарахлил по случаю винчестеры из вещательного массива одной телекомпании - эти вообще подарили. Думал, что они скоро сдохнут, всё-таки отработали немало на вещании в эфир - хрен вам, живее всех живых (тьфу-тьфу). За это время померло уже наверное десятка полтора купленных новых, а эти 24х7 жужжат.
 

[LostSoul]

2 часа назад, straus сказал:

контроллер в случае чего может мне отстучать, даже если сервер вообще не подымается

Ржу. А на машинке вышивать умеет?

Можно наверное я этот rs232 еще 3д принтер включить пускай печатает

[straus]

Показывать свою ограниченность, да ещё на специализированном форуме?

Хотя... Потому и ракеты падают в РФ. И с самолётами Суперджет тоже не всё в порядке. Просрали всю школу создания высоконадёжных систем. Вместо этого разработкой отказоустойчивых решений занялись (даже не знаю, как таких назвать).

Но вы не грустите, у нас на Украине тоже не лучше. За десяток лет прошли обучение по SIL и подтвердили это сертификатами целых два человека.

 

(Я всё никак не мог понять, почему меня так усиленно приглашали в РФ, предлагая сразу жильё и хорошую зарплату, даже по московским меркам. После того, как я увидел по российскому ТВ тот сюжет, где открывали чёрные ящики российского самолёта - мне сразу стало всё понятно. Ведь я в своё время работал в киевском КБ, где разрабатывали чёрные ящики. И до сих пор в том КБ какая-то жизнь течёт, правда очень вяло. Но даже те древние разработки до сих пор летают и исправно служат. Собственно поэтому меня в РФ и не хотят выпускать, хотя 15 лет после увольнения уже прошло, а в подписке был именно такой срок.)