[sol]

Досталось тут немного такого железа от утилизаторов. Сижу, играюсь и никак не могу вкурить некоторые простые вопросы.

 

1. Есть полка FAS2040 полная 450G дисков. И с двумя контроллерами. Без каких либо лицензий. При создании какого либо "логического тома" я вижу с одного контроллера, условно, чётные диски полки, с другого нечётные. Как создать единое логическое пространство (ну, само собой, с расходами на диски чётности RAID-4 или RAID-DP и спейры) из всей полки "одним куском"?

2. Root volume. Зачем оно надо и почему оно такого большого размера и почему его нельзя разместить на общем RAID? Грустно отдавать под два root volume по min три диска на контроллер. Это ровно пол полки на непонятное.

3. Вопрос риторический. Генераторы лицензий под это чудо есть?

 

 

[sol]

И, да. Дозрел четвёртый вопрос: Если на полке ДВА контроллера, то может ли там не быть лицензии HA? И, если да, то нахрен это тогда нужно?

[jffulcrum]

Сразу скажу, помню уже не очень, все полки на пенсии давно.

35 минут назад, sol сказал:

При создании какого либо "логического тома" я вижу с одного контроллера, условно, чётные диски полки, с другого нечётные. Как создать единое логическое пространство (ну, само собой, с расходами на диски чётности RAID-4 или RAID-DP и спейры) из всей полки "одним куском"?

 Никак, если хотите "наслаждаться" двухголовностью. Если нужен объем и IOPS, то меняете членство всех дисков к одному контроллеру, disk assign общий префикс.* -o FAS2040-A (выполняется на самом FAS2040-A, префикс смотреть по disk show). С SATA дисками, кстати, фокус не пройдет - там есть ограничения, часть дисков так и останется на втором. Затем делаете aggregate на все диски, кроме отложенных на spare (если откладываете). На, собственно, массивы RAID система все побьет сама, максимально неочевидным способом - вздохнуть и смириться. Затем делаете Volume, Root создастся автоматом и съест свои 10% пространства - это тоже by design. На Volume делаете LUN`ы и указываете их потом в igroup/fcgroup , на Root LUN класть низзя. В общем, яйцо в утке, утка в зайце, заяц - в шоке, зе из ынтерпрайс, закройте глаза и наслаждайтесь ощущениями постороннего предмета в прямой кишке.

 

16 минут назад, sol сказал:

Если на полке ДВА контьроллера, то может ли там не быть лицензии HA? И, если да, то нахрен это тогда нужно?

 

Для начала сделайте license show. Если она дала вам создать raid_dp, значит как минимум server pack у ей унутре имеется.

 

 

 

[sol]

1. Т.е., как я понял, если есть две головы, то, условно, "конечные потребители услуги" должны быть равномерно размазаны по обеим головам и диски должны быть размазаны по обеим головам. Как бы две разные полки в одной коробке. А в случае факапа второй контроллер подхватит сервисы почившего, пользуясь своей IPC связью (я там немного InfiniBand'a видал) если это разрешено лицензиями, так?

 

Печальный вывод: Это хорошо для многошпиндельных инсталляций, где потеря 6 шпинделей на служебные нужды не существенна и есть возможность сравнительно равномерно поделить нагрузку между головами.

 

2. Ещё более печальный вывод: В инсталляциях с малым кол-во шпинделей и сервисов наличие двух голов просто вредит. HA не просматривается, а минииум 3 лишних диска вынь, да положь. Ибо без ЛИЧНОГО root volume контроллер работать не будет.

 

3 и 4 вопросы ждут своих героев. Особенно третий ))

 

[jffulcrum]

3 минуты назад, sol сказал:

Т.е., как я понял, если есть две головы, то, условно, "конечные потребители услуги" должны быть равномерно размазаны по обеим головам и диски должны быть размазаны по обеим головам. Как бы две разные полки в одной коробке. А в случае факапа второй контроллер подхватит сервисы почившего, пользуясь своей IPC связью (я там немного InfiniBand'a видал) если это разрешено лицензиями, так?

Да, там по сути два узла, синхронизирующих память через Infiniband, то есть даже кеш не пропадет.

 

3 минуты назад, sol сказал:

Это хорошо для многошпиндельных инсталляций, где потеря 6 шпинделей на служебные нужды не существенна и есть возможность сравнительно равномерно поделить нагрузку между головами.

Тут все еще проще: первая полка и не предполагает размещение на ней каких-то серьёзных ресурсов - кворумы покидать и все. Все остальное - на доп.полках, подключенных через daisy chain

 

В целом, у netapp есть немало плюсов, вроде защиты от 'RAID write hole', но мы их все сменили, ибо а) нецелесообразно сложно в администрировании для решавшихся задач б) проблемы с заменой дисков. У NetApp диски в ту пору были не просто перемаркированные и с парой бит в прошивке, они были специально низкоуровнево отформатированы на нестандартный размер сектора, и прошивка тоже перепилена под это. Соответственно, обычный диск в нее хрен вставишь (поначалу еще были умельцы, делавшие LLF и перезаливавшие прошивки, но потом был появился аппаратный забор на такие операции), а на родные политика производителя в какой-то момент стала такой, что за один диск выставлялся ценник по 2К USD. Это все, конечно, для SAS, SATA там традиционные, но на них и куча ограничений налагается. 

 

 

[sol]

1 час назад, jffulcrum сказал:

У NetApp диски в ту пору были не просто перемаркированные и с парой бит в прошивке, они были специально низкоуровнево отформатированы на нестандартный размер сектора, и прошивка тоже перепилена под это.

Да, это я уже увидел. И даже нашёл мануал по этому колдунству.

Но, фашистской миной на моём пути стало отсутствие HBA (не RAID) SAS адаптера. Рейдов полна кладовка, а вот простого HBA не нашлось. Но, ебей рулит и HBA по трекингу уже в России. Так что "experiment pending" ))

 

 

 

[alibek]

1 час назад, jffulcrum сказал:

проблемы с заменой дисков

Это еще мягко сказано.

Причем даже с учетом такой стоимости их купить можно только при наличии сервисного контракта.

[sol]

Скрытый текст

node1> license  
                 a_sis ENABLED
                    cf not licensed
             cf_remote not licensed
                  cifs not licensed
           compression ENABLED
     disk_sanitization ENABLED
                   fcp ENABLED
           flash_cache not licensed
            flex_clone not licensed
            flex_scale not licensed
         flexcache_nfs ENABLED
                  http ENABLED
       insight_balance not licensed
                 iscsi ENABLED
            multistore not licensed
      nearstore_option ENABLED
                   nfs not licensed
    operations_manager ENABLED
    persistent_archive ENABLED
    protection_manager not licensed
  provisioning_manager not licensed
              smdomino not licensed
                 smsql not licensed
     snapdrive_windows not licensed
              snaplock not licensed
   snaplock_enterprise not licensed
    snapmanager_hyperv not licensed
    snapmanager_oracle not licensed
       snapmanager_sap not licensed
snapmanager_sharepoint not licensed
        snapmanager_vi not licensed
   snapmanagerexchange not licensed
            snapmirror not licensed
       snapmirror_sync not licensed
             snapmover ENABLED
           snaprestore not licensed
         snapvalidator not licensed
      storage_services ENABLED
    sv_application_pri not licensed
          sv_linux_pri ENABLED
          sv_ontap_pri not licensed
          sv_ontap_sec not licensed
           sv_unix_pri ENABLED
             sv_vi_pri ENABLED
    sv_windows_ofm_pri ENABLED
        sv_windows_pri ENABLED
      syncmirror_local not licensed
              v-series not licensed
                   vld ENABLED
node1> license show
license: syntax error.
license usage:
        license
        license add <code> ...
        license delete <service> ...
        license help
node1> license help
license usage:
        license
        license add <code> ...
        license delete <service> ...
        license help

 

Добрался до коробки. Вот лицензии.

[jffulcrum]

11 часов назад, sol сказал:

Вот лицензии.

Понятно, лицензированы только интерфейсы и бекап Linux хостов (если что, некоторые разъяснения даны в man, есть и чуть подробнее от общественности). HA у вас не завезли.

[sol]

49 минут назад, jffulcrum сказал:

HA у вас не завезли.

Ну, т.е я смело вырываю вторую голову и кладу её в кладовку в запас.

И поднимаю всё на одной голове с экономией дисков.

 

Так?

[jffulcrum]

Да вырывать незачем, просто делаете мой фокус с назначением всех дисков на одну голову. Если она умрет, можно на второй голове объявить диски своими и конфигурация по-идее подхватится.

[sol]

Не получается так. Диски, относящиеся к root volume не получается отторгнуть от ненужной головы.

[sol]

И всё тот-же извечный русский вопрос: Есть ли кряки?

Я вовнутрь подсмотрел, там AMI BIOS и Xeon. Вон для ASA генератор лицензий есть. Должен и для тут быть.

[sol]

В майнтейнс моде отторг все диски от второй головы.

Она перестала загружаться и вместе с ней и первая голова.

Выходит, надо или ампутировать вторую голову или оставлять ей минимум три диска на root volume

 

[Sergey M.]

почитайте архив http://blog.aboutnetapp.ru/
Роман расписывал как можно настроить систему из двух контроллеров, так, что бы достичь максимальной утилизации дисков.

[sol]

Мда... Ну и залежи...

Вот та статья: http://blog.aboutnetapp.ru/archives/321

 

[sol]

Вот ещё полезный пост: http://blog.aboutnetapp.ru/archives/1132

[jffulcrum]

В 25.04.2019 в 12:28, sol сказал:

Рейдов полна кладовка, а вот простого HBA не нашлось.

RAID-адаптер тоже сгодится, если умеет отдавать диск как RAW (например, Adaptec 7000 и новее умеют). Проверено - в таком режиме над диском работают почти все низкоуровневые утилиты.

[sol]

Мои не умеют. Вернее, HP E500 должен уметь, но, по факту, даже переключенный в режим HBA дисков не отдаёт.

Ну да бог с ним. После праздников в нашем захолустье откроется почта и там меня уже ждёт https://www.ebay.com/itm/Gigabyte-GC-RLE086-RH-LSI-1068E-HBA-card-8-port-SAS-SATA-PCI-E-array-card-3081e/192653365174?epid=663519443&hash=item2cdb090fb6:g:bygAAOSwtRBbloff

[sol]

И вновь продолжается бой:

 

 

node2*> options licensed_feature.fcp.enable on
Run 'fcp start' to start the FCP service.
Also run 'lun setup' if necessary to configure LUNs.
node2*> fcp start
fcp: No FCP Target Adapters are present in this system.

ОК, вычитал такую штуку:

fcadmin config -d 0a
fcadmin config -t target 0a

fcadmin config -d 0b
fcadmin config -t target 0b

reboot

 

Сделал, после ребута:

fcp start
fcp start: Cluster interconnect has never been up.  If clustering has just been licensed a reboot is required to enable the cluster interconnect, or the cluster cables could be unplugged.  Please correct before starting fcp

Само собой, HA лицензии у меня нет.

 

node2> cf                                                              
Controller failover must be licensed and the system rebooted before using this command.

Как на этой говне запустить FC ?!?

 

[sol]

Вот по этому мануалу https://kb.netapp.com/app/answers/answer_view/a_id/1030983/~/how-to-convert-a-fas2020-ha-pair-to-a-standalone

я упразднил вторую голову на моей полке. Всё заработало. И все диски "прилипли" к одному контроллеру и FC заработал.

 

Ждём окончания выходных и начала работы почты.

[sol]

Про Кряки:

Хм... Лицензия состоит из 7 символов латинского алфавита в верхнем регистре... 26^7= 8 031 810 176. Не шибко и много для brute-force. Можно попробовать за пол года справиться.

 

 

[sol]

А вот поглядите, что я нашёл:

http://94.142.161.70/