[PASS3756SIRIUS]

Смотрю в сторону CRS326-24S для построения сети iscsi. Планирую ставить в каждую стойку для соединения хранилища с sfp+ портами гипервизоров.

Есть опыт работы с этим? Отговорите от совершения ошибки.

[jffulcrum]

У меня есть в проде iSCSI через свитчи MT, но для целей бекапов и пользовательских дисков-файлопомоек, когда отвал некритичен/малокритичен. Оно работает и не особо о себе напоминает - ну за год пара отвалов на объекте случается по логам вроде бы из-за сети, ну и ладно. Если вы там собираетесь что-то серьезное подключать, особенно кластеры, то MT ничем не будет отличаться от какого-то китайского 10G свитча, вроде Dlink или NetGear начальных серий - работает, работает, а потом какие-то проблемы и сразу печаль, труднодиагностируемая и труднопочиняемая печаль, обычно сопровождаемая живописным перформансом "Админ бегает по стойкам и ребутит свитчи". Для полноценной SAN надо брать что-то уровня Cisco Nexus 3524-X или Aruba CX 6300M, и желательно с поддержкой от вендора (SmartNet/FoundationCare).

[Saab95]

Только забыли написать, что последние 2 решения будут раз в 10 дороже микротика.

[roysbike]

В 19.01.2022 в 23:09, PASS3756SIRIUS сказал:

Смотрю в сторону CRS326-24S для построения сети iscsi. Планирую ставить в каждую стойку для соединения хранилища с sfp+ портами гипервизоров.

Есть опыт работы с этим? Отговорите от совершения ошибки.

Стоят DXS-1210-12SC A2 и DXS-1210-12TC A2 . Покупали 2 года назад по 60к . Как вариант еще DXS-1210-28S . DXS 1210 все cli (cisco like)  Работают и ладно. Железка не нужного уровня, но проблем нет.  А так б/у nexus 3000 от 100к

Edited January 22, 2022 by roysbike

[SUrov_IBM]

Saab95, здравствуйте.

 

В 22.01.2022 в 18:46, Saab95 сказал:

Только забыли написать, что последние 2 решения будут раз в 10 дороже микротика.

Да, будут значительно дороже, а ещё открою страшную тайну - для Nexus, лицензии поставляются отдельно и не входят в стоимость коммутатора. Только, если Вы строите отказоустойчивую высокопроизводительную виртуальную среду, а не тестовый стенд и в качестве СХД используете не тазик FreeNAS и RAID или QNAP NAS, "на спичках" экономить не будете. Если захотите сэкономить, разобравшись в вопросе, то приобретёте Б/У оборудование соответствующее классу задачи. Б/У Nexus сейчас, не чураются использовать достаточно крупные конторы, оставляя в запасе "холодный резав". ;)

[jffulcrum]

В 22.01.2022 в 18:46, Saab95 сказал:

последние 2 решения будут раз в 10 дороже микротика.

Если бы в 10, с лицензиями и поддержкой все в 20. Вопрос, сколько стоит простой хозяйства, особенно если оно большое. А при отвале сети хранения данных могут побиться, как это не странно, сами данные.

[SUrov_IBM]

В 22.01.2022 в 22:54, jffulcrum сказал:

Вопрос, сколько стоит простой хозяйства

Погодите, это Saab сейчас спит, а вот когда проснётся, фонд золотых цитат пополнится выражением, что iSCSI, FC или FCoE – это устаревшая технология и подключать хранилище (естественно это будет FreeNAS) к гипервизору нужно обязательно по NFS, используя два MIKROTIK между сервером и СХД и чтобы резервироваться, нужно использовать OSPF. И очень жалко, что в этой теме не осталось место для EoIP или PPPoE. ;)

[naves]

Поднимали искази на двух нестекируемых коммутаторах от trendnet, емнип. 24 езернет 10Г порта. Было это лет 5 назад. Jumbo frame, iscsi multipath, и вперед. И без всяких нексусов.

1 hour ago, SUrov_IBM said:

iSCSI, FC или FCoE – это устаревшая технология

Таки да. Сейчас пора сразу смотреть на

NVMe-oF )

Edited January 22, 2022 by naves

[SUrov_IBM]

Naves, здравствуйте.

 

В 23.01.2022 в 00:33, naves сказал:

Поднимали искази на двух нестекируемых коммутаторах от trendnet, емнип. 24 езернет 10Г порта. Было это лет 5 назад. Jumbo frame, iscsi multipath, и вперед.

Понятно, что при прохождении Jumbo Frame и использовании iSCSI Multipath, подойдёт любая 10 Гб неуправляемая (если такое есть в природе) мыльница из поднебесной.

 

Тут скорей вопрос в концепции экономии собственных нервных клеток. На мой взгляд, форумчанин Jffulcrum абсолютно правильно сказал:

В 22.01.2022 в 11:33, jffulcrum сказал:

работает, работает, а потом какие-то проблемы и сразу печаль, труднодиагностируемая и труднопочиняемая печаль

 

Обжегшись на D-Link, дуешь на MIKROTIK. ;)

 

В 23.01.2022 в 00:33, naves сказал:

И без всяких нексусов.

Кстати, Nexus у меня тоже нету, но сказать, что у меня отказоустойчивая высокопроизводительная виртуальная среда, я тоже не могу. Поэтому сплю спокойно.

 

А так, где действительно Enterprise, критичный в отказоустойчивости, не просто ради одной маркетологи придуманы и оттестированы такие схемы.

 

В 23.01.2022 в 00:33, naves сказал:

Сейчас пора сразу смотреть на

NVMe-oF )

Для меня, пока это слишком. В мой колхоз, таких технологии ещё не скоро завезут. ;)

[Saab95]

Микротик нормально будет работать для хранилища. Более того, в хранилищах обычно минимум 2 порта 10Г и можно их подключать через 2 не зависимых коммутатора, потоки данных там сами собой зарезервируются.

[NiTr0]

В 23.01.2022 в 20:39, Saab95 сказал:

потоки данных там сами собой зарезервируются.

каким волшебным образом?

 

не, понятно что на нормальных железках есть стекирование с MLAG, но на некротиках его в принципе нет.

[vvertexx]

@NiTr0 

mpio. уровнем выше. и оно даже предподчтительнее (mc)LAG в общем случае

[naves]

On 1/23/2022 at 12:33 AM, naves said:

Поднимали искази на двух нестекируемых коммутаторах от trendnet, емнип. 24 езернет 10Г порта. Было это лет 5 назад. Jumbo frame, iscsi multipath, и вперед. И без всяких нексусов.

Порылся в закромах сохраненных конфигов. Это все-таки был XS716T ProSAFE 16-Port 10-Gigabit Smart Managed Switch от netgear. Но он давно из продажи исчез.

Все время путаю нетгир и тренднет, как будто одного дешевого-китайского уровня типа тп-линк, акорп, и кто-там еще был.

 

 

4 hours ago, NiTr0 said:

каким волшебным образом?

Сетевыми настройками и протоколом.

https://core.vmware.com/blog/iscsi-and-laglacp

Quote

It is worth noting that  LACP/LAG is explicitly not supported with iSCSI MPIO. For this reason, running iSCSI over LAG/LACP is an anti-pattern. A common misconception is that using LAP/LACP allows all traffic flowing over it to use both links. In reality, different hashing algorithms will limit traffic traveling between two IP addresses (IP HASH) to a single link, or traffic using the same TCP/UDP ports to the same link (More advanced hashes). iSCSI by default does not open enough sessions on its own to properly take advantage of the hashing algorithms used with LACP. It should not be expected that iSCSI will use the aggregate bandwidth of multiple paths without using MPIO. vSphere does not currently support MC/S (multiple connections per session) which is the mechanism for attempting to work around the limitations of iSCSI over a LAG.

Кстати, в линуксах еще был нюанс, что разные пути надо делать в разных вланах (если свичи имеют общую сеть) с разной адресацией, иначе ядро не гарантирует, что пакеты будут идти именно с разных интерфейсов равномерно распределяя нагрузку на них. В той же документации от Dell упоминается, что можно прибить сессии ISCSI к определенным интерфейсам, но по факту это не помогало.

Edited January 27, 2022 by naves