Выбор коммутатора в серверную

[PASS3756SIRIUS]

Доброго времени суток!
Прошу помочь с выбором TOR коммутаторов для стоек.

На данный момент имею 3 стойки, до 10 гипервизоров в каждой. Трафик сегментирован, по большей части внутри гипервизоров, трафик в нормальной ситуации за пределы стойки практически не уходит. Средняя утилизация 1 Gbps портов на коммутаторах не более 20%.
Имею зоопарк из разных поколений 2960 и прости госпади DGS-3120.
Маршрутизация статическая, трафик виртуальных машин терминируется на виртуальные роутеры каждого сегмента/стойки, выход в интернет на Fortigate-100E.

В ближайшие годы (горизонт около 5 лет) запланировано постепенное увеличение плотности гипервизоров - до 20ти в стойке, увеличение стоек до 5ти.
Хочу избавиться от зоопарка, установить:
- один медный ToR коммутатор с sfp+ uplink (с докупкой второго коммутатора по мере заполнения стойки), требуется коммутация и надежность.
- l2 коммутатор 24-32 sfp+ порта (для соединения хранилища с серверами по iscsi (по хранилищу в каждой стойке)).
Хочу моновендор, cisco, бюджет совсем не большой, укладываюсь только в бу End-of-Life оборудование, на котором l3 реализовывать не безопасно.4
Маршрутизация будет реализована на кластере виртуального роутера, надобности в наличие l3 функционала на коммутаторах в ближайшие 5 лет не ожидается.

 

На медные ToR рассматриваю:
WS-4948E
плюсы:
 отзывы, буферы, 2 БП, цена на бу на всем известном сайте менее 100 тысяч.
минусы:
  End-of-Life в этом году, следовательно l3 функционал использовать не безопасно.

Cisco Nexus N3K-C3048TP-1GE
плюсы:
  2 БП, цена на бу на всем известном сайте менее 100 тысяч.
минусы:
  End-of-Life в 2025 на 5ть лет не хватает, буферы меньше 4948E
 
l2 sfp+ коммутатор для хранилища:
Cisco Nexus N5K-C5548UP-FA   32 sfp+ порта
 2 БП, цена на бу на всем известном сайте менее 100 тысяч
 End-of-Life в 2024, на 5ть лет не хватает

Cisco Nexus N5K-C5010P-BF 20 sfp+  +модуль 8 sfp+
 2 БП, цена на бу на всем известном сайте менее 50 тысяч
 End-of-Life давно

Поругайте пожалуйста мой выбор.

 

[edo]

а есть смысл в 2022 рассматривать гигабитные порты внутри стойки?

[rz3dwy]

На n3k, в отличие от 4948, выбор типа коммутации - cut-through/store-and-forward.

Для меня это было определяющим фактором при установки 3064 с sfp+ в стойку для iscsi гипервизорам.

[jffulcrum]

"Кроилово ведет к попадалову". На надо смотреть на утилизацию портов, 10G - это еще и latency на 10, особенно если кластеры начнете собирать. Даже если там в стойках чисто legacy, которое тупо держать на плаву, 10G все равно must have, хотя бы для бекапов сразу ощутится.  Захотите с гиперконвергентностью баловаться, тут и RDMA потребоваться может. Еще где-то сбоку может приплыть необходимость VXLAN или аналогов, ежели с перспектив на 5 лет смотреть, контейнеризация запросто 4096 VLAN превысить может. "В Риме будь римлянином", то есть если строите датацентр - то и железо надо брать соответствующее.  

[PASS3756SIRIUS]

On 1/18/2022 at 6:45 AM, edo said:

а есть смысл в 2022 рассматривать гигабитные порты внутри стойки?

В замене старого зоопарка, которое досталось в наследство, на старый cisco вендор.

Ни сейчас, ни в ближайшие 2-3 года нет необходимости в 10G, ну вот никак не обосную я такое.

Переход на 10G, связан с уходом на sfp модули. Без стоимости коммутаторов,  обойдется минимум в 2 000 000 (только sfp+ карточки и sfp+ модули с оптическими патчкордами), единовременно не произвести, нет таких денег.

 

 

On 1/18/2022 at 9:17 AM, rz3dwy said:

На n3k, в отличие от 4948, выбор типа коммутации - cut-through/store-and-forward.

Для меня это было определяющим фактором при установки 3064 с sfp+ в стойку для iscsi гипервизорам.

Что скажете? Не староват еще? Функции L3 используете?

[PASS3756SIRIUS]

On 1/18/2022 at 9:17 AM, jffulcrum said:

"Кроилово ведет к попадалову". На надо смотреть на утилизацию портов, 10G - это еще и latency на 10, особенно если кластеры начнете собирать. Даже если там в стойках чисто legacy, которое тупо держать на плаву, 10G все равно must have, хотя бы для бекапов сразу ощутится.  Захотите с гиперконвергентностью баловаться, тут и RDMA потребоваться может. Еще где-то сбоку может приплыть необходимость VXLAN или аналогов, ежели с перспектив на 5 лет смотреть, контейнеризация запросто 4096 VLAN превысить может. "В Риме будь римлянином", то есть если строите датацентр - то и железо надо брать соответствующее.  

Ой, та шо вы, какие гиперконвергентности в наших деревнях... Так то я же очень даже с вами солгасен, и не против... Токмо ежели изложу начальству свою затею одним днем 50 000$ на оборудование вынь да положь...  да их Кондратий хватит. Вон робят те Dlink'и и ничаго, пуская и ребутяться раз в месяц, так это еще разобраться надо, чего они ребутяться.. Не ровен час что возьми да помри тот зоопарк, придется брать быстро. А WS-4948E можно на вес брать и LOM карты на sfp+ не нужно оперативно брать.

 

А что вы говорите про latency на 10? не подскажете, глядишь послушаю вас, да и найду аргументы для обоснования таких трат.

 

[edo]

В 19.01.2022 в 22:44, PASS3756SIRIUS сказал:

2 000 000 (только sfp+ карточки и sfp+ модули с оптическими патчкордами)

https://shop.nag.ru/catalog/01889.sfp-gbic-xfp-sfp-x2-xenpak-qsfp-cfp-moduli/01891.moduli-sfp/34598.bo-sfpda-3

https://shop.nag.ru/catalog/02273.setevye-karty/40993.lrec9801bf-sfp

меньше 10 тысяч на хост

[jffulcrum]

В 19.01.2022 в 23:03, PASS3756SIRIUS сказал:

А что вы говорите про latency на 10? не подскажете, глядишь послушаю вас, да и найду аргументы для обоснования таких трат.

Увы, цисковскую презентацию на эту тему уже отовсюду потёрли. Вкратце, по памяти - Latency складывается из различных задержек. На задержку в среде (propagation) повлиять нельзя - это скорость света в твёрдом теле, там условно 5ns/m. Задержка интерфейса (L1 serialization) - вот тут технология прямо влияет, то есть у 10G в десять раз меньше, чем у 1G. Switch delay - вот тут опять на 10G на тех же nexus можно включить cut-trough и получить радикальное её снижение, а также стабильное значение вне зависимости о размера пакета (но при условии, что скорости интерфейса на входе и выходе равны и не используется ACL, QoS и т.п., нуждающееся в store&forward). И есть задержки со стороны железа и ОС (L2-L7) - тут зависит от драйверов, настроек стека TCP/IP в ОС, но различные технологии вроде RDMA (нужна поддержка со стороны коммутатора) и iWARP позволяют и тут заметно снизить задержки, но, опять же, в режиме 10G и выше.

[PASS3756SIRIUS]

On 1/20/2022 at 1:33 PM, jffulcrum said:

Увы, цисковскую презентацию на эту тему уже отовсюду потёрли. Вкратце, по памяти - Latency складывается из различных задержек. На задержку в среде (propagation) повлиять нельзя - это скорость света в твёрдом теле, там условно 5ns/m. Задержка интерфейса (L1 serialization) - вот тут технология прямо влияет, то есть у 10G в десять раз меньше, чем у 1G. Switch delay - вот тут опять на 10G на тех же nexus можно включить cut-trough и получить радикальное её снижение, а также стабильное значение вне зависимости о размера пакета (но при условии, что скорости интерфейса на входе и выходе равны и не используется ACL, QoS и т.п., нуждающееся в store&forward). И есть задержки со стороны железа и ОС (L2-L7) - тут зависит от драйверов, настроек стека TCP/IP в ОС, но различные технологии вроде RDMA (нужна поддержка со стороны коммутатора) и iWARP позволяют и тут заметно снизить задержки, но, опять же, в режиме 10G и выше.

Спасибо вектор гуглпоиска задан, почитаю.

[PASS3756SIRIUS]

On 1/20/2022 at 9:31 AM, edo said:

https://shop.nag.ru/catalog/01889.sfp-gbic-xfp-sfp-x2-xenpak-qsfp-cfp-moduli/01891.moduli-sfp/34598.bo-sfpda-3

https://shop.nag.ru/catalog/02273.setevye-karty/40993.lrec9801bf-sfp

меньше 10 тысяч на хост

Увы, 10 не за хост, а за интерфейс. При использовании sfp+ оборудования потребуется единовременно отказаться от всех имеющихся 1G-BASE-T коммутаторов и карточек.

 

В моей инсталляции задействовано 100 интерфейсов, в ваших ценах это более миллиона (с учетом доставки) за сетевые карточки и DAC, которые неизвестно как поведут себя с брендированными серверами, экономия понятна, но риск мне не ясен.

 

 

 

[sdy_moscow]

В 21.01.2022 в 20:53, PASS3756SIRIUS сказал:

При использовании sfp+ оборудования потребуется единовременно отказаться от всех имеющихся 1G-BASE-T коммутаторов и карточек.

С чего это? Ставьте медные SFP - глюки конечно бывают, но редко.

[PASS3756SIRIUS]

On 1/21/2022 at 9:03 PM, sdy_moscow said:

С чего это? Ставьте медные SFP - глюки конечно бывают, но редко.

https://shop.nag.ru/catalog/01889.sfp-gbic-xfp-sfp-x2-xenpak-qsfp-cfp-moduli/02086.moduli-sfp/02132.snr-sfp-t

 

медные sfp это выброшенные, в моем случае, 7тыс/порт, мне видится лучшим решением потратить их на медные коммутаторы.

 

 

Благодарю за мысль. Но я имею (скорее он меня) требующий срочной замены зоопарк, его нужно срочно менять. Это медное добро уйдет на свалку в этом месяце, вопрос решенный.

Как и вопрос того, что более миллиона мне не видать. Держимся.

 

 

Edited January 21, 2022 by PASS3756SIRIUS

[sdy_moscow]

@PASS3756SIRIUS Я бы на вашем месте купил на Ебэе 9396px или 9372px  к ним можно взять n2k нужных совсем за копье. Еще есть схема как затащить С7004, комплектуете за копейки sup2e и 2 платами m2 и наслаждаетесь "вечным" железом с прекрасной производительностью по цене д-линка. Ваши проблемы решаются в пределах 300 тысяч.

https://www.cisco.com/c/dam/en/us/td/docs/Website/datacenter/fexmatrix/fexmatrix.html

 

 

З.Ы. Дороже доставка будет стоить со штатов в РФ. Можно в РФ поискать, но дороже на 30-40% чем самому тянуть выйдет, зато с гарантией хоть какой-то.