PASS3756SIRIUS Posted January 18, 2022 · Report post Доброго времени суток! Прошу помочь с выбором TOR коммутаторов для стоек. На данный момент имею 3 стойки, до 10 гипервизоров в каждой. Трафик сегментирован, по большей части внутри гипервизоров, трафик в нормальной ситуации за пределы стойки практически не уходит. Средняя утилизация 1 Gbps портов на коммутаторах не более 20%. Имею зоопарк из разных поколений 2960 и прости госпади DGS-3120. Маршрутизация статическая, трафик виртуальных машин терминируется на виртуальные роутеры каждого сегмента/стойки, выход в интернет на Fortigate-100E. В ближайшие годы (горизонт около 5 лет) запланировано постепенное увеличение плотности гипервизоров - до 20ти в стойке, увеличение стоек до 5ти. Хочу избавиться от зоопарка, установить: - один медный ToR коммутатор с sfp+ uplink (с докупкой второго коммутатора по мере заполнения стойки), требуется коммутация и надежность. - l2 коммутатор 24-32 sfp+ порта (для соединения хранилища с серверами по iscsi (по хранилищу в каждой стойке)). Хочу моновендор, cisco, бюджет совсем не большой, укладываюсь только в бу End-of-Life оборудование, на котором l3 реализовывать не безопасно.4 Маршрутизация будет реализована на кластере виртуального роутера, надобности в наличие l3 функционала на коммутаторах в ближайшие 5 лет не ожидается. На медные ToR рассматриваю: WS-4948E плюсы: отзывы, буферы, 2 БП, цена на бу на всем известном сайте менее 100 тысяч. минусы: End-of-Life в этом году, следовательно l3 функционал использовать не безопасно. Cisco Nexus N3K-C3048TP-1GE плюсы: 2 БП, цена на бу на всем известном сайте менее 100 тысяч. минусы: End-of-Life в 2025 на 5ть лет не хватает, буферы меньше 4948E l2 sfp+ коммутатор для хранилища: Cisco Nexus N5K-C5548UP-FA 32 sfp+ порта 2 БП, цена на бу на всем известном сайте менее 100 тысяч End-of-Life в 2024, на 5ть лет не хватает Cisco Nexus N5K-C5010P-BF 20 sfp+ +модуль 8 sfp+ 2 БП, цена на бу на всем известном сайте менее 50 тысяч End-of-Life давно Поругайте пожалуйста мой выбор. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
edo Posted January 18, 2022 · Report post а есть смысл в 2022 рассматривать гигабитные порты внутри стойки? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rz3dwy Posted January 18, 2022 · Report post На n3k, в отличие от 4948, выбор типа коммутации - cut-through/store-and-forward. Для меня это было определяющим фактором при установки 3064 с sfp+ в стойку для iscsi гипервизорам. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted January 18, 2022 · Report post "Кроилово ведет к попадалову". На надо смотреть на утилизацию портов, 10G - это еще и latency на 10, особенно если кластеры начнете собирать. Даже если там в стойках чисто legacy, которое тупо держать на плаву, 10G все равно must have, хотя бы для бекапов сразу ощутится. Захотите с гиперконвергентностью баловаться, тут и RDMA потребоваться может. Еще где-то сбоку может приплыть необходимость VXLAN или аналогов, ежели с перспектив на 5 лет смотреть, контейнеризация запросто 4096 VLAN превысить может. "В Риме будь римлянином", то есть если строите датацентр - то и железо надо брать соответствующее. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
PASS3756SIRIUS Posted January 19, 2022 · Report post On 1/18/2022 at 6:45 AM, edo said: а есть смысл в 2022 рассматривать гигабитные порты внутри стойки? В замене старого зоопарка, которое досталось в наследство, на старый cisco вендор. Ни сейчас, ни в ближайшие 2-3 года нет необходимости в 10G, ну вот никак не обосную я такое. Переход на 10G, связан с уходом на sfp модули. Без стоимости коммутаторов, обойдется минимум в 2 000 000 (только sfp+ карточки и sfp+ модули с оптическими патчкордами), единовременно не произвести, нет таких денег. On 1/18/2022 at 9:17 AM, rz3dwy said: На n3k, в отличие от 4948, выбор типа коммутации - cut-through/store-and-forward. Для меня это было определяющим фактором при установки 3064 с sfp+ в стойку для iscsi гипервизорам. Что скажете? Не староват еще? Функции L3 используете? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
PASS3756SIRIUS Posted January 19, 2022 · Report post On 1/18/2022 at 9:17 AM, jffulcrum said: "Кроилово ведет к попадалову". На надо смотреть на утилизацию портов, 10G - это еще и latency на 10, особенно если кластеры начнете собирать. Даже если там в стойках чисто legacy, которое тупо держать на плаву, 10G все равно must have, хотя бы для бекапов сразу ощутится. Захотите с гиперконвергентностью баловаться, тут и RDMA потребоваться может. Еще где-то сбоку может приплыть необходимость VXLAN или аналогов, ежели с перспектив на 5 лет смотреть, контейнеризация запросто 4096 VLAN превысить может. "В Риме будь римлянином", то есть если строите датацентр - то и железо надо брать соответствующее. Ой, та шо вы, какие гиперконвергентности в наших деревнях... Так то я же очень даже с вами солгасен, и не против... Токмо ежели изложу начальству свою затею одним днем 50 000$ на оборудование вынь да положь... да их Кондратий хватит. Вон робят те Dlink'и и ничаго, пуская и ребутяться раз в месяц, так это еще разобраться надо, чего они ребутяться.. Не ровен час что возьми да помри тот зоопарк, придется брать быстро. А WS-4948E можно на вес брать и LOM карты на sfp+ не нужно оперативно брать. А что вы говорите про latency на 10? не подскажете, глядишь послушаю вас, да и найду аргументы для обоснования таких трат. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
edo Posted January 20, 2022 · Report post В 19.01.2022 в 22:44, PASS3756SIRIUS сказал: 2 000 000 (только sfp+ карточки и sfp+ модули с оптическими патчкордами) https://shop.nag.ru/catalog/01889.sfp-gbic-xfp-sfp-x2-xenpak-qsfp-cfp-moduli/01891.moduli-sfp/34598.bo-sfpda-3 https://shop.nag.ru/catalog/02273.setevye-karty/40993.lrec9801bf-sfp меньше 10 тысяч на хост Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted January 20, 2022 · Report post В 19.01.2022 в 23:03, PASS3756SIRIUS сказал: А что вы говорите про latency на 10? не подскажете, глядишь послушаю вас, да и найду аргументы для обоснования таких трат. Увы, цисковскую презентацию на эту тему уже отовсюду потёрли. Вкратце, по памяти - Latency складывается из различных задержек. На задержку в среде (propagation) повлиять нельзя - это скорость света в твёрдом теле, там условно 5ns/m. Задержка интерфейса (L1 serialization) - вот тут технология прямо влияет, то есть у 10G в десять раз меньше, чем у 1G. Switch delay - вот тут опять на 10G на тех же nexus можно включить cut-trough и получить радикальное её снижение, а также стабильное значение вне зависимости о размера пакета (но при условии, что скорости интерфейса на входе и выходе равны и не используется ACL, QoS и т.п., нуждающееся в store&forward). И есть задержки со стороны железа и ОС (L2-L7) - тут зависит от драйверов, настроек стека TCP/IP в ОС, но различные технологии вроде RDMA (нужна поддержка со стороны коммутатора) и iWARP позволяют и тут заметно снизить задержки, но, опять же, в режиме 10G и выше. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
PASS3756SIRIUS Posted January 21, 2022 · Report post On 1/20/2022 at 1:33 PM, jffulcrum said: Увы, цисковскую презентацию на эту тему уже отовсюду потёрли. Вкратце, по памяти - Latency складывается из различных задержек. На задержку в среде (propagation) повлиять нельзя - это скорость света в твёрдом теле, там условно 5ns/m. Задержка интерфейса (L1 serialization) - вот тут технология прямо влияет, то есть у 10G в десять раз меньше, чем у 1G. Switch delay - вот тут опять на 10G на тех же nexus можно включить cut-trough и получить радикальное её снижение, а также стабильное значение вне зависимости о размера пакета (но при условии, что скорости интерфейса на входе и выходе равны и не используется ACL, QoS и т.п., нуждающееся в store&forward). И есть задержки со стороны железа и ОС (L2-L7) - тут зависит от драйверов, настроек стека TCP/IP в ОС, но различные технологии вроде RDMA (нужна поддержка со стороны коммутатора) и iWARP позволяют и тут заметно снизить задержки, но, опять же, в режиме 10G и выше. Спасибо вектор гуглпоиска задан, почитаю. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
PASS3756SIRIUS Posted January 21, 2022 · Report post On 1/20/2022 at 9:31 AM, edo said: https://shop.nag.ru/catalog/01889.sfp-gbic-xfp-sfp-x2-xenpak-qsfp-cfp-moduli/01891.moduli-sfp/34598.bo-sfpda-3 https://shop.nag.ru/catalog/02273.setevye-karty/40993.lrec9801bf-sfp меньше 10 тысяч на хост Увы, 10 не за хост, а за интерфейс. При использовании sfp+ оборудования потребуется единовременно отказаться от всех имеющихся 1G-BASE-T коммутаторов и карточек. В моей инсталляции задействовано 100 интерфейсов, в ваших ценах это более миллиона (с учетом доставки) за сетевые карточки и DAC, которые неизвестно как поведут себя с брендированными серверами, экономия понятна, но риск мне не ясен. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sdy_moscow Posted January 21, 2022 · Report post В 21.01.2022 в 20:53, PASS3756SIRIUS сказал: При использовании sfp+ оборудования потребуется единовременно отказаться от всех имеющихся 1G-BASE-T коммутаторов и карточек. С чего это? Ставьте медные SFP - глюки конечно бывают, но редко. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
PASS3756SIRIUS Posted January 21, 2022 (edited) · Report post On 1/21/2022 at 9:03 PM, sdy_moscow said: С чего это? Ставьте медные SFP - глюки конечно бывают, но редко. https://shop.nag.ru/catalog/01889.sfp-gbic-xfp-sfp-x2-xenpak-qsfp-cfp-moduli/02086.moduli-sfp/02132.snr-sfp-t медные sfp это выброшенные, в моем случае, 7тыс/порт, мне видится лучшим решением потратить их на медные коммутаторы. Благодарю за мысль. Но я имею (скорее он меня) требующий срочной замены зоопарк, его нужно срочно менять. Это медное добро уйдет на свалку в этом месяце, вопрос решенный. Как и вопрос того, что более миллиона мне не видать. Держимся. Edited January 21, 2022 by PASS3756SIRIUS Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sdy_moscow Posted January 21, 2022 · Report post @PASS3756SIRIUS Я бы на вашем месте купил на Ебэе 9396px или 9372px к ним можно взять n2k нужных совсем за копье. Еще есть схема как затащить С7004, комплектуете за копейки sup2e и 2 платами m2 и наслаждаетесь "вечным" железом с прекрасной производительностью по цене д-линка. Ваши проблемы решаются в пределах 300 тысяч. https://www.cisco.com/c/dam/en/us/td/docs/Website/datacenter/fexmatrix/fexmatrix.html З.Ы. Дороже доставка будет стоить со штатов в РФ. Можно в РФ поискать, но дороже на 30-40% чем самому тянуть выйдет, зато с гарантией хоть какой-то. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
