[stntsk]

Привет

 

ребят, нубский вопрос, помогите пожалуйста с подбором оборудования для домашней лаборатории

посмотрел тут вот это 

 

 

хочу использовать MikroTik CRS305-1G-4S+IN в качестве свитча

также хочу использовать Mellanox ConnectX-3 в качестве карточек, планирую купить бу на ebay

почему третья версия мелланокса - погуглил, вроде бы у них лучше с поддержкой linux, с ConnectX-2 у людей возникали вопросы с драйвером под линукс, с ConnectX-3 все ок

также хочу использовать SFP+ 

 

будет 3-4 хоста объединенных этой сетью, но начать эксперимент хочу с двух машин

 

все это дело для своего личного использования, за свои средства, поэтому хочется сэкономить :-)

готов ждать посылки с ebay

по надежности не сильно критично

длина ну максимум 10 метров, патч корд первый для пробы возьму вообще метров 3-5

 

взгляните пожалуйста на ссылки, оно заработает вместе? Все эти разные патч корды и длины волн ))))

магазины разные - искал и чтобы подешевле+живу я в Томске со всеми вытекающими )))

 

свитч - 1 штука

https://www.onlinetrade.ru/catalogue/marshrutizatory_i_kommutatory-c541/mikrotik/marshrutizator_mikrotik_4_sfp_crs305_1g_4s_in_crs305_1g_4sin-1622541.html

карточка - 2 штуки (2 компьютера)

https://www.ebay.com/itm/Mellanox-MCX311A-XCAT-CX311A-ConnectX-3-EN-10G-Ethernet-10GbE-SFP-PCI-E-NIC/223088957450?hash=item33f123580a:m:mxE513V0rBtjZGpLTjCuaeg

SFP+ модуль  - 4 штуки

https://www.ebay.com/itm/FINISAR-10G-multi-mode-optical-module-FTLX8572D3BCL-G1-850nm-10G-SFP-Transceive/153487488920

патч корды - 2 штуки

https://novosibirsk.e2e4online.ru/catalog2/Setevoe_oborudovanie/Optovolokonnoe_oborudovanie/Passivnoe_oborudovanie/Opticheskij_kabel_patch-kordy_pigtejly/Patch-kord_NIKOMAX_LC_UPC-LC_UPC_dvojnoj_5m_oranzhevyj_NMF-PC2M2C2-LCU-LCU-005_1.html

 

комментарии коррективы также приветствуются, но изначальный вопрос - оно заведется в такой конфе на 10GB, учитывая мои пожелания по надежности и срокам доставки?

Спасибо!

Изменено 7 октября, 2019 пользователем stntsk
поправил ссылку на карточки

[pingz]

@stntsk есть вероятность, что не взлетит из-за модулей к sfp+  микротик превередлив. Модули лучше взять у нага с предварительным тестом нага 

 

Ожидания к собранному каналу?

[stntsk]

@pingz

а что значит предварительный тест нага? они прямо конкретные экземпляры тестят? или просто по статистике знают, что оно взлетает/не взлетает

еще вопрос по железу - mellanox он тоже привиредливый, не в курсе?

 

по требованиям к каналу - хочется честные 10GB

Возможно, я и не буду использовать их в полный рост, пока мне это не ясно
 

стенд собирается для "пощупать" различные cloud native решения дома. На работе такой возможности к сожалению нет, мы являемся (я devops производства; не SRE) так сказать потребителями предоставленного нам нашего местного облака

а хочется иногда поиграться с инфраструктурными вещами на скоростях приближенных к нашему продакшн облаку, пускай и с гораздо меньшей надежностью и вычислительными мощностями.
 

Изменено 7 октября, 2019 пользователем stntsk

[alibek]

4 минуты назад, stntsk сказал:

а что значит предварительный тест нага?

Это значит попросить Наг воткнуть модули в CRS305 и проверить, заработают или нет.

Если заработают в Наге, то скорее всего заработают и у вас.

Правда у меня большие сомнения, что CRS сможем пропустить через себя 10 Гбит/с, пусть даже и в режиме свитча.

И не совсем понятно, зачем брать Mellanox за 50к, если есть б/у Intel X520 дешевле.

[jffulcrum]

2 часа назад, stntsk сказал:

почему третья версия мелланокса - погуглил, вроде бы у них лучше с поддержкой linux, с ConnectX-2 у людей возникали вопросы с драйвером под линукс, с ConnectX-3 все ок

ConnecX-3 точно также работает через драйвер mlx4, который больше не развивается, и точно также представляет собой одно PCI устройство с встроенным свитчем на два порта - что создает проблемы при виртуализации. Совет выше про X520 - актуален.

[stntsk]

@alibek спасибо за инфу, попросил наг порекомендовать SFP+, посоветовали вот этот
https://shop.nag.ru/catalog/01891.Moduli-SFP/06901.Dvuhvolokonnye/04275.SNR-SFPSR
сказали работать будет с микротиком
 

 

@jffulcrum интересно, а можно чуть подробней?
 

Quote

и точно также представляет собой одно PCI устройство с встроенным свитчем на два порта - что создает проблемы при виртуализации. Совет выше про X520 - актуален.

по X520, вы говорите вот об этом устройстве?

Intel X520-DA1 10 Gigabit 10Gbps PCI-E E10G42BTDA Server Network Adapter

[jffulcrum]

12 минут назад, stntsk сказал:

вы говорите вот об этом устройстве?

Intel X520-DA1 10 Gigabit 10Gbps PCI-E E10G42BTDA Server Network Adapter

Это какое-то китайское поделие, не факт что и на Intel чипе, за такие деньги. Ищите по парнумберам, E10G42BTDA . 

[stntsk]

@jffulcrum 

спасибо, за разъяснения, очень помогли подразобраться с вопросом

проконсультируйте пожалуйста еще по назревшим вопросам:

 

если я возьму, скажем одну карточку Intel X520, а другую HP NC523SFP (экономия) с вышеупомянутыми *одинаковыми* SFP+ модулями и рекомендуемыми кабелями, оно заведется через CRS305-1G-4S+IN ?

 

Intel X520 w/SFP+ module --- LC-LC-Cable --- CRS305-1G-4S+IN --- LC-LC-Cable --- HP NC523SFP w/SFP+ module

 

в этих карточках по 2 SFP+ разъема, правильно ли я понимаю - в одном будет SFP+ модуль, другой будет пустой?

 

о температурах HP NC523SFP почитал на reddit r/homelab эти риски понятны, но оно действительно cheap as dirt :-)

кстати, в вышеуказанном разделе также указали на привередливость микротика к SFP+

спасибо!

Изменено 10 октября, 2019 пользователем stntsk

[stntsk]

для того, кому это может пригодиться:

купил 2 сетевки HP NC523SFP на ebay. Продавец https://www.ebay.com/usr/xuanwen-2011?_trksid=p2047675.l2559. Похоже, что китайские подделки. Или прошиты. Но мне не важно, они работают.

Почему я так решил - я купил к ним какие-то девешвые китайские DAC кабеля в technopoint.ru и они заработали. Никаких специальных HP кабелей не понадобилось.

Затем я купил 2 вот таких SFP+ модуля от SNR и попросил прошить их GENERIC

https://shop.nag.ru/catalog/01891.Moduli-SFP/06901.Dvuhvolokonnye/04275.SNR-SFPSR?

купил обычный кабель, вот такой 

https://shop.nag.ru/catalog/01898.Patch-kordy/15213.MM-LC-LC/08813.SNR-PC-LCUPC-MM-DPX-10m?

в shop.nag.ru говорили, что заработают только специально прошитые SFP+ модули под HP либо оригинальные

все работает и так, дженерики

это *не* предъява или сомнения в компетенциях shop.nag.ru, это просто китайская карта я думаю с чем-то сломанным, затертым или что-то в этом духе.

По карте - она действительно греется как черт. Просто сразу вываливается в перегрев и отключается, если ее не обдувать. Но она и cheap as dirt, как сказано на reddit.com )))

Я отскочил от проблемы перегрева нахаляву, прямо на стяжки приаттачив к ней вентилятор 8 см кажется

В общем для таких целей как у меня - все прекрасно.