Сомосбор в стойку (CHR на Proxmox VE)

[weedman]

Здравствуйте.

Хотел бы обсудить возможность создания самосбора, который можно удобно использовать в стойке. Хочу получить в итоге девайс, желательно в 2U, максимум в 4U, который я бы смог запитать от ATX, или 12+ вольт. При необходимости, добавить пару-тройку накопителей, платы расширения под sfp, или обычные LAN порты

Возможно, лучше просто посмотреть на готовое решение, потому как там все уже продумали профессионалы. Но меня в, том числе, увлекает элемент игры, ну и конечно, я планирую сэкономить, потому как из БУ доступного все старое и не такое энергоэффективное (я не про экономию на электричестве, а про экономию электричества и емкости системы резервного питания). 
Изначально, я хотел поэкспериментировать с zeon 26** v3-v4, китайцы бодро штампуют все что приходит в голову
Например такая материнская плата и что-то из:
медь 2*10Gb за 1100
SFP 2*10Gb за 1500
медь 6*2.5 Gb за 7200
Закрепить все можно кустарным способом на подобном креплении, или чем-то таком.

Смущает, как я писал выше - старость архитектуры. Пусть это и игрушка из говна и палок, но хотелось бы, чтоб эта игрушка, работала дольше от резервного питания и в потребляла мало энергии, в связи с чем, думаю о чем-то современном и энергоэффективном, не обязательно на последних поколениях, но если оно того стоит, то почему бы и нет. Не думаю что вообще понадобится высокая производительность, но хотелось бы решение с 3+ PCI-E слотами для расширения, а это ATX, или mATX
Спасибо

[[anp/hsw]]

Я бы не полагался на китайские материнки в плане надежности, а тем более, безглючности софта.

Корпус 4U на авито пару тысяч стоит.

Смысла в сетевой карте на кучу портов не вижу, в 4U корпус можно запихать обычный стоечный коммутатор 10G, это будет универсальнее в плане замены и количества портов.

[weedman]

5 минут назад, [anp/hsw] сказал:

Я бы не полагался на китайские материнки в плане надежности, а тем более, безглючности софта.

Корпус 4U на авито пару тысяч стоит.

Смысла в сетевой карте на кучу портов не вижу, в 4U корпус можно запихать обычный стоечный коммутатор 10G, это будет универсальнее в плане замены и количества портов.

Спасибо, вы правы, коммутатор решает этот вопрос изящнее
Также замечу, что хотелось бы компактности, что-то не очень глубокое. Может кто-то подскажет модель

Edited March 23, 2025 by weedman

[[anp/hsw]]

29 минут назад, weedman сказал:

хотелось бы компактности, что-то не очень глубокое

А какая глубина для вас нормальная?

Например у 4U это будет 50см, если с приводами.

А если 2U без приводов (обрезать болгаркой или найти готовый) то это будет в районе 30.

 

Приводы, конечно, имею ввиду стандартные 5.25-3.5". Всякие ssd можно присверлить на любую из стенок, если не нужен hotswap.

[weedman]

Глубина не больше 50, желательно меньше 

[[anp/hsw]]

Тогда болгарка и придется отказаться от корзин для дисков.

Соответственно можно будет сделать по глубине как ATX плата.

[Saab95]

12 часов назад, [anp/hsw] сказал:

Я бы не полагался на китайские материнки в плане надежности, а тем более, безглючности софта.

Нормальные материнки, главное что бы были не из б/у компонентов сделаны, как многие десктопные для использования серверных процессоров.

 

12 часов назад, weedman сказал:

Спасибо, вы правы, коммутатор решает этот вопрос изящнее

Так скорость порта на сервере будет меньше, нет возможности полностью изолировать порты друг от друга.

 

14 часов назад, weedman сказал:

желательно в 2U

Тут хорошо подойдут материнки для с большим количеством портов, через переходник райзер с юсб кабелем можно вывести сам разъем в удобное место корпуса. Даже в 2U получится разместить штук 8 сетевых адаптеров. Еще останется место даже на стандартные накопители.

[[anp/hsw]]

9 часов назад, Saab95 сказал:

Нормальные материнки, главное что бы были не из б/у компонентов сделаны

Оптовая цена на какой-нибудь чип C602 больше, чем розничная цена на эти материнки. Так что да, они все из б/у компонентов.

9 часов назад, Saab95 сказал:

Так скорость порта на сервере будет меньше, нет возможности полностью изолировать порты друг от друга.

10г там будет. Вам еще больше нужно дома?

Проблему изоляции портов решает управляемый свич. Из дешевых и не очень горячих это tp-link t2700g-28tq, который на авито есть по гуманным ценам, или еltex mes 23xx/31xx по не очень гуманным.

Многопортовая сетевая карта же вообще не факт что состоит из отдельных интерфейсов, скорее там просто неуправляемый свич, т.к. RTL8125B это однопортовый адаптер.

9 часов назад, Saab95 сказал:

Даже в 2U получится разместить штук 8 сетевых адаптеров.

Это троллейбус из буханки хлеба. Мало того, что рулить 8 адаптерами в системе сложнее, чем свичем, так еще и цена будет выше, а скорость такая же или ниже (в случае транзитного трафика).

[rm_]

Quote

Многопортовая сетевая карта же вообще не факт что состоит из отдельных интерфейсов, скорее там просто неуправляемый свич, т.к. RTL8125B это однопортовый адаптер.

Фигасе вы специалист. Прямо сразу в корень зрите.

Многопортовая карта на RTL8125B состоит из нескольких чипов RTL8125B висящих на PCI-E разветвителе (обычно ASMedia), и конечно же предоставляет в систему несколько отдельных интерфейсов.

[sirmax]

12 часов назад, Saab95 сказал:

нет возможности полностью изолировать порты друг от друга.

Откройте для себя вланы

 

3 часа назад, [anp/hsw] сказал:

RTL8125B это однопортовый адаптер.

 Я не знаю за этот чип, но обычно многопортовая карта видна в системе как разные pci устройства на разные порты, а если умеет в виртуализацию сетевых функций, то даже несколько pci устройств на один порт.

 

смысла покупать что то кроме интела и меланокса я не вижу

[[anp/hsw]]

15 минут назад, sirmax сказал:

обычно многопортовая карта видна в системе как разные pci устройства на разные порты

Это карта нормального человека.

А карта курильщика может содержать один сетевой чип и один для свича (часто которым даже управлять нельзя, видится как один адаптер).

Или другой вариант: PCI хаб и несколько однопортовых чипов (тогда видится как разные адаптеры).

21 минуту назад, rm_ сказал:

Многопортовая карта на RTL8125B состоит из нескольких чипов RTL8125B висящих на PCI-E разветвителе (обычно ASMedia)

Это вы сейчас за каждую китайскую поделку так уверенно говорите? Там радиатор, не понять с ходу описание тоже не говорит, что там 4 чипа.

Вот вам карта курильщика: https://aliexpress.ru/item/4000748422452.html

 

[rm_]

Quote

А карта курильщика может содержать один сетевой чип и один для свича (часто которым даже управлять нельзя, видится как один адаптер).

Таких в настоящее время больше не делают.

Раньше была одна модель, ещё на 10 или 100 мегабит. Внимательнее посмотрел, вы её и привели.

И даже у неё, в описании устройство карты расписано честно.

Если бы какая-то из новых была такой же без предупреждения, в комментах (отзывах) автора быстро вываляли бы в этсамом и перьях.

 

Quote

Это вы сейчас за каждую китайскую поделку так уверенно говорите?

Да.

[[anp/hsw]]

59 минут назад, rm_ сказал:

Если бы какая-то из новых была такой же без предупреждения, в комментах (отзывах) автора быстро вываляли бы в этсамом и перьях.

Как-будто это когда-то останавливало продавцов китайской пали. Просто удалять старый лот, создадут новый.

 

Допустим, вы правы.

Но тогда почему этой плате такой радиатор и кулер?

вот нормальная плата и в таком крупном охлаждении не нуждается:

https://aliexpress.ru/item/1005007939560299.html

 

[No_name]

В 23.03.2025 в 07:55, weedman сказал:

Хотел бы обсудить возможность создания самосбора, который можно удобно использовать в стойке. Хочу получить в итоге девайс, желательно в 2U, максимум в 4U, который я бы смог запитать от ATX, или 12+ вольт. При необходимости, добавить пару-тройку накопителей, платы расширения под sfp, или обычные LAN порты

 

Чисто поиграться, для тестов или для продакшена? Что хотите получить в итоге, цела всего этого какая?

[jffulcrum]

В Китае действительно можно купить странные многопортовые карты с встроенным коммутатором , но предназначены они для специфических применений, и об этом обычно пишут в описании. Если взять тему "запихнуть коммутатор в сетевую карту" в общем, то, не касаясь некоторых сумрачных порождений Mikrotik, карты с HW Bypass часто имеют свитч-чип для этого на борту.

[Saab95]

11 часов назад, sirmax сказал:

Откройте для себя вланы

Вланы разве как-то помогают избавится от МАК адресов?

 

Например в одном сетевом кабеле есть мак 11:22:33:44:55:66 и в другом сетевом кабеле есть мак 11:22:33:44:55:66, каким образом можно эти маки разделить по портам через вланы? Что бы передавать данные через оба сетевых кабеля одновременно?

 

Другой вариант подключить 5-6 кабелей от разных операторов с арендой L2 канала в один коммутатор, и прокинуть в сервер через один адаптер. Веселуха с вечными проблемами на пустом месте обеспечена.

 

14 часов назад, [anp/hsw] сказал:

Проблему изоляции портов решает управляемый свич. Из дешевых и не очень горячих это tp-link t2700g-28tq, который на авито есть по гуманным ценам, или еltex mes 23xx/31xx по не очень гуманным.

Не решает свич никакие проблемы изоляции, т.к. коммутатор коммутирует MAC адреса, а не связку MAC + VLAN.

 

Есть даже универсальное решение (которое раньше очень востребовано было), это замена любого коммутатора с 1Г оптическими портами на микротик CCR1016, в котором был один порт 10Г и куча оптических 1Г. На нем же сразу разбивался весь L2 на свои порты, и далее на брас в EoIP или MPLS туннелях, либо сразу терминация в IP. Уходили все непонятные отвалы, т.к. L2 сегмент сильно уменьшался.

 

У нас на сети, например, коммутаторы работают лишь между роутерами, а абонентский или любой другой трафик не передают. И проблем никогда не возникало, уже лет 15, т.к. с 2010 года перестали устанавливать коммутаторы для абонентов или L2 каналов.

 

14 часов назад, [anp/hsw] сказал:

Это троллейбус из буханки хлеба. Мало того, что рулить 8 адаптерами в системе сложнее, чем свичем, так еще и цена будет выше, а скорость такая же или ниже (в случае транзитного трафика).

 

Несколько лет назад устанавливали по 12 сетевых адаптеров в материнку через райзеры. И 4-х портовые с медными портами, и 2-х портовые оптические 10Г, и всякие разные - все отлично работало. Главное стабильно. Обычный процессор вида Pentium(R) CPU G4400 @ 3.30GHz на транзитном трафике, только роутинг, пропускал 40Г данных.

 

11 часов назад, rm_ сказал:

Многопортовая карта на RTL8125B состоит из нескольких чипов RTL8125B висящих на PCI-E разветвителе (обычно ASMedia), и конечно же предоставляет в систему несколько отдельных интерфейсов.

В PCI-E разветвитель можно и 4 карты по 2 порта 10Г подключить. Правда интерфейс этого разветвителя должен быть не 1х, что бы полную скорость адаптеров обеспечивать.

[sirmax]

47 минут назад, Saab95 сказал:

 

Например в одном сетевом кабеле есть мак 11:22:33:44:55:66 и в другом сетевом кабеле есть мак 11:22:33:44:55:66, каким образом можно эти маки разделить по портам через вланы? Что бы передавать данные через оба сетевых кабеля одновременно?

 

Что вы покурили? В кабеле никаких маков нет. Там электричество протекает:)

 

если свитч изучил два одинаковых мак на разных портах, то возможно 2 варианта

 

если порты в одно влан то ок, трафик в ответ уйдет на порт где мак был изучен последним

 

если порты в разных влан то с точки зрения свитча это два разных мака 

 

50 минут назад, Saab95 сказал:

коммутатор коммутирует MAC адреса, а не связку MAC + VLAN.

Коммутировал коммутировал да не выкоммутировал?

 

Коммутирует на основе мака с учетом влан, хоть таблица fib и одна

 

я даже не знаю, какая наркота такой эффект дает

[rm_]

Quote

Но тогда почему этой плате такой радиатор и кулер?

вот нормальная плата и в таком крупном охлаждении не нуждается:

Я могу предположить что на 6 портов (= чипов RTL8125 = линий PCI-E) нужен гораздо более суровый чип разветвителя, чем на 4.

Греется там именно он, а над сетевыми чипами бывает радиатор вообще висит в воздухе.

 

Тем более по ссылке с некрупным радиатором это x1=>x1*4, а там где вентилятор, было x4=>x1*6.

 

Кстати если искать некоторую реальную критику к подобным платам, нужно бы уточнить какой именно там чип, и какая у него версия PCI-E.

Может статься, что апстрима разветвителя и близко не хватит на полную утилизацию всех карт, или даже "больше чем одной", особенно в случае с разветвлением всего x1-слота.

[[anp/hsw]]

10 часов назад, Saab95 сказал:

Не решает свич никакие проблемы изоляции, т.к. коммутатор коммутирует MAC адреса, а не связку MAC + VLAN.

Хоть в 10 разных vlan запихайте один и тот же мак и он будет работать нормально.

Странно, что вы не знаете основы сетевых технологий.

 

10 часов назад, Saab95 сказал:

И проблем никогда не возникало, уже лет 15, т.к. с 2010 года перестали устанавливать коммутаторы для абонентов или L2 каналов.

Я так подозреаю, что это просто наркотические фантазии, ведь у вас никто из крупняка никогда не закзывал L2 VLAN? 15 лет ведь прошло, а вы так пионернет и строите...

10 часов назад, Saab95 сказал:

Обычный процессор вида Pentium(R) CPU G4400 @ 3.30GHz на транзитном трафике, только роутинг, пропускал 40Г данных.

Я вот не могу понять, то ли вы настолько нищеброд, что ставите на 40G канал комп из помойки, то ли просто балабол (тогда конечно все сразу обьясняется).

[naves]

Странно, что повелитель микротиков еще не предложил

https://mikrotik.com/product/ccr2004_1g_2xs_pcie

Мы сделали тебе роутер в сетевухе роутера, чтобы ты мог роутить, пока ты роутишь, но не сам.

[sirmax]

3 часа назад, naves сказал:

Странно, что повелитель микротиков еще не предложил

https://mikrotik.com/product/ccr2004_1g_2xs_pcie

Мы сделали тебе роутер в сетевухе роутера, чтобы ты мог роутить, пока ты роутишь, но не сам.

А можете пояснить сценарий использования для этой штуки?
 

[jffulcrum]

Как и написано у вендора: когда роутер нельзя/некуда, но очень хочется. В принципе, ситуация всякого industrial, когда комп с слотами расширения уже есть, а еще коробку сунуть некуда, или не найти той, что с нужными срити-фекатами (судно, воздушное или водяное). Но там есть очевидные проблемы.

[naves]

52 minutes ago, sirmax said:

А можете пояснить сценарий использования для этой штуки?

Если бы я знал)

Еще как вариант, когда набивают на сервер(ы) кучу виртуалок и нужен еще роутер между серверами (виртуалками) и внешним интернетом, а поднимать еще одну виртуалку для роутинга по каким-то причинам нельзя, нестабильность работы софта на самом гипервизоре. И не хочется платить за отдельное стойкоместо в ДЦ.

Например, можно запустить какой-нибудь сервер терминалов на Windows на железном сервере, и не пускать его голой жопой в интернет. Клиенты подключаются через VPN к локалке сервера(ов). При этом арендуется только один условный юнит сервера в стойке.

Edited March 25, 2025 by naves

[Saab95]

13 часов назад, [anp/hsw] сказал:

Хоть в 10 разных vlan запихайте один и тот же мак и он будет работать нормально.

Работать нормально оно не будет. За год по 5-6 раз сталкиваемся с проблемами там (чужие сети) где установлен коммутатор для подключения к разным каналам L2 транзита от других операторов. Всегда одна и та же проблема - непонятные отвалы или обрывы, которые происходят по не ясно какой причине, однако стоит в момент проблемы выключить один из кабелей, сразу остальные каналы начинают работать нормально. Замена на микротик решает все проблемы.

 

13 часов назад, [anp/hsw] сказал:

никто из крупняка никогда не закзывал L2 VLAN?

Зачем же думать о том, что делает кто-то другой? На микротике передать L2 пара пустяков, при этом будет полностью изолированный канал. А если его сделать еще и в туннеле через сеть интернет, куда-то в дальний регион страны, куда "нормальные" операторы его дать не могут или цену ломят высокую. Так можно и неплохо заработать, имея малые расходы.

 

13 часов назад, [anp/hsw] сказал:

Я вот не могу понять, то ли вы настолько нищеброд, что ставите на 40G канал комп из помойки, то ли просто балабол (тогда конечно все сразу обьясняется).

Это было тестовое устройство, попытка собрать на райзерах роутер с большим количеством сетевых адаптеров.

 

5 часов назад, sirmax сказал:

А можете пояснить сценарий использования для этой штуки?

Втыкаете ее в райзер с внешним питанием, оформляете в маленькую коробочку и вот готов роутер на скоростях 10Г.

 

4 часа назад, naves сказал:

При этом арендуется только один условный юнит сервера в стойке.

Эту плату с роутером вообще куда угодно можно запихать, хоть в кросс оптический.

[sirmax]

16 минут назад, Saab95 сказал:

Работать нормально оно не будет. За год по 5-6 раз сталкиваемся с проблемами та

Не работаете с пинернетами и чердак-телекомами, которые про хеш-коллизии поленились почитать, использовать вменяемые коммутаторы надо. Благо ныне это доступно всем.

 

а «подземные стуки» надо в лабе воспроизводить и исследовать 

 

19 минут назад, Saab95 сказал:

Втыкаете ее в райзер с внешним питанием, оформляете в маленькую коробочку и вот готов роутер на скоростях 10Г.

Если ее в комп воткнуть она что? Сетевка?

 

5 часов назад, jffulcrum сказал:

Как и написано у вендора: когда роутер нельзя/некуда, но очень хочется. В принципе, ситуация всякого industrial, когда комп с слотами расширения уже есть, а еще коробку сунуть некуда, или не найти той, что с нужными срити-фекатами (судно, воздушное или водяное). Но там есть очевидные проблемы.

очень далеко это от моих задач, к счастью