Открытое железо Cumulus Linux

[shafiev]

Коллеги, может кто-то знает или покупал или перепрошивал под аппаратную платформу под Cumulus Linux https://cumulusnetworks.com/support/linux-hardware-compatibility-list/ ? Интересует насколько оно эффективно и позволяет сделать L4-L7 рутер .

[dayx]

Коллеги, может кто-то знает или покупал или перепрошивал под аппаратную платформу под Cumulus Linux https://cumulusnetworks.com/support/linux-hardware-compatibility-list/ ? Интересует насколько оно эффективно и позволяет сделать L4-L7 рутер .

Вообще-то вся конструкция Cumulus+White box свитчи это кирпичик для больших CLOS-фабрик в датацентрах. Тут оно эффективно, даже с учетом лицензионной политики Cumulus, весьма специфической. L4-L7 балансер на свитчах с Intel CPU в теории может получиться, но там для этого штатно нет ничего. Чем сервера не устраивают, это штатный путь для L4-L7 балансировки?

[shafiev]

Коллеги, может кто-то знает или покупал или перепрошивал под аппаратную платформу под Cumulus Linux https://cumulusnetwo...atibility-list/ ? Интересует насколько оно эффективно и позволяет сделать L4-L7 рутер .

Вообще-то вся конструкция Cumulus+White box свитчи это кирпичик для больших CLOS-фабрик в датацентрах. Тут оно эффективно, даже с учетом лицензионной политики Cumulus, весьма специфической. L4-L7 балансер на свитчах с Intel CPU в теории может получиться, но там для этого штатно нет ничего. Чем сервера не устраивают, это штатный путь для L4-L7 балансировки?

 

Ну просто у меня сейчас циско 3 серии , и как бы иногда требуеться сторонний софт запускать( типа udpxy , EoIP туннели и тд и тп ) и как бы покупать новую железку не хочеться , а микротики слабые для этого и с виртуализацией у них пока беда(хотя все очень быстро исправляеться)

[nuclearcat]

Там атомы стоят, не стоит на них особо рассчитывать. Ходили слухи, что есть железки с Xeon, но я о доступных таковых не слышал. На установку udpxy / EoIP с приличной производительностью лучше ставить отдельно сервер и гонять через него.

[shafiev]

Там атомы стоят, не стоит на них особо рассчитывать. Ходили слухи, что есть железки с Xeon, но я о доступных таковых не слышал. На установку udpxy / EoIP с приличной производительностью лучше ставить отдельно сервер и гонять через него.

 

Оки просто в серверак нету столько медных или sfp портов, если есть готовый комплект то прошу посоветовать ?

[nuclearcat]

Вланы и например Juniper c 40-ками, если вам нужно много гигабит. Только даже мощный Xeon много чего на 40-гигах не сделает.

Вы посчитайте, сколько и что именно вам нужно делать, и можно всем форумом посчитать, что для этого подойдет, многие думаю поделятся своим опытом.

[shafiev]

Вланы и например Juniper c 40-ками, если вам нужно много гигабит. Только даже мощный Xeon много чего на 40-гигах не сделает.

Вы посчитайте, сколько и что именно вам нужно делать, и можно всем форумом посчитать, что для этого подойдет, многие думаю поделятся своим опытом.

 

не 40 слишком много . Нужно (максимум) :

1. 24 порта оптических гигабитных
2. 4 медных
3. 1-2 10 гигабитных sfp

 

 

 

[nuclearcat]

Необычные требования. Обычно или все оптика, и максимум менеджмент медью, или же медь и чуть-чуть оптики.

Очень доступный по цене свитч, близко к вашим требованиям:

http://shop.nag.ru/catalog/00001.Kommutatory/04963.SNR/19079.SNR-S300G-24FX

 

Естественно eoip/udpxy надо реализовывать на отдельном сервере.

[shafiev]

Необычные требования. Обычно или все оптика, и максимум менеджмент медью, или же медь и чуть-чуть оптики.

Очень доступный по цене свитч, близко к вашим требованиям:

http://shop.nag.ru/c....SNR-S300G-24FX

 

Естественно eoip/udpxy надо реализовывать на отдельном сервере.

 

Да этот свитч уже у нага берем на тест , просто там сторонний софт запускать не получаеться .

Может есть какая оптическая бюджетная карта для серваков , пусть все будут оптический , sfp to copper тоже есть

[nuclearcat]

Б/у X520, с экономией осторожнее - клиент Chelsio взял, сэкономил $100, а она на 2-4 гигах затыкалась, больше не жевала. Я за два дня попыток ей вправить мозги взял в 10 раз больше, причем удалось воспроизвести проблему на другом железе в лабе.

И поймать эту проблему удалось случайно, т.к. веду мониторинг задержек на хостах внутри сети с большой точностью.

[shafiev]

Б/у X520, с экономией осторожнее - клиент Chelsio взял, сэкономил $100, а она на 2-4 гигах затыкалась, больше не жевала. Я за два дня попыток ей вправить мозги взял в 10 раз больше, причем удалось воспроизвести проблему на другом железе в лабе.

И поймать эту проблему удалось случайно, т.к. веду мониторинг задержек на хостах внутри сети с большой точностью.

 

Оки , можешь подкинуть корпус 1-2U + карты для примера где именно многов pci разьемов для сетевух?

[dignity]

И поймать эту проблему удалось случайно, т.к. веду мониторинг задержек на хостах внутри сети с большой точностью.

Здравствуйте, расскажите подробнее, как Вы делаете это?

[nuclearcat]

monit + influxdb + grafana

Выглядит где-то так:

http://imgur.com/ownjaHY

 

К сожалению данных с выросшим пингом для примера нет, но выглядело - в ЧНН пинг начинал расти на 1-2ms, хотя никаких затыков по другим ресурсам не было. При более детальных тестах - iperf был около 500кбайт/с и быстрый пинг показывал потери, хотя на линке было 2-4 гига (на части железа умирало на 2-х гигах, на других серверах около 4 гиг).

 

По материнке наврядли посоветую, в моей маленькой стране нет возможности выбирать по железу, беру - что дают. А если есть возможность выбирать - ставлю supermicro. Больше двух 10G карт ставить имхо смысла нет.

Еще есть нюанс - если процов несколько, вы можете протоптаться по граблям связанным с NUMA, нужно ставить сетевухи по процам равномерно. И внимательно, чтобы numa определялось, т.к. например при настройках в биосе interleaving - оно просто потеряет возможность более эффективно распределять память.

[dignity]

Я бы хотел узнать не о бизнес-обвязке мониторинга, а о сенсоре, который измеряет задержки. Это rtt по тракту или это некая in-kernel статистика прохождения пакетов?

[nuclearcat]

userspace rtt на более-менее разгруженный хост, написать ядерную мониторилку можно конечно, но зачем?

[dignity]

Нет, просто интересно, так как были слова "с большой точностью".

[shafiev]

Нет, просто интересно, так как были слова "с большой точностью".

 

Не, я немного не так выразился, делаем все через пинг заббикса , + стоят пробы на основе второй малинки с vlc ( и на нем через скрипт в snmp lost frames и demux , corrypted frames) им же собираем .

 

Тут просто магистральщик очень чудный ((

[shafiev]

monit + influxdb + grafana

Выглядит где-то так:

http://imgur.com/ownjaHY

 

К сожалению данных с выросшим пингом для примера нет, но выглядело - в ЧНН пинг начинал расти на 1-2ms, хотя никаких затыков по другим ресурсам не было. При более детальных тестах - iperf был около 500кбайт/с и быстрый пинг показывал потери, хотя на линке было 2-4 гига (на части железа умирало на 2-х гигах, на других серверах около 4 гиг).

 

По материнке наврядли посоветую, в моей маленькой стране нет возможности выбирать по железу, беру - что дают. А если есть возможность выбирать - ставлю supermicro. Больше двух 10G карт ставить имхо смысла нет.

Еще есть нюанс - если процов несколько, вы можете протоптаться по граблям связанным с NUMA, нужно ставить сетевухи по процам равномерно. И внимательно, чтобы numa определялось, т.к. например при настройках в биосе interleaving - оно просто потеряет возможность более эффективно распределять память.

 

Да нужно не 5-6 портов, а 20-24 .

[nuclearcat]

Нет, просто интересно, так как были слова "с большой точностью".

На PC измерять точнее 1ms смысла мало, большинство железа страдает jitter-ом.

(Например https://rt.wiki.kernel.org/index.php/HOWTO:_Build_an_RT-application#System_Management_Interrupt_.28SMI.29_on_Intel_x86_ICH_chipsets)

Также также в свое время замерял уход системных часов, через несколько минут миллисекунда набегала.

А большая точность, это в том смысле, что среднестатический уход на 1ms хорошо заметен на графике, этого достаточно для диагностики проблем в сетевых делах.