shafiev Posted February 9, 2016 Коллеги, может кто-то знает или покупал или перепрошивал под аппаратную платформу под Cumulus Linux https://cumulusnetworks.com/support/linux-hardware-compatibility-list/ ? Интересует насколько оно эффективно и позволяет сделать L4-L7 рутер . Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dayx Posted February 9, 2016 Коллеги, может кто-то знает или покупал или перепрошивал под аппаратную платформу под Cumulus Linux https://cumulusnetworks.com/support/linux-hardware-compatibility-list/ ? Интересует насколько оно эффективно и позволяет сделать L4-L7 рутер . Вообще-то вся конструкция Cumulus+White box свитчи это кирпичик для больших CLOS-фабрик в датацентрах. Тут оно эффективно, даже с учетом лицензионной политики Cumulus, весьма специфической. L4-L7 балансер на свитчах с Intel CPU в теории может получиться, но там для этого штатно нет ничего. Чем сервера не устраивают, это штатный путь для L4-L7 балансировки? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shafiev Posted February 9, 2016 Коллеги, может кто-то знает или покупал или перепрошивал под аппаратную платформу под Cumulus Linux https://cumulusnetwo...atibility-list/ ? Интересует насколько оно эффективно и позволяет сделать L4-L7 рутер . Вообще-то вся конструкция Cumulus+White box свитчи это кирпичик для больших CLOS-фабрик в датацентрах. Тут оно эффективно, даже с учетом лицензионной политики Cumulus, весьма специфической. L4-L7 балансер на свитчах с Intel CPU в теории может получиться, но там для этого штатно нет ничего. Чем сервера не устраивают, это штатный путь для L4-L7 балансировки? Ну просто у меня сейчас циско 3 серии , и как бы иногда требуеться сторонний софт запускать( типа udpxy , EoIP туннели и тд и тп ) и как бы покупать новую железку не хочеться , а микротики слабые для этого и с виртуализацией у них пока беда(хотя все очень быстро исправляеться) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted February 9, 2016 Там атомы стоят, не стоит на них особо рассчитывать. Ходили слухи, что есть железки с Xeon, но я о доступных таковых не слышал. На установку udpxy / EoIP с приличной производительностью лучше ставить отдельно сервер и гонять через него. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shafiev Posted February 9, 2016 Там атомы стоят, не стоит на них особо рассчитывать. Ходили слухи, что есть железки с Xeon, но я о доступных таковых не слышал. На установку udpxy / EoIP с приличной производительностью лучше ставить отдельно сервер и гонять через него. Оки просто в серверак нету столько медных или sfp портов, если есть готовый комплект то прошу посоветовать ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted February 9, 2016 Вланы и например Juniper c 40-ками, если вам нужно много гигабит. Только даже мощный Xeon много чего на 40-гигах не сделает. Вы посчитайте, сколько и что именно вам нужно делать, и можно всем форумом посчитать, что для этого подойдет, многие думаю поделятся своим опытом. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shafiev Posted February 9, 2016 Вланы и например Juniper c 40-ками, если вам нужно много гигабит. Только даже мощный Xeon много чего на 40-гигах не сделает. Вы посчитайте, сколько и что именно вам нужно делать, и можно всем форумом посчитать, что для этого подойдет, многие думаю поделятся своим опытом. не 40 слишком много . Нужно (максимум) : 24 порта оптических гигабитных 4 медных 1-2 10 гигабитных sfp Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted February 9, 2016 Необычные требования. Обычно или все оптика, и максимум менеджмент медью, или же медь и чуть-чуть оптики. Очень доступный по цене свитч, близко к вашим требованиям: http://shop.nag.ru/catalog/00001.Kommutatory/04963.SNR/19079.SNR-S300G-24FX Естественно eoip/udpxy надо реализовывать на отдельном сервере. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shafiev Posted February 9, 2016 Необычные требования. Обычно или все оптика, и максимум менеджмент медью, или же медь и чуть-чуть оптики. Очень доступный по цене свитч, близко к вашим требованиям: http://shop.nag.ru/c....SNR-S300G-24FX Естественно eoip/udpxy надо реализовывать на отдельном сервере. Да этот свитч уже у нага берем на тест , просто там сторонний софт запускать не получаеться . Может есть какая оптическая бюджетная карта для серваков , пусть все будут оптический , sfp to copper тоже есть Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted February 9, 2016 Б/у X520, с экономией осторожнее - клиент Chelsio взял, сэкономил $100, а она на 2-4 гигах затыкалась, больше не жевала. Я за два дня попыток ей вправить мозги взял в 10 раз больше, причем удалось воспроизвести проблему на другом железе в лабе. И поймать эту проблему удалось случайно, т.к. веду мониторинг задержек на хостах внутри сети с большой точностью. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shafiev Posted February 10, 2016 Б/у X520, с экономией осторожнее - клиент Chelsio взял, сэкономил $100, а она на 2-4 гигах затыкалась, больше не жевала. Я за два дня попыток ей вправить мозги взял в 10 раз больше, причем удалось воспроизвести проблему на другом железе в лабе. И поймать эту проблему удалось случайно, т.к. веду мониторинг задержек на хостах внутри сети с большой точностью. Оки , можешь подкинуть корпус 1-2U + карты для примера где именно многов pci разьемов для сетевух? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 11, 2016 И поймать эту проблему удалось случайно, т.к. веду мониторинг задержек на хостах внутри сети с большой точностью. Здравствуйте, расскажите подробнее, как Вы делаете это? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted February 11, 2016 monit + influxdb + grafana Выглядит где-то так: http://imgur.com/ownjaHY К сожалению данных с выросшим пингом для примера нет, но выглядело - в ЧНН пинг начинал расти на 1-2ms, хотя никаких затыков по другим ресурсам не было. При более детальных тестах - iperf был около 500кбайт/с и быстрый пинг показывал потери, хотя на линке было 2-4 гига (на части железа умирало на 2-х гигах, на других серверах около 4 гиг). По материнке наврядли посоветую, в моей маленькой стране нет возможности выбирать по железу, беру - что дают. А если есть возможность выбирать - ставлю supermicro. Больше двух 10G карт ставить имхо смысла нет. Еще есть нюанс - если процов несколько, вы можете протоптаться по граблям связанным с NUMA, нужно ставить сетевухи по процам равномерно. И внимательно, чтобы numa определялось, т.к. например при настройках в биосе interleaving - оно просто потеряет возможность более эффективно распределять память. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 11, 2016 Я бы хотел узнать не о бизнес-обвязке мониторинга, а о сенсоре, который измеряет задержки. Это rtt по тракту или это некая in-kernel статистика прохождения пакетов? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted February 11, 2016 userspace rtt на более-менее разгруженный хост, написать ядерную мониторилку можно конечно, но зачем? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 11, 2016 Нет, просто интересно, так как были слова "с большой точностью". Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shafiev Posted February 11, 2016 Нет, просто интересно, так как были слова "с большой точностью". Не, я немного не так выразился, делаем все через пинг заббикса , + стоят пробы на основе второй малинки с vlc ( и на нем через скрипт в snmp lost frames и demux , corrypted frames) им же собираем . Тут просто магистральщик очень чудный (( Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shafiev Posted February 11, 2016 monit + influxdb + grafana Выглядит где-то так: http://imgur.com/ownjaHY К сожалению данных с выросшим пингом для примера нет, но выглядело - в ЧНН пинг начинал расти на 1-2ms, хотя никаких затыков по другим ресурсам не было. При более детальных тестах - iperf был около 500кбайт/с и быстрый пинг показывал потери, хотя на линке было 2-4 гига (на части железа умирало на 2-х гигах, на других серверах около 4 гиг). По материнке наврядли посоветую, в моей маленькой стране нет возможности выбирать по железу, беру - что дают. А если есть возможность выбирать - ставлю supermicro. Больше двух 10G карт ставить имхо смысла нет. Еще есть нюанс - если процов несколько, вы можете протоптаться по граблям связанным с NUMA, нужно ставить сетевухи по процам равномерно. И внимательно, чтобы numa определялось, т.к. например при настройках в биосе interleaving - оно просто потеряет возможность более эффективно распределять память. Да нужно не 5-6 портов, а 20-24 . Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted February 11, 2016 Нет, просто интересно, так как были слова "с большой точностью". На PC измерять точнее 1ms смысла мало, большинство железа страдает jitter-ом. (Например https://rt.wiki.kernel.org/index.php/HOWTO:_Build_an_RT-application#System_Management_Interrupt_.28SMI.29_on_Intel_x86_ICH_chipsets) Также также в свое время замерял уход системных часов, через несколько минут миллисекунда набегала. А большая точность, это в том смысле, что среднестатический уход на 1ms хорошо заметен на графике, этого достаточно для диагностики проблем в сетевых делах. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
