Jump to content
Калькуляторы

Посоветуйте железку для Softrouter-а 10Гбит

Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет.

 

Варианты сетевух

у НАГ есть вот такая сетевуха http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15347.PE310G4SPi9LA-XR Сетевая карта Intel 82599ES (Silicom), 4 порта 10GBase-X, SFP+, поддержка DNA и Libzero.

или вот такую http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15343.PE210G2SPi9A-XR

или Интел http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/08899.Intel-X520-DA2 ?

 

4 порта в сервере это конечно хорошо, аплинки есть куда втыкать.

 

SFP+ интерфейсы поддерживают SFP на 1Гбит/с ?

Edited by QWE

Share this post


Link to post
Share on other sites

Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет.

 

Варианты сетевух

у НАГ есть вот такая сетевуха http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15347.PE310G4SPi9LA-XR Сетевая карта Intel 82599ES (Silicom), 4 порта 10GBase-X, SFP+, поддержка DNA и Libzero.

или вот такую http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15343.PE210G2SPi9A-XR

или Интел http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/08899.Intel-X520-DA2 ?

 

4 порта в сервере это конечно хорошо, аплинки есть куда втыкать.

 

SFP+ интерфейсы поддерживают SFP на 1Гбит/с ?

 

 

Внесу свои пять копеек. Использовал freebsd 8.2 с платой Intel-X520-DA2 + квага. Держало до 2-х гиг при 20% нагрузке.

 

Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :)

Share this post


Link to post
Share on other sites

как же народ тут по нескольку миллионов пакетов маршрутизирует через бордеры?

Share this post


Link to post
Share on other sites
SFP+ интерфейсы поддерживают SFP на 1Гбит/с ?

 

Intel-X520-DA2 1G sfp да работают, а вот по Silicom в наге ничего ответить не смогли - нужно проверять

Edited by linx

Share this post


Link to post
Share on other sites

как же народ тут по нескольку миллионов пакетов маршрутизирует через бордеры?

 

Можно, хорошо сэкономить но при этом плохо спать.

 

А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте )

 

Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку.

 

Выбор за вами.

Share this post


Link to post
Share on other sites

Можно, хорошо сэкономить но при этом плохо спать.

 

А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте )

 

Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку.

 

 

P.S

 

была такая ситуация, по какой-то причине гугловский ggc перестал работать. не пингуется и все. Причем, остальной инет прекрасно работает. Никаких изменений, на бордере не делали. (bgp квага. Простой Дефолт) Пока я связался с тех поддержкой, пока они сообщили ип ggc. Пока мы поняли, что проблема не у них а у нас. Потом, ребут бордера, и заработало. Два дня у людей не работал ютуб. Почему именно, кэш перестал пинговаться... не мог понять.

 

 

Другой случай, в соседней конторе такая же тема только на дебиане. Переодические ребуты, и непонятно из-за чего. Форум до дыр зачитал, тут кто с такой же проблемой

сталкивался. Ядро обновили, кажется ник тартила что-то советовал. По его советам и пошел. И все равно ребуты. Пока не перевели все на Эриксон SE100.

 

http://forum.nag.ru/forum/index.php?showtopic=92502

 

И самое интересное, ты с этой проблемой остаешься один на один + google :)

 

Выбор за вами.

Share this post


Link to post
Share on other sites

По поводумного портов - можно подключить всех аплинков, это хорошо если от каждого аплинка два линка приходят. Рано или поздно вякое может случится, лучше держать пару бордеров, шлюзов, если проблема начинается просто переносишь пользователей на второй, пока занимаешься обслуживанием текущего.

 

quagga уже отжила свое, непоняток с ней много, лучше использовать bird

Share this post


Link to post
Share on other sites

Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :)

 

Покажите открытые PR.

FreeBSD 8.2 давно EOL.

 

Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет.

 

 

При трафике больше 1Г рекомендую схему с двумя серверами.

Чтоб спокойно резервировать и проводить плановое обслуживание без потери и деградации сервиса.

Share this post


Link to post
Share on other sites

Сейчас использую два сервера (два провайдера) с двухпортовой сетевухой на Intel 82576 + LEAF Linux 2.6.35.14-i686 на нем bird + модуль ipt_NETFLOW никаких шейперов, никаких сервисов доступа. Нагрузка меньше гигабита.

Тупо нужен ipt_NETFLOW. Прочитал про глюки http://forum.nag.ru/forum/index.php?showtopic=92502 Больно про это читать конечно, хочется спать и админить спокойно.

В конце концов решение по ссылке было найдено.

Жаба душит из одного ipt_NETFLOW покупать Cisco или Juniper. в принципе я согласен дотянуть до 2 Гиг и дальше купить что то посерьезнее, но все равно из за одного NETFLOW покупать что то посерьезнее жаба душит. Проще отдельно стоящий РоутСервер мне кажется сделать и отзеркалить uplink на железку с ip_NETFLOW 10Гбит/с.

Edited by QWE

Share this post


Link to post
Share on other sites

А в чем проблема заменить ipt_netflow? Самое крутое, что есть для этого на рынке - это nprobe, который ни при каком условии не свалит машину на пустом месте да и стоит смешные 150 евро http://www.ntop.org/products/nprobe/ Ну и оно переварит десяток гигабит - влет.

 

Silicom - крутые карты, почти всегда это чисты Intel 82599 и несколько их приблуд в первую очередь для тех, кто пишет серьезные вещи. Например, эти карты использует Arbor в Pravail для защиты от DDoS. Вам это вряд ли нужно, я бы лучше остановился на стоковых 82599 картах либо посмотрел в сторону новых XL 710, но у меня лично еще нету опыта работы с ними.

Edited by pavel.odintsov

Share this post


Link to post
Share on other sites

А в чем проблема заменить ipt_netflow? Самое крутое, что есть для этого на рынке - это nprobe, который ни при каком условии не свалит машину на пустом месте да и стоит смешные 150 евро http://www.ntop.org/products/nprobe/ Ну и оно переварит десяток гигабит - влет.

 

Silicom - крутые карты, почти всегда это чисты Intel 82599 и несколько их приблуд в первую очередь для тех, кто пишет серьезные вещи. Например, эти карты использует Arbor в Pravail для защиты от DDoS. Вам это вряд ли нужно, я бы лучше остановился на стоковых 82599 картах либо посмотрел в сторону новых XL 710, но у меня лично еще нету опыта работы с ними.

 

для отдельностоящего сервера для сбора NETFLOW в принципе пофиг будет часто ребутиться машина или нет. На LEAF nprobe нету, но можно и любой linux поставить. Тут же пишут что Linux нестабилен при форвардинге более 2 гигабит/с

Edited by QWE

Share this post


Link to post
Share on other sites

Тут же пишут что Linux нестабилен при форвардинге более 2 гигабит/с

не слушайте

Share this post


Link to post
Share on other sites

Да ну.

Debian 7, ядро 3.10 (из бекпортов когда-то поставили, какое было). 2 карты E1G44ET, драйвер igb.

3.5 гига даунлоада насквозь (плюс аплоад в другую сторону - лень считать, сколько его так). Аптайм - 440 с чем-то дней.

Share this post


Link to post
Share on other sites

Почитал тему http://forum.nag.ru/...showtopic=92502, аж страшно становиться, прям как закладка какая-то кто-то знает и молчит. Ядро не исправляют, 100тыщ требуют... Дикий, дикий запад (опенсоурс)

Share this post


Link to post
Share on other sites

Да ну.

Debian 7, ядро 3.10 (из бекпортов когда-то поставили, какое было). 2 карты E1G44ET, драйвер igb.

3.5 гига даунлоада насквозь (плюс аплоад в другую сторону - лень считать, сколько его так). Аптайм - 440 с чем-то дней.

ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10?

Edited by QWE

Share this post


Link to post
Share on other sites

когда началась эта тема, я у одного из помогающих бесплатно в пм попросил просто конфиг ядра для сравнения со своим, раз уж он поделился с топикстартером (в 2011 была проблема гента перезагружалась по кернел паник) - только за деньги, в 2011 рещил с очередным обновлением ядра, правда конфиг ядра вроде от стокового дебиан взял, но все равно хотелось понять что в конфиге не так, дабы иметь гарантированный конфиг который можно будет использовать при следующем обновлении мира. потому и для себя решил - серверов нужно 2, никто тебе особо не поможет, свой путь ты уже выбрал взяв linux сервер в качества шлюза. меня это нисколько не печалит, нет возможности использовать что-то хардварное, ну и ладно, все равно отказоустойчивость проработать можно, да такие моменты дико смущают, но в целом работать можно, мигрировал на распространеные дистрибутивы, на них статистика (комьюнити) больше и поддерживать проще. За весь период работы было лишь две проблемы, та которая в этом году пока в работе (редко проявляется раз 1-2 недели, кернел паник по софтлуп) и та что была в 2011.

 

даже железные решения тоже требуют отказоустойчивости, был момент когда работал у федерального провайдера - брас, терминующий 10G, загнулся - спас только аудит действий, все откатили, но на то что понять что случилось ушло время, а это абоненты без интернета в ЧНН. После этого случая брасов уже стало два, быстро нашли 2-й.

Edited by linx

Share this post


Link to post
Share on other sites

Можно, хорошо сэкономить но при этом плохо спать.

 

А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте )

 

Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку.

 

 

P.S

 

была такая ситуация, по какой-то причине гугловский ggc перестал работать. не пингуется и все. Причем, остальной инет прекрасно работает. Никаких изменений, на бордере не делали. (bgp квага. Простой Дефолт) Пока я связался с тех поддержкой, пока они сообщили ип ggc. Пока мы поняли, что проблема не у них а у нас. Потом, ребут бордера, и заработало. Два дня у людей не работал ютуб. Почему именно, кэш перестал пинговаться... не мог понять.

 

 

Другой случай, в соседней конторе такая же тема только на дебиане. Переодические ребуты, и непонятно из-за чего. Форум до дыр зачитал, тут кто с такой же проблемой

сталкивался. Ядро обновили, кажется ник тартила что-то советовал. По его советам и пошел. И все равно ребуты. Пока не перевели все на Эриксон SE100.

 

http://forum.nag.ru/forum/index.php?showtopic=92502

 

И самое интересное, ты с этой проблемой остаешься один на один + google :)

 

Выбор за вами.

 

http://forum.nag.ru/forum/index.php?showtopic=53979&st=220

 

Rate: 11479090850 bits/sec, 1611313 packets/sec

 

когда началась эта тема, я у одного из помогающих бесплатно в пм попросил просто конфиг ядра для сравнения со своим, раз уж он поделился с топикстартером (в 2011 была проблема гента перезагружалась по кернел паник) - только за деньги, в 2011 рещил с очередным обновлением ядра, правда конфиг ядра вроде от стокового дебиан взял, но все равно хотелось понять что в конфиге не так, дабы иметь гарантированный конфиг который можно будет использовать при следующем обновлении мира. потому и для себя решил - серверов нужно 2, никто тебе особо не поможет, свой путь ты уже выбрал взяв linux сервер в качества шлюза. меня это нисколько не печалит, нет возможности использовать что-то хардварное, ну и ладно, все равно отказоустойчивость проработать можно, да такие моменты дико смущают, но в целом работать можно, мигрировал на распространеные дистрибутивы, на них статистика (комьюнити) больше и поддерживать проще. За весь период работы было лишь две проблемы, та которая в этом году пока в работе (редко проявляется раз 1-2 недели, кернел паник по софтлуп) и та что была в 2011.

 

даже железные решения тоже требуют отказоустойчивости, был момент когда работал у федерального провайдера - брас, терминующий 10G, загнулся - спас только аудит действий, все откатили, но на то что понять что случилось ушло время, а это абоненты без интернета в ЧНН. После этого случая брасов уже стало два, быстро нашли 2-й.

 

"проблема проявляется раз в две недели" это для меня не допустимо просто. Даже раз в год не допустимо.

 

Как то с негатива началось обсуждение темы, скорее всего это даже правильно.

 

Раз уж жалобы на ядра - какое стабильнее для форвардинга, с какими версиями сетевых драйверов и для каких сетевух?

Edited by QWE

Share this post


Link to post
Share on other sites

Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко.

 

Никаких "падений" / "паников" и прочего, аптайм за 500 дней.

Edited by pavel.odintsov

Share this post


Link to post
Share on other sites

Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года?

Share this post


Link to post
Share on other sites

Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года?

 

Не знаю - стоковое дистрибное ядро (кривое, медленное, но не падает), конфиги сетевых обычные (RSS) все очереди распределены по всем доступным ядрам. NAT - нету, TC - нету. Тюнинг sysctl - минимальный. Governor: performance.

Edited by pavel.odintsov

Share this post


Link to post
Share on other sites

Нагрузка в районе 10-14%

Как измеряете? Что скажет mpstat -P ALL 1 10 в ЧНН?

Share this post


Link to post
Share on other sites

Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко.

 

Никаких "падений" / "паников" и прочего, аптайм за 500 дней.

"апстрим дрова ixgbe" - это последние с сайта Intel? Модель сетевухи Intel X520-DA2 ?

16 ядер? а говорят лучше иметь один проц и более скоростной.

а мамка какая?

Горячий failover это две активные BGP сесии с одним провайдером (двумя)? Исходящий трафик через одну машину идет?

 

сервер который в продакшене на тесте тащил 600kpps. Может имеет смысл пока только сетевую поменять и дожать до 2Гбит/с.

Edited by QWE

Share this post


Link to post
Share on other sites

Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года?

 

Не знаю - стоковое дистрибное ядро (кривое, медленное, но не падает), конфиги сетевых обычные (RSS) все очереди распределены по всем доступным ядрам. NAT - нету, TC - нету. Тюнинг sysctl - минимальный. Governor: performance.

 

а что значит "конфиги сетевых обычные (RSS)" приведите плиз параметры старта модуля драйвера сетевой

ipt_NETFLOW?

Share this post


Link to post
Share on other sites

ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10?

Не знаю, мне netflow не нужен.

i7-4770k. Ядро тупо стоковое. Драйвер igb с сайта intel. Из тюнинга - прерывания прибиты вручную к ядрам, включён RSS на картах. HT отключен в биосе.

 

Тоже никакой магии :). Вообще я вывел для себя золотое правило, как добиться хорошего роутинга в Linux: не мудрить. Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает.

Share this post


Link to post
Share on other sites

ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10?

Не знаю, мне netflow не нужен.

i7-4770k. Ядро тупо стоковое. Драйвер igb с сайта intel. Из тюнинга - прерывания прибиты вручную к ядрам, включён RSS на картах. HT отключен в биосе.

 

Тоже никакой магии :). Вообще я вывел для себя золотое правило, как добиться хорошего роутинга в Linux: не мудрить. Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает.

если нет ipt_NETFLOW то наверное крутятся другие фичи и железка используется у Вас видимо не как бордер?

т.е. обычный десктопный i7-4770k, а на какой мамке?

Edited by QWE

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this