Перейти к содержимому
Калькуляторы

Посоветуйте железку для Softrouter-а 10Гбит

Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет.

 

Варианты сетевух

у НАГ есть вот такая сетевуха http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15347.PE310G4SPi9LA-XR Сетевая карта Intel 82599ES (Silicom), 4 порта 10GBase-X, SFP+, поддержка DNA и Libzero.

или вот такую http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15343.PE210G2SPi9A-XR

или Интел http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/08899.Intel-X520-DA2 ?

 

4 порта в сервере это конечно хорошо, аплинки есть куда втыкать.

 

SFP+ интерфейсы поддерживают SFP на 1Гбит/с ?

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет.

 

Варианты сетевух

у НАГ есть вот такая сетевуха http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15347.PE310G4SPi9LA-XR Сетевая карта Intel 82599ES (Silicom), 4 порта 10GBase-X, SFP+, поддержка DNA и Libzero.

или вот такую http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15343.PE210G2SPi9A-XR

или Интел http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/08899.Intel-X520-DA2 ?

 

4 порта в сервере это конечно хорошо, аплинки есть куда втыкать.

 

SFP+ интерфейсы поддерживают SFP на 1Гбит/с ?

 

 

Внесу свои пять копеек. Использовал freebsd 8.2 с платой Intel-X520-DA2 + квага. Держало до 2-х гиг при 20% нагрузке.

 

Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

как же народ тут по нескольку миллионов пакетов маршрутизирует через бордеры?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

SFP+ интерфейсы поддерживают SFP на 1Гбит/с ?

 

Intel-X520-DA2 1G sfp да работают, а вот по Silicom в наге ничего ответить не смогли - нужно проверять

Изменено пользователем linx

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

как же народ тут по нескольку миллионов пакетов маршрутизирует через бордеры?

 

Можно, хорошо сэкономить но при этом плохо спать.

 

А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте )

 

Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку.

 

Выбор за вами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Можно, хорошо сэкономить но при этом плохо спать.

 

А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте )

 

Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку.

 

 

P.S

 

была такая ситуация, по какой-то причине гугловский ggc перестал работать. не пингуется и все. Причем, остальной инет прекрасно работает. Никаких изменений, на бордере не делали. (bgp квага. Простой Дефолт) Пока я связался с тех поддержкой, пока они сообщили ип ggc. Пока мы поняли, что проблема не у них а у нас. Потом, ребут бордера, и заработало. Два дня у людей не работал ютуб. Почему именно, кэш перестал пинговаться... не мог понять.

 

 

Другой случай, в соседней конторе такая же тема только на дебиане. Переодические ребуты, и непонятно из-за чего. Форум до дыр зачитал, тут кто с такой же проблемой

сталкивался. Ядро обновили, кажется ник тартила что-то советовал. По его советам и пошел. И все равно ребуты. Пока не перевели все на Эриксон SE100.

 

http://forum.nag.ru/forum/index.php?showtopic=92502

 

И самое интересное, ты с этой проблемой остаешься один на один + google :)

 

Выбор за вами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

По поводумного портов - можно подключить всех аплинков, это хорошо если от каждого аплинка два линка приходят. Рано или поздно вякое может случится, лучше держать пару бордеров, шлюзов, если проблема начинается просто переносишь пользователей на второй, пока занимаешься обслуживанием текущего.

 

quagga уже отжила свое, непоняток с ней много, лучше использовать bird

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :)

 

Покажите открытые PR.

FreeBSD 8.2 давно EOL.

 

Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет.

 

 

При трафике больше 1Г рекомендую схему с двумя серверами.

Чтоб спокойно резервировать и проводить плановое обслуживание без потери и деградации сервиса.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сейчас использую два сервера (два провайдера) с двухпортовой сетевухой на Intel 82576 + LEAF Linux 2.6.35.14-i686 на нем bird + модуль ipt_NETFLOW никаких шейперов, никаких сервисов доступа. Нагрузка меньше гигабита.

Тупо нужен ipt_NETFLOW. Прочитал про глюки http://forum.nag.ru/forum/index.php?showtopic=92502 Больно про это читать конечно, хочется спать и админить спокойно.

В конце концов решение по ссылке было найдено.

Жаба душит из одного ipt_NETFLOW покупать Cisco или Juniper. в принципе я согласен дотянуть до 2 Гиг и дальше купить что то посерьезнее, но все равно из за одного NETFLOW покупать что то посерьезнее жаба душит. Проще отдельно стоящий РоутСервер мне кажется сделать и отзеркалить uplink на железку с ip_NETFLOW 10Гбит/с.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А в чем проблема заменить ipt_netflow? Самое крутое, что есть для этого на рынке - это nprobe, который ни при каком условии не свалит машину на пустом месте да и стоит смешные 150 евро http://www.ntop.org/products/nprobe/ Ну и оно переварит десяток гигабит - влет.

 

Silicom - крутые карты, почти всегда это чисты Intel 82599 и несколько их приблуд в первую очередь для тех, кто пишет серьезные вещи. Например, эти карты использует Arbor в Pravail для защиты от DDoS. Вам это вряд ли нужно, я бы лучше остановился на стоковых 82599 картах либо посмотрел в сторону новых XL 710, но у меня лично еще нету опыта работы с ними.

Изменено пользователем pavel.odintsov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А в чем проблема заменить ipt_netflow? Самое крутое, что есть для этого на рынке - это nprobe, который ни при каком условии не свалит машину на пустом месте да и стоит смешные 150 евро http://www.ntop.org/products/nprobe/ Ну и оно переварит десяток гигабит - влет.

 

Silicom - крутые карты, почти всегда это чисты Intel 82599 и несколько их приблуд в первую очередь для тех, кто пишет серьезные вещи. Например, эти карты использует Arbor в Pravail для защиты от DDoS. Вам это вряд ли нужно, я бы лучше остановился на стоковых 82599 картах либо посмотрел в сторону новых XL 710, но у меня лично еще нету опыта работы с ними.

 

для отдельностоящего сервера для сбора NETFLOW в принципе пофиг будет часто ребутиться машина или нет. На LEAF nprobe нету, но можно и любой linux поставить. Тут же пишут что Linux нестабилен при форвардинге более 2 гигабит/с

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тут же пишут что Linux нестабилен при форвардинге более 2 гигабит/с

не слушайте

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да ну.

Debian 7, ядро 3.10 (из бекпортов когда-то поставили, какое было). 2 карты E1G44ET, драйвер igb.

3.5 гига даунлоада насквозь (плюс аплоад в другую сторону - лень считать, сколько его так). Аптайм - 440 с чем-то дней.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Почитал тему http://forum.nag.ru/...showtopic=92502, аж страшно становиться, прям как закладка какая-то кто-то знает и молчит. Ядро не исправляют, 100тыщ требуют... Дикий, дикий запад (опенсоурс)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да ну.

Debian 7, ядро 3.10 (из бекпортов когда-то поставили, какое было). 2 карты E1G44ET, драйвер igb.

3.5 гига даунлоада насквозь (плюс аплоад в другую сторону - лень считать, сколько его так). Аптайм - 440 с чем-то дней.

ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10?

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

когда началась эта тема, я у одного из помогающих бесплатно в пм попросил просто конфиг ядра для сравнения со своим, раз уж он поделился с топикстартером (в 2011 была проблема гента перезагружалась по кернел паник) - только за деньги, в 2011 рещил с очередным обновлением ядра, правда конфиг ядра вроде от стокового дебиан взял, но все равно хотелось понять что в конфиге не так, дабы иметь гарантированный конфиг который можно будет использовать при следующем обновлении мира. потому и для себя решил - серверов нужно 2, никто тебе особо не поможет, свой путь ты уже выбрал взяв linux сервер в качества шлюза. меня это нисколько не печалит, нет возможности использовать что-то хардварное, ну и ладно, все равно отказоустойчивость проработать можно, да такие моменты дико смущают, но в целом работать можно, мигрировал на распространеные дистрибутивы, на них статистика (комьюнити) больше и поддерживать проще. За весь период работы было лишь две проблемы, та которая в этом году пока в работе (редко проявляется раз 1-2 недели, кернел паник по софтлуп) и та что была в 2011.

 

даже железные решения тоже требуют отказоустойчивости, был момент когда работал у федерального провайдера - брас, терминующий 10G, загнулся - спас только аудит действий, все откатили, но на то что понять что случилось ушло время, а это абоненты без интернета в ЧНН. После этого случая брасов уже стало два, быстро нашли 2-й.

Изменено пользователем linx

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Можно, хорошо сэкономить но при этом плохо спать.

 

А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте )

 

Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку.

 

 

P.S

 

была такая ситуация, по какой-то причине гугловский ggc перестал работать. не пингуется и все. Причем, остальной инет прекрасно работает. Никаких изменений, на бордере не делали. (bgp квага. Простой Дефолт) Пока я связался с тех поддержкой, пока они сообщили ип ggc. Пока мы поняли, что проблема не у них а у нас. Потом, ребут бордера, и заработало. Два дня у людей не работал ютуб. Почему именно, кэш перестал пинговаться... не мог понять.

 

 

Другой случай, в соседней конторе такая же тема только на дебиане. Переодические ребуты, и непонятно из-за чего. Форум до дыр зачитал, тут кто с такой же проблемой

сталкивался. Ядро обновили, кажется ник тартила что-то советовал. По его советам и пошел. И все равно ребуты. Пока не перевели все на Эриксон SE100.

 

http://forum.nag.ru/forum/index.php?showtopic=92502

 

И самое интересное, ты с этой проблемой остаешься один на один + google :)

 

Выбор за вами.

 

http://forum.nag.ru/forum/index.php?showtopic=53979&st=220

 

Rate: 11479090850 bits/sec, 1611313 packets/sec

 

когда началась эта тема, я у одного из помогающих бесплатно в пм попросил просто конфиг ядра для сравнения со своим, раз уж он поделился с топикстартером (в 2011 была проблема гента перезагружалась по кернел паник) - только за деньги, в 2011 рещил с очередным обновлением ядра, правда конфиг ядра вроде от стокового дебиан взял, но все равно хотелось понять что в конфиге не так, дабы иметь гарантированный конфиг который можно будет использовать при следующем обновлении мира. потому и для себя решил - серверов нужно 2, никто тебе особо не поможет, свой путь ты уже выбрал взяв linux сервер в качества шлюза. меня это нисколько не печалит, нет возможности использовать что-то хардварное, ну и ладно, все равно отказоустойчивость проработать можно, да такие моменты дико смущают, но в целом работать можно, мигрировал на распространеные дистрибутивы, на них статистика (комьюнити) больше и поддерживать проще. За весь период работы было лишь две проблемы, та которая в этом году пока в работе (редко проявляется раз 1-2 недели, кернел паник по софтлуп) и та что была в 2011.

 

даже железные решения тоже требуют отказоустойчивости, был момент когда работал у федерального провайдера - брас, терминующий 10G, загнулся - спас только аудит действий, все откатили, но на то что понять что случилось ушло время, а это абоненты без интернета в ЧНН. После этого случая брасов уже стало два, быстро нашли 2-й.

 

"проблема проявляется раз в две недели" это для меня не допустимо просто. Даже раз в год не допустимо.

 

Как то с негатива началось обсуждение темы, скорее всего это даже правильно.

 

Раз уж жалобы на ядра - какое стабильнее для форвардинга, с какими версиями сетевых драйверов и для каких сетевух?

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко.

 

Никаких "падений" / "паников" и прочего, аптайм за 500 дней.

Изменено пользователем pavel.odintsov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года?

 

Не знаю - стоковое дистрибное ядро (кривое, медленное, но не падает), конфиги сетевых обычные (RSS) все очереди распределены по всем доступным ядрам. NAT - нету, TC - нету. Тюнинг sysctl - минимальный. Governor: performance.

Изменено пользователем pavel.odintsov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Нагрузка в районе 10-14%

Как измеряете? Что скажет mpstat -P ALL 1 10 в ЧНН?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко.

 

Никаких "падений" / "паников" и прочего, аптайм за 500 дней.

"апстрим дрова ixgbe" - это последние с сайта Intel? Модель сетевухи Intel X520-DA2 ?

16 ядер? а говорят лучше иметь один проц и более скоростной.

а мамка какая?

Горячий failover это две активные BGP сесии с одним провайдером (двумя)? Исходящий трафик через одну машину идет?

 

сервер который в продакшене на тесте тащил 600kpps. Может имеет смысл пока только сетевую поменять и дожать до 2Гбит/с.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года?

 

Не знаю - стоковое дистрибное ядро (кривое, медленное, но не падает), конфиги сетевых обычные (RSS) все очереди распределены по всем доступным ядрам. NAT - нету, TC - нету. Тюнинг sysctl - минимальный. Governor: performance.

 

а что значит "конфиги сетевых обычные (RSS)" приведите плиз параметры старта модуля драйвера сетевой

ipt_NETFLOW?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10?

Не знаю, мне netflow не нужен.

i7-4770k. Ядро тупо стоковое. Драйвер igb с сайта intel. Из тюнинга - прерывания прибиты вручную к ядрам, включён RSS на картах. HT отключен в биосе.

 

Тоже никакой магии :). Вообще я вывел для себя золотое правило, как добиться хорошего роутинга в Linux: не мудрить. Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10?

Не знаю, мне netflow не нужен.

i7-4770k. Ядро тупо стоковое. Драйвер igb с сайта intel. Из тюнинга - прерывания прибиты вручную к ядрам, включён RSS на картах. HT отключен в биосе.

 

Тоже никакой магии :). Вообще я вывел для себя золотое правило, как добиться хорошего роутинга в Linux: не мудрить. Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает.

если нет ipt_NETFLOW то наверное крутятся другие фичи и железка используется у Вас видимо не как бордер?

т.е. обычный десктопный i7-4770k, а на какой мамке?

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.