Jump to content
Калькуляторы

Выбор CPU под NAT 10G

Приветствую всех.

Выбираю железо в машину под NAT на скоростях до 10G. Глядя на специализированные железки под NAT (эконат, А10), тяжело их назвать специализированными, т.к. железо используется то же, отличия только в софте, который, уверен, основан также на linux/freebsd. В несколько отдаленных планах есть установка Juniper MX104 + MS-MPC , но вынести NAT на отдельную железку возникла на ближайшее время.

Хотелось бы получить совета, какие CPU выбирать под NAT. Смотреть в сторону большего количества ядер или бОльшей частоты? Выбираю CPU из этого списка. Цены очень кусачие на такие процессоры, планирую поставить 2 штуки E5-26xx.

Помимо NAT на этой машине скорее всего будет BGP.

Share this post


Link to post
Share on other sites

Juniper MX104 + MS-MPC

только не MPC, а MIC наверное

Share this post


Link to post
Share on other sites

Juniper MX104 + MS-MPC

только не MPC, а MIC наверное

Возможно я и ошибся в названии модуля, с Juniper пока дела не имел.

Share this post


Link to post
Share on other sites

Озадачен тем же, также ещё не определился.

Поэтому, извиняюсь, у меня вопрос(ы):

1. какую сетевую карту планируете в железку?

2. на какой платформе всё будет собираться?

 

P.S. "Железный вариант" (Juniper, etc..) не рассматриваю однозначно.

Share this post


Link to post
Share on other sites

AlKov,

1. Проверенный Intel на 82599 - X520-DA2

2. на SuperMicro 1 или 2U, еще не определился с моделью точно.

Share this post


Link to post
Share on other sites

John_obn, за время эксплуатации NAT-тазиков пришёл к выводу что бОльшая частота полезнее кол-ва ядер.

Если хочется ещё и переточенного софта как у джуниперов - смотри в сторону VyOS (http://vyos.net/wiki/Main_Page)

Share this post


Link to post
Share on other sites

Если поможет.

Стоит Supermicro X9DRW два E5-2670 0 @ 2.60GHz, DDR3 1600 MHz, linux 3.4.16

Натит/шейпит 5K юзеров 3ГБит/c в пике

Закрузка всех СPU 30%

Для следующих 5K стоит такой же тазик и так далее.

Share this post


Link to post
Share on other sites

Vyatta не пробовал. Оно прожует до 10G?

Чувствую разродится холивар на тему linux/BSD/vyatta для NAT :)

Есть ли успешные реализации Vyatta , точнее VyOS, на таких скоростях и задачах? Гуглинг немного информации по этой теме предлагает.

За ответ по CPU благодарю, на данный момент также убедился в бОльшей полезности бОльшей частоты, чем бОльшего кол-ва ядер, подтверждается на тазиках с ролью BRAS(NAT+Shaper).

Share this post


Link to post
Share on other sites

Стич, у меня почти похожие значения на данный момент на такие же задачи на одном из тазиков с учетом другого CPU:

E5-1660v2, DDR3 1866, FreeBSD 10.1

около 6500 юзеров, в пике 2,5 Гбит в одну сторону, 1Гбит в обратную.

Судя по графикам - 60% загрузки CPU в пике.

IPFW NAT, shaping - dummynet.

Share this post


Link to post
Share on other sites

Если поможет.

Стоит Supermicro X9DRW два E5-2670 0 @ 2.60GHz, DDR3 1600 MHz, linux 3.4.16

За исключением ядра пользуем аналогичное + x520 карты. Второй проц правда ставить смысла не узрели - затыки по шине памяти у нас раньше начинаются чем упирается один процессор. Самое оптимальное сейчас по цене/производительности. Прокачивает 8+4G среднестатистического трафика (естественная ассиметрия download/upload сказывается).

Share this post


Link to post
Share on other sites

Vyatta не пробовал. Оно прожует до 10G?

А разница в чем? Linux он и есть linux. Если на него кривыми лапками гору патчей не натыкали, как в микротиках.

ИМХО если там не планируется кучи прочего жирного софта - лучше юзать какой-нить роутерный специализированный дистр. Проще в обслуживании, меньше весит, не нужен винт (точка отказа).

Можете LEAF попробовать (мы его у себя юзаем), сравните с вятой, потом решите на чем остановиться.

Share this post


Link to post
Share on other sites

Только уже не vyatta а vyos=) cmhungry очень хвалил сабж в свое время, а он дядька очень адекватный.

Share this post


Link to post
Share on other sites

на данный момент также убедился в бОльшей полезности бОльшей частоты, чем бОльшего кол-ва ядер, подтверждается на тазиках с ролью BRAS(NAT+Shaper).

Это всё так, но на данный момент линукс очень хорошо распараллеливает задачи. Многоядерный проц (частоту наращивать сложнее, чем кол-во ядер) + многоочередная сетевая от интела = профит.

Счас не помню цены и частоты процов, но год назад дешевле вышло взять два 10 ядерных зеона на 2.5, чем один на 3.5 8-ядерный.

Share this post


Link to post
Share on other sites

Если поможет, у нас такая статистика по разным процам:

 

 

cpu: 2 * E5-2670 0 @ 2.60GHz (8-ядерные)

Трафик в пиках: 3.71 / 1.39 gbps (in/out) ; 304 / 402 kpps

cpu в пиках: ~25-27%

 

2 * X5660 @ 2.80GHz ( 6-ядерные )

Трафик в пиках: 5.82 / 1.87 gpbs ; 447 / 601 kpps ( in/out )

cpu в пиках: под 60%

( сейчас старичка разгрузили, под 2 гига гоняет с 10% cpu )

 

2 * E5-2680 v2 @ 2.80GHz (по 10 ядер)

Трафик в пиках: 3.04/1.06 gbps; 240/320 kpps

cpu: ~10-15% в пиках

 

2 * E5-2680 v2 @ 2.80GHz (по 10 ядер)

трафик: 4.4/1.3 gbps ; 900 / 380 kpps ( тут, где 900, навреное, заббикс зарегистрировал какой-то всплеск/ддос, лень копать график и искать :) )

cpu: 15-20%

 

 

На всех - X520-DA2

Задачи - nat, роутинг, немножко Linux ISG (практически не влияет на постоянную загрузку CPU)

 

При возможности x520-da2 создать дохрена очередей, а линуха - отлично параллелить нат, таки гораздо выгоднее получить дополнительно 2-4 ядра, чем 200-400 mhz на ядро

 

------

Надо сказать, что при достижении 50-60% нагрузки на проц, мы стараемся сразу же разгрузить машину, перекинув часть трафика на другую. Есть опасения, что дальше нагрузка может вырасти сильно нелинейно и резко, но мы пока так не вляпывались :)

Share this post


Link to post
Share on other sites

Машина будет заниматься только NAT+BGP. Более того, нужно, чтобы NAT был именно на одной машине, т.к. она будет стоять далеко и место в стойке будет арендовать, поэтому хочется выбрать такой cpu, чтобы его хватило до 8-9G трафика (downlink). Выбираю из E5 v3 family, на Haswell ядре. Если уж собирать новую машину, то на свежем железе. В E5 v3 нет оптимальной модели как у Wingman E5-2680v2, 10 ядер, 2,8 GHz. Смотрю на E5-2640v3 и E5-2660v3 - кол-во ядер по 8, но частота 2.6GHz настораживает.

E5-2643v3 по частоте уже супер, 6 ядер - комси комса.

E5-2667v3 , E5-2687Wv3 - вообще хорошо, но цена немного кусачая.

E5-2690v3 - 12 ядер с частотой 2.6GHz с такой же ценой.

Кстати, как Linux дружит с HyperThreading , или это зло?

 

По сетевым на сайте Intel нашел новую серию X710. Количества очередей по 128 в X520-DA2 думаю должно хватать. В даташите контроллера в X710 про кол-во очередей не нашел, кроме как LQP в количестве 1536 штук, те ли это очереди, непонятно. Одно из основных отличий, это PCIe3.0, а также до 40G интерфейсы. Никто не гонял X710?

Share this post


Link to post
Share on other sites

Кстати, как Linux дружит с HyperThreading , или это зло?

Видимо, зло, т.к. довольно часто встречал мнения, что его необходимо отключать.

Например, вот тут.

 

P.S. И снова вопрос: если не затруднит, подскажите пожалуйста, какие SFP+ Вы используете с X520-DA2?

Мне необходимо "состыковать" её с D-Link DGS-3420.

Share this post


Link to post
Share on other sites

> По сетевым на сайте Intel нашел новую серию X710

Там вроде уже баг какой-то нашли, см. соседнюю тему :)

 

Из процев я бы взял e5-2690v3

 

HyperThreading - зло для обсуждаемых задач

 

P.S. И снова вопрос: если не затруднит, подскажите пожалуйста, какие SFP+ Вы используете с X520-DA2?

Мне необходимо "состыковать" её с D-Link DGS-3420.

В принципе, любые (есть и одномоды, и многомоды, и наговские DA-кабели); пока проблем не было: в драйверах отключается проверка сфп:

 

# modinfo ixgbe
filename:       /lib/modules/3.9.11-gentoo-r1/kernel/drivers/net/ethernet/intel/ixgbe/ixgbe.ko
version:        3.17.3
...
parm:           allow_unsupported_sfp:Allow unsupported and untested SFP+ modules on 82599 based adapters, default 0 = Disable (array of int)

Share this post


Link to post
Share on other sites

Используем DirectAttach кабели. Последний раз ставили DA от Opticin, брали в Вимкоме.

Share this post


Link to post
Share on other sites

Надеюсь в скором времени исправят баг в X710 (неизвестно как проявляющийся). В сети нашел только проблему работы в lagg при объединении x710 и x520 при очень специфичных условиях.

Выглядит карточка очень интересно, особенно ее вариант в 4 портовом исполнении. Если взять 4 портовую карту, то мне удастся сэкономить 1 юнит в стойке.

Share this post


Link to post
Share on other sites

Запрашиваем поставщиков на предмет взять на тест процессоры, сумма то немаленькая. Но пока склоняюсь также к 2690v3 - 12 ядер, базовая частота 2600ГГц, но у них же есть TurboBoost, и у этой модели частота турбобуста 3500ГГц. Т.е. если всегда будет соответствующая нагрузка, то ядра и будут работать на этой частоте. Если я правильно все понимаю.

Wingman, можете показать реальные частоты ядер под нагрузкой? Насколько я понимаю "grep MHz /proc/cpuinfo"

Share this post


Link to post
Share on other sites

Я сейчас в X710 попытался выключить tuple, использовал тазик для шейпинга (два vlan, bridge) - и все, приехали, перестало пропускать траффик с "чужими" маками.

Похоже надо катать багрепорт

Share this post


Link to post
Share on other sites

nuclearcat, под отключением tuple я верно понимаю, что это механизм анализа пакета по его полям в заголовке (src/dst ip и т.п.)? Если да, для каких целей? Если шейпинг, разве linux не нужно знать dst/src ip и прочие данные?

Каким образом отключаете?

Для целей NAT его отключение не нужно, правильно я понимаю?

Share this post


Link to post
Share on other sites

Я сейчас в X710 попытался выключить tuple, использовал тазик для шейпинга (два vlan, bridge) - и все, приехали, перестало пропускать траффик с "чужими" маками.

Похоже надо катать багрепорт

 

слушай скажи плз сколько там прерываний в карте на порт?

Share this post


Link to post
Share on other sites
Но пока склоняюсь также к 2690v3 - 12 ядер, базовая частота 2600ГГц, но у них же есть TurboBoost, и у этой модели частота турбобуста 3500ГГц. Т.е. если всегда будет соответствующая нагрузка, то ядра и будут работать на этой частоте.

Это всё фантазии далёкие от реальности.

У проца есть TDP, в который он обязан вписываться иначе кристалл разрушится. Когда 11 ядер в IDLE спят (или какие там ещё энергосбережения, C-State), то у проца образуется излишек возможностей отвода тепла и он может одно ядро разогнать.

Я даже не уверен что буст будет работать на двух ядрах одновременно, лучше заранее читать документацию на этот счёт.

 

Кроме того, 12 ядер - это числогрызка, типа под вычисления. Хз как там архитектурно устроено взаимодействие и какие пинальти он может получить когда потокам потребуется взаимодействовать. Те может статься что какой нибудь простой проц на 4 ядра его обойдёт за счёт более простой архитектуры.

Share this post


Link to post
Share on other sites

Те может статься что какой нибудь простой проц на 4 ядра его обойдёт за счёт более простой архитектуры.

 

Подскажи, на что может быть способен для целей nat данный старичек, вернее пара старичков: Intel Xeon X5460 Harpertown (3166MHz, LGA771, L2 12288Kb, 1333MHz)

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this