[John_obn]

Приветствую всех.

Выбираю железо в машину под NAT на скоростях до 10G. Глядя на специализированные железки под NAT (эконат, А10), тяжело их назвать специализированными, т.к. железо используется то же, отличия только в софте, который, уверен, основан также на linux/freebsd. В несколько отдаленных планах есть установка Juniper MX104 + MS-MPC , но вынести NAT на отдельную железку возникла на ближайшее время.

Хотелось бы получить совета, какие CPU выбирать под NAT. Смотреть в сторону большего количества ядер или бОльшей частоты? Выбираю CPU из этого списка. Цены очень кусачие на такие процессоры, планирую поставить 2 штуки E5-26xx.

Помимо NAT на этой машине скорее всего будет BGP.

[rdntw]

Juniper MX104 + MS-MPC

только не MPC, а MIC наверное

[John_obn]

Juniper MX104 + MS-MPC

только не MPC, а MIC наверное

Возможно я и ошибся в названии модуля, с Juniper пока дела не имел.

[AlKov]

Озадачен тем же, также ещё не определился.

Поэтому, извиняюсь, у меня вопрос(ы):

1. какую сетевую карту планируете в железку?

2. на какой платформе всё будет собираться?

 

P.S. "Железный вариант" (Juniper, etc..) не рассматриваю однозначно.

[John_obn]

AlKov,

1. Проверенный Intel на 82599 - X520-DA2

2. на SuperMicro 1 или 2U, еще не определился с моделью точно.

[boombastic]

John_obn, за время эксплуатации NAT-тазиков пришёл к выводу что бОльшая частота полезнее кол-ва ядер.

Если хочется ещё и переточенного софта как у джуниперов - смотри в сторону VyOS (http://vyos.net/wiki/Main_Page)

[Стич]

Если поможет.

Стоит Supermicro X9DRW два E5-2670 0 @ 2.60GHz, DDR3 1600 MHz, linux 3.4.16

Натит/шейпит 5K юзеров 3ГБит/c в пике

Закрузка всех СPU 30%

Для следующих 5K стоит такой же тазик и так далее.

[John_obn]

Vyatta не пробовал. Оно прожует до 10G?

Чувствую разродится холивар на тему linux/BSD/vyatta для NAT :)

Есть ли успешные реализации Vyatta , точнее VyOS, на таких скоростях и задачах? Гуглинг немного информации по этой теме предлагает.

За ответ по CPU благодарю, на данный момент также убедился в бОльшей полезности бОльшей частоты, чем бОльшего кол-ва ядер, подтверждается на тазиках с ролью BRAS(NAT+Shaper).

[John_obn]

Стич, у меня почти похожие значения на данный момент на такие же задачи на одном из тазиков с учетом другого CPU:

E5-1660v2, DDR3 1866, FreeBSD 10.1

около 6500 юзеров, в пике 2,5 Гбит в одну сторону, 1Гбит в обратную.

Судя по графикам - 60% загрузки CPU в пике.

IPFW NAT, shaping - dummynet.

[sexst]

Если поможет.

Стоит Supermicro X9DRW два E5-2670 0 @ 2.60GHz, DDR3 1600 MHz, linux 3.4.16

За исключением ядра пользуем аналогичное + x520 карты. Второй проц правда ставить смысла не узрели - затыки по шине памяти у нас раньше начинаются чем упирается один процессор. Самое оптимальное сейчас по цене/производительности. Прокачивает 8+4G среднестатистического трафика (естественная ассиметрия download/upload сказывается).

[NiTr0]

Vyatta не пробовал. Оно прожует до 10G?

А разница в чем? Linux он и есть linux. Если на него кривыми лапками гору патчей не натыкали, как в микротиках.

ИМХО если там не планируется кучи прочего жирного софта - лучше юзать какой-нить роутерный специализированный дистр. Проще в обслуживании, меньше весит, не нужен винт (точка отказа).

Можете LEAF попробовать (мы его у себя юзаем), сравните с вятой, потом решите на чем остановиться.

[sexst]

Только уже не vyatta а vyos=) cmhungry очень хвалил сабж в свое время, а он дядька очень адекватный.

[BETEPAH]

на данный момент также убедился в бОльшей полезности бОльшей частоты, чем бОльшего кол-ва ядер, подтверждается на тазиках с ролью BRAS(NAT+Shaper).

Это всё так, но на данный момент линукс очень хорошо распараллеливает задачи. Многоядерный проц (частоту наращивать сложнее, чем кол-во ядер) + многоочередная сетевая от интела = профит.

Счас не помню цены и частоты процов, но год назад дешевле вышло взять два 10 ядерных зеона на 2.5, чем один на 3.5 8-ядерный.

[Wingman]

Если поможет, у нас такая статистика по разным процам:

 

 

cpu: 2 * E5-2670 0 @ 2.60GHz (8-ядерные)

Трафик в пиках: 3.71 / 1.39 gbps (in/out) ; 304 / 402 kpps

cpu в пиках: ~25-27%

 

2 * X5660 @ 2.80GHz ( 6-ядерные )

Трафик в пиках: 5.82 / 1.87 gpbs ; 447 / 601 kpps ( in/out )

cpu в пиках: под 60%

( сейчас старичка разгрузили, под 2 гига гоняет с 10% cpu )

 

2 * E5-2680 v2 @ 2.80GHz (по 10 ядер)

Трафик в пиках: 3.04/1.06 gbps; 240/320 kpps

cpu: ~10-15% в пиках

 

2 * E5-2680 v2 @ 2.80GHz (по 10 ядер)

трафик: 4.4/1.3 gbps ; 900 / 380 kpps ( тут, где 900, навреное, заббикс зарегистрировал какой-то всплеск/ддос, лень копать график и искать :) )

cpu: 15-20%

 

 

На всех - X520-DA2

Задачи - nat, роутинг, немножко Linux ISG (практически не влияет на постоянную загрузку CPU)

 

При возможности x520-da2 создать дохрена очередей, а линуха - отлично параллелить нат, таки гораздо выгоднее получить дополнительно 2-4 ядра, чем 200-400 mhz на ядро

 

------

Надо сказать, что при достижении 50-60% нагрузки на проц, мы стараемся сразу же разгрузить машину, перекинув часть трафика на другую. Есть опасения, что дальше нагрузка может вырасти сильно нелинейно и резко, но мы пока так не вляпывались :)

[John_obn]

Машина будет заниматься только NAT+BGP. Более того, нужно, чтобы NAT был именно на одной машине, т.к. она будет стоять далеко и место в стойке будет арендовать, поэтому хочется выбрать такой cpu, чтобы его хватило до 8-9G трафика (downlink). Выбираю из E5 v3 family, на Haswell ядре. Если уж собирать новую машину, то на свежем железе. В E5 v3 нет оптимальной модели как у Wingman E5-2680v2, 10 ядер, 2,8 GHz. Смотрю на E5-2640v3 и E5-2660v3 - кол-во ядер по 8, но частота 2.6GHz настораживает.

E5-2643v3 по частоте уже супер, 6 ядер - комси комса.

E5-2667v3 , E5-2687Wv3 - вообще хорошо, но цена немного кусачая.

E5-2690v3 - 12 ядер с частотой 2.6GHz с такой же ценой.

Кстати, как Linux дружит с HyperThreading , или это зло?

 

По сетевым на сайте Intel нашел новую серию X710. Количества очередей по 128 в X520-DA2 думаю должно хватать. В даташите контроллера в X710 про кол-во очередей не нашел, кроме как LQP в количестве 1536 штук, те ли это очереди, непонятно. Одно из основных отличий, это PCIe3.0, а также до 40G интерфейсы. Никто не гонял X710?

[AlKov]

Кстати, как Linux дружит с HyperThreading , или это зло?

Видимо, зло, т.к. довольно часто встречал мнения, что его необходимо отключать.

Например, вот тут.

 

P.S. И снова вопрос: если не затруднит, подскажите пожалуйста, какие SFP+ Вы используете с X520-DA2?

Мне необходимо "состыковать" её с D-Link DGS-3420.

[Wingman]

> По сетевым на сайте Intel нашел новую серию X710

Там вроде уже баг какой-то нашли, см. соседнюю тему :)

 

Из процев я бы взял e5-2690v3

 

HyperThreading - зло для обсуждаемых задач

 

P.S. И снова вопрос: если не затруднит, подскажите пожалуйста, какие SFP+ Вы используете с X520-DA2?

Мне необходимо "состыковать" её с D-Link DGS-3420.

В принципе, любые (есть и одномоды, и многомоды, и наговские DA-кабели); пока проблем не было: в драйверах отключается проверка сфп:

 

# modinfo ixgbe
filename:       /lib/modules/3.9.11-gentoo-r1/kernel/drivers/net/ethernet/intel/ixgbe/ixgbe.ko
version:        3.17.3
...
parm:           allow_unsupported_sfp:Allow unsupported and untested SFP+ modules on 82599 based adapters, default 0 = Disable (array of int)

[John_obn]

Используем DirectAttach кабели. Последний раз ставили DA от Opticin, брали в Вимкоме.

[John_obn]

Надеюсь в скором времени исправят баг в X710 (неизвестно как проявляющийся). В сети нашел только проблему работы в lagg при объединении x710 и x520 при очень специфичных условиях.

Выглядит карточка очень интересно, особенно ее вариант в 4 портовом исполнении. Если взять 4 портовую карту, то мне удастся сэкономить 1 юнит в стойке.

[John_obn]

Запрашиваем поставщиков на предмет взять на тест процессоры, сумма то немаленькая. Но пока склоняюсь также к 2690v3 - 12 ядер, базовая частота 2600ГГц, но у них же есть TurboBoost, и у этой модели частота турбобуста 3500ГГц. Т.е. если всегда будет соответствующая нагрузка, то ядра и будут работать на этой частоте. Если я правильно все понимаю.

Wingman, можете показать реальные частоты ядер под нагрузкой? Насколько я понимаю "grep MHz /proc/cpuinfo"

[nuclearcat]

Я сейчас в X710 попытался выключить tuple, использовал тазик для шейпинга (два vlan, bridge) - и все, приехали, перестало пропускать траффик с "чужими" маками.

Похоже надо катать багрепорт

[John_obn]

nuclearcat, под отключением tuple я верно понимаю, что это механизм анализа пакета по его полям в заголовке (src/dst ip и т.п.)? Если да, для каких целей? Если шейпинг, разве linux не нужно знать dst/src ip и прочие данные?

Каким образом отключаете?

Для целей NAT его отключение не нужно, правильно я понимаю?

[alks]

Я сейчас в X710 попытался выключить tuple, использовал тазик для шейпинга (два vlan, bridge) - и все, приехали, перестало пропускать траффик с "чужими" маками.

Похоже надо катать багрепорт

 

слушай скажи плз сколько там прерываний в карте на порт?

[Ivan_83]

Но пока склоняюсь также к 2690v3 - 12 ядер, базовая частота 2600ГГц, но у них же есть TurboBoost, и у этой модели частота турбобуста 3500ГГц. Т.е. если всегда будет соответствующая нагрузка, то ядра и будут работать на этой частоте.

Это всё фантазии далёкие от реальности.

У проца есть TDP, в который он обязан вписываться иначе кристалл разрушится. Когда 11 ядер в IDLE спят (или какие там ещё энергосбережения, C-State), то у проца образуется излишек возможностей отвода тепла и он может одно ядро разогнать.

Я даже не уверен что буст будет работать на двух ядрах одновременно, лучше заранее читать документацию на этот счёт.

 

Кроме того, 12 ядер - это числогрызка, типа под вычисления. Хз как там архитектурно устроено взаимодействие и какие пинальти он может получить когда потокам потребуется взаимодействовать. Те может статься что какой нибудь простой проц на 4 ядра его обойдёт за счёт более простой архитектуры.

[SyJet]

Те может статься что какой нибудь простой проц на 4 ядра его обойдёт за счёт более простой архитектуры.

 

Подскажи, на что может быть способен для целей nat данный старичек, вернее пара старичков: Intel Xeon X5460 Harpertown (3166MHz, LGA771, L2 12288Kb, 1333MHz)