Перейти к содержимому
Калькуляторы

Приветствую всех.

Выбираю железо в машину под NAT на скоростях до 10G. Глядя на специализированные железки под NAT (эконат, А10), тяжело их назвать специализированными, т.к. железо используется то же, отличия только в софте, который, уверен, основан также на linux/freebsd. В несколько отдаленных планах есть установка Juniper MX104 + MS-MPC , но вынести NAT на отдельную железку возникла на ближайшее время.

Хотелось бы получить совета, какие CPU выбирать под NAT. Смотреть в сторону большего количества ядер или бОльшей частоты? Выбираю CPU из этого списка. Цены очень кусачие на такие процессоры, планирую поставить 2 штуки E5-26xx.

Помимо NAT на этой машине скорее всего будет BGP.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Juniper MX104 + MS-MPC

только не MPC, а MIC наверное

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Juniper MX104 + MS-MPC

только не MPC, а MIC наверное

Возможно я и ошибся в названии модуля, с Juniper пока дела не имел.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Озадачен тем же, также ещё не определился.

Поэтому, извиняюсь, у меня вопрос(ы):

1. какую сетевую карту планируете в железку?

2. на какой платформе всё будет собираться?

 

P.S. "Железный вариант" (Juniper, etc..) не рассматриваю однозначно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

AlKov,

1. Проверенный Intel на 82599 - X520-DA2

2. на SuperMicro 1 или 2U, еще не определился с моделью точно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

John_obn, за время эксплуатации NAT-тазиков пришёл к выводу что бОльшая частота полезнее кол-ва ядер.

Если хочется ещё и переточенного софта как у джуниперов - смотри в сторону VyOS (http://vyos.net/wiki/Main_Page)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если поможет.

Стоит Supermicro X9DRW два E5-2670 0 @ 2.60GHz, DDR3 1600 MHz, linux 3.4.16

Натит/шейпит 5K юзеров 3ГБит/c в пике

Закрузка всех СPU 30%

Для следующих 5K стоит такой же тазик и так далее.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Vyatta не пробовал. Оно прожует до 10G?

Чувствую разродится холивар на тему linux/BSD/vyatta для NAT :)

Есть ли успешные реализации Vyatta , точнее VyOS, на таких скоростях и задачах? Гуглинг немного информации по этой теме предлагает.

За ответ по CPU благодарю, на данный момент также убедился в бОльшей полезности бОльшей частоты, чем бОльшего кол-ва ядер, подтверждается на тазиках с ролью BRAS(NAT+Shaper).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Стич, у меня почти похожие значения на данный момент на такие же задачи на одном из тазиков с учетом другого CPU:

E5-1660v2, DDR3 1866, FreeBSD 10.1

около 6500 юзеров, в пике 2,5 Гбит в одну сторону, 1Гбит в обратную.

Судя по графикам - 60% загрузки CPU в пике.

IPFW NAT, shaping - dummynet.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если поможет.

Стоит Supermicro X9DRW два E5-2670 0 @ 2.60GHz, DDR3 1600 MHz, linux 3.4.16

За исключением ядра пользуем аналогичное + x520 карты. Второй проц правда ставить смысла не узрели - затыки по шине памяти у нас раньше начинаются чем упирается один процессор. Самое оптимальное сейчас по цене/производительности. Прокачивает 8+4G среднестатистического трафика (естественная ассиметрия download/upload сказывается).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Vyatta не пробовал. Оно прожует до 10G?

А разница в чем? Linux он и есть linux. Если на него кривыми лапками гору патчей не натыкали, как в микротиках.

ИМХО если там не планируется кучи прочего жирного софта - лучше юзать какой-нить роутерный специализированный дистр. Проще в обслуживании, меньше весит, не нужен винт (точка отказа).

Можете LEAF попробовать (мы его у себя юзаем), сравните с вятой, потом решите на чем остановиться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Только уже не vyatta а vyos=) cmhungry очень хвалил сабж в свое время, а он дядька очень адекватный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

на данный момент также убедился в бОльшей полезности бОльшей частоты, чем бОльшего кол-ва ядер, подтверждается на тазиках с ролью BRAS(NAT+Shaper).

Это всё так, но на данный момент линукс очень хорошо распараллеливает задачи. Многоядерный проц (частоту наращивать сложнее, чем кол-во ядер) + многоочередная сетевая от интела = профит.

Счас не помню цены и частоты процов, но год назад дешевле вышло взять два 10 ядерных зеона на 2.5, чем один на 3.5 8-ядерный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если поможет, у нас такая статистика по разным процам:

 

 

cpu: 2 * E5-2670 0 @ 2.60GHz (8-ядерные)

Трафик в пиках: 3.71 / 1.39 gbps (in/out) ; 304 / 402 kpps

cpu в пиках: ~25-27%

 

2 * X5660 @ 2.80GHz ( 6-ядерные )

Трафик в пиках: 5.82 / 1.87 gpbs ; 447 / 601 kpps ( in/out )

cpu в пиках: под 60%

( сейчас старичка разгрузили, под 2 гига гоняет с 10% cpu )

 

2 * E5-2680 v2 @ 2.80GHz (по 10 ядер)

Трафик в пиках: 3.04/1.06 gbps; 240/320 kpps

cpu: ~10-15% в пиках

 

2 * E5-2680 v2 @ 2.80GHz (по 10 ядер)

трафик: 4.4/1.3 gbps ; 900 / 380 kpps ( тут, где 900, навреное, заббикс зарегистрировал какой-то всплеск/ддос, лень копать график и искать :) )

cpu: 15-20%

 

 

На всех - X520-DA2

Задачи - nat, роутинг, немножко Linux ISG (практически не влияет на постоянную загрузку CPU)

 

При возможности x520-da2 создать дохрена очередей, а линуха - отлично параллелить нат, таки гораздо выгоднее получить дополнительно 2-4 ядра, чем 200-400 mhz на ядро

 

------

Надо сказать, что при достижении 50-60% нагрузки на проц, мы стараемся сразу же разгрузить машину, перекинув часть трафика на другую. Есть опасения, что дальше нагрузка может вырасти сильно нелинейно и резко, но мы пока так не вляпывались :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Машина будет заниматься только NAT+BGP. Более того, нужно, чтобы NAT был именно на одной машине, т.к. она будет стоять далеко и место в стойке будет арендовать, поэтому хочется выбрать такой cpu, чтобы его хватило до 8-9G трафика (downlink). Выбираю из E5 v3 family, на Haswell ядре. Если уж собирать новую машину, то на свежем железе. В E5 v3 нет оптимальной модели как у Wingman E5-2680v2, 10 ядер, 2,8 GHz. Смотрю на E5-2640v3 и E5-2660v3 - кол-во ядер по 8, но частота 2.6GHz настораживает.

E5-2643v3 по частоте уже супер, 6 ядер - комси комса.

E5-2667v3 , E5-2687Wv3 - вообще хорошо, но цена немного кусачая.

E5-2690v3 - 12 ядер с частотой 2.6GHz с такой же ценой.

Кстати, как Linux дружит с HyperThreading , или это зло?

 

По сетевым на сайте Intel нашел новую серию X710. Количества очередей по 128 в X520-DA2 думаю должно хватать. В даташите контроллера в X710 про кол-во очередей не нашел, кроме как LQP в количестве 1536 штук, те ли это очереди, непонятно. Одно из основных отличий, это PCIe3.0, а также до 40G интерфейсы. Никто не гонял X710?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Кстати, как Linux дружит с HyperThreading , или это зло?

Видимо, зло, т.к. довольно часто встречал мнения, что его необходимо отключать.

Например, вот тут.

 

P.S. И снова вопрос: если не затруднит, подскажите пожалуйста, какие SFP+ Вы используете с X520-DA2?

Мне необходимо "состыковать" её с D-Link DGS-3420.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

> По сетевым на сайте Intel нашел новую серию X710

Там вроде уже баг какой-то нашли, см. соседнюю тему :)

 

Из процев я бы взял e5-2690v3

 

HyperThreading - зло для обсуждаемых задач

 

P.S. И снова вопрос: если не затруднит, подскажите пожалуйста, какие SFP+ Вы используете с X520-DA2?

Мне необходимо "состыковать" её с D-Link DGS-3420.

В принципе, любые (есть и одномоды, и многомоды, и наговские DA-кабели); пока проблем не было: в драйверах отключается проверка сфп:

 

# modinfo ixgbe
filename:       /lib/modules/3.9.11-gentoo-r1/kernel/drivers/net/ethernet/intel/ixgbe/ixgbe.ko
version:        3.17.3
...
parm:           allow_unsupported_sfp:Allow unsupported and untested SFP+ modules on 82599 based adapters, default 0 = Disable (array of int)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Используем DirectAttach кабели. Последний раз ставили DA от Opticin, брали в Вимкоме.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Надеюсь в скором времени исправят баг в X710 (неизвестно как проявляющийся). В сети нашел только проблему работы в lagg при объединении x710 и x520 при очень специфичных условиях.

Выглядит карточка очень интересно, особенно ее вариант в 4 портовом исполнении. Если взять 4 портовую карту, то мне удастся сэкономить 1 юнит в стойке.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Запрашиваем поставщиков на предмет взять на тест процессоры, сумма то немаленькая. Но пока склоняюсь также к 2690v3 - 12 ядер, базовая частота 2600ГГц, но у них же есть TurboBoost, и у этой модели частота турбобуста 3500ГГц. Т.е. если всегда будет соответствующая нагрузка, то ядра и будут работать на этой частоте. Если я правильно все понимаю.

Wingman, можете показать реальные частоты ядер под нагрузкой? Насколько я понимаю "grep MHz /proc/cpuinfo"

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я сейчас в X710 попытался выключить tuple, использовал тазик для шейпинга (два vlan, bridge) - и все, приехали, перестало пропускать траффик с "чужими" маками.

Похоже надо катать багрепорт

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

nuclearcat, под отключением tuple я верно понимаю, что это механизм анализа пакета по его полям в заголовке (src/dst ip и т.п.)? Если да, для каких целей? Если шейпинг, разве linux не нужно знать dst/src ip и прочие данные?

Каким образом отключаете?

Для целей NAT его отключение не нужно, правильно я понимаю?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я сейчас в X710 попытался выключить tuple, использовал тазик для шейпинга (два vlan, bridge) - и все, приехали, перестало пропускать траффик с "чужими" маками.

Похоже надо катать багрепорт

 

слушай скажи плз сколько там прерываний в карте на порт?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Но пока склоняюсь также к 2690v3 - 12 ядер, базовая частота 2600ГГц, но у них же есть TurboBoost, и у этой модели частота турбобуста 3500ГГц. Т.е. если всегда будет соответствующая нагрузка, то ядра и будут работать на этой частоте.

Это всё фантазии далёкие от реальности.

У проца есть TDP, в который он обязан вписываться иначе кристалл разрушится. Когда 11 ядер в IDLE спят (или какие там ещё энергосбережения, C-State), то у проца образуется излишек возможностей отвода тепла и он может одно ядро разогнать.

Я даже не уверен что буст будет работать на двух ядрах одновременно, лучше заранее читать документацию на этот счёт.

 

Кроме того, 12 ядер - это числогрызка, типа под вычисления. Хз как там архитектурно устроено взаимодействие и какие пинальти он может получить когда потокам потребуется взаимодействовать. Те может статься что какой нибудь простой проц на 4 ядра его обойдёт за счёт более простой архитектуры.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Те может статься что какой нибудь простой проц на 4 ядра его обойдёт за счёт более простой архитектуры.

 

Подскажи, на что может быть способен для целей nat данный старичек, вернее пара старичков: Intel Xeon X5460 Harpertown (3166MHz, LGA771, L2 12288Kb, 1333MHz)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.