John_obn Posted July 23, 2015 · Report post Приветствую всех. Выбираю железо в машину под NAT на скоростях до 10G. Глядя на специализированные железки под NAT (эконат, А10), тяжело их назвать специализированными, т.к. железо используется то же, отличия только в софте, который, уверен, основан также на linux/freebsd. В несколько отдаленных планах есть установка Juniper MX104 + MS-MPC , но вынести NAT на отдельную железку возникла на ближайшее время. Хотелось бы получить совета, какие CPU выбирать под NAT. Смотреть в сторону большего количества ядер или бОльшей частоты? Выбираю CPU из этого списка. Цены очень кусачие на такие процессоры, планирую поставить 2 штуки E5-26xx. Помимо NAT на этой машине скорее всего будет BGP. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rdntw Posted July 23, 2015 · Report post Juniper MX104 + MS-MPC только не MPC, а MIC наверное Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
John_obn Posted July 23, 2015 · Report post Juniper MX104 + MS-MPC только не MPC, а MIC наверное Возможно я и ошибся в названии модуля, с Juniper пока дела не имел. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
AlKov Posted July 23, 2015 · Report post Озадачен тем же, также ещё не определился. Поэтому, извиняюсь, у меня вопрос(ы): 1. какую сетевую карту планируете в железку? 2. на какой платформе всё будет собираться? P.S. "Железный вариант" (Juniper, etc..) не рассматриваю однозначно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
John_obn Posted July 23, 2015 · Report post AlKov, 1. Проверенный Intel на 82599 - X520-DA2 2. на SuperMicro 1 или 2U, еще не определился с моделью точно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
boombastic Posted July 23, 2015 · Report post John_obn, за время эксплуатации NAT-тазиков пришёл к выводу что бОльшая частота полезнее кол-ва ядер. Если хочется ещё и переточенного софта как у джуниперов - смотри в сторону VyOS (http://vyos.net/wiki/Main_Page) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Стич Posted July 23, 2015 · Report post Если поможет. Стоит Supermicro X9DRW два E5-2670 0 @ 2.60GHz, DDR3 1600 MHz, linux 3.4.16 Натит/шейпит 5K юзеров 3ГБит/c в пике Закрузка всех СPU 30% Для следующих 5K стоит такой же тазик и так далее. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
John_obn Posted July 23, 2015 · Report post Vyatta не пробовал. Оно прожует до 10G? Чувствую разродится холивар на тему linux/BSD/vyatta для NAT :) Есть ли успешные реализации Vyatta , точнее VyOS, на таких скоростях и задачах? Гуглинг немного информации по этой теме предлагает. За ответ по CPU благодарю, на данный момент также убедился в бОльшей полезности бОльшей частоты, чем бОльшего кол-ва ядер, подтверждается на тазиках с ролью BRAS(NAT+Shaper). Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
John_obn Posted July 23, 2015 · Report post Стич, у меня почти похожие значения на данный момент на такие же задачи на одном из тазиков с учетом другого CPU: E5-1660v2, DDR3 1866, FreeBSD 10.1 около 6500 юзеров, в пике 2,5 Гбит в одну сторону, 1Гбит в обратную. Судя по графикам - 60% загрузки CPU в пике. IPFW NAT, shaping - dummynet. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sexst Posted July 23, 2015 · Report post Если поможет. Стоит Supermicro X9DRW два E5-2670 0 @ 2.60GHz, DDR3 1600 MHz, linux 3.4.16 За исключением ядра пользуем аналогичное + x520 карты. Второй проц правда ставить смысла не узрели - затыки по шине памяти у нас раньше начинаются чем упирается один процессор. Самое оптимальное сейчас по цене/производительности. Прокачивает 8+4G среднестатистического трафика (естественная ассиметрия download/upload сказывается). Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted July 23, 2015 · Report post Vyatta не пробовал. Оно прожует до 10G? А разница в чем? Linux он и есть linux. Если на него кривыми лапками гору патчей не натыкали, как в микротиках. ИМХО если там не планируется кучи прочего жирного софта - лучше юзать какой-нить роутерный специализированный дистр. Проще в обслуживании, меньше весит, не нужен винт (точка отказа). Можете LEAF попробовать (мы его у себя юзаем), сравните с вятой, потом решите на чем остановиться. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sexst Posted July 23, 2015 · Report post Только уже не vyatta а vyos=) cmhungry очень хвалил сабж в свое время, а он дядька очень адекватный. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
BETEPAH Posted July 23, 2015 · Report post на данный момент также убедился в бОльшей полезности бОльшей частоты, чем бОльшего кол-ва ядер, подтверждается на тазиках с ролью BRAS(NAT+Shaper). Это всё так, но на данный момент линукс очень хорошо распараллеливает задачи. Многоядерный проц (частоту наращивать сложнее, чем кол-во ядер) + многоочередная сетевая от интела = профит. Счас не помню цены и частоты процов, но год назад дешевле вышло взять два 10 ядерных зеона на 2.5, чем один на 3.5 8-ядерный. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Wingman Posted July 23, 2015 · Report post Если поможет, у нас такая статистика по разным процам: cpu: 2 * E5-2670 0 @ 2.60GHz (8-ядерные) Трафик в пиках: 3.71 / 1.39 gbps (in/out) ; 304 / 402 kpps cpu в пиках: ~25-27% 2 * X5660 @ 2.80GHz ( 6-ядерные ) Трафик в пиках: 5.82 / 1.87 gpbs ; 447 / 601 kpps ( in/out ) cpu в пиках: под 60% ( сейчас старичка разгрузили, под 2 гига гоняет с 10% cpu ) 2 * E5-2680 v2 @ 2.80GHz (по 10 ядер) Трафик в пиках: 3.04/1.06 gbps; 240/320 kpps cpu: ~10-15% в пиках 2 * E5-2680 v2 @ 2.80GHz (по 10 ядер) трафик: 4.4/1.3 gbps ; 900 / 380 kpps ( тут, где 900, навреное, заббикс зарегистрировал какой-то всплеск/ддос, лень копать график и искать :) ) cpu: 15-20% На всех - X520-DA2 Задачи - nat, роутинг, немножко Linux ISG (практически не влияет на постоянную загрузку CPU) При возможности x520-da2 создать дохрена очередей, а линуха - отлично параллелить нат, таки гораздо выгоднее получить дополнительно 2-4 ядра, чем 200-400 mhz на ядро ------ Надо сказать, что при достижении 50-60% нагрузки на проц, мы стараемся сразу же разгрузить машину, перекинув часть трафика на другую. Есть опасения, что дальше нагрузка может вырасти сильно нелинейно и резко, но мы пока так не вляпывались :) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
John_obn Posted July 24, 2015 · Report post Машина будет заниматься только NAT+BGP. Более того, нужно, чтобы NAT был именно на одной машине, т.к. она будет стоять далеко и место в стойке будет арендовать, поэтому хочется выбрать такой cpu, чтобы его хватило до 8-9G трафика (downlink). Выбираю из E5 v3 family, на Haswell ядре. Если уж собирать новую машину, то на свежем железе. В E5 v3 нет оптимальной модели как у Wingman E5-2680v2, 10 ядер, 2,8 GHz. Смотрю на E5-2640v3 и E5-2660v3 - кол-во ядер по 8, но частота 2.6GHz настораживает. E5-2643v3 по частоте уже супер, 6 ядер - комси комса. E5-2667v3 , E5-2687Wv3 - вообще хорошо, но цена немного кусачая. E5-2690v3 - 12 ядер с частотой 2.6GHz с такой же ценой. Кстати, как Linux дружит с HyperThreading , или это зло? По сетевым на сайте Intel нашел новую серию X710. Количества очередей по 128 в X520-DA2 думаю должно хватать. В даташите контроллера в X710 про кол-во очередей не нашел, кроме как LQP в количестве 1536 штук, те ли это очереди, непонятно. Одно из основных отличий, это PCIe3.0, а также до 40G интерфейсы. Никто не гонял X710? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
AlKov Posted July 24, 2015 · Report post Кстати, как Linux дружит с HyperThreading , или это зло? Видимо, зло, т.к. довольно часто встречал мнения, что его необходимо отключать. Например, вот тут. P.S. И снова вопрос: если не затруднит, подскажите пожалуйста, какие SFP+ Вы используете с X520-DA2? Мне необходимо "состыковать" её с D-Link DGS-3420. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Wingman Posted July 24, 2015 · Report post > По сетевым на сайте Intel нашел новую серию X710 Там вроде уже баг какой-то нашли, см. соседнюю тему :) Из процев я бы взял e5-2690v3 HyperThreading - зло для обсуждаемых задач P.S. И снова вопрос: если не затруднит, подскажите пожалуйста, какие SFP+ Вы используете с X520-DA2? Мне необходимо "состыковать" её с D-Link DGS-3420. В принципе, любые (есть и одномоды, и многомоды, и наговские DA-кабели); пока проблем не было: в драйверах отключается проверка сфп: # modinfo ixgbe filename: /lib/modules/3.9.11-gentoo-r1/kernel/drivers/net/ethernet/intel/ixgbe/ixgbe.ko version: 3.17.3 ... parm: allow_unsupported_sfp:Allow unsupported and untested SFP+ modules on 82599 based adapters, default 0 = Disable (array of int) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
John_obn Posted July 24, 2015 · Report post Используем DirectAttach кабели. Последний раз ставили DA от Opticin, брали в Вимкоме. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
John_obn Posted July 24, 2015 · Report post Надеюсь в скором времени исправят баг в X710 (неизвестно как проявляющийся). В сети нашел только проблему работы в lagg при объединении x710 и x520 при очень специфичных условиях. Выглядит карточка очень интересно, особенно ее вариант в 4 портовом исполнении. Если взять 4 портовую карту, то мне удастся сэкономить 1 юнит в стойке. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
John_obn Posted July 27, 2015 · Report post Запрашиваем поставщиков на предмет взять на тест процессоры, сумма то немаленькая. Но пока склоняюсь также к 2690v3 - 12 ядер, базовая частота 2600ГГц, но у них же есть TurboBoost, и у этой модели частота турбобуста 3500ГГц. Т.е. если всегда будет соответствующая нагрузка, то ядра и будут работать на этой частоте. Если я правильно все понимаю. Wingman, можете показать реальные частоты ядер под нагрузкой? Насколько я понимаю "grep MHz /proc/cpuinfo" Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted July 27, 2015 · Report post Я сейчас в X710 попытался выключить tuple, использовал тазик для шейпинга (два vlan, bridge) - и все, приехали, перестало пропускать траффик с "чужими" маками. Похоже надо катать багрепорт Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
John_obn Posted July 27, 2015 · Report post nuclearcat, под отключением tuple я верно понимаю, что это механизм анализа пакета по его полям в заголовке (src/dst ip и т.п.)? Если да, для каких целей? Если шейпинг, разве linux не нужно знать dst/src ip и прочие данные? Каким образом отключаете? Для целей NAT его отключение не нужно, правильно я понимаю? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alks Posted July 27, 2015 · Report post Я сейчас в X710 попытался выключить tuple, использовал тазик для шейпинга (два vlan, bridge) - и все, приехали, перестало пропускать траффик с "чужими" маками. Похоже надо катать багрепорт слушай скажи плз сколько там прерываний в карте на порт? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ivan_83 Posted July 27, 2015 · Report post Но пока склоняюсь также к 2690v3 - 12 ядер, базовая частота 2600ГГц, но у них же есть TurboBoost, и у этой модели частота турбобуста 3500ГГц. Т.е. если всегда будет соответствующая нагрузка, то ядра и будут работать на этой частоте. Это всё фантазии далёкие от реальности. У проца есть TDP, в который он обязан вписываться иначе кристалл разрушится. Когда 11 ядер в IDLE спят (или какие там ещё энергосбережения, C-State), то у проца образуется излишек возможностей отвода тепла и он может одно ядро разогнать. Я даже не уверен что буст будет работать на двух ядрах одновременно, лучше заранее читать документацию на этот счёт. Кроме того, 12 ядер - это числогрызка, типа под вычисления. Хз как там архитектурно устроено взаимодействие и какие пинальти он может получить когда потокам потребуется взаимодействовать. Те может статься что какой нибудь простой проц на 4 ядра его обойдёт за счёт более простой архитектуры. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
SyJet Posted July 27, 2015 · Report post Те может статься что какой нибудь простой проц на 4 ядра его обойдёт за счёт более простой архитектуры. Подскажи, на что может быть способен для целей nat данный старичек, вернее пара старичков: Intel Xeon X5460 Harpertown (3166MHz, LGA771, L2 12288Kb, 1333MHz) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...