mrsaygo Posted October 29, 2014 Posted October 29, 2014 На данный момент имеется: S5000PSL 2хIntel®Xeon®CPU E5405@2.00GHz 2 портовая Intel Corporation I350 Gigabit Network Connection 4Gb RAM OS Debian 7 Крутится quagga (~10000 префиксов) роутинг + NAT(пока 20% от общего числа) + shaper В пиках - 700 Мбит. В планах поменять сетевую на 2-х портовую Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Разрулить все то же на 1-м порту (есть только 1 10G канал до удаленного свича ядра). Хватит ли мощности для прогона 1.5-2 Гбита, с учетом того, что NAT будет около 70% (возможно отключение шейпера)? И суицидальная идея - справится ли резервный тазик с этой же 10G сетевой и следующей конфигурацией: Product Name: P8H61-M PRO 1хIntel® Core i5-3470 CPU @ 3.20GHz 4Gb RAM (памяти можем увеличить, в принципе уже нужно) На данный момент по ядрам картина следующая: top - 12:28:43 up 163 days, 8:54, 3 users, load average: 0,05, 0,11, 0,21 Tasks: 130 total, 1 running, 129 sleeping, 0 stopped, 0 zombie %Cpu0 : 0,0 us, 0,3 sy, 0,0 ni, 96,6 id, 0,3 wa, 0,0 hi, 2,8 si, 0,0 st %Cpu1 : 0,0 us, 0,0 sy, 0,0 ni, 97,2 id, 0,3 wa, 0,0 hi, 2,4 si, 0,0 st %Cpu2 : 0,0 us, 0,0 sy, 0,0 ni, 96,5 id, 1,0 wa, 0,0 hi, 2,4 si, 0,0 st %Cpu3 : 0,0 us, 0,0 sy, 0,0 ni, 96,2 id, 1,0 wa, 0,0 hi, 2,7 si, 0,0 st %Cpu4 : 0,0 us, 0,3 sy, 0,0 ni, 98,3 id, 0,0 wa, 0,0 hi, 1,4 si, 0,0 st %Cpu5 : 0,0 us, 0,0 sy, 0,0 ni, 97,6 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st %Cpu6 : 0,0 us, 0,0 sy, 0,0 ni, 97,6 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st %Cpu7 : 0,0 us, 0,3 sy, 0,0 ni, 97,2 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st KiB Mem: 4055084 total, 3015036 used, 1040048 free, 197156 buffers KiB Swap: 1951740 total, 0 used, 1951740 free, 1863576 cached Загрузка - 25% от пиковой. Вставить ник Quote
NiTr0 Posted October 29, 2014 Posted October 29, 2014 i5 ИМХО будет в несколько раз производительнее этого зиона в роутинге/нате... Хотя зион с гигом-другим и натом думаю вполне справится. Вставить ник Quote
SiXeD Posted October 29, 2014 Posted October 29, 2014 Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz Intel Corporation 82599EB 10-Gigabit SFI/SFP+ bgp 2 uplinka трафик больше 2G shaper 16000 классов HTB u32 ipcad Сбор всей статы буду ещё вешать SNAT DNAT + ipset на 5к правил CPU | sys 1% | user 2% | irq 165% | idle 1028% | wait 9% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 15% | idle 85% | cpu005 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 16% | idle 84% | cpu006 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 15% | idle 85% | cpu007 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 1% | user 1% | irq 14% | idle 85% | cpu011 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 14% | idle 78% | cpu001 w 8% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 13% | idle 87% | cpu000 w 1% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 14% | idle 86% | cpu002 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 1% | user 0% | irq 12% | idle 87% | cpu004 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 11% | idle 89% | cpu008 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 14% | idle 86% | cpu009 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 13% | idle 87% | cpu010 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 1% | user 0% | irq 13% | idle 87% | cpu003 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | Вставить ник Quote
mrsaygo Posted October 29, 2014 Author Posted October 29, 2014 i5 ИМХО будет в несколько раз производительнее этого зиона в роутинге/нате... Хотя зион с гигом-другим и натом думаю вполне справится. 1) фишка в том, что зиона как бы 2 штуки, да и мать серверная с соответсвующими преимущиствами по шинам данных. То есть i5 1 шт. справиться в указанной конфигурации с задачей? Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz Intel Corporation 82599EB 10-Gigabit SFI/SFP+ bgp 2 uplinka трафик больше 2G shaper 16000 классов HTB u32 ipcad Сбор всей статы буду ещё вешать SNAT DNAT + ipset на 5к правил Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть. Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности. Вставить ник Quote
SiXeD Posted October 29, 2014 Posted October 29, 2014 (edited) Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть. Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности. входящий 2.5 исходящий 2.5 тюнинг пока default, conntrack больше 800 000 сетевая разброс по ядрам чистый роутинг занимает 18-20% при этом трафике, при Notrack 5-7% шейпер всем 100Mbit нарезаю на каждый ip 16 000 класов 16000 фильтров htb_rate_est=1 забирает 5%-6% большая проблема в сьёме трафика ipcad съедает 20% нат чуть позже буду вешать есть рабочая тачка с натом на но на Ethernet controller: Intel Corporation Device 150e (rev 01) 4х портовая 2 бонда вход 2 бонда выход пропускает 2гигабита натит и собирает стату Intel® Xeon® CPU E5520 @ 2.27GHz ipset -8к строк nat -8к строк CPU | sys 16% | user 86% | irq 228% | idle 472% | wait 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 1% | user 48% | irq 30% | idle 20% | cpu001 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 11% | user 16% | irq 35% | idle 37% | cpu000 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 11% | irq 25% | idle 63% | cpu003 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 2% | irq 32% | idle 64% | cpu007 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 1% | user 2% | irq 30% | idle 67% | cpu004 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 1% | irq 30% | idle 69% | cpu005 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 5% | irq 24% | idle 70% | cpu002 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 1% | irq 19% | idle 80% | cpu006 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99 Edited October 29, 2014 by SiXeD Вставить ник Quote
NiTr0 Posted October 29, 2014 Posted October 29, 2014 фишка в том, что зиона как бы 2 штуки, да и мать серверная с соответсвующими преимущиствами по шинам данных. Какие нафиг преимущества? У i5 - интегрированный контроллер памяти, а 2 серверных зиона сидят на медленной FSB, которая является бутылочным горлышком... И пофиг сколько ядер - в первую очередь важна латентность кешей и подсистемы памяти. И только потом - производительность на ядро и кол-во ядер. Потому как основное время в роутинге/нате занимают пересылка данных туда-назад между PCI-e, памятью и кешами. Вставить ник Quote
mrsaygo Posted October 29, 2014 Author Posted October 29, 2014 Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть. Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности. Можете конфигами поделиться, может для себя что-то полезное найду. Вставить ник Quote
NiTr0 Posted October 29, 2014 Posted October 29, 2014 "Тюнинг" сетевой карты - выкрутить на максимум размер буфферов, + возможно включить interrupt moderation (грубо говоря - кол-во буфферов * кол-во прерываний в секунду = максимальный ппс, от того и плясать; в идеале - если несколько десятков тысяч прерываний в секунду хватит). Ну или динамический interrupt moderation юзать. Ну и возможно поотключать tso/gso/lro/gro на сетевушке (особенно если есть шейпер). И ессно прибить прерывания по ядрам. А вообще - в лине особо нечего для роутинга в сетевом стеке тюнить (ну не считая хеш-таблицы коннтрака, которую стоит несколько увеличить - эдак до 8-16к записей, ну и макс кол-во сессий коннтрака поднять), никакой магии там нет. Вставить ник Quote
SiXeD Posted October 30, 2014 Posted October 30, 2014 "Тюнинг" сетевой карты - выкрутить на максимум размер буфферов, + возможно включить interrupt moderation (грубо говоря - кол-во буфферов * кол-во прерываний в секунду = максимальный ппс, от того и плясать; в идеале - если несколько десятков тысяч прерываний в секунду хватит). Ну или динамический interrupt moderation юзать. Ну и возможно поотключать tso/gso/lro/gro на сетевушке (особенно если есть шейпер). И ессно прибить прерывания по ядрам. А вообще - в лине особо нечего для роутинга в сетевом стеке тюнить (ну не считая хеш-таблицы коннтрака, которую стоит несколько увеличить - эдак до 8-16к записей, ну и макс кол-во сессий коннтрака поднять), никакой магии там нет. Это самое лучшее описание настройки софт-роутера NiTr0 - вопрос какую мать и проц взять под эти нужды (можно конкретные модели)? и на сколько она будет мощнее по отношению к 2м Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz Вставить ник Quote
SiXeD Posted October 30, 2014 Posted October 30, 2014 Можете конфигами поделиться, может для себя что-то полезное найду. тут практически всё http://www.o-nix.com/pages/reshenija-v-centos/nat-na-centos-pod-vysokoj-nagruzkoj.php Вставить ник Quote
NiTr0 Posted October 30, 2014 Posted October 30, 2014 NiTr0 - вопрос какую мать и проц взять под эти нужды (можно конкретные модели)? и на сколько она будет мощнее по отношению к 2м Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz Можно попробовать одну голову 1660 зиона поставить... Может окажется быстрее 2 голов 2630 (все-таки NUMA не особо прибавляет производительности траффикомолотилке). Но это надо экспериментировать. Вставить ник Quote
mrsaygo Posted October 31, 2014 Author Posted October 31, 2014 Есть полезная инфа, спасибо. Все же интересен прогноз - 4ядровой конфигурации, описанной выше, с i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг? Ну или другими словами 2000 юзеров с тарифами по 100 Мбит. Я на 90% уверен, что маловато будет. Вопрос стоит в том, чтобы докупить другое железо на резерв, но деньги есть куда еще деть.. Вставить ник Quote
SiXeD Posted October 31, 2014 Posted October 31, 2014 Можно попробовать одну голову 1660 зиона поставить... Может окажется быстрее 2 голов 2630 (все-таки NUMA не особо прибавляет производительности траффикомолотилке). Но это надо экспериментировать. это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов, а по i5-i7 есть какие предложения? по моему новому серверу включил nat+bgp+shaper+ipcad+firewall засунул всех юзеров, сумарный трафик 6Гбит CPU 40% включение ната добавило 10% cpu Хватит ли мощности для прогона 1.5-2 Гбита, с учетом того, что NAT будет около 70% (возможно отключение шейпера)? хватит, но смотря какое ядро, а там можно запилить не используемые функции. Вставить ник Quote
NiTr0 Posted October 31, 2014 Posted October 31, 2014 i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг? Думаю и на пару гигов хватит... это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов Ну примерно сопоставим с вашими камнями как по цене так и по производительности... а по i5-i7 есть какие предложения? Ну можете какой с суффиксом К взять погнать :) Т.к. без разгона, думаю, будет уступать вашему тазику. А вообще - подюньте шейпер/файрвол и т.д., вместо айпикада ядерный нетфлоу... Вставить ник Quote
SyJet Posted November 1, 2014 Posted November 1, 2014 i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг? Думаю и на пару гигов хватит... это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов Ну примерно сопоставим с вашими камнями как по цене так и по производительности... а по i5-i7 есть какие предложения? Ну можете какой с суффиксом К взять погнать :) Т.к. без разгона, думаю, будет уступать вашему тазику. А вообще - подюньте шейпер/файрвол и т.д., вместо айпикада ядерный нетфлоу... А поддержка ecc важна или нет? Вставить ник Quote
NiTr0 Posted November 2, 2014 Posted November 2, 2014 Для роутинга - нет (вероятность того, что ошибка попадет в область критичных данных, к примеру в код ядра - весьма мала). Для БД и прочих важных данных - важна. Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.