mrsaygo Posted October 29, 2014 · Report post На данный момент имеется: S5000PSL 2хIntel®Xeon®CPU E5405@2.00GHz 2 портовая Intel Corporation I350 Gigabit Network Connection 4Gb RAM OS Debian 7 Крутится quagga (~10000 префиксов) роутинг + NAT(пока 20% от общего числа) + shaper В пиках - 700 Мбит. В планах поменять сетевую на 2-х портовую Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Разрулить все то же на 1-м порту (есть только 1 10G канал до удаленного свича ядра). Хватит ли мощности для прогона 1.5-2 Гбита, с учетом того, что NAT будет около 70% (возможно отключение шейпера)? И суицидальная идея - справится ли резервный тазик с этой же 10G сетевой и следующей конфигурацией: Product Name: P8H61-M PRO 1хIntel® Core i5-3470 CPU @ 3.20GHz 4Gb RAM (памяти можем увеличить, в принципе уже нужно) На данный момент по ядрам картина следующая: top - 12:28:43 up 163 days, 8:54, 3 users, load average: 0,05, 0,11, 0,21 Tasks: 130 total, 1 running, 129 sleeping, 0 stopped, 0 zombie %Cpu0 : 0,0 us, 0,3 sy, 0,0 ni, 96,6 id, 0,3 wa, 0,0 hi, 2,8 si, 0,0 st %Cpu1 : 0,0 us, 0,0 sy, 0,0 ni, 97,2 id, 0,3 wa, 0,0 hi, 2,4 si, 0,0 st %Cpu2 : 0,0 us, 0,0 sy, 0,0 ni, 96,5 id, 1,0 wa, 0,0 hi, 2,4 si, 0,0 st %Cpu3 : 0,0 us, 0,0 sy, 0,0 ni, 96,2 id, 1,0 wa, 0,0 hi, 2,7 si, 0,0 st %Cpu4 : 0,0 us, 0,3 sy, 0,0 ni, 98,3 id, 0,0 wa, 0,0 hi, 1,4 si, 0,0 st %Cpu5 : 0,0 us, 0,0 sy, 0,0 ni, 97,6 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st %Cpu6 : 0,0 us, 0,0 sy, 0,0 ni, 97,6 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st %Cpu7 : 0,0 us, 0,3 sy, 0,0 ni, 97,2 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st KiB Mem: 4055084 total, 3015036 used, 1040048 free, 197156 buffers KiB Swap: 1951740 total, 0 used, 1951740 free, 1863576 cached Загрузка - 25% от пиковой. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted October 29, 2014 · Report post i5 ИМХО будет в несколько раз производительнее этого зиона в роутинге/нате... Хотя зион с гигом-другим и натом думаю вполне справится. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
SiXeD Posted October 29, 2014 · Report post Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz Intel Corporation 82599EB 10-Gigabit SFI/SFP+ bgp 2 uplinka трафик больше 2G shaper 16000 классов HTB u32 ipcad Сбор всей статы буду ещё вешать SNAT DNAT + ipset на 5к правил CPU | sys 1% | user 2% | irq 165% | idle 1028% | wait 9% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 15% | idle 85% | cpu005 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 16% | idle 84% | cpu006 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 15% | idle 85% | cpu007 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 1% | user 1% | irq 14% | idle 85% | cpu011 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 14% | idle 78% | cpu001 w 8% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 13% | idle 87% | cpu000 w 1% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 14% | idle 86% | cpu002 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 1% | user 0% | irq 12% | idle 87% | cpu004 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 11% | idle 89% | cpu008 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 14% | idle 86% | cpu009 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 0% | user 0% | irq 13% | idle 87% | cpu010 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | cpu | sys 1% | user 0% | irq 13% | idle 87% | cpu003 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% | Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
mrsaygo Posted October 29, 2014 · Report post i5 ИМХО будет в несколько раз производительнее этого зиона в роутинге/нате... Хотя зион с гигом-другим и натом думаю вполне справится. 1) фишка в том, что зиона как бы 2 штуки, да и мать серверная с соответсвующими преимущиствами по шинам данных. То есть i5 1 шт. справиться в указанной конфигурации с задачей? Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz Intel Corporation 82599EB 10-Gigabit SFI/SFP+ bgp 2 uplinka трафик больше 2G shaper 16000 классов HTB u32 ipcad Сбор всей статы буду ещё вешать SNAT DNAT + ipset на 5к правил Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть. Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
SiXeD Posted October 29, 2014 (edited) · Report post Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть. Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности. входящий 2.5 исходящий 2.5 тюнинг пока default, conntrack больше 800 000 сетевая разброс по ядрам чистый роутинг занимает 18-20% при этом трафике, при Notrack 5-7% шейпер всем 100Mbit нарезаю на каждый ip 16 000 класов 16000 фильтров htb_rate_est=1 забирает 5%-6% большая проблема в сьёме трафика ipcad съедает 20% нат чуть позже буду вешать есть рабочая тачка с натом на но на Ethernet controller: Intel Corporation Device 150e (rev 01) 4х портовая 2 бонда вход 2 бонда выход пропускает 2гигабита натит и собирает стату Intel® Xeon® CPU E5520 @ 2.27GHz ipset -8к строк nat -8к строк CPU | sys 16% | user 86% | irq 228% | idle 472% | wait 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 1% | user 48% | irq 30% | idle 20% | cpu001 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 11% | user 16% | irq 35% | idle 37% | cpu000 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 11% | irq 25% | idle 63% | cpu003 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 2% | irq 32% | idle 64% | cpu007 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 1% | user 2% | irq 30% | idle 67% | cpu004 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 1% | irq 30% | idle 69% | cpu005 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 5% | irq 24% | idle 70% | cpu002 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% | cpu | sys 0% | user 1% | irq 19% | idle 80% | cpu006 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99 Edited October 29, 2014 by SiXeD Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted October 29, 2014 · Report post фишка в том, что зиона как бы 2 штуки, да и мать серверная с соответсвующими преимущиствами по шинам данных. Какие нафиг преимущества? У i5 - интегрированный контроллер памяти, а 2 серверных зиона сидят на медленной FSB, которая является бутылочным горлышком... И пофиг сколько ядер - в первую очередь важна латентность кешей и подсистемы памяти. И только потом - производительность на ядро и кол-во ядер. Потому как основное время в роутинге/нате занимают пересылка данных туда-назад между PCI-e, памятью и кешами. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
mrsaygo Posted October 29, 2014 · Report post Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть. Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности. Можете конфигами поделиться, может для себя что-то полезное найду. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted October 29, 2014 · Report post "Тюнинг" сетевой карты - выкрутить на максимум размер буфферов, + возможно включить interrupt moderation (грубо говоря - кол-во буфферов * кол-во прерываний в секунду = максимальный ппс, от того и плясать; в идеале - если несколько десятков тысяч прерываний в секунду хватит). Ну или динамический interrupt moderation юзать. Ну и возможно поотключать tso/gso/lro/gro на сетевушке (особенно если есть шейпер). И ессно прибить прерывания по ядрам. А вообще - в лине особо нечего для роутинга в сетевом стеке тюнить (ну не считая хеш-таблицы коннтрака, которую стоит несколько увеличить - эдак до 8-16к записей, ну и макс кол-во сессий коннтрака поднять), никакой магии там нет. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
SiXeD Posted October 30, 2014 · Report post "Тюнинг" сетевой карты - выкрутить на максимум размер буфферов, + возможно включить interrupt moderation (грубо говоря - кол-во буфферов * кол-во прерываний в секунду = максимальный ппс, от того и плясать; в идеале - если несколько десятков тысяч прерываний в секунду хватит). Ну или динамический interrupt moderation юзать. Ну и возможно поотключать tso/gso/lro/gro на сетевушке (особенно если есть шейпер). И ессно прибить прерывания по ядрам. А вообще - в лине особо нечего для роутинга в сетевом стеке тюнить (ну не считая хеш-таблицы коннтрака, которую стоит несколько увеличить - эдак до 8-16к записей, ну и макс кол-во сессий коннтрака поднять), никакой магии там нет. Это самое лучшее описание настройки софт-роутера NiTr0 - вопрос какую мать и проц взять под эти нужды (можно конкретные модели)? и на сколько она будет мощнее по отношению к 2м Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
SiXeD Posted October 30, 2014 · Report post Можете конфигами поделиться, может для себя что-то полезное найду. тут практически всё http://www.o-nix.com/pages/reshenija-v-centos/nat-na-centos-pod-vysokoj-nagruzkoj.php Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted October 30, 2014 · Report post NiTr0 - вопрос какую мать и проц взять под эти нужды (можно конкретные модели)? и на сколько она будет мощнее по отношению к 2м Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz Можно попробовать одну голову 1660 зиона поставить... Может окажется быстрее 2 голов 2630 (все-таки NUMA не особо прибавляет производительности траффикомолотилке). Но это надо экспериментировать. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
mrsaygo Posted October 31, 2014 · Report post Есть полезная инфа, спасибо. Все же интересен прогноз - 4ядровой конфигурации, описанной выше, с i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг? Ну или другими словами 2000 юзеров с тарифами по 100 Мбит. Я на 90% уверен, что маловато будет. Вопрос стоит в том, чтобы докупить другое железо на резерв, но деньги есть куда еще деть.. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
SiXeD Posted October 31, 2014 · Report post Можно попробовать одну голову 1660 зиона поставить... Может окажется быстрее 2 голов 2630 (все-таки NUMA не особо прибавляет производительности траффикомолотилке). Но это надо экспериментировать. это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов, а по i5-i7 есть какие предложения? по моему новому серверу включил nat+bgp+shaper+ipcad+firewall засунул всех юзеров, сумарный трафик 6Гбит CPU 40% включение ната добавило 10% cpu Хватит ли мощности для прогона 1.5-2 Гбита, с учетом того, что NAT будет около 70% (возможно отключение шейпера)? хватит, но смотря какое ядро, а там можно запилить не используемые функции. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted October 31, 2014 · Report post i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг? Думаю и на пару гигов хватит... это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов Ну примерно сопоставим с вашими камнями как по цене так и по производительности... а по i5-i7 есть какие предложения? Ну можете какой с суффиксом К взять погнать :) Т.к. без разгона, думаю, будет уступать вашему тазику. А вообще - подюньте шейпер/файрвол и т.д., вместо айпикада ядерный нетфлоу... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
SyJet Posted November 1, 2014 · Report post i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг? Думаю и на пару гигов хватит... это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов Ну примерно сопоставим с вашими камнями как по цене так и по производительности... а по i5-i7 есть какие предложения? Ну можете какой с суффиксом К взять погнать :) Т.к. без разгона, думаю, будет уступать вашему тазику. А вообще - подюньте шейпер/файрвол и т.д., вместо айпикада ядерный нетфлоу... А поддержка ecc важна или нет? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted November 2, 2014 · Report post Для роутинга - нет (вероятность того, что ошибка попадет в область критичных данных, к примеру в код ядра - весьма мала). Для БД и прочих важных данных - важна. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
