Jump to content
Калькуляторы

Тазик оценка производительности

На данный момент имеется:

S5000PSL 2хIntel®Xeon®CPU E5405@2.00GHz 2 портовая Intel Corporation I350 Gigabit Network Connection 4Gb RAM

 

OS Debian 7

Крутится quagga (~10000 префиксов)

роутинг + NAT(пока 20% от общего числа) + shaper

 

В пиках - 700 Мбит.

В планах поменять сетевую на 2-х портовую Intel Corporation 82599EB 10-Gigabit SFI/SFP+

Разрулить все то же на 1-м порту (есть только 1 10G канал до удаленного свича ядра).

Хватит ли мощности для прогона 1.5-2 Гбита, с учетом того, что NAT будет около 70% (возможно отключение шейпера)?

 

 

И суицидальная идея - справится ли резервный тазик с этой же 10G сетевой и следующей конфигурацией:

Product Name: P8H61-M PRO 1хIntel® Core i5-3470 CPU @ 3.20GHz 4Gb RAM

 

(памяти можем увеличить, в принципе уже нужно)

 

На данный момент по ядрам картина следующая:

 

top - 12:28:43 up 163 days, 8:54, 3 users, load average: 0,05, 0,11, 0,21

Tasks: 130 total, 1 running, 129 sleeping, 0 stopped, 0 zombie

%Cpu0 : 0,0 us, 0,3 sy, 0,0 ni, 96,6 id, 0,3 wa, 0,0 hi, 2,8 si, 0,0 st

%Cpu1 : 0,0 us, 0,0 sy, 0,0 ni, 97,2 id, 0,3 wa, 0,0 hi, 2,4 si, 0,0 st

%Cpu2 : 0,0 us, 0,0 sy, 0,0 ni, 96,5 id, 1,0 wa, 0,0 hi, 2,4 si, 0,0 st

%Cpu3 : 0,0 us, 0,0 sy, 0,0 ni, 96,2 id, 1,0 wa, 0,0 hi, 2,7 si, 0,0 st

%Cpu4 : 0,0 us, 0,3 sy, 0,0 ni, 98,3 id, 0,0 wa, 0,0 hi, 1,4 si, 0,0 st

%Cpu5 : 0,0 us, 0,0 sy, 0,0 ni, 97,6 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st

%Cpu6 : 0,0 us, 0,0 sy, 0,0 ni, 97,6 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st

%Cpu7 : 0,0 us, 0,3 sy, 0,0 ni, 97,2 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st

KiB Mem: 4055084 total, 3015036 used, 1040048 free, 197156 buffers

KiB Swap: 1951740 total, 0 used, 1951740 free, 1863576 cached

 

Загрузка - 25% от пиковой.

Share this post


Link to post
Share on other sites

i5 ИМХО будет в несколько раз производительнее этого зиона в роутинге/нате... Хотя зион с гигом-другим и натом думаю вполне справится.

Share this post


Link to post
Share on other sites

Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz

Intel Corporation 82599EB 10-Gigabit SFI/SFP+

 

bgp 2 uplinka

трафик больше 2G

shaper 16000 классов HTB u32

ipcad Сбор всей статы

 

буду ещё вешать SNAT DNAT + ipset на 5к правил

 

 

CPU | sys 1% | user 2% | irq 165% | idle 1028% | wait 9% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 15% | idle 85% | cpu005 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 16% | idle 84% | cpu006 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 15% | idle 85% | cpu007 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 1% | user 1% | irq 14% | idle 85% | cpu011 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 14% | idle 78% | cpu001 w 8% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 13% | idle 87% | cpu000 w 1% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 14% | idle 86% | cpu002 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 1% | user 0% | irq 12% | idle 87% | cpu004 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 11% | idle 89% | cpu008 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 14% | idle 86% | cpu009 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 13% | idle 87% | cpu010 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 1% | user 0% | irq 13% | idle 87% | cpu003 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

Share this post


Link to post
Share on other sites

i5 ИМХО будет в несколько раз производительнее этого зиона в роутинге/нате... Хотя зион с гигом-другим и натом думаю вполне справится.

 

1) фишка в том, что зиона как бы 2 штуки, да и мать серверная с соответсвующими преимущиствами по шинам данных.

То есть i5 1 шт. справиться в указанной конфигурации с задачей?

 

Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz

Intel Corporation 82599EB 10-Gigabit SFI/SFP+

 

bgp 2 uplinka

трафик больше 2G

shaper 16000 классов HTB u32

ipcad Сбор всей статы

 

буду ещё вешать SNAT DNAT + ipset на 5к правил

 

 

Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть.

Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности.

Share this post


Link to post
Share on other sites

Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть.

Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности.

 

входящий 2.5 исходящий 2.5

тюнинг пока default, conntrack больше 800 000

сетевая разброс по ядрам

 

чистый роутинг занимает 18-20% при этом трафике, при Notrack 5-7%

шейпер всем 100Mbit нарезаю на каждый ip 16 000 класов 16000 фильтров htb_rate_est=1 забирает 5%-6%

большая проблема в сьёме трафика ipcad съедает 20%

нат чуть позже буду вешать

 

есть рабочая тачка с натом на

но на

Ethernet controller: Intel Corporation Device 150e (rev 01)

4х портовая 2 бонда вход 2 бонда выход

пропускает 2гигабита натит и собирает стату

Intel® Xeon® CPU E5520 @ 2.27GHz

 

ipset -8к строк

nat -8к строк

 

CPU | sys 16% | user 86% | irq 228% | idle 472% | wait 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 1% | user 48% | irq 30% | idle 20% | cpu001 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 11% | user 16% | irq 35% | idle 37% | cpu000 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 11% | irq 25% | idle 63% | cpu003 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 2% | irq 32% | idle 64% | cpu007 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 1% | user 2% | irq 30% | idle 67% | cpu004 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 1% | irq 30% | idle 69% | cpu005 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 5% | irq 24% | idle 70% | cpu002 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 1% | irq 19% | idle 80% | cpu006 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99

Edited by SiXeD

Share this post


Link to post
Share on other sites

фишка в том, что зиона как бы 2 штуки, да и мать серверная с соответсвующими преимущиствами по шинам данных.

Какие нафиг преимущества? У i5 - интегрированный контроллер памяти, а 2 серверных зиона сидят на медленной FSB, которая является бутылочным горлышком...

И пофиг сколько ядер - в первую очередь важна латентность кешей и подсистемы памяти. И только потом - производительность на ядро и кол-во ядер. Потому как основное время в роутинге/нате занимают пересылка данных туда-назад между PCI-e, памятью и кешами.

Share this post


Link to post
Share on other sites

Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть.

Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности.

Можете конфигами поделиться, может для себя что-то полезное найду.

Share this post


Link to post
Share on other sites

"Тюнинг" сетевой карты - выкрутить на максимум размер буфферов, + возможно включить interrupt moderation (грубо говоря - кол-во буфферов * кол-во прерываний в секунду = максимальный ппс, от того и плясать; в идеале - если несколько десятков тысяч прерываний в секунду хватит). Ну или динамический interrupt moderation юзать. Ну и возможно поотключать tso/gso/lro/gro на сетевушке (особенно если есть шейпер). И ессно прибить прерывания по ядрам.

 

А вообще - в лине особо нечего для роутинга в сетевом стеке тюнить (ну не считая хеш-таблицы коннтрака, которую стоит несколько увеличить - эдак до 8-16к записей, ну и макс кол-во сессий коннтрака поднять), никакой магии там нет.

Share this post


Link to post
Share on other sites

"Тюнинг" сетевой карты - выкрутить на максимум размер буфферов, + возможно включить interrupt moderation (грубо говоря - кол-во буфферов * кол-во прерываний в секунду = максимальный ппс, от того и плясать; в идеале - если несколько десятков тысяч прерываний в секунду хватит). Ну или динамический interrupt moderation юзать. Ну и возможно поотключать tso/gso/lro/gro на сетевушке (особенно если есть шейпер). И ессно прибить прерывания по ядрам.

 

А вообще - в лине особо нечего для роутинга в сетевом стеке тюнить (ну не считая хеш-таблицы коннтрака, которую стоит несколько увеличить - эдак до 8-16к записей, ну и макс кол-во сессий коннтрака поднять), никакой магии там нет.

 

Это самое лучшее описание настройки софт-роутера

 

NiTr0 - вопрос какую мать и проц взять под эти нужды (можно конкретные модели)?

и на сколько она будет мощнее по отношению к 2м Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz

Share this post


Link to post
Share on other sites

NiTr0 - вопрос какую мать и проц взять под эти нужды (можно конкретные модели)?

и на сколько она будет мощнее по отношению к 2м Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz

Можно попробовать одну голову 1660 зиона поставить... Может окажется быстрее 2 голов 2630 (все-таки NUMA не особо прибавляет производительности траффикомолотилке). Но это надо экспериментировать.

Share this post


Link to post
Share on other sites

Есть полезная инфа, спасибо. Все же интересен прогноз - 4ядровой конфигурации, описанной выше, с i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг? Ну или другими словами 2000 юзеров с тарифами по 100 Мбит.

Я на 90% уверен, что маловато будет. Вопрос стоит в том, чтобы докупить другое железо на резерв, но деньги есть куда еще деть..

Share this post


Link to post
Share on other sites

Можно попробовать одну голову 1660 зиона поставить... Может окажется быстрее 2 голов 2630 (все-таки NUMA не особо прибавляет производительности траффикомолотилке). Но это надо экспериментировать.

это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов, а по i5-i7 есть какие предложения?

 

по моему новому серверу включил nat+bgp+shaper+ipcad+firewall засунул всех юзеров, сумарный трафик 6Гбит CPU 40%

 

включение ната добавило 10% cpu

 

Хватит ли мощности для прогона 1.5-2 Гбита, с учетом того, что NAT будет около 70% (возможно отключение шейпера)?

 

хватит, но смотря какое ядро, а там можно запилить не используемые функции.

Share this post


Link to post
Share on other sites

i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг?

Думаю и на пару гигов хватит...

 

это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов

Ну примерно сопоставим с вашими камнями как по цене так и по производительности...

 

а по i5-i7 есть какие предложения?

Ну можете какой с суффиксом К взять погнать :) Т.к. без разгона, думаю, будет уступать вашему тазику.

 

А вообще - подюньте шейпер/файрвол и т.д., вместо айпикада ядерный нетфлоу...

Share this post


Link to post
Share on other sites

i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг?

Думаю и на пару гигов хватит...

 

это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов

Ну примерно сопоставим с вашими камнями как по цене так и по производительности...

 

а по i5-i7 есть какие предложения?

Ну можете какой с суффиксом К взять погнать :) Т.к. без разгона, думаю, будет уступать вашему тазику.

 

А вообще - подюньте шейпер/файрвол и т.д., вместо айпикада ядерный нетфлоу...

А поддержка ecc важна или нет?

Share this post


Link to post
Share on other sites

Для роутинга - нет (вероятность того, что ошибка попадет в область критичных данных, к примеру в код ядра - весьма мала). Для БД и прочих важных данных - важна.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this