[mrsaygo]

На данный момент имеется:

S5000PSL 2хIntel®Xeon®CPU E5405@2.00GHz 2 портовая Intel Corporation I350 Gigabit Network Connection 4Gb RAM

 

OS Debian 7

Крутится quagga (~10000 префиксов)

роутинг + NAT(пока 20% от общего числа) + shaper

 

В пиках - 700 Мбит.

В планах поменять сетевую на 2-х портовую Intel Corporation 82599EB 10-Gigabit SFI/SFP+

Разрулить все то же на 1-м порту (есть только 1 10G канал до удаленного свича ядра).

Хватит ли мощности для прогона 1.5-2 Гбита, с учетом того, что NAT будет около 70% (возможно отключение шейпера)?

 

 

И суицидальная идея - справится ли резервный тазик с этой же 10G сетевой и следующей конфигурацией:

Product Name: P8H61-M PRO 1хIntel® Core i5-3470 CPU @ 3.20GHz 4Gb RAM

 

(памяти можем увеличить, в принципе уже нужно)

 

На данный момент по ядрам картина следующая:

 

top - 12:28:43 up 163 days, 8:54, 3 users, load average: 0,05, 0,11, 0,21

Tasks: 130 total, 1 running, 129 sleeping, 0 stopped, 0 zombie

%Cpu0 : 0,0 us, 0,3 sy, 0,0 ni, 96,6 id, 0,3 wa, 0,0 hi, 2,8 si, 0,0 st

%Cpu1 : 0,0 us, 0,0 sy, 0,0 ni, 97,2 id, 0,3 wa, 0,0 hi, 2,4 si, 0,0 st

%Cpu2 : 0,0 us, 0,0 sy, 0,0 ni, 96,5 id, 1,0 wa, 0,0 hi, 2,4 si, 0,0 st

%Cpu3 : 0,0 us, 0,0 sy, 0,0 ni, 96,2 id, 1,0 wa, 0,0 hi, 2,7 si, 0,0 st

%Cpu4 : 0,0 us, 0,3 sy, 0,0 ni, 98,3 id, 0,0 wa, 0,0 hi, 1,4 si, 0,0 st

%Cpu5 : 0,0 us, 0,0 sy, 0,0 ni, 97,6 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st

%Cpu6 : 0,0 us, 0,0 sy, 0,0 ni, 97,6 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st

%Cpu7 : 0,0 us, 0,3 sy, 0,0 ni, 97,2 id, 0,0 wa, 0,0 hi, 2,4 si, 0,0 st

KiB Mem: 4055084 total, 3015036 used, 1040048 free, 197156 buffers

KiB Swap: 1951740 total, 0 used, 1951740 free, 1863576 cached

 

Загрузка - 25% от пиковой.

[NiTr0]

i5 ИМХО будет в несколько раз производительнее этого зиона в роутинге/нате... Хотя зион с гигом-другим и натом думаю вполне справится.

[SiXeD]

Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz

Intel Corporation 82599EB 10-Gigabit SFI/SFP+

 

bgp 2 uplinka

трафик больше 2G

shaper 16000 классов HTB u32

ipcad Сбор всей статы

 

буду ещё вешать SNAT DNAT + ipset на 5к правил

 

 

CPU | sys 1% | user 2% | irq 165% | idle 1028% | wait 9% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 15% | idle 85% | cpu005 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 16% | idle 84% | cpu006 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 15% | idle 85% | cpu007 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 1% | user 1% | irq 14% | idle 85% | cpu011 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 14% | idle 78% | cpu001 w 8% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 13% | idle 87% | cpu000 w 1% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 14% | idle 86% | cpu002 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 1% | user 0% | irq 12% | idle 87% | cpu004 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 11% | idle 89% | cpu008 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 14% | idle 86% | cpu009 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 0% | user 0% | irq 13% | idle 87% | cpu010 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

cpu | sys 1% | user 0% | irq 13% | idle 87% | cpu003 w 0% | | steal 0% | guest 0% | curf 2.60GHz | curscal 99% |

[mrsaygo]

i5 ИМХО будет в несколько раз производительнее этого зиона в роутинге/нате... Хотя зион с гигом-другим и натом думаю вполне справится.

 

1) фишка в том, что зиона как бы 2 штуки, да и мать серверная с соответсвующими преимущиствами по шинам данных.

То есть i5 1 шт. справиться в указанной конфигурации с задачей?

 

Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz

Intel Corporation 82599EB 10-Gigabit SFI/SFP+

 

bgp 2 uplinka

трафик больше 2G

shaper 16000 классов HTB u32

ipcad Сбор всей статы

 

буду ещё вешать SNAT DNAT + ipset на 5к правил

 

 

Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть.

Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности.

[SiXeD]

Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть.

Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности.

 

входящий 2.5 исходящий 2.5

тюнинг пока default, conntrack больше 800 000

сетевая разброс по ядрам

 

чистый роутинг занимает 18-20% при этом трафике, при Notrack 5-7%

шейпер всем 100Mbit нарезаю на каждый ip 16 000 класов 16000 фильтров htb_rate_est=1 забирает 5%-6%

большая проблема в сьёме трафика ipcad съедает 20%

нат чуть позже буду вешать

 

есть рабочая тачка с натом на

но на

Ethernet controller: Intel Corporation Device 150e (rev 01)

4х портовая 2 бонда вход 2 бонда выход

пропускает 2гигабита натит и собирает стату

Intel® Xeon® CPU E5520 @ 2.27GHz

 

ipset -8к строк

nat -8к строк

 

CPU | sys 16% | user 86% | irq 228% | idle 472% | wait 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 1% | user 48% | irq 30% | idle 20% | cpu001 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 11% | user 16% | irq 35% | idle 37% | cpu000 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 11% | irq 25% | idle 63% | cpu003 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 2% | irq 32% | idle 64% | cpu007 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 1% | user 2% | irq 30% | idle 67% | cpu004 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 1% | irq 30% | idle 69% | cpu005 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 5% | irq 24% | idle 70% | cpu002 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99% |

cpu | sys 0% | user 1% | irq 19% | idle 80% | cpu006 w 0% | | steal 0% | guest 0% | curf 2.27GHz | curscal 99

Изменено 29 октября, 2014 пользователем SiXeD

[NiTr0]

фишка в том, что зиона как бы 2 штуки, да и мать серверная с соответсвующими преимущиствами по шинам данных.

Какие нафиг преимущества? У i5 - интегрированный контроллер памяти, а 2 серверных зиона сидят на медленной FSB, которая является бутылочным горлышком...

И пофиг сколько ядер - в первую очередь важна латентность кешей и подсистемы памяти. И только потом - производительность на ядро и кол-во ядер. Потому как основное время в роутинге/нате занимают пересылка данных туда-назад между PCI-e, памятью и кешами.

[mrsaygo]

Я так понимаю сейчас чистый роутинг? НАТ - штука прожорливая, потому есть сомнения склько можно вытянуть.

Если не сложно расскажите какой тюнинг делали, на сетевую карту в частности.

Можете конфигами поделиться, может для себя что-то полезное найду.

[NiTr0]

"Тюнинг" сетевой карты - выкрутить на максимум размер буфферов, + возможно включить interrupt moderation (грубо говоря - кол-во буфферов * кол-во прерываний в секунду = максимальный ппс, от того и плясать; в идеале - если несколько десятков тысяч прерываний в секунду хватит). Ну или динамический interrupt moderation юзать. Ну и возможно поотключать tso/gso/lro/gro на сетевушке (особенно если есть шейпер). И ессно прибить прерывания по ядрам.

 

А вообще - в лине особо нечего для роутинга в сетевом стеке тюнить (ну не считая хеш-таблицы коннтрака, которую стоит несколько увеличить - эдак до 8-16к записей, ну и макс кол-во сессий коннтрака поднять), никакой магии там нет.

[SiXeD]

"Тюнинг" сетевой карты - выкрутить на максимум размер буфферов, + возможно включить interrupt moderation (грубо говоря - кол-во буфферов * кол-во прерываний в секунду = максимальный ппс, от того и плясать; в идеале - если несколько десятков тысяч прерываний в секунду хватит). Ну или динамический interrupt moderation юзать. Ну и возможно поотключать tso/gso/lro/gro на сетевушке (особенно если есть шейпер). И ессно прибить прерывания по ядрам.

 

А вообще - в лине особо нечего для роутинга в сетевом стеке тюнить (ну не считая хеш-таблицы коннтрака, которую стоит несколько увеличить - эдак до 8-16к записей, ну и макс кол-во сессий коннтрака поднять), никакой магии там нет.

 

Это самое лучшее описание настройки софт-роутера

 

NiTr0 - вопрос какую мать и проц взять под эти нужды (можно конкретные модели)?

и на сколько она будет мощнее по отношению к 2м Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz

[SiXeD]

Можете конфигами поделиться, может для себя что-то полезное найду.

 

тут практически всё

http://www.o-nix.com/pages/reshenija-v-centos/nat-na-centos-pod-vysokoj-nagruzkoj.php

[NiTr0]

NiTr0 - вопрос какую мать и проц взять под эти нужды (можно конкретные модели)?

и на сколько она будет мощнее по отношению к 2м Intel® Xeon® CPU E5-2630 v2 @ 2.60GHz

Можно попробовать одну голову 1660 зиона поставить... Может окажется быстрее 2 голов 2630 (все-таки NUMA не особо прибавляет производительности траффикомолотилке). Но это надо экспериментировать.

[mrsaygo]

Есть полезная инфа, спасибо. Все же интересен прогноз - 4ядровой конфигурации, описанной выше, с i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг? Ну или другими словами 2000 юзеров с тарифами по 100 Мбит.

Я на 90% уверен, что маловато будет. Вопрос стоит в том, чтобы докупить другое железо на резерв, но деньги есть куда еще деть..

[SiXeD]

Можно попробовать одну голову 1660 зиона поставить... Может окажется быстрее 2 голов 2630 (все-таки NUMA не особо прибавляет производительности траффикомолотилке). Но это надо экспериментировать.

это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов, а по i5-i7 есть какие предложения?

 

по моему новому серверу включил nat+bgp+shaper+ipcad+firewall засунул всех юзеров, сумарный трафик 6Гбит CPU 40%

 

включение ната добавило 10% cpu

 

Хватит ли мощности для прогона 1.5-2 Гбита, с учетом того, что NAT будет около 70% (возможно отключение шейпера)?

 

хватит, но смотря какое ядро, а там можно запилить не используемые функции.

[NiTr0]

i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг?

Думаю и на пару гигов хватит...

 

это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов

Ну примерно сопоставим с вашими камнями как по цене так и по производительности...

 

а по i5-i7 есть какие предложения?

Ну можете какой с суффиксом К взять погнать :) Т.к. без разгона, думаю, будет уступать вашему тазику.

 

А вообще - подюньте шейпер/файрвол и т.д., вместо айпикада ядерный нетфлоу...

[SyJet]

i5 хватит молотить НАТ + роутинг в соотношении Гиг на Гиг?

Думаю и на пару гигов хватит...

 

это конечно хорошо, ценник за 50к немного пугает, но по моим предположениям +30% против 2 голов

Ну примерно сопоставим с вашими камнями как по цене так и по производительности...

 

а по i5-i7 есть какие предложения?

Ну можете какой с суффиксом К взять погнать :) Т.к. без разгона, думаю, будет уступать вашему тазику.

 

А вообще - подюньте шейпер/файрвол и т.д., вместо айпикада ядерный нетфлоу...

А поддержка ecc важна или нет?

[NiTr0]

Для роутинга - нет (вероятность того, что ошибка попадет в область критичных данных, к примеру в код ядра - весьма мала). Для БД и прочих важных данных - важна.