Jump to content
Калькуляторы

linux pppoe-server = 100% CPU load

Собственно сабж, конкретней - многоядерная машинка, а загружено всего одно ядро процессора. kernel пересобран под CPU.

Скажите, есть ли смысл запускать отдельным процессом pppoe-server на каждый физический интерфейс, или это ничего не даст?

Сейчас запускаю так:

pppoe-server -I eth1 -I eth2 <..>

Думаю сделать так:

pppoer-server -I eth1 <...>
pppoer-server -I eth2 <...>
<..>

Или мне стоит сразу копать в сторону accel-pppd, как в соседнем топике?

Edited by DukeNukem3D

Share this post


Link to post
Share on other sites

Попробовать жёстко прибить прерывания от карточек через smp_affinity

А какой трафик и pps? pppoe-server в кернел моде?

 

Edited by disappointed

Share this post


Link to post
Share on other sites
Или мне стоит сразу копать в сторону accel-pppd, как в соседнем топике?
accel-pptp, а не accel-pppd.

к pppoe отношения кагбэ не имеет.

Share this post


Link to post
Share on other sites
Попробовать жёстко прибить прерывания от карточек через smp_affinity

А какой трафик и pps? pppoe-server в кернел моде?

Трафик - около 300мбит/с в ЧНН. pps вот не смотрел еще, кстати чем лучше его посмотреть?

pppoe-server - вообще насколько я понял из документации, в дебиане он по дефолту в kernel mode работает, да и ключа -k там в команде просто нет.

Edited by DukeNukem3D

Share this post


Link to post
Share on other sites

Конкретнее опишитите аппаратную конфигурацию сервера, программную конфигурацию, потоки трафика и количество сессий

Share this post


Link to post
Share on other sites

Intel Xeon CPU E5620 @ 2.40GHz

Сетевой адаптер - Intel Quad

Мать тоже Intel, всё по-взрослому.

Программную конфигурацию чего именно? Весь каталок /etc как-то выкладывать неправильно.

Потоки трафика - 300 мбит/с, сессий в районе 400.

Share this post


Link to post
Share on other sites
Intel Xeon CPU E5620 @ 2.40GHz
Intel® Xeon® CPU E5520 @ 2.27GHz - две штуки
Сетевой адаптер - Intel Quad
Dual Intel Corporation 82576 Gigabit Network Connection

Dual Intel Corporation 82574L Gigabit Network Connection

Мать тоже Intel, всё по-взрослому.
Замечательно...
Программную конфигурацию чего именно? Весь каталок /etc как-то выкладывать неправильно.
Версия ядра, версия сетевых дров, как конфигурируете сетевые дрова, как разносите прерывания от сетевых по ядрам (smp_affinity), как агрегируете сетевые интерфейсы?

Что кроме терминации pppoe делает сервер - NAT, шейпинг, динамическая маршрутизация, DNS?

Потоки трафика - 300 мбит/с, сессий в районе 400.
Суммарно? - Или это только к клиенту? Каков транзитный PPS?
Edited by Jugernault

Share this post


Link to post
Share on other sites

>в дебиане он по дефолту в kernel mode работает, да и ключа -k там в команде просто нет

Насколько я знаю в дебиане он всегда был в юзер моде. По этому и ключа -к нет.

 

Пересоберите руками PPPoE-server. запустите в кернел моде и все пройдет.

 

А вообще какое именно процесс грузит цпу ?

pppoe-server или pppoe ?

Edited by Ivan Rostovikov

Share this post


Link to post
Share on other sites

Тем не менее, в дебиана pppoe-server собран без поддержки кернель-мода. На то есть какие-то причины, нужно гуглить по дебиановским рассылкам. Поэтому либо у ТС юзер-спейс, либо не оригинальный дебиановский pppoe-server.

Share this post


Link to post
Share on other sites

На каком чипе сетевая карта? Если работает на драйвере igb, то раскидывайте очереди по ядрам, нет - меняйте сетевую.

Ну и pppoe-server пересоберите, как предложили выше.

Share this post


Link to post
Share on other sites
Тем не менее, в дебиана pppoe-server собран без поддержки кернель-мода.
Именно об этом я и говорю. Именно по этому нет ключика "-k". И именно по этому надо собрать свой. У меня несколько PPPoE BRAS-ов на дебиане. Всегда сам собираю свежий.

 

На то есть какие-то причины...

Причины известны. kernel ppp до сих пор - "expirement" :-)

Share this post


Link to post
Share on other sites

На каком чипе сетевая карта? Если работает на драйвере igb, то раскидывайте очереди по ядрам, нет - меняйте сетевую.

Ну ка, ну ка - вот с этого места поподробней... Это как это раскидать очереди по ядрам при pppoe трафике?

Share this post


Link to post
Share on other sites

Jugernault в интелах есть возможность создания очередей, каждая очередь генерирует свое прерывание, их свою очередь можно развести по разным CPU.

Share this post


Link to post
Share on other sites
Сетевой адаптер - Intel Quad
Dual Intel Corporation 82576 Gigabit Network Connection

Dual Intel Corporation 82574L Gigabit Network Connection

Intel 82580EB (rev 01)

 

Программную конфигурацию чего именно? Весь каталок /etc как-то выкладывать неправильно.
Версия ядра, версия сетевых дров, как конфигурируете сетевые дрова, как разносите прерывания от сетевых по ядрам (smp_affinity), как агрегируете сетевые интерфейсы?

Что кроме терминации pppoe делает сервер - NAT, шейпинг, динамическая маршрутизация, DNS?

2.6.35.4 #1 SMP Thu Sep 2 18:36:31 YEKST 2010 x86_64

igb version: 2.1.0-k2, настройку не делал никакую, скачал дрова с сайта, скомпилил по инструкции, прерывания не трогал, не совсем понимаю что значит "агрегирование сетевых интерфейсов"

в данном случае.

Кроме PPPoE сервер работает как DNS, маршрутизация динамическая - да, конечно, OSPF, но работают на интерфейсах, где PPPoE не включен.

 

Потоки трафика - 300 мбит/с, сессий в районе 400.
Суммарно? - Или это только к клиенту? Каков транзитный PPS?

Это суммарно. Транзитный PPS пока не удалось померить.

Share this post


Link to post
Share on other sites
Intel 82580EB (rev 01)
http://www.intel.com/Assets/PDF/general/linecard_ec.pdf

8 очередей на приём, 8 на передачу. Если портов 4, то по две очереди на порт. Раскидать можно по двум ядрам приём, по двум передачу, нагрузку снизите в 2 раза (берем в учет только прием).

 

Это как это раскидать очереди по ядрам при pppoe трафике?
Элементарно, гуглить по smp_affinity

Share this post


Link to post
Share on other sites

Благодарю, ушел в гуглить. Просто вообще не знал что так можно/нужно делать.

Share this post


Link to post
Share on other sites

Jugernault в интелах есть возможность создания очередей, каждая очередь генерирует свое прерывание, их свою очередь можно развести по разным CPU.

Спасибо конечно за подсказку, но я в курсе что такое RSS от Intel+Microsoft. Меня интересовало другое - Вы сами мультивекторность на Интеловских сетевых картах при pppoe трафике реализовывали? Прерывания ложились на разные ядра? Наблюдался прирост производительности?

Edited by Jugernault

Share this post


Link to post
Share on other sites
Это как это раскидать очереди по ядрам при pppoe трафике?
Элементарно, гуглить по smp_affinity

Элементарно? - А ничего что smp_affinity прибивает конкретную очередь к конкретному ядру, но трафик в очередь попадает по согласно протокола RSS? И ничего что RSS анализирует пакету на 3-4 уровнях, а при pppoe трафике подобного трафика просто нет и все прет через первую очередь?

Или Вы ведете разговор о том, что один сетевой порт можно разложить на две очереди (на прием и на передачу) которые разнести по прерываниям? - так это детский лепет. Хочется получить как минимум по паре ядер на прием + пара ядер на передачу, для каждого сетевого интерфейса.

 

2.6.35.4 #1 SMP Thu Sep 2 18:36:31 YEKST 2010 x86_64

igb version: 2.1.0-k2, настройку не делал никакую, скачал дрова с сайта, скомпилил по инструкции, прерывания не трогал, не совсем понимаю что значит "агрегирование сетевых интерфейсов"

в данном случае.

Кроме PPPoE сервер работает как DNS, маршрутизация динамическая - да, конечно, OSPF, но работают на интерфейсах, где PPPoE не включен.

Потоки трафика - 300 мбит/с, сессий в районе 400.
Суммарно? - Или это только к клиенту? Каков транзитный PPS?

Это суммарно. Транзитный PPS пока не удалось померить.

Ну драйвера у Вас похоже "ядерные", а не с sourceforge. Но похоже что говорившие до меня правы - pppoe-server не в кернел-моде. Потому как у меня похожий сервер (правда дуальник) 4500 клиентов при 2 Г суммарного трафика нес и не чихал даже.

Share this post


Link to post
Share on other sites

Странно, ща гляжу, действительно на sourceforge версия дров 2.3.4... видимо что-то не так сделал, ну это то решаемо.

Хотелось бы вернуться к вопросу самому первому - вообще нормально ли запускать несколько процессов pppoe-server на одной машине? Или это неправильно как с технической так и с религиозной точки зрения?

Share this post


Link to post
Share on other sites
нормально ли запускать несколько процессов pppoe-server на одной машине?

Или это неправильно как с технической так и с религиозной точки зрения?

Если на компьютере несколько сетевых интерфейсов - то нормально,

по одному экземпляру ppppoe-server на каждый интерфейс.

Share this post


Link to post
Share on other sites
Странно, ща гляжу, действительно на sourceforge версия дров 2.3.4... видимо что-то не так сделал, ну это то решаемо.
Да по сути, замена дров на производительности координатно не скажется.
Хотелось бы вернуться к вопросу самому первому - вообще нормально ли запускать несколько процессов pppoe-server на одной машине? Или это неправильно как с технической так и с религиозной точки зрения?
Ну скажем так - это больше вопрос религии.

Мы например, по одному процессу на каждый vlan-интерфейс пускаем. И ничего - все живы и здоровы. Правда возможно это вызывает определенный перерасход памяти и обсолютно ни как не сказывается на производительности, зато добавляет определенную гибкость - можно передернуть pppoe-server на конкретном vlan-е не затрагивая других vlan-ов.

Share this post


Link to post
Share on other sites

Итак сделал - на каждый vlan - отдельный процесс pppoe-server

При этом наблюдаю такое дело:

Cpu0 : 0.7%us, 3.3%sy, 0.0%ni, 33.6%id, 0.0%wa, 0.0%hi, 62.5%si, 0.0%st

62.5%si - это нормально ли? причем только на этом ядре, на остальных близко к нулю.

smp_affinity я не трогал, т.к. тут было сказано, что при pppoe трафике это не поможет.

В томе светятся процессы pppoe (не pppoe-server), что наводит меня на мысли - процессов pppoe много и ложатся они на одно ядро.. а собственно почему они так?

Edited by DukeNukem3D

Share this post


Link to post
Share on other sites

Для начала результаты выполнения команд в студию:

 

uname -a

cat /etc/sysconfig/hwconf | grep eth -A2

cat /etc/modprobe.conf

cat /proc/cpuinfo

chkconfig --list | grep -E 'irqbalance|cpuspeed'

ps ax | grep pppoe-server

ps ax | grep ppp[d]

cat /proc/interrupts | grep eth

for i in `cat /proc/interrupts | grep eth | awk -F \: '{print $1}'`; do echo -n /proc/irq/$i/smp_affinity= ; cat /proc/irq/$i/smp_affinity ; done

mpstat -P ALL 1 5

 

А уж потом будем думать.

 

p.s. pppoe-server с поддержкой кернел-моды пересобрали?

Edited by Jugernault

Share this post


Link to post
Share on other sites

# uname -a

Linux pppoe-huge 2.6.35.4 #1 SMP Thu Sep 2 18:36:31 YEKST 2010 x86_64 GNU/Linux

 

# cat /etc/sysconfig/hwconf | grep eth -A2

cat: /etc/sysconfig/hwconf: No such file or directory

У меня debian, не нашел подобия.

 

# cat /etc/modules

# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.
# Parameters can be specified after the module name.

loop

# Generated by sensors-detect on Wed Sep  1 08:52:30 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021
# PPPoE driver
pppoe
# Generated by sensors-detect on Thu Sep  2 18:19:13 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021

# Generated by sensors-detect on Thu Sep  2 18:23:39 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021

# Generated by sensors-detect on Thu Sep  2 18:24:52 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021

# Generated by sensors-detect on Fri Sep  3 09:08:19 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021

 

0-15 cpu

/# cat /proc/cpuinfo | less

processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 44
model name      : Intel(R) Xeon(R) CPU           E5620  @ 2.40GHz
stepping        : 2
cpu MHz         : 2400.149
cache size      : 12288 KB
physical id     : 0
siblings        : 8
core id         : 0
cpu cores       : 4
apicid          : 0
initial apicid  : 0
fpu             : yes
fpu_exception   : yes
cpuid level     : 11
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm dca sse4_1 sse4_2 popcnt lahf_lm ida arat tpr_shadow vnmi flexpriority ept vpid
bogomips        : 4800.29
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

 

# chkconfig --list | grep -E 'irqbalance|cpuspeed'

# <empty>

Я так понимаю надо пакет этакий доставить и настроить как полагается?

 

# ps ax | grep pppoe-server | less

  522 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth5.30 -e 226:00:26:18:42:37:bb -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.226 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  554 pts/127  S+     0:00 grep pppoe-server
2870 ?        S      0:00 pppoe-server -I eth2.2 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2873 ?        S      0:00 pppoe-server -I eth2.3 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2876 ?        S      0:00 pppoe-server -I eth2.4 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2879 ?        S      0:00 pppoe-server -I eth2.5 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2882 ?        S      0:00 pppoe-server -I eth2.8 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2885 ?        S      0:00 pppoe-server -I eth2.13 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
<...>
2893 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.15 -e 1:00:19:66:3a:6e:4e -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.1 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
2938 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.8 -e 1:00:1d:7d:af:a0:1f -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.1 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
3001 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.38 -e 1:00:19:66:49:8e:17 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.1 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
3016 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.3 -e 3:00:21:91:3a:f9:07 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.3 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
3038 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.8 -e 2:00:1b:11:56:34:e8 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.2 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
<...>

 

# ps ax | grep ppp[d] | less

  522 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth5.30 -e 226:00:26:18:42:37:bb -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.226 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  583 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.16 -e 84:00:1f:d0:34:b4:8f -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.84 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  601 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.8 -e 169:00:17:31:2b:bc:93 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.169 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  619 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth5.27 -e 181:00:1f:c6:88:5c:1c -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.181 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  630 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.5 -e 66:1c:bd:b9:34:9e:e5 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.66 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap

 

# cat /proc/interrupts | grep eth

  80:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0
  81:   40033487          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-rx-0
  82:   40080189          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-rx-1
  83:   37994794          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-rx-2
  84:   37994311          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-rx-3
  85:     132911          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-tx-0
  86:     153962          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-tx-1
  87:     135918          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-tx-2
  88:   56318177          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-tx-3
  89:          3          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1
  90:   35934637          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-rx-0
  91:   37080577          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-rx-1
  92:   39780431          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-rx-2
  93:   40549164          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-rx-3
  94:      27239          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-tx-0
  95:      36813          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-tx-1
  96:      24430          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-tx-2
  97:     627252          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-tx-3
  98:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2
  99:   75962605          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-0
100:      63062          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-1
101:   62583580          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-2
102:      45308          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-3
103:      80676          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-4
104:     912289          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-5
105:     140807          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-6
106:     179521          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-7
107:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3
108:   17755826          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-0
109:      24566          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-1
110:   16286844          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-2
111:      26189          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-3
112:      24871          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-4
113:     411432          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-5
114:      24473          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-6
115:      46123          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-7
116:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4
117:   21286619          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-0
118:      25408          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-1
119:   18629108          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-2
120:      31585          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-3
121:      25233          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-4
122:     167914          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-5
123:      26318          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-6
124:      66783          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-7
125:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5
126:   57167410          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-0
127:      31932          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-1
128:   52959686          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-2
129:      75702          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-3
130:      88835          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-4
131:     757497          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-5
132:      70384          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-6
133:     157981          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-7

 

# for i in `cat /proc/interrupts | grep eth | awk -F \: '{print $1}'`; do echo -n /proc/irq/$i/smp_affinity= ; cat /proc/irq/$i/smp_affinity ; done

/proc/irq/80/smp_affinity=00ffff
/proc/irq/81/smp_affinity=00ffff
/proc/irq/82/smp_affinity=00ffff
/proc/irq/83/smp_affinity=00ffff
/proc/irq/84/smp_affinity=00ffff
/proc/irq/85/smp_affinity=00ffff
/proc/irq/86/smp_affinity=00ffff
/proc/irq/87/smp_affinity=00ffff
/proc/irq/88/smp_affinity=00ffff
/proc/irq/89/smp_affinity=00ffff
/proc/irq/90/smp_affinity=00ffff
/proc/irq/91/smp_affinity=00ffff
/proc/irq/92/smp_affinity=00ffff
/proc/irq/93/smp_affinity=00ffff
/proc/irq/94/smp_affinity=00ffff
/proc/irq/95/smp_affinity=00ffff
/proc/irq/96/smp_affinity=00ffff
/proc/irq/97/smp_affinity=00ffff
/proc/irq/98/smp_affinity=00ffff
/proc/irq/99/smp_affinity=00ffff
/proc/irq/100/smp_affinity=00ffff
/proc/irq/101/smp_affinity=00ffff
/proc/irq/102/smp_affinity=00ffff
/proc/irq/103/smp_affinity=00ffff
/proc/irq/104/smp_affinity=00ffff
/proc/irq/105/smp_affinity=00ffff
/proc/irq/106/smp_affinity=00ffff
/proc/irq/107/smp_affinity=00ffff
/proc/irq/108/smp_affinity=00ffff
/proc/irq/109/smp_affinity=00ffff
/proc/irq/110/smp_affinity=00ffff
/proc/irq/111/smp_affinity=00ffff
/proc/irq/112/smp_affinity=00ffff
/proc/irq/113/smp_affinity=00ffff
/proc/irq/114/smp_affinity=00ffff
/proc/irq/115/smp_affinity=00ffff
/proc/irq/116/smp_affinity=00ffff
/proc/irq/117/smp_affinity=00ffff
/proc/irq/118/smp_affinity=00ffff
/proc/irq/119/smp_affinity=00ffff
/proc/irq/120/smp_affinity=00ffff
/proc/irq/121/smp_affinity=00ffff
/proc/irq/122/smp_affinity=00ffff
/proc/irq/123/smp_affinity=00ffff
/proc/irq/124/smp_affinity=00ffff
/proc/irq/125/smp_affinity=00ffff
/proc/irq/126/smp_affinity=00ffff
/proc/irq/127/smp_affinity=00ffff
/proc/irq/128/smp_affinity=00ffff
/proc/irq/129/smp_affinity=00ffff
/proc/irq/130/smp_affinity=00ffff
/proc/irq/131/smp_affinity=00ffff
/proc/irq/132/smp_affinity=00ffff
/proc/irq/133/smp_affinity=00ffff

Не трогал, т.к. в теме сказали что толку не даст.

 

/# mpstat -P ALL 1 5

# mpstat -P ALL 1 5
Linux 2.6.35.4 (pppoe-huge)     10/18/2010      _x86_64_        (16 CPU)

09:22:24 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:25 PM  all    2.58    0.00   15.34    0.00    0.00    7.43    0.00    0.00   74.65
09:22:25 PM    0    0.00    0.00    2.97    0.00    0.00   73.27    0.00    0.00   23.76
09:22:25 PM    1    2.11    0.00   34.74    0.00    0.00    6.32    0.00    0.00   56.84
09:22:25 PM    2    2.38    0.00   22.62    0.00    0.00    5.95    0.00    0.00   69.05
09:22:25 PM    3    4.94    0.00   29.63    0.00    0.00    1.23    0.00    0.00   64.20
09:22:25 PM    4    1.27    0.00   11.39    0.00    0.00    3.80    0.00    0.00   83.54
09:22:25 PM    5    5.80    0.00   26.09    0.00    0.00    0.00    0.00    0.00   68.12
09:22:25 PM    6    0.00    0.00   14.08    0.00    0.00    1.41    0.00    0.00   84.51
09:22:25 PM    7    0.00    0.00   13.92    0.00    0.00    0.00    0.00    0.00   86.08
09:22:25 PM    8    6.58    0.00   36.84    0.00    0.00    0.00    0.00    0.00   56.58
09:22:25 PM    9    1.18    0.00    4.71    0.00    0.00    1.18    0.00    0.00   92.94
09:22:25 PM   10    4.05    0.00   12.16    0.00    0.00    1.35    0.00    0.00   82.43
09:22:25 PM   11    3.08    0.00   13.85    0.00    0.00    4.62    0.00    0.00   78.46
09:22:25 PM   12    2.41    0.00    6.02    0.00    0.00    0.00    0.00    0.00   91.57
09:22:25 PM   13    4.05    0.00    5.41    0.00    0.00    0.00    0.00    0.00   90.54
09:22:25 PM   14    4.00    0.00    5.33    0.00    0.00    0.00    0.00    0.00   90.67
09:22:25 PM   15    1.16    0.00    6.98    0.00    0.00    0.00    0.00    0.00   91.86

09:22:25 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:26 PM  all    3.33    0.00   14.84    0.08    0.00    8.17    0.00    0.00   73.57
09:22:26 PM    0    1.98    0.00    3.96    0.00    0.00   72.28    0.00    0.00   21.78
09:22:26 PM    1    1.12    0.00   42.70    1.12    0.00    7.87    0.00    0.00   47.19
09:22:26 PM    2    5.41    0.00   21.62    0.00    0.00    4.05    0.00    0.00   68.92
09:22:26 PM    3    3.53    0.00   20.00    0.00    0.00    4.71    0.00    0.00   71.76
09:22:26 PM    4    3.66    0.00   13.41    0.00    0.00    3.66    0.00    0.00   79.27
09:22:26 PM    5    7.04    0.00   18.31    0.00    0.00    2.82    0.00    0.00   71.83
09:22:26 PM    6    0.00    0.00   13.92    0.00    0.00    2.53    0.00    0.00   83.54
09:22:26 PM    7    2.78    0.00   15.28    0.00    0.00    0.00    0.00    0.00   81.94
09:22:26 PM    8    9.09    0.00   25.97    0.00    0.00    0.00    0.00    0.00   64.94
09:22:26 PM    9    3.03    0.00    7.58    0.00    0.00    4.55    0.00    0.00   84.85
09:22:26 PM   10    6.06    0.00    4.55    0.00    0.00    1.52    0.00    0.00   87.88
09:22:26 PM   11    4.17    0.00    9.72    0.00    0.00    1.39    0.00    0.00   84.72
09:22:26 PM   12    3.66    0.00    8.54    0.00    0.00    0.00    0.00    0.00   87.80
09:22:26 PM   13    0.00    0.00    7.32    0.00    0.00    3.66    0.00    0.00   89.02
09:22:26 PM   14    1.22    0.00   10.98    0.00    0.00    0.00    0.00    0.00   87.80
09:22:26 PM   15    2.50    0.00   11.25    0.00    0.00    1.25    0.00    0.00   85.00

09:22:26 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:27 PM  all    2.41    0.00   15.27    0.00    0.00    6.99    0.00    0.00   75.32
09:22:27 PM    0    0.00    0.00    2.97    0.00    0.00   61.39    0.00    0.00   35.64
09:22:27 PM    1    1.06    0.00   45.74    0.00    0.00    3.19    0.00    0.00   50.00
09:22:27 PM    2    1.28    0.00   20.51    0.00    0.00    8.97    0.00    0.00   69.23
09:22:27 PM    3    3.66    0.00   21.95    0.00    0.00    7.32    0.00    0.00   67.07
09:22:27 PM    4    7.46    0.00   16.42    0.00    0.00    2.99    0.00    0.00   73.13
09:22:27 PM    5    0.00    0.00   26.23    0.00    0.00    4.92    0.00    0.00   68.85
09:22:27 PM    6    1.41    0.00   14.08    0.00    0.00    0.00    0.00    0.00   84.51
09:22:27 PM    7    0.00    0.00   13.56    0.00    0.00    0.00    0.00    0.00   86.44
09:22:27 PM    8   12.50    0.00   26.14    0.00    0.00    1.14    0.00    0.00   60.23
09:22:27 PM    9    3.61    0.00    8.43    0.00    0.00    0.00    0.00    0.00   87.95
09:22:27 PM   10    0.00    0.00    7.79    0.00    0.00    0.00    0.00    0.00   92.21
09:22:27 PM   11    3.85    0.00    5.13    0.00    0.00    0.00    0.00    0.00   91.03
09:22:27 PM   12    1.27    0.00    5.06    0.00    0.00    1.27    0.00    0.00   92.41
09:22:27 PM   13    1.54    0.00   10.77    0.00    0.00    1.54    0.00    0.00   86.15
09:22:27 PM   14    0.00    0.00    8.97    0.00    0.00    1.28    0.00    0.00   89.74
09:22:27 PM   15    0.00    0.00    8.43    0.00    0.00    0.00    0.00    0.00   91.57

09:22:27 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:28 PM  all    2.52    0.00   15.25    0.00    0.00    8.02    0.00    0.00   74.21
09:22:28 PM    0    0.00    0.00    4.90    0.00    0.00   75.49    0.00    0.00   19.61
09:22:28 PM    1    2.02    0.00   35.35    0.00    0.00    3.03    0.00    0.00   59.60
09:22:28 PM    2    1.18    0.00   20.00    0.00    0.00    3.53    0.00    0.00   75.29
09:22:28 PM    3    2.35    0.00   18.82    0.00    0.00    5.88    0.00    0.00   72.94
09:22:28 PM    4    2.60    0.00   12.99    0.00    0.00    7.79    0.00    0.00   76.62
09:22:28 PM    5    2.41    0.00   20.48    0.00    0.00    2.41    0.00    0.00   74.70
09:22:28 PM    6    1.32    0.00   13.16    0.00    0.00    1.32    0.00    0.00   84.21
09:22:28 PM    7    5.63    0.00   16.90    0.00    0.00    0.00    0.00    0.00   77.46
09:22:28 PM    8    2.82    0.00   38.03    0.00    0.00    1.41    0.00    0.00   57.75
09:22:28 PM    9    1.22    0.00    9.76    0.00    0.00    1.22    0.00    0.00   87.80
09:22:28 PM   10    4.62    0.00    9.23    0.00    0.00    0.00    0.00    0.00   86.15
09:22:28 PM   11    2.82    0.00    9.86    0.00    0.00    0.00    0.00    0.00   87.32
09:22:28 PM   12    5.33    0.00    8.00    0.00    0.00    2.67    0.00    0.00   84.00
09:22:28 PM   13    2.67    0.00    9.33    0.00    0.00    0.00    0.00    0.00   88.00
09:22:28 PM   14    1.39    0.00    6.94    0.00    0.00    1.39    0.00    0.00   90.28
09:22:28 PM   15    3.61    0.00    7.23    0.00    0.00    0.00    0.00    0.00   89.16

09:22:28 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:29 PM  all    3.22    0.00   14.85    0.00    0.00    8.25    0.00    0.00   73.68
09:22:29 PM    0    0.00    0.00    6.86    0.00    0.00   71.57    0.00    0.00   21.57
09:22:29 PM    1    4.04    0.00   32.32    0.00    0.00    5.05    0.00    0.00   58.59
09:22:29 PM    2    2.22    0.00   14.44    0.00    0.00   12.22    0.00    0.00   71.11
09:22:29 PM    3    6.98    0.00   27.91    0.00    0.00    3.49    0.00    0.00   61.63
09:22:29 PM    4    3.90    0.00   11.69    0.00    0.00    0.00    0.00    0.00   84.42
09:22:29 PM    5    2.90    0.00   17.39    0.00    0.00    2.90    0.00    0.00   76.81
09:22:29 PM    6    5.71    0.00    7.14    0.00    0.00    2.86    0.00    0.00   84.29
09:22:29 PM    7   10.14    0.00   15.94    0.00    0.00    0.00    0.00    0.00   73.91
09:22:29 PM    8    5.33    0.00   24.00    0.00    0.00    8.00    0.00    0.00   62.67
09:22:29 PM    9    3.95    0.00   14.47    0.00    0.00    0.00    0.00    0.00   81.58
09:22:29 PM   10    3.17    0.00    7.94    0.00    0.00    0.00    0.00    0.00   88.89
09:22:29 PM   11    2.47    0.00   17.28    0.00    0.00    0.00    0.00    0.00   80.25
09:22:29 PM   12    2.78    0.00    6.94    0.00    0.00    0.00    0.00    0.00   90.28
09:22:29 PM   13    0.00    0.00    8.86    0.00    0.00    2.53    0.00    0.00   88.61
09:22:29 PM   14    0.00    0.00    9.21    0.00    0.00    1.32    0.00    0.00   89.47
09:22:29 PM   15    0.00    0.00   10.11    0.00    0.00    0.00    0.00    0.00   89.89

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
Average:     all    2.81    0.00   15.11    0.02    0.00    7.78    0.00    0.00   74.28
Average:       0    0.39    0.00    4.34    0.00    0.00   70.81    0.00    0.00   24.46
Average:       1    2.10    0.00   38.03    0.21    0.00    5.04    0.00    0.00   54.62
Average:       2    2.43    0.00   19.71    0.00    0.00    7.06    0.00    0.00   70.80
Average:       3    4.30    0.00   23.63    0.00    0.00    4.53    0.00    0.00   67.54
Average:       4    3.66    0.00   13.09    0.00    0.00    3.66    0.00    0.00   79.58
Average:       5    3.68    0.00   21.53    0.00    0.00    2.55    0.00    0.00   72.24
Average:       6    1.63    0.00   12.53    0.00    0.00    1.63    0.00    0.00   84.20
Average:       7    3.71    0.00   15.14    0.00    0.00    0.00    0.00    0.00   81.14
Average:       8    7.49    0.00   29.97    0.00    0.00    2.07    0.00    0.00   60.47
Average:       9    2.55    0.00    8.93    0.00    0.00    1.28    0.00    0.00   87.24
Average:      10    3.48    0.00    8.41    0.00    0.00    0.58    0.00    0.00   87.54
Average:      11    3.27    0.00   11.17    0.00    0.00    1.09    0.00    0.00   84.47
Average:      12    3.07    0.00    6.91    0.00    0.00    0.77    0.00    0.00   89.26
Average:      13    1.60    0.00    8.27    0.00    0.00    1.60    0.00    0.00   88.53
Average:      14    1.31    0.00    8.36    0.00    0.00    0.78    0.00    0.00   89.56
Average:      15    1.43    0.00    8.79    0.00    0.00    0.24    0.00    0.00   89.55

 

Это при 300 с копейками числом коннектов.

Объем трафика:

# ifstat -bi bond0

bond0

Kbps in Kbps out

209427.7 147298.4

 

pppoe-server в kernel-mode не стал пересобирать - здесь же отговорили что не тот объем. если трабл в этом, пересоберу, не проблема.

 

Edited by DukeNukem3D

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this