Перейти к содержимому
Калькуляторы

Собственно сабж, конкретней - многоядерная машинка, а загружено всего одно ядро процессора. kernel пересобран под CPU.

Скажите, есть ли смысл запускать отдельным процессом pppoe-server на каждый физический интерфейс, или это ничего не даст?

Сейчас запускаю так:

pppoe-server -I eth1 -I eth2 <..>

Думаю сделать так:

pppoer-server -I eth1 <...>
pppoer-server -I eth2 <...>
<..>

Или мне стоит сразу копать в сторону accel-pppd, как в соседнем топике?

Изменено пользователем DukeNukem3D

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Попробовать жёстко прибить прерывания от карточек через smp_affinity

А какой трафик и pps? pppoe-server в кернел моде?

 

Изменено пользователем disappointed

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Или мне стоит сразу копать в сторону accel-pppd, как в соседнем топике?
accel-pptp, а не accel-pppd.

к pppoe отношения кагбэ не имеет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Попробовать жёстко прибить прерывания от карточек через smp_affinity

А какой трафик и pps? pppoe-server в кернел моде?

Трафик - около 300мбит/с в ЧНН. pps вот не смотрел еще, кстати чем лучше его посмотреть?

pppoe-server - вообще насколько я понял из документации, в дебиане он по дефолту в kernel mode работает, да и ключа -k там в команде просто нет.

Изменено пользователем DukeNukem3D

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Конкретнее опишитите аппаратную конфигурацию сервера, программную конфигурацию, потоки трафика и количество сессий

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Intel Xeon CPU E5620 @ 2.40GHz

Сетевой адаптер - Intel Quad

Мать тоже Intel, всё по-взрослому.

Программную конфигурацию чего именно? Весь каталок /etc как-то выкладывать неправильно.

Потоки трафика - 300 мбит/с, сессий в районе 400.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Intel Xeon CPU E5620 @ 2.40GHz
Intel® Xeon® CPU E5520 @ 2.27GHz - две штуки
Сетевой адаптер - Intel Quad
Dual Intel Corporation 82576 Gigabit Network Connection

Dual Intel Corporation 82574L Gigabit Network Connection

Мать тоже Intel, всё по-взрослому.
Замечательно...
Программную конфигурацию чего именно? Весь каталок /etc как-то выкладывать неправильно.
Версия ядра, версия сетевых дров, как конфигурируете сетевые дрова, как разносите прерывания от сетевых по ядрам (smp_affinity), как агрегируете сетевые интерфейсы?

Что кроме терминации pppoe делает сервер - NAT, шейпинг, динамическая маршрутизация, DNS?

Потоки трафика - 300 мбит/с, сессий в районе 400.
Суммарно? - Или это только к клиенту? Каков транзитный PPS?
Изменено пользователем Jugernault

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

>в дебиане он по дефолту в kernel mode работает, да и ключа -k там в команде просто нет

Насколько я знаю в дебиане он всегда был в юзер моде. По этому и ключа -к нет.

 

Пересоберите руками PPPoE-server. запустите в кернел моде и все пройдет.

 

А вообще какое именно процесс грузит цпу ?

pppoe-server или pppoe ?

Изменено пользователем Ivan Rostovikov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну 300Мбит в юзерспейс для pppoe это очень неплохо )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тем не менее, в дебиана pppoe-server собран без поддержки кернель-мода. На то есть какие-то причины, нужно гуглить по дебиановским рассылкам. Поэтому либо у ТС юзер-спейс, либо не оригинальный дебиановский pppoe-server.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На каком чипе сетевая карта? Если работает на драйвере igb, то раскидывайте очереди по ядрам, нет - меняйте сетевую.

Ну и pppoe-server пересоберите, как предложили выше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тем не менее, в дебиана pppoe-server собран без поддержки кернель-мода.
Именно об этом я и говорю. Именно по этому нет ключика "-k". И именно по этому надо собрать свой. У меня несколько PPPoE BRAS-ов на дебиане. Всегда сам собираю свежий.

 

На то есть какие-то причины...

Причины известны. kernel ppp до сих пор - "expirement" :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На каком чипе сетевая карта? Если работает на драйвере igb, то раскидывайте очереди по ядрам, нет - меняйте сетевую.

Ну ка, ну ка - вот с этого места поподробней... Это как это раскидать очереди по ядрам при pppoe трафике?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Jugernault в интелах есть возможность создания очередей, каждая очередь генерирует свое прерывание, их свою очередь можно развести по разным CPU.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сетевой адаптер - Intel Quad
Dual Intel Corporation 82576 Gigabit Network Connection

Dual Intel Corporation 82574L Gigabit Network Connection

Intel 82580EB (rev 01)

 

Программную конфигурацию чего именно? Весь каталок /etc как-то выкладывать неправильно.
Версия ядра, версия сетевых дров, как конфигурируете сетевые дрова, как разносите прерывания от сетевых по ядрам (smp_affinity), как агрегируете сетевые интерфейсы?

Что кроме терминации pppoe делает сервер - NAT, шейпинг, динамическая маршрутизация, DNS?

2.6.35.4 #1 SMP Thu Sep 2 18:36:31 YEKST 2010 x86_64

igb version: 2.1.0-k2, настройку не делал никакую, скачал дрова с сайта, скомпилил по инструкции, прерывания не трогал, не совсем понимаю что значит "агрегирование сетевых интерфейсов"

в данном случае.

Кроме PPPoE сервер работает как DNS, маршрутизация динамическая - да, конечно, OSPF, но работают на интерфейсах, где PPPoE не включен.

 

Потоки трафика - 300 мбит/с, сессий в районе 400.
Суммарно? - Или это только к клиенту? Каков транзитный PPS?

Это суммарно. Транзитный PPS пока не удалось померить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Intel 82580EB (rev 01)
http://www.intel.com/Assets/PDF/general/linecard_ec.pdf

8 очередей на приём, 8 на передачу. Если портов 4, то по две очереди на порт. Раскидать можно по двум ядрам приём, по двум передачу, нагрузку снизите в 2 раза (берем в учет только прием).

 

Это как это раскидать очереди по ядрам при pppoe трафике?
Элементарно, гуглить по smp_affinity

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Благодарю, ушел в гуглить. Просто вообще не знал что так можно/нужно делать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Jugernault в интелах есть возможность создания очередей, каждая очередь генерирует свое прерывание, их свою очередь можно развести по разным CPU.

Спасибо конечно за подсказку, но я в курсе что такое RSS от Intel+Microsoft. Меня интересовало другое - Вы сами мультивекторность на Интеловских сетевых картах при pppoe трафике реализовывали? Прерывания ложились на разные ядра? Наблюдался прирост производительности?

Изменено пользователем Jugernault

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это как это раскидать очереди по ядрам при pppoe трафике?
Элементарно, гуглить по smp_affinity

Элементарно? - А ничего что smp_affinity прибивает конкретную очередь к конкретному ядру, но трафик в очередь попадает по согласно протокола RSS? И ничего что RSS анализирует пакету на 3-4 уровнях, а при pppoe трафике подобного трафика просто нет и все прет через первую очередь?

Или Вы ведете разговор о том, что один сетевой порт можно разложить на две очереди (на прием и на передачу) которые разнести по прерываниям? - так это детский лепет. Хочется получить как минимум по паре ядер на прием + пара ядер на передачу, для каждого сетевого интерфейса.

 

2.6.35.4 #1 SMP Thu Sep 2 18:36:31 YEKST 2010 x86_64

igb version: 2.1.0-k2, настройку не делал никакую, скачал дрова с сайта, скомпилил по инструкции, прерывания не трогал, не совсем понимаю что значит "агрегирование сетевых интерфейсов"

в данном случае.

Кроме PPPoE сервер работает как DNS, маршрутизация динамическая - да, конечно, OSPF, но работают на интерфейсах, где PPPoE не включен.

Потоки трафика - 300 мбит/с, сессий в районе 400.
Суммарно? - Или это только к клиенту? Каков транзитный PPS?

Это суммарно. Транзитный PPS пока не удалось померить.

Ну драйвера у Вас похоже "ядерные", а не с sourceforge. Но похоже что говорившие до меня правы - pppoe-server не в кернел-моде. Потому как у меня похожий сервер (правда дуальник) 4500 клиентов при 2 Г суммарного трафика нес и не чихал даже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Странно, ща гляжу, действительно на sourceforge версия дров 2.3.4... видимо что-то не так сделал, ну это то решаемо.

Хотелось бы вернуться к вопросу самому первому - вообще нормально ли запускать несколько процессов pppoe-server на одной машине? Или это неправильно как с технической так и с религиозной точки зрения?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

нормально ли запускать несколько процессов pppoe-server на одной машине?

Или это неправильно как с технической так и с религиозной точки зрения?

Если на компьютере несколько сетевых интерфейсов - то нормально,

по одному экземпляру ppppoe-server на каждый интерфейс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Странно, ща гляжу, действительно на sourceforge версия дров 2.3.4... видимо что-то не так сделал, ну это то решаемо.
Да по сути, замена дров на производительности координатно не скажется.
Хотелось бы вернуться к вопросу самому первому - вообще нормально ли запускать несколько процессов pppoe-server на одной машине? Или это неправильно как с технической так и с религиозной точки зрения?
Ну скажем так - это больше вопрос религии.

Мы например, по одному процессу на каждый vlan-интерфейс пускаем. И ничего - все живы и здоровы. Правда возможно это вызывает определенный перерасход памяти и обсолютно ни как не сказывается на производительности, зато добавляет определенную гибкость - можно передернуть pppoe-server на конкретном vlan-е не затрагивая других vlan-ов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Итак сделал - на каждый vlan - отдельный процесс pppoe-server

При этом наблюдаю такое дело:

Cpu0 : 0.7%us, 3.3%sy, 0.0%ni, 33.6%id, 0.0%wa, 0.0%hi, 62.5%si, 0.0%st

62.5%si - это нормально ли? причем только на этом ядре, на остальных близко к нулю.

smp_affinity я не трогал, т.к. тут было сказано, что при pppoe трафике это не поможет.

В томе светятся процессы pppoe (не pppoe-server), что наводит меня на мысли - процессов pppoe много и ложатся они на одно ядро.. а собственно почему они так?

Изменено пользователем DukeNukem3D

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Для начала результаты выполнения команд в студию:

 

uname -a

cat /etc/sysconfig/hwconf | grep eth -A2

cat /etc/modprobe.conf

cat /proc/cpuinfo

chkconfig --list | grep -E 'irqbalance|cpuspeed'

ps ax | grep pppoe-server

ps ax | grep ppp[d]

cat /proc/interrupts | grep eth

for i in `cat /proc/interrupts | grep eth | awk -F \: '{print $1}'`; do echo -n /proc/irq/$i/smp_affinity= ; cat /proc/irq/$i/smp_affinity ; done

mpstat -P ALL 1 5

 

А уж потом будем думать.

 

p.s. pppoe-server с поддержкой кернел-моды пересобрали?

Изменено пользователем Jugernault

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

# uname -a

Linux pppoe-huge 2.6.35.4 #1 SMP Thu Sep 2 18:36:31 YEKST 2010 x86_64 GNU/Linux

 

# cat /etc/sysconfig/hwconf | grep eth -A2

cat: /etc/sysconfig/hwconf: No such file or directory

У меня debian, не нашел подобия.

 

# cat /etc/modules

# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.
# Parameters can be specified after the module name.

loop

# Generated by sensors-detect on Wed Sep  1 08:52:30 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021
# PPPoE driver
pppoe
# Generated by sensors-detect on Thu Sep  2 18:19:13 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021

# Generated by sensors-detect on Thu Sep  2 18:23:39 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021

# Generated by sensors-detect on Thu Sep  2 18:24:52 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021

# Generated by sensors-detect on Fri Sep  3 09:08:19 2010
# Adapter drivers
ipmi-si
# Chip drivers
adm1021

 

0-15 cpu

/# cat /proc/cpuinfo | less

processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 44
model name      : Intel(R) Xeon(R) CPU           E5620  @ 2.40GHz
stepping        : 2
cpu MHz         : 2400.149
cache size      : 12288 KB
physical id     : 0
siblings        : 8
core id         : 0
cpu cores       : 4
apicid          : 0
initial apicid  : 0
fpu             : yes
fpu_exception   : yes
cpuid level     : 11
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm dca sse4_1 sse4_2 popcnt lahf_lm ida arat tpr_shadow vnmi flexpriority ept vpid
bogomips        : 4800.29
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

 

# chkconfig --list | grep -E 'irqbalance|cpuspeed'

# <empty>

Я так понимаю надо пакет этакий доставить и настроить как полагается?

 

# ps ax | grep pppoe-server | less

  522 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth5.30 -e 226:00:26:18:42:37:bb -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.226 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  554 pts/127  S+     0:00 grep pppoe-server
2870 ?        S      0:00 pppoe-server -I eth2.2 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2873 ?        S      0:00 pppoe-server -I eth2.3 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2876 ?        S      0:00 pppoe-server -I eth2.4 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2879 ?        S      0:00 pppoe-server -I eth2.5 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2882 ?        S      0:00 pppoe-server -I eth2.8 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
2885 ?        S      0:00 pppoe-server -I eth2.13 -L 192.168.10.12 -N 254 -S ISP -C pppoe-huge
<...>
2893 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.15 -e 1:00:19:66:3a:6e:4e -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.1 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
2938 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.8 -e 1:00:1d:7d:af:a0:1f -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.1 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
3001 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.38 -e 1:00:19:66:49:8e:17 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.1 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
3016 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.3 -e 3:00:21:91:3a:f9:07 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.3 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
3038 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.8 -e 2:00:1b:11:56:34:e8 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.2 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
<...>

 

# ps ax | grep ppp[d] | less

  522 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth5.30 -e 226:00:26:18:42:37:bb -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.226 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  583 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.16 -e 84:00:1f:d0:34:b4:8f -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.84 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  601 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.8 -e 169:00:17:31:2b:bc:93 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.169 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  619 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth5.27 -e 181:00:1f:c6:88:5c:1c -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.181 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap
  630 ?        Ss     0:00 pppd pty /usr/sbin/pppoe -n -I eth2.5 -e 66:1c:bd:b9:34:9e:e5 -S 'ISP' file /etc/ppp/pppoe-server-options 192.168.10.12:10.67.15.66 nodetach noaccomp nobsdcomp nodeflate nopcomp novj novjccomp default-asyncmap

 

# cat /proc/interrupts | grep eth

  80:          2          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0
  81:   40033487          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-rx-0
  82:   40080189          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-rx-1
  83:   37994794          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-rx-2
  84:   37994311          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-rx-3
  85:     132911          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-tx-0
  86:     153962          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-tx-1
  87:     135918          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-tx-2
  88:   56318177          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth0-tx-3
  89:          3          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1
  90:   35934637          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-rx-0
  91:   37080577          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-rx-1
  92:   39780431          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-rx-2
  93:   40549164          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-rx-3
  94:      27239          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-tx-0
  95:      36813          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-tx-1
  96:      24430          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-tx-2
  97:     627252          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth1-tx-3
  98:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2
  99:   75962605          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-0
100:      63062          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-1
101:   62583580          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-2
102:      45308          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-3
103:      80676          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-4
104:     912289          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-5
105:     140807          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-6
106:     179521          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-7
107:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3
108:   17755826          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-0
109:      24566          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-1
110:   16286844          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-2
111:      26189          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-3
112:      24871          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-4
113:     411432          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-5
114:      24473          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-6
115:      46123          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-7
116:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4
117:   21286619          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-0
118:      25408          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-1
119:   18629108          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-2
120:      31585          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-3
121:      25233          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-4
122:     167914          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-5
123:      26318          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-6
124:      66783          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth4-TxRx-7
125:          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5
126:   57167410          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-0
127:      31932          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-1
128:   52959686          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-2
129:      75702          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-3
130:      88835          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-4
131:     757497          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-5
132:      70384          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-6
133:     157981          0          0          0          0          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI-edge      eth5-TxRx-7

 

# for i in `cat /proc/interrupts | grep eth | awk -F \: '{print $1}'`; do echo -n /proc/irq/$i/smp_affinity= ; cat /proc/irq/$i/smp_affinity ; done

/proc/irq/80/smp_affinity=00ffff
/proc/irq/81/smp_affinity=00ffff
/proc/irq/82/smp_affinity=00ffff
/proc/irq/83/smp_affinity=00ffff
/proc/irq/84/smp_affinity=00ffff
/proc/irq/85/smp_affinity=00ffff
/proc/irq/86/smp_affinity=00ffff
/proc/irq/87/smp_affinity=00ffff
/proc/irq/88/smp_affinity=00ffff
/proc/irq/89/smp_affinity=00ffff
/proc/irq/90/smp_affinity=00ffff
/proc/irq/91/smp_affinity=00ffff
/proc/irq/92/smp_affinity=00ffff
/proc/irq/93/smp_affinity=00ffff
/proc/irq/94/smp_affinity=00ffff
/proc/irq/95/smp_affinity=00ffff
/proc/irq/96/smp_affinity=00ffff
/proc/irq/97/smp_affinity=00ffff
/proc/irq/98/smp_affinity=00ffff
/proc/irq/99/smp_affinity=00ffff
/proc/irq/100/smp_affinity=00ffff
/proc/irq/101/smp_affinity=00ffff
/proc/irq/102/smp_affinity=00ffff
/proc/irq/103/smp_affinity=00ffff
/proc/irq/104/smp_affinity=00ffff
/proc/irq/105/smp_affinity=00ffff
/proc/irq/106/smp_affinity=00ffff
/proc/irq/107/smp_affinity=00ffff
/proc/irq/108/smp_affinity=00ffff
/proc/irq/109/smp_affinity=00ffff
/proc/irq/110/smp_affinity=00ffff
/proc/irq/111/smp_affinity=00ffff
/proc/irq/112/smp_affinity=00ffff
/proc/irq/113/smp_affinity=00ffff
/proc/irq/114/smp_affinity=00ffff
/proc/irq/115/smp_affinity=00ffff
/proc/irq/116/smp_affinity=00ffff
/proc/irq/117/smp_affinity=00ffff
/proc/irq/118/smp_affinity=00ffff
/proc/irq/119/smp_affinity=00ffff
/proc/irq/120/smp_affinity=00ffff
/proc/irq/121/smp_affinity=00ffff
/proc/irq/122/smp_affinity=00ffff
/proc/irq/123/smp_affinity=00ffff
/proc/irq/124/smp_affinity=00ffff
/proc/irq/125/smp_affinity=00ffff
/proc/irq/126/smp_affinity=00ffff
/proc/irq/127/smp_affinity=00ffff
/proc/irq/128/smp_affinity=00ffff
/proc/irq/129/smp_affinity=00ffff
/proc/irq/130/smp_affinity=00ffff
/proc/irq/131/smp_affinity=00ffff
/proc/irq/132/smp_affinity=00ffff
/proc/irq/133/smp_affinity=00ffff

Не трогал, т.к. в теме сказали что толку не даст.

 

/# mpstat -P ALL 1 5

# mpstat -P ALL 1 5
Linux 2.6.35.4 (pppoe-huge)     10/18/2010      _x86_64_        (16 CPU)

09:22:24 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:25 PM  all    2.58    0.00   15.34    0.00    0.00    7.43    0.00    0.00   74.65
09:22:25 PM    0    0.00    0.00    2.97    0.00    0.00   73.27    0.00    0.00   23.76
09:22:25 PM    1    2.11    0.00   34.74    0.00    0.00    6.32    0.00    0.00   56.84
09:22:25 PM    2    2.38    0.00   22.62    0.00    0.00    5.95    0.00    0.00   69.05
09:22:25 PM    3    4.94    0.00   29.63    0.00    0.00    1.23    0.00    0.00   64.20
09:22:25 PM    4    1.27    0.00   11.39    0.00    0.00    3.80    0.00    0.00   83.54
09:22:25 PM    5    5.80    0.00   26.09    0.00    0.00    0.00    0.00    0.00   68.12
09:22:25 PM    6    0.00    0.00   14.08    0.00    0.00    1.41    0.00    0.00   84.51
09:22:25 PM    7    0.00    0.00   13.92    0.00    0.00    0.00    0.00    0.00   86.08
09:22:25 PM    8    6.58    0.00   36.84    0.00    0.00    0.00    0.00    0.00   56.58
09:22:25 PM    9    1.18    0.00    4.71    0.00    0.00    1.18    0.00    0.00   92.94
09:22:25 PM   10    4.05    0.00   12.16    0.00    0.00    1.35    0.00    0.00   82.43
09:22:25 PM   11    3.08    0.00   13.85    0.00    0.00    4.62    0.00    0.00   78.46
09:22:25 PM   12    2.41    0.00    6.02    0.00    0.00    0.00    0.00    0.00   91.57
09:22:25 PM   13    4.05    0.00    5.41    0.00    0.00    0.00    0.00    0.00   90.54
09:22:25 PM   14    4.00    0.00    5.33    0.00    0.00    0.00    0.00    0.00   90.67
09:22:25 PM   15    1.16    0.00    6.98    0.00    0.00    0.00    0.00    0.00   91.86

09:22:25 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:26 PM  all    3.33    0.00   14.84    0.08    0.00    8.17    0.00    0.00   73.57
09:22:26 PM    0    1.98    0.00    3.96    0.00    0.00   72.28    0.00    0.00   21.78
09:22:26 PM    1    1.12    0.00   42.70    1.12    0.00    7.87    0.00    0.00   47.19
09:22:26 PM    2    5.41    0.00   21.62    0.00    0.00    4.05    0.00    0.00   68.92
09:22:26 PM    3    3.53    0.00   20.00    0.00    0.00    4.71    0.00    0.00   71.76
09:22:26 PM    4    3.66    0.00   13.41    0.00    0.00    3.66    0.00    0.00   79.27
09:22:26 PM    5    7.04    0.00   18.31    0.00    0.00    2.82    0.00    0.00   71.83
09:22:26 PM    6    0.00    0.00   13.92    0.00    0.00    2.53    0.00    0.00   83.54
09:22:26 PM    7    2.78    0.00   15.28    0.00    0.00    0.00    0.00    0.00   81.94
09:22:26 PM    8    9.09    0.00   25.97    0.00    0.00    0.00    0.00    0.00   64.94
09:22:26 PM    9    3.03    0.00    7.58    0.00    0.00    4.55    0.00    0.00   84.85
09:22:26 PM   10    6.06    0.00    4.55    0.00    0.00    1.52    0.00    0.00   87.88
09:22:26 PM   11    4.17    0.00    9.72    0.00    0.00    1.39    0.00    0.00   84.72
09:22:26 PM   12    3.66    0.00    8.54    0.00    0.00    0.00    0.00    0.00   87.80
09:22:26 PM   13    0.00    0.00    7.32    0.00    0.00    3.66    0.00    0.00   89.02
09:22:26 PM   14    1.22    0.00   10.98    0.00    0.00    0.00    0.00    0.00   87.80
09:22:26 PM   15    2.50    0.00   11.25    0.00    0.00    1.25    0.00    0.00   85.00

09:22:26 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:27 PM  all    2.41    0.00   15.27    0.00    0.00    6.99    0.00    0.00   75.32
09:22:27 PM    0    0.00    0.00    2.97    0.00    0.00   61.39    0.00    0.00   35.64
09:22:27 PM    1    1.06    0.00   45.74    0.00    0.00    3.19    0.00    0.00   50.00
09:22:27 PM    2    1.28    0.00   20.51    0.00    0.00    8.97    0.00    0.00   69.23
09:22:27 PM    3    3.66    0.00   21.95    0.00    0.00    7.32    0.00    0.00   67.07
09:22:27 PM    4    7.46    0.00   16.42    0.00    0.00    2.99    0.00    0.00   73.13
09:22:27 PM    5    0.00    0.00   26.23    0.00    0.00    4.92    0.00    0.00   68.85
09:22:27 PM    6    1.41    0.00   14.08    0.00    0.00    0.00    0.00    0.00   84.51
09:22:27 PM    7    0.00    0.00   13.56    0.00    0.00    0.00    0.00    0.00   86.44
09:22:27 PM    8   12.50    0.00   26.14    0.00    0.00    1.14    0.00    0.00   60.23
09:22:27 PM    9    3.61    0.00    8.43    0.00    0.00    0.00    0.00    0.00   87.95
09:22:27 PM   10    0.00    0.00    7.79    0.00    0.00    0.00    0.00    0.00   92.21
09:22:27 PM   11    3.85    0.00    5.13    0.00    0.00    0.00    0.00    0.00   91.03
09:22:27 PM   12    1.27    0.00    5.06    0.00    0.00    1.27    0.00    0.00   92.41
09:22:27 PM   13    1.54    0.00   10.77    0.00    0.00    1.54    0.00    0.00   86.15
09:22:27 PM   14    0.00    0.00    8.97    0.00    0.00    1.28    0.00    0.00   89.74
09:22:27 PM   15    0.00    0.00    8.43    0.00    0.00    0.00    0.00    0.00   91.57

09:22:27 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:28 PM  all    2.52    0.00   15.25    0.00    0.00    8.02    0.00    0.00   74.21
09:22:28 PM    0    0.00    0.00    4.90    0.00    0.00   75.49    0.00    0.00   19.61
09:22:28 PM    1    2.02    0.00   35.35    0.00    0.00    3.03    0.00    0.00   59.60
09:22:28 PM    2    1.18    0.00   20.00    0.00    0.00    3.53    0.00    0.00   75.29
09:22:28 PM    3    2.35    0.00   18.82    0.00    0.00    5.88    0.00    0.00   72.94
09:22:28 PM    4    2.60    0.00   12.99    0.00    0.00    7.79    0.00    0.00   76.62
09:22:28 PM    5    2.41    0.00   20.48    0.00    0.00    2.41    0.00    0.00   74.70
09:22:28 PM    6    1.32    0.00   13.16    0.00    0.00    1.32    0.00    0.00   84.21
09:22:28 PM    7    5.63    0.00   16.90    0.00    0.00    0.00    0.00    0.00   77.46
09:22:28 PM    8    2.82    0.00   38.03    0.00    0.00    1.41    0.00    0.00   57.75
09:22:28 PM    9    1.22    0.00    9.76    0.00    0.00    1.22    0.00    0.00   87.80
09:22:28 PM   10    4.62    0.00    9.23    0.00    0.00    0.00    0.00    0.00   86.15
09:22:28 PM   11    2.82    0.00    9.86    0.00    0.00    0.00    0.00    0.00   87.32
09:22:28 PM   12    5.33    0.00    8.00    0.00    0.00    2.67    0.00    0.00   84.00
09:22:28 PM   13    2.67    0.00    9.33    0.00    0.00    0.00    0.00    0.00   88.00
09:22:28 PM   14    1.39    0.00    6.94    0.00    0.00    1.39    0.00    0.00   90.28
09:22:28 PM   15    3.61    0.00    7.23    0.00    0.00    0.00    0.00    0.00   89.16

09:22:28 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
09:22:29 PM  all    3.22    0.00   14.85    0.00    0.00    8.25    0.00    0.00   73.68
09:22:29 PM    0    0.00    0.00    6.86    0.00    0.00   71.57    0.00    0.00   21.57
09:22:29 PM    1    4.04    0.00   32.32    0.00    0.00    5.05    0.00    0.00   58.59
09:22:29 PM    2    2.22    0.00   14.44    0.00    0.00   12.22    0.00    0.00   71.11
09:22:29 PM    3    6.98    0.00   27.91    0.00    0.00    3.49    0.00    0.00   61.63
09:22:29 PM    4    3.90    0.00   11.69    0.00    0.00    0.00    0.00    0.00   84.42
09:22:29 PM    5    2.90    0.00   17.39    0.00    0.00    2.90    0.00    0.00   76.81
09:22:29 PM    6    5.71    0.00    7.14    0.00    0.00    2.86    0.00    0.00   84.29
09:22:29 PM    7   10.14    0.00   15.94    0.00    0.00    0.00    0.00    0.00   73.91
09:22:29 PM    8    5.33    0.00   24.00    0.00    0.00    8.00    0.00    0.00   62.67
09:22:29 PM    9    3.95    0.00   14.47    0.00    0.00    0.00    0.00    0.00   81.58
09:22:29 PM   10    3.17    0.00    7.94    0.00    0.00    0.00    0.00    0.00   88.89
09:22:29 PM   11    2.47    0.00   17.28    0.00    0.00    0.00    0.00    0.00   80.25
09:22:29 PM   12    2.78    0.00    6.94    0.00    0.00    0.00    0.00    0.00   90.28
09:22:29 PM   13    0.00    0.00    8.86    0.00    0.00    2.53    0.00    0.00   88.61
09:22:29 PM   14    0.00    0.00    9.21    0.00    0.00    1.32    0.00    0.00   89.47
09:22:29 PM   15    0.00    0.00   10.11    0.00    0.00    0.00    0.00    0.00   89.89

Average:     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
Average:     all    2.81    0.00   15.11    0.02    0.00    7.78    0.00    0.00   74.28
Average:       0    0.39    0.00    4.34    0.00    0.00   70.81    0.00    0.00   24.46
Average:       1    2.10    0.00   38.03    0.21    0.00    5.04    0.00    0.00   54.62
Average:       2    2.43    0.00   19.71    0.00    0.00    7.06    0.00    0.00   70.80
Average:       3    4.30    0.00   23.63    0.00    0.00    4.53    0.00    0.00   67.54
Average:       4    3.66    0.00   13.09    0.00    0.00    3.66    0.00    0.00   79.58
Average:       5    3.68    0.00   21.53    0.00    0.00    2.55    0.00    0.00   72.24
Average:       6    1.63    0.00   12.53    0.00    0.00    1.63    0.00    0.00   84.20
Average:       7    3.71    0.00   15.14    0.00    0.00    0.00    0.00    0.00   81.14
Average:       8    7.49    0.00   29.97    0.00    0.00    2.07    0.00    0.00   60.47
Average:       9    2.55    0.00    8.93    0.00    0.00    1.28    0.00    0.00   87.24
Average:      10    3.48    0.00    8.41    0.00    0.00    0.58    0.00    0.00   87.54
Average:      11    3.27    0.00   11.17    0.00    0.00    1.09    0.00    0.00   84.47
Average:      12    3.07    0.00    6.91    0.00    0.00    0.77    0.00    0.00   89.26
Average:      13    1.60    0.00    8.27    0.00    0.00    1.60    0.00    0.00   88.53
Average:      14    1.31    0.00    8.36    0.00    0.00    0.78    0.00    0.00   89.56
Average:      15    1.43    0.00    8.79    0.00    0.00    0.24    0.00    0.00   89.55

 

Это при 300 с копейками числом коннектов.

Объем трафика:

# ifstat -bi bond0

bond0

Kbps in Kbps out

209427.7 147298.4

 

pppoe-server в kernel-mode не стал пересобирать - здесь же отговорили что не тот объем. если трабл в этом, пересоберу, не проблема.

 

Изменено пользователем DukeNukem3D

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.