QVirus

http://russianpost.ru/rp/press/ru/home/new...tem?newsid=4693

за 2 дня на eth1 как раз набралось "dropped:1431"softirq грузит одно ядро до 60%. Ещё не смертельно, но возникает вопрос: нафиг тогда нужны остальные очереди, если в них ничего не попадает...

Я так понимаю, это основная проблема :), особенно заметна на eth1, на eth0 есть разброс. Вот как раз одна очередь на eth1 грузит одно ядро в пиках до 60%, остальные простаивают. В этом проблема.

допустим # echo "ff" > /proc/irq/80/smp_affinity т.е. 8 ядер, 8 бит включено проверял в динамике: # watch --interval=1 'grep eth /proc/interrupts' счётчики растут только на одном ядре

Указываешь маску, а работает всё равно только одно ядро. irqbalance после запуска раскидывает очереди по процессорам и всё...так в дальнейшем на тех ядрах и висят.

Добрый день! Есть роутер: # cat /etc/redhat-release Fedora release 11 (Leonidas) # uname -r 2.6.30.8-64.fc11.i686.PAE Две интегрированные сетевухи: 0a:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 0a:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) Модуль из дистрибутива, дополнительные параметры нигде не задаются: Intel(R) Gigabit Ethernet Network Driver - version 1.3.16-k2 Copyright (c) 2007-2009 Intel Corporation. igb 0000:0a:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16 igb 0000:0a:00.0: setting latency timer to 64 igb 0000:0a:00.0: irq 79 for MSI/MSI-X igb 0000:0a:00.0: irq 80 for MSI/MSI-X igb 0000:0a:00.0: irq 81 for MSI/MSI-X igb 0000:0a:00.0: irq 82 for MSI/MSI-X igb 0000:0a:00.0: irq 83 for MSI/MSI-X igb 0000:0a:00.0: irq 84 for MSI/MSI-X igb 0000:0a:00.0: irq 85 for MSI/MSI-X igb 0000:0a:00.0: irq 86 for MSI/MSI-X igb 0000:0a:00.0: irq 87 for MSI/MSI-X igb 0000:0a:00.0: Intel(R) Gigabit Ethernet Network Connection igb 0000:0a:00.0: eth0: (PCIe:2.5Gb/s:Width x4) 00:30:48:cc:9c:08 igb 0000:0a:00.0: eth0: PBA No: 0010ff-0ff igb 0000:0a:00.0: Using MSI-X interrupts. 4 rx queue(s), 4 tx queue(s) igb 0000:0a:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17 igb 0000:0a:00.1: setting latency timer to 64 igb 0000:0a:00.1: irq 88 for MSI/MSI-X igb 0000:0a:00.1: irq 89 for MSI/MSI-X igb 0000:0a:00.1: irq 90 for MSI/MSI-X igb 0000:0a:00.1: irq 91 for MSI/MSI-X igb 0000:0a:00.1: irq 92 for MSI/MSI-X igb 0000:0a:00.1: irq 93 for MSI/MSI-X igb 0000:0a:00.1: irq 94 for MSI/MSI-X igb 0000:0a:00.1: irq 95 for MSI/MSI-X igb 0000:0a:00.1: irq 96 for MSI/MSI-X igb 0000:0a:00.1: Intel(R) Gigabit Ethernet Network Connection igb 0000:0a:00.1: eth1: (PCIe:2.5Gb/s:Width x4) 00:30:48:cc:9c:09 igb 0000:0a:00.1: eth1: PBA No: 0010ff-0ff igb 0000:0a:00.1: Using MSI-X interrupts. 4 rx queue(s), 4 tx queue(s) Проблема вот в чём: # grep eth /proc/interrupts CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7 79: 25 5849 0 7 1181 7269 2 8911 PCI-MSI-edge eth0-tx-0 80: 2114 9956 122898 11897 12738227 0 1891945 3218564 PCI-MSI-edge eth0-tx-1 81: 48 0 8 0 6427 21461 163 2750 PCI-MSI-edge eth0-tx-2 82: 79 0 145112 0 41641708 295055 280110612 0 PCI-MSI-edge eth0-tx-3 83: 740156 47635 9233 314 69514326 170338 71809914 15717235 PCI-MSI-edge eth0-rx-0 84: 31827 9525 1230 42496 63013473 21289818 57479626 340986 PCI-MSI-edge eth0-rx-1 85: 97061 25931159 137671 19119 2025570 97256016 21499 19224515 PCI-MSI-edge eth0-rx-2 86: 17798 133378 104 24174 13700907 0 18844767 110242365 PCI-MSI-edge eth0-rx-3 87: 2 0 0 0 0 0 0 0 PCI-MSI-edge eth0 88: 36 13 19 0 64 84 37924 1810 PCI-MSI-edge eth1-tx-0 89: 96 113343 152889375 0 79658193 169327957 0 0 PCI-MSI-edge eth1-tx-1 90: 22 0 0 3 170 0 234 5251 PCI-MSI-edge eth1-tx-2 91: 59 113 0 0 809691 20703 0 12 PCI-MSI-edge eth1-tx-3 92: 601252 259795762 0 37024 282391515 159218727 0 0 PCI-MSI-edge eth1-rx-0 93: 122094 593 141 45 123516 46910 52 136667 PCI-MSI-edge eth1-rx-1 94: 128 0 54 206 1277 159388 97863 279580 PCI-MSI-edge eth1-rx-2 95: 46 79 87 155 0 213 1109548 66863 PCI-MSI-edge eth1-rx-3 96: 2 0 0 0 0 0 0 0 PCI-MSI-edge eth1 1. Не работает балансинг irq по процам. Можно посадить только на одно какое-нить ядро. но это бы пустяк, имея столько очередей, но тут другая проблема 2. основная нагрузка идёт только на одну очередь (что приём, что передача) Как можно если хоть не irqbalance сделать, то равномерное распределение нагрузки по очередям?

...из старых чугунных ванн...

andriko +1000 тебе! РАБОТАЕТ! :)

Проблема в конфликте syslog и pppd > 2.4.2 под pppoe-serverом в Bugzillе RedHatа есть открытые баги, но они без ответа...