Перейти к содержимому
Калькуляторы

все же получилось ли поднять INTEL 1000 РТ (82571EB) с мульти MSI-X векторами?

В дадащите написано что по две очереди поддерживает RX/TX....

 

Ктото пробывал на серверном бродкоме Nc7781 (bcm5703)

тоже в дадащите указано что несколько очередей есть, но где :)

 

Под FreeBSD есть ли что то похожее как там обстоят дела с мультивекторами?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть такая странная ситуация, может я не что-то недопонимаю, есть сетевая карта:

Intel E1G42ETBLK Network Card PRO/1000 Gigabit ET Dual Port Server Adapter

 

Ядро: 2.6.29.6

 

Драйвер ядерный:

# ethtool -i eth1

driver: igb

version: 1.2.45-k2

firmware-version: 1.2-1

 

dmesg:

Intel® Gigabit Ethernet Network Driver - version 1.2.45-k2

Copyright © 2008 Intel Corporation.

igb 0000:01:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16

igb 0000:01:00.0: setting latency timer to 64

igb 0000:01:00.0: irq 25 for MSI/MSI-X

igb 0000:01:00.0: irq 26 for MSI/MSI-X

igb 0000:01:00.0: irq 27 for MSI/MSI-X

igb 0000:01:00.0: irq 28 for MSI/MSI-X

igb 0000:01:00.0: irq 29 for MSI/MSI-X

igb 0000:01:00.0: Intel® Gigabit Ethernet Network Connection

igb 0000:01:00.0: eth1: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:18

igb 0000:01:00.0: eth1: PBA No: e43709-003

igb 0000:01:00.0: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s)

igb 0000:01:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17

igb 0000:01:00.1: setting latency timer to 64

igb 0000:01:00.1: irq 30 for MSI/MSI-X

igb 0000:01:00.1: irq 31 for MSI/MSI-X

igb 0000:01:00.1: irq 32 for MSI/MSI-X

igb 0000:01:00.1: irq 33 for MSI/MSI-X

igb 0000:01:00.1: irq 34 for MSI/MSI-X

igb 0000:01:00.1: Intel® Gigabit Ethernet Network Connection

igb 0000:01:00.1: eth2: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:19

igb 0000:01:00.1: eth2: PBA No: e43709-003

igb 0000:01:00.1: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s)

 

# cat /proc/interrupts

CPU0 CPU1

25: 159 178 PCI-MSI-edge eth1-tx-0

26: 166 152 PCI-MSI-edge eth1-tx-1

27: 157 151 PCI-MSI-edge eth1-rx-0

28: 1095 1101 PCI-MSI-edge eth1-rx-1

29: 148 144 PCI-MSI-edge eth1

30: 2 5 PCI-MSI-edge eth2-tx-0

31: 0 0 PCI-MSI-edge eth2-tx-1

32: 148 149 PCI-MSI-edge eth2-rx-0

33: 149 148 PCI-MSI-edge eth2-rx-1

34: 0 1 PCI-MSI-edge eth2

 

т.е. видим что на каждый порт сетевой карты 2 очереди на прием и 2 очереди на передачу.

 

--------------------

 

Компилю последний стабильный драйвер igb

 

# ethtool -i eth1

driver: igb

version: 1.3.28.5

firmware-version: 1.2-1

bus-info: 0000:01:00.0

 

Подгружаю модуль сетевой: modprobe igb IntMode=3,3

 

dmesg:

Intel® Gigabit Ethernet Network Driver - version 1.3.28.5

Copyright © 2007-2008 Intel Corporation.

igb 0000:01:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16

igb 0000:01:00.0: setting latency timer to 64

igb: 0000:01:00.0: igb_validate_option: Interrupt Mode set to 3

igb 0000:01:00.0: irq 25 for MSI/MSI-X

igb 0000:01:00.0: irq 26 for MSI/MSI-X

igb 0000:01:00.0: irq 27 for MSI/MSI-X

igb: eth1: igb_probe: Intel® Gigabit Ethernet Network Connection

igb: eth1: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:18

igb: eth1: igb_probe: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s)

igb 0000:01:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17

igb 0000:01:00.1: setting latency timer to 64

igb: 0000:01:00.1: igb_validate_option: Interrupt Mode set to 3

igb 0000:01:00.1: irq 28 for MSI/MSI-X

igb 0000:01:00.1: irq 29 for MSI/MSI-X

igb 0000:01:00.1: irq 30 for MSI/MSI-X

igb: eth2: igb_probe: Intel® Gigabit Ethernet Network Connection

igb: eth2: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:19

igb: eth2: igb_probe: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s)

 

# cat /proc/interrupts

CPU0 CPU1

25: 161 179 PCI-MSI-edge eth1-TxRx-0

26: 167 154 PCI-MSI-edge eth1-TxRx-1

27: 185 175 PCI-MSI-edge eth1

28: 1119 1130 PCI-MSI-edge eth2-TxRx-0

29: 150 144 PCI-MSI-edge eth2-TxRx-1

30: 2 6 PCI-MSI-edge eth2

 

мне кажется или очередей стало меньше, что лучше старый или этот новый драйвер?

пожалуйста отзовитесь кто использует данную сетевую карту

Изменено пользователем maxxxxu

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Очередей меньше не стало:

 

>> igb 0000:01:00.1: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s)

 

>> igb: eth2: igb_probe: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s)

 

Просто в первом случае очереди чисто rx или tx, а во втором они txrx. Что это и с чем его едят, я думаю написано в readme к дровам или в changelog.

Изменено пользователем Dark_Angel

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а вот на мегасетевухи наткнулся - http://www.napatech.com/products/network_adapters.html кто нить такие щупал?

 

http://www.napatech.com/uploads/c_file/27_file_9737.pdf вот например даташит на 4х1гбит

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а вот на мегасетевухи наткнулся - http://www.napatech.com/products/network_adapters.html кто нить такие щупал?

 

http://www.napatech.com/uploads/c_file/27_file_9737.pdf вот например даташит на 4х1гбит

Судя по всему купить их не получиться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это не дадашит, а рекламная брошура какая-то. Как они разбивают нагрузку на 32 процессора? Где графики с тестами, размеры буферов? Где написано поддерживается ли MSI, MSI-X, DCA? Короче не понял в чем их мегакрутость.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а было бы интересно, похоже у них там многоядерный проц стоит дополнительный

 

Это не дадашит, а рекламная брошура какая-то. Как они разбивают нагрузку на 32 процессора? Где графики с тестами, размеры буферов? Где написано поддерживается ли MSI, MSI-X, DCA? Короче не понял в чем их мегакрутость.
по слухам продукт новый, потестить толком никто не успел, крутость похоже в доп.процессоре, который установлен прямо таки на плате, он то как раз и занимается всякими там checksum и прочими фичами, ну это всё имхо :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как бы там ни было, на данный момент Intel перекрывает все потребности более чем. По крайней мере мои так точно. Цена в норме, драйвера рабочие, комьюнити большая. Не вижу смысла дергаться. Сомневаюсь, что их сетевуха стоит у нас дешевле 150 баксов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Такой мега девайс наверно будет стоить от 1к$

Вот если бы туда ещё ASIC запихнули то можно было бы собирать на коленках вещи а-ля жунипер ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

тоже самое, на этой же сетевой, только с более старыми драйверами - http://forum.nag.ru/forum/index.php?s=&amp...st&p=443007

 

вышел новый драйвер igb v2.0.6

 

Ядро: 2.6.29.6

 

#lspci

01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

 

modprobe igb IntMode=2,2 RSS=8,8

 

#dmesg

Intel® Gigabit Ethernet Network Driver - version 2.0.6

Copyright © 2007-2009 Intel Corporation.

igb 0000:01:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16

igb 0000:01:00.0: setting latency timer to 64

igb: 0000:01:00.0: igb_validate_option: Interrupt Mode set to 2

igb: 0000:01:00.0: igb_validate_option: RSS - RSS multiqueue receive count set to 8

igb 0000:01:00.0: irq 25 for MSI/MSI-X

igb 0000:01:00.0: irq 26 for MSI/MSI-X

igb 0000:01:00.0: irq 27 for MSI/MSI-X

igb 0000:01:00.0: irq 28 for MSI/MSI-X

igb 0000:01:00.0: irq 29 for MSI/MSI-X

igb 0000:01:00.0: irq 30 for MSI/MSI-X

igb 0000:01:00.0: irq 31 for MSI/MSI-X

igb 0000:01:00.0: irq 32 for MSI/MSI-X

igb 0000:01:00.0: irq 33 for MSI/MSI-X

igb: eth1: igb_probe: Intel® Gigabit Ethernet Network Connection

igb: eth1: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:18

igb: eth1: igb_probe: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)

igb 0000:01:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17

igb 0000:01:00.1: setting latency timer to 64

igb: 0000:01:00.1: igb_validate_option: Interrupt Mode set to 2

igb: 0000:01:00.1: igb_validate_option: RSS - RSS multiqueue receive count set to 8

igb 0000:01:00.1: irq 34 for MSI/MSI-X

igb 0000:01:00.1: irq 35 for MSI/MSI-X

igb 0000:01:00.1: irq 36 for MSI/MSI-X

igb 0000:01:00.1: irq 37 for MSI/MSI-X

igb 0000:01:00.1: irq 38 for MSI/MSI-X

igb 0000:01:00.1: irq 39 for MSI/MSI-X

igb 0000:01:00.1: irq 40 for MSI/MSI-X

igb 0000:01:00.1: irq 41 for MSI/MSI-X

igb 0000:01:00.1: irq 42 for MSI/MSI-X

igb: eth2: igb_probe: Intel® Gigabit Ethernet Network Connection

igb: eth2: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:19

igb: eth2: igb_probe: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)

 

25: 0 0 PCI-MSI-edge eth1

26: 2 1 PCI-MSI-edge eth1-TxRx-0

27: 1 2 PCI-MSI-edge eth1-TxRx-1

28: 2 1 PCI-MSI-edge eth1-TxRx-2

29: 1 2 PCI-MSI-edge eth1-TxRx-3

30: 2 1 PCI-MSI-edge eth1-TxRx-4

31: 1 2 PCI-MSI-edge eth1-TxRx-5

32: 2 1 PCI-MSI-edge eth1-TxRx-6

33: 1 2 PCI-MSI-edge eth1-TxRx-7

34: 0 0 PCI-MSI-edge eth2

35: 1 0 PCI-MSI-edge eth2-TxRx-0

36: 0 1 PCI-MSI-edge eth2-TxRx-1

37: 1 0 PCI-MSI-edge eth2-TxRx-2

38: 0 1 PCI-MSI-edge eth2-TxRx-3

39: 1 0 PCI-MSI-edge eth2-TxRx-4

40: 0 1 PCI-MSI-edge eth2-TxRx-5

41: 1 0 PCI-MSI-edge eth2-TxRx-6

42: 0 1 PCI-MSI-edge eth2-TxRx-7

Изменено пользователем maxxxxu

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

тоже самое, на этой же сетевой, только с более старыми драйверами - http://forum.nag.ru/forum/index.php?s=&amp...st&p=443007

 

вышел новый драйвер igb v2.0.6

 

Ядро: 2.6.29.6

 

#lspci

01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

 

modprobe igb IntMode=2,2 RSS=8,8

 

#dmesg

Intel® Gigabit Ethernet Network Driver - version 2.0.6

Copyright © 2007-2009 Intel Corporation.

igb 0000:01:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16

igb 0000:01:00.0: setting latency timer to 64

igb: 0000:01:00.0: igb_validate_option: Interrupt Mode set to 2

igb: 0000:01:00.0: igb_validate_option: RSS - RSS multiqueue receive count set to 8

igb 0000:01:00.0: irq 25 for MSI/MSI-X

igb 0000:01:00.0: irq 26 for MSI/MSI-X

igb 0000:01:00.0: irq 27 for MSI/MSI-X

igb 0000:01:00.0: irq 28 for MSI/MSI-X

igb 0000:01:00.0: irq 29 for MSI/MSI-X

igb 0000:01:00.0: irq 30 for MSI/MSI-X

igb 0000:01:00.0: irq 31 for MSI/MSI-X

igb 0000:01:00.0: irq 32 for MSI/MSI-X

igb 0000:01:00.0: irq 33 for MSI/MSI-X

igb: eth1: igb_probe: Intel® Gigabit Ethernet Network Connection

igb: eth1: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:18

igb: eth1: igb_probe: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)

igb 0000:01:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17

igb 0000:01:00.1: setting latency timer to 64

igb: 0000:01:00.1: igb_validate_option: Interrupt Mode set to 2

igb: 0000:01:00.1: igb_validate_option: RSS - RSS multiqueue receive count set to 8

igb 0000:01:00.1: irq 34 for MSI/MSI-X

igb 0000:01:00.1: irq 35 for MSI/MSI-X

igb 0000:01:00.1: irq 36 for MSI/MSI-X

igb 0000:01:00.1: irq 37 for MSI/MSI-X

igb 0000:01:00.1: irq 38 for MSI/MSI-X

igb 0000:01:00.1: irq 39 for MSI/MSI-X

igb 0000:01:00.1: irq 40 for MSI/MSI-X

igb 0000:01:00.1: irq 41 for MSI/MSI-X

igb 0000:01:00.1: irq 42 for MSI/MSI-X

igb: eth2: igb_probe: Intel® Gigabit Ethernet Network Connection

igb: eth2: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:19

igb: eth2: igb_probe: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s)

 

25: 0 0 PCI-MSI-edge eth1

26: 2 1 PCI-MSI-edge eth1-TxRx-0

27: 1 2 PCI-MSI-edge eth1-TxRx-1

28: 2 1 PCI-MSI-edge eth1-TxRx-2

29: 1 2 PCI-MSI-edge eth1-TxRx-3

30: 2 1 PCI-MSI-edge eth1-TxRx-4

31: 1 2 PCI-MSI-edge eth1-TxRx-5

32: 2 1 PCI-MSI-edge eth1-TxRx-6

33: 1 2 PCI-MSI-edge eth1-TxRx-7

34: 0 0 PCI-MSI-edge eth2

35: 1 0 PCI-MSI-edge eth2-TxRx-0

36: 0 1 PCI-MSI-edge eth2-TxRx-1

37: 1 0 PCI-MSI-edge eth2-TxRx-2

38: 0 1 PCI-MSI-edge eth2-TxRx-3

39: 1 0 PCI-MSI-edge eth2-TxRx-4

40: 0 1 PCI-MSI-edge eth2-TxRx-5

41: 1 0 PCI-MSI-edge eth2-TxRx-6

42: 0 1 PCI-MSI-edge eth2-TxRx-7

Можно глупый вопрос?

А чем этот драйвер отличается от

ethtool -i eth1

driver: e1000e

version: 1.0.2.5-NAPI

firmware-version: 5.11-8

bus-info: 0000:01:00.0

 

lspci:

01:00.0 Ethernet controller: Intel Corporation 82572EI Gigabit Ethernet Controller (Copper) (rev 06)

02:00.0 Ethernet controller: Intel Corporation 82572EI Gigabit Ethernet Controller (Copper) (rev 06)

 

Он лучше по производительности или просто для другого чипа?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Он лучше по производительности или просто для другого чипа?

Он лучше по производительности И просто для другого чипа.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день!

 

Есть роутер:

# cat /etc/redhat-release
Fedora release 11 (Leonidas)

# uname -r
2.6.30.8-64.fc11.i686.PAE

 

Две интегрированные сетевухи:

0a:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
0a:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

 

Модуль из дистрибутива, дополнительные параметры нигде не задаются:

Intel(R) Gigabit Ethernet Network Driver - version 1.3.16-k2
Copyright (c) 2007-2009 Intel Corporation.
igb 0000:0a:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16
igb 0000:0a:00.0: setting latency timer to 64
igb 0000:0a:00.0: irq 79 for MSI/MSI-X
igb 0000:0a:00.0: irq 80 for MSI/MSI-X
igb 0000:0a:00.0: irq 81 for MSI/MSI-X
igb 0000:0a:00.0: irq 82 for MSI/MSI-X
igb 0000:0a:00.0: irq 83 for MSI/MSI-X
igb 0000:0a:00.0: irq 84 for MSI/MSI-X
igb 0000:0a:00.0: irq 85 for MSI/MSI-X
igb 0000:0a:00.0: irq 86 for MSI/MSI-X
igb 0000:0a:00.0: irq 87 for MSI/MSI-X
igb 0000:0a:00.0: Intel(R) Gigabit Ethernet Network Connection
igb 0000:0a:00.0: eth0: (PCIe:2.5Gb/s:Width x4) 00:30:48:cc:9c:08
igb 0000:0a:00.0: eth0: PBA No: 0010ff-0ff
igb 0000:0a:00.0: Using MSI-X interrupts. 4 rx queue(s), 4 tx queue(s)
igb 0000:0a:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17
igb 0000:0a:00.1: setting latency timer to 64
igb 0000:0a:00.1: irq 88 for MSI/MSI-X
igb 0000:0a:00.1: irq 89 for MSI/MSI-X
igb 0000:0a:00.1: irq 90 for MSI/MSI-X
igb 0000:0a:00.1: irq 91 for MSI/MSI-X
igb 0000:0a:00.1: irq 92 for MSI/MSI-X
igb 0000:0a:00.1: irq 93 for MSI/MSI-X
igb 0000:0a:00.1: irq 94 for MSI/MSI-X
igb 0000:0a:00.1: irq 95 for MSI/MSI-X
igb 0000:0a:00.1: irq 96 for MSI/MSI-X
igb 0000:0a:00.1: Intel(R) Gigabit Ethernet Network Connection
igb 0000:0a:00.1: eth1: (PCIe:2.5Gb/s:Width x4) 00:30:48:cc:9c:09
igb 0000:0a:00.1: eth1: PBA No: 0010ff-0ff
igb 0000:0a:00.1: Using MSI-X interrupts. 4 rx queue(s), 4 tx queue(s)

 

Проблема вот в чём:

# grep eth /proc/interrupts
            CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7
  79:         25       5849          0          7       1181       7269          2       8911   PCI-MSI-edge      eth0-tx-0
  80:       2114       9956     122898      11897   12738227          0    1891945    3218564   PCI-MSI-edge      eth0-tx-1
  81:         48          0          8          0       6427      21461        163       2750   PCI-MSI-edge      eth0-tx-2
  82:         79          0     145112          0   41641708     295055  280110612          0   PCI-MSI-edge      eth0-tx-3
  83:     740156      47635       9233        314   69514326     170338   71809914   15717235   PCI-MSI-edge      eth0-rx-0
  84:      31827       9525       1230      42496   63013473   21289818   57479626     340986   PCI-MSI-edge      eth0-rx-1
  85:      97061   25931159     137671      19119    2025570   97256016      21499   19224515   PCI-MSI-edge      eth0-rx-2
  86:      17798     133378        104      24174   13700907          0   18844767  110242365   PCI-MSI-edge      eth0-rx-3
  87:          2          0          0          0          0          0          0          0   PCI-MSI-edge      eth0
  88:         36         13         19          0         64         84      37924       1810   PCI-MSI-edge      eth1-tx-0
  89:         96     113343  152889375          0   79658193  169327957          0          0   PCI-MSI-edge      eth1-tx-1
  90:         22          0          0          3        170          0        234       5251   PCI-MSI-edge      eth1-tx-2
  91:         59        113          0          0     809691      20703          0         12   PCI-MSI-edge      eth1-tx-3
  92:     601252  259795762          0      37024  282391515  159218727          0          0   PCI-MSI-edge      eth1-rx-0
  93:     122094        593        141         45     123516      46910         52     136667   PCI-MSI-edge      eth1-rx-1
  94:        128          0         54        206       1277     159388      97863     279580   PCI-MSI-edge      eth1-rx-2
  95:         46         79         87        155          0        213    1109548      66863   PCI-MSI-edge      eth1-rx-3
  96:          2          0          0          0          0          0          0          0   PCI-MSI-edge      eth1

 

1. Не работает балансинг irq по процам. Можно посадить только на одно какое-нить ядро.

но это бы пустяк, имея столько очередей, но тут другая проблема

2. основная нагрузка идёт только на одну очередь (что приём, что передача)

Как можно если хоть не irqbalance сделать, то равномерное распределение нагрузки по очередям?

Изменено пользователем QVirus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

hint: echo маскапроцессора >/proc/irq/NN/smp_affinity

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Указываешь маску, а работает всё равно только одно ядро.

irqbalance после запуска раскидывает очереди по процессорам и всё...так в дальнейшем на тех ядрах и висят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как именно указывали маску?

И как проверяли, что работает одно ядро?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

допустим

# echo "ff" > /proc/irq/80/smp_affinity

т.е. 8 ядер, 8 бит включено

 

проверял в динамике:

# watch --interval=1 'grep eth /proc/interrupts'

счётчики растут только на одном ядре

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Одно прерывание и должно сидеть на одном ядре, иначе при разбрасывании будут cache miss.

Иногда разбрасывает сам APIC, но ничего хорошего по вышеприведенной причине не будет.

Если irqbalance висит в фоне, оно будет переодически перебалансировать ядра.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2. основная нагрузка идёт только на одну очередь (что приём, что передача)
Я так понимаю, это основная проблема :), особенно заметна на eth1, на eth0 есть разброс.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну висят сетевые на одном ядре и что? Наблюдаются дропы, ерроры и другие аномалии при работе с сетевой? ksoftirqd выступает?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2. основная нагрузка идёт только на одну очередь (что приём, что передача)
Я так понимаю, это основная проблема :), особенно заметна на eth1, на eth0 есть разброс.

Вот как раз одна очередь на eth1 грузит одно ядро в пиках до 60%, остальные простаивают. В этом проблема.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну висят сетевые на одном ядре и что? Наблюдаются дропы, ерроры и другие аномалии при работе с сетевой? ksoftirqd выступает?
за 2 дня на eth1 как раз набралось "dropped:1431"

softirq грузит одно ядро до 60%. Ещё не смертельно, но возникает вопрос: нафиг тогда нужны остальные очереди, если в них ничего не попадает...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ни у кого не возникали проблемы с сетевой Intel на бордере:

 

01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

 

с бордера скачка норм, с серверов доступа ходящих через него ~500 килобит, про шейперы и прочее не предлагать, все что можно было отключено...

Изменено пользователем maxxxxu

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Почему в tc, fw классификатор жрёт в 2 раза больше ресурсов проца чем u32 классификатор, хотя количество правил одинаковое?

 

opreport -l |head -20
warning: /oprofile could not be found.
CPU: Core 2, speed 1995.31 MHz (estimated)
Counted CPU_CLK_UNHALTED events (Clock cycles when not halted) with a unit mask of 0x00 (Unhalted core cycles) count 100000
warning: /usr/lib/locale/en_US/LC_CTYPE is not in a usable binary format.
warning: /usr/lib/locale/en_US/LC_NAME is not in a usable binary format.
samples  %        image name               app name                 symbol name
4478082  37.2179  vmlinux                  vmlinux                  fw_classify
1937303  16.1012  vmlinux                  vmlinux                  ipt_do_table
1871969  15.5582  vmlinux                  vmlinux                  u32_classify
323557    2.6891  vmlinux                  vmlinux                  mwait_idle
244150    2.0292  vmlinux                  vmlinux                  tc_classify_compat
160346    1.3327  vmlinux                  vmlinux                  dev_queue_xmit
141067    1.1724  vmlinux                  vmlinux                  mix_pool_bytes_extract
121630    1.0109  vmlinux                  vmlinux                  __qdisc_run
111390    0.9258  vmlinux                  vmlinux                  tg3_poll
103272    0.8583  vmlinux                  vmlinux                  tg_shares_up
94775     0.7877  vmlinux                  vmlinux                  htb_enqueue
93166     0.7743  vmlinux                  vmlinux                  irq_entries_start
84580     0.7030  vmlinux                  vmlinux                  tg3_msi_1shot
59688     0.4961  vmlinux                  vmlinux                  handle_edge_irq
56085     0.4661  vmlinux                  vmlinux                  htb_dequeue
53822     0.4473  vmlinux                  vmlinux                  ip_route_input
50180     0.4171  vmlinux                  vmlinux                  tg3_start_xmit

Изменено пользователем shaytan

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Почему в tc, fw классификатор жрёт в 2 раза больше ресурсов проца чем u32 классификатор, хотя количество правил одинаковое?
А количество хитов в эти правила тоже одинаковое?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.