V@No Опубликовано 16 мая, 2009 · Жалоба все же получилось ли поднять INTEL 1000 РТ (82571EB) с мульти MSI-X векторами? В дадащите написано что по две очереди поддерживает RX/TX.... Ктото пробывал на серверном бродкоме Nc7781 (bcm5703) тоже в дадащите указано что несколько очередей есть, но где :) Под FreeBSD есть ли что то похожее как там обстоят дела с мультивекторами? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
maxxxxu Опубликовано 21 октября, 2009 (изменено) · Жалоба Есть такая странная ситуация, может я не что-то недопонимаю, есть сетевая карта: Intel E1G42ETBLK Network Card PRO/1000 Gigabit ET Dual Port Server Adapter Ядро: 2.6.29.6 Драйвер ядерный: # ethtool -i eth1 driver: igb version: 1.2.45-k2 firmware-version: 1.2-1 dmesg: Intel® Gigabit Ethernet Network Driver - version 1.2.45-k2 Copyright © 2008 Intel Corporation. igb 0000:01:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16 igb 0000:01:00.0: setting latency timer to 64 igb 0000:01:00.0: irq 25 for MSI/MSI-X igb 0000:01:00.0: irq 26 for MSI/MSI-X igb 0000:01:00.0: irq 27 for MSI/MSI-X igb 0000:01:00.0: irq 28 for MSI/MSI-X igb 0000:01:00.0: irq 29 for MSI/MSI-X igb 0000:01:00.0: Intel® Gigabit Ethernet Network Connection igb 0000:01:00.0: eth1: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:18 igb 0000:01:00.0: eth1: PBA No: e43709-003 igb 0000:01:00.0: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s) igb 0000:01:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17 igb 0000:01:00.1: setting latency timer to 64 igb 0000:01:00.1: irq 30 for MSI/MSI-X igb 0000:01:00.1: irq 31 for MSI/MSI-X igb 0000:01:00.1: irq 32 for MSI/MSI-X igb 0000:01:00.1: irq 33 for MSI/MSI-X igb 0000:01:00.1: irq 34 for MSI/MSI-X igb 0000:01:00.1: Intel® Gigabit Ethernet Network Connection igb 0000:01:00.1: eth2: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:19 igb 0000:01:00.1: eth2: PBA No: e43709-003 igb 0000:01:00.1: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s) # cat /proc/interrupts CPU0 CPU1 25: 159 178 PCI-MSI-edge eth1-tx-0 26: 166 152 PCI-MSI-edge eth1-tx-1 27: 157 151 PCI-MSI-edge eth1-rx-0 28: 1095 1101 PCI-MSI-edge eth1-rx-1 29: 148 144 PCI-MSI-edge eth1 30: 2 5 PCI-MSI-edge eth2-tx-0 31: 0 0 PCI-MSI-edge eth2-tx-1 32: 148 149 PCI-MSI-edge eth2-rx-0 33: 149 148 PCI-MSI-edge eth2-rx-1 34: 0 1 PCI-MSI-edge eth2 т.е. видим что на каждый порт сетевой карты 2 очереди на прием и 2 очереди на передачу. -------------------- Компилю последний стабильный драйвер igb # ethtool -i eth1 driver: igb version: 1.3.28.5 firmware-version: 1.2-1 bus-info: 0000:01:00.0 Подгружаю модуль сетевой: modprobe igb IntMode=3,3 dmesg: Intel® Gigabit Ethernet Network Driver - version 1.3.28.5 Copyright © 2007-2008 Intel Corporation. igb 0000:01:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16 igb 0000:01:00.0: setting latency timer to 64 igb: 0000:01:00.0: igb_validate_option: Interrupt Mode set to 3 igb 0000:01:00.0: irq 25 for MSI/MSI-X igb 0000:01:00.0: irq 26 for MSI/MSI-X igb 0000:01:00.0: irq 27 for MSI/MSI-X igb: eth1: igb_probe: Intel® Gigabit Ethernet Network Connection igb: eth1: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:18 igb: eth1: igb_probe: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s) igb 0000:01:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17 igb 0000:01:00.1: setting latency timer to 64 igb: 0000:01:00.1: igb_validate_option: Interrupt Mode set to 3 igb 0000:01:00.1: irq 28 for MSI/MSI-X igb 0000:01:00.1: irq 29 for MSI/MSI-X igb 0000:01:00.1: irq 30 for MSI/MSI-X igb: eth2: igb_probe: Intel® Gigabit Ethernet Network Connection igb: eth2: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:19 igb: eth2: igb_probe: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s) # cat /proc/interrupts CPU0 CPU1 25: 161 179 PCI-MSI-edge eth1-TxRx-0 26: 167 154 PCI-MSI-edge eth1-TxRx-1 27: 185 175 PCI-MSI-edge eth1 28: 1119 1130 PCI-MSI-edge eth2-TxRx-0 29: 150 144 PCI-MSI-edge eth2-TxRx-1 30: 2 6 PCI-MSI-edge eth2 мне кажется или очередей стало меньше, что лучше старый или этот новый драйвер? пожалуйста отзовитесь кто использует данную сетевую карту Изменено 21 октября, 2009 пользователем maxxxxu Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 22 октября, 2009 (изменено) · Жалоба Очередей меньше не стало: >> igb 0000:01:00.1: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s) >> igb: eth2: igb_probe: Using MSI-X interrupts. 2 rx queue(s), 2 tx queue(s) Просто в первом случае очереди чисто rx или tx, а во втором они txrx. Что это и с чем его едят, я думаю написано в readme к дровам или в changelog. Изменено 22 октября, 2009 пользователем Dark_Angel Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Max P Опубликовано 27 октября, 2009 · Жалоба а вот на мегасетевухи наткнулся - http://www.napatech.com/products/network_adapters.html кто нить такие щупал? http://www.napatech.com/uploads/c_file/27_file_9737.pdf вот например даташит на 4х1гбит Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
shicoy Опубликовано 27 октября, 2009 · Жалоба а вот на мегасетевухи наткнулся - http://www.napatech.com/products/network_adapters.html кто нить такие щупал? http://www.napatech.com/uploads/c_file/27_file_9737.pdf вот например даташит на 4х1гбит Судя по всему купить их не получиться. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 27 октября, 2009 · Жалоба Это не дадашит, а рекламная брошура какая-то. Как они разбивают нагрузку на 32 процессора? Где графики с тестами, размеры буферов? Где написано поддерживается ли MSI, MSI-X, DCA? Короче не понял в чем их мегакрутость. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Max P Опубликовано 27 октября, 2009 · Жалоба а было бы интересно, похоже у них там многоядерный проц стоит дополнительный Это не дадашит, а рекламная брошура какая-то. Как они разбивают нагрузку на 32 процессора? Где графики с тестами, размеры буферов? Где написано поддерживается ли MSI, MSI-X, DCA? Короче не понял в чем их мегакрутость.по слухам продукт новый, потестить толком никто не успел, крутость похоже в доп.процессоре, который установлен прямо таки на плате, он то как раз и занимается всякими там checksum и прочими фичами, ну это всё имхо :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 27 октября, 2009 · Жалоба Как бы там ни было, на данный момент Intel перекрывает все потребности более чем. По крайней мере мои так точно. Цена в норме, драйвера рабочие, комьюнити большая. Не вижу смысла дергаться. Сомневаюсь, что их сетевуха стоит у нас дешевле 150 баксов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
azlozello Опубликовано 28 октября, 2009 · Жалоба Такой мега девайс наверно будет стоить от 1к$ Вот если бы туда ещё ASIC запихнули то можно было бы собирать на коленках вещи а-ля жунипер ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
maxxxxu Опубликовано 28 октября, 2009 (изменено) · Жалоба тоже самое, на этой же сетевой, только с более старыми драйверами - http://forum.nag.ru/forum/index.php?s=&...st&p=443007 вышел новый драйвер igb v2.0.6 Ядро: 2.6.29.6 #lspci 01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) modprobe igb IntMode=2,2 RSS=8,8 #dmesg Intel® Gigabit Ethernet Network Driver - version 2.0.6 Copyright © 2007-2009 Intel Corporation. igb 0000:01:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16 igb 0000:01:00.0: setting latency timer to 64 igb: 0000:01:00.0: igb_validate_option: Interrupt Mode set to 2 igb: 0000:01:00.0: igb_validate_option: RSS - RSS multiqueue receive count set to 8 igb 0000:01:00.0: irq 25 for MSI/MSI-X igb 0000:01:00.0: irq 26 for MSI/MSI-X igb 0000:01:00.0: irq 27 for MSI/MSI-X igb 0000:01:00.0: irq 28 for MSI/MSI-X igb 0000:01:00.0: irq 29 for MSI/MSI-X igb 0000:01:00.0: irq 30 for MSI/MSI-X igb 0000:01:00.0: irq 31 for MSI/MSI-X igb 0000:01:00.0: irq 32 for MSI/MSI-X igb 0000:01:00.0: irq 33 for MSI/MSI-X igb: eth1: igb_probe: Intel® Gigabit Ethernet Network Connection igb: eth1: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:18 igb: eth1: igb_probe: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s) igb 0000:01:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17 igb 0000:01:00.1: setting latency timer to 64 igb: 0000:01:00.1: igb_validate_option: Interrupt Mode set to 2 igb: 0000:01:00.1: igb_validate_option: RSS - RSS multiqueue receive count set to 8 igb 0000:01:00.1: irq 34 for MSI/MSI-X igb 0000:01:00.1: irq 35 for MSI/MSI-X igb 0000:01:00.1: irq 36 for MSI/MSI-X igb 0000:01:00.1: irq 37 for MSI/MSI-X igb 0000:01:00.1: irq 38 for MSI/MSI-X igb 0000:01:00.1: irq 39 for MSI/MSI-X igb 0000:01:00.1: irq 40 for MSI/MSI-X igb 0000:01:00.1: irq 41 for MSI/MSI-X igb 0000:01:00.1: irq 42 for MSI/MSI-X igb: eth2: igb_probe: Intel® Gigabit Ethernet Network Connection igb: eth2: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:19 igb: eth2: igb_probe: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s) 25: 0 0 PCI-MSI-edge eth1 26: 2 1 PCI-MSI-edge eth1-TxRx-0 27: 1 2 PCI-MSI-edge eth1-TxRx-1 28: 2 1 PCI-MSI-edge eth1-TxRx-2 29: 1 2 PCI-MSI-edge eth1-TxRx-3 30: 2 1 PCI-MSI-edge eth1-TxRx-4 31: 1 2 PCI-MSI-edge eth1-TxRx-5 32: 2 1 PCI-MSI-edge eth1-TxRx-6 33: 1 2 PCI-MSI-edge eth1-TxRx-7 34: 0 0 PCI-MSI-edge eth2 35: 1 0 PCI-MSI-edge eth2-TxRx-0 36: 0 1 PCI-MSI-edge eth2-TxRx-1 37: 1 0 PCI-MSI-edge eth2-TxRx-2 38: 0 1 PCI-MSI-edge eth2-TxRx-3 39: 1 0 PCI-MSI-edge eth2-TxRx-4 40: 0 1 PCI-MSI-edge eth2-TxRx-5 41: 1 0 PCI-MSI-edge eth2-TxRx-6 42: 0 1 PCI-MSI-edge eth2-TxRx-7 Изменено 28 октября, 2009 пользователем maxxxxu Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
adron2 Опубликовано 28 октября, 2009 · Жалоба тоже самое, на этой же сетевой, только с более старыми драйверами - http://forum.nag.ru/forum/index.php?s=&...st&p=443007 вышел новый драйвер igb v2.0.6 Ядро: 2.6.29.6 #lspci 01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) modprobe igb IntMode=2,2 RSS=8,8 #dmesg Intel® Gigabit Ethernet Network Driver - version 2.0.6 Copyright © 2007-2009 Intel Corporation. igb 0000:01:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16 igb 0000:01:00.0: setting latency timer to 64 igb: 0000:01:00.0: igb_validate_option: Interrupt Mode set to 2 igb: 0000:01:00.0: igb_validate_option: RSS - RSS multiqueue receive count set to 8 igb 0000:01:00.0: irq 25 for MSI/MSI-X igb 0000:01:00.0: irq 26 for MSI/MSI-X igb 0000:01:00.0: irq 27 for MSI/MSI-X igb 0000:01:00.0: irq 28 for MSI/MSI-X igb 0000:01:00.0: irq 29 for MSI/MSI-X igb 0000:01:00.0: irq 30 for MSI/MSI-X igb 0000:01:00.0: irq 31 for MSI/MSI-X igb 0000:01:00.0: irq 32 for MSI/MSI-X igb 0000:01:00.0: irq 33 for MSI/MSI-X igb: eth1: igb_probe: Intel® Gigabit Ethernet Network Connection igb: eth1: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:18 igb: eth1: igb_probe: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s) igb 0000:01:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17 igb 0000:01:00.1: setting latency timer to 64 igb: 0000:01:00.1: igb_validate_option: Interrupt Mode set to 2 igb: 0000:01:00.1: igb_validate_option: RSS - RSS multiqueue receive count set to 8 igb 0000:01:00.1: irq 34 for MSI/MSI-X igb 0000:01:00.1: irq 35 for MSI/MSI-X igb 0000:01:00.1: irq 36 for MSI/MSI-X igb 0000:01:00.1: irq 37 for MSI/MSI-X igb 0000:01:00.1: irq 38 for MSI/MSI-X igb 0000:01:00.1: irq 39 for MSI/MSI-X igb 0000:01:00.1: irq 40 for MSI/MSI-X igb 0000:01:00.1: irq 41 for MSI/MSI-X igb 0000:01:00.1: irq 42 for MSI/MSI-X igb: eth2: igb_probe: Intel® Gigabit Ethernet Network Connection igb: eth2: igb_probe: (PCIe:2.5Gb/s:Width x4) 00:1b:21:43:4e:19 igb: eth2: igb_probe: Using MSI-X interrupts. 8 rx queue(s), 8 tx queue(s) 25: 0 0 PCI-MSI-edge eth1 26: 2 1 PCI-MSI-edge eth1-TxRx-0 27: 1 2 PCI-MSI-edge eth1-TxRx-1 28: 2 1 PCI-MSI-edge eth1-TxRx-2 29: 1 2 PCI-MSI-edge eth1-TxRx-3 30: 2 1 PCI-MSI-edge eth1-TxRx-4 31: 1 2 PCI-MSI-edge eth1-TxRx-5 32: 2 1 PCI-MSI-edge eth1-TxRx-6 33: 1 2 PCI-MSI-edge eth1-TxRx-7 34: 0 0 PCI-MSI-edge eth2 35: 1 0 PCI-MSI-edge eth2-TxRx-0 36: 0 1 PCI-MSI-edge eth2-TxRx-1 37: 1 0 PCI-MSI-edge eth2-TxRx-2 38: 0 1 PCI-MSI-edge eth2-TxRx-3 39: 1 0 PCI-MSI-edge eth2-TxRx-4 40: 0 1 PCI-MSI-edge eth2-TxRx-5 41: 1 0 PCI-MSI-edge eth2-TxRx-6 42: 0 1 PCI-MSI-edge eth2-TxRx-7 Можно глупый вопрос? А чем этот драйвер отличается от ethtool -i eth1 driver: e1000e version: 1.0.2.5-NAPI firmware-version: 5.11-8 bus-info: 0000:01:00.0 lspci: 01:00.0 Ethernet controller: Intel Corporation 82572EI Gigabit Ethernet Controller (Copper) (rev 06) 02:00.0 Ethernet controller: Intel Corporation 82572EI Gigabit Ethernet Controller (Copper) (rev 06) Он лучше по производительности или просто для другого чипа? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
shicoy Опубликовано 28 октября, 2009 · Жалоба Он лучше по производительности или просто для другого чипа? Он лучше по производительности И просто для другого чипа. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QVirus Опубликовано 29 октября, 2009 (изменено) · Жалоба Добрый день! Есть роутер: # cat /etc/redhat-release Fedora release 11 (Leonidas) # uname -r 2.6.30.8-64.fc11.i686.PAE Две интегрированные сетевухи: 0a:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 0a:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) Модуль из дистрибутива, дополнительные параметры нигде не задаются: Intel(R) Gigabit Ethernet Network Driver - version 1.3.16-k2 Copyright (c) 2007-2009 Intel Corporation. igb 0000:0a:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16 igb 0000:0a:00.0: setting latency timer to 64 igb 0000:0a:00.0: irq 79 for MSI/MSI-X igb 0000:0a:00.0: irq 80 for MSI/MSI-X igb 0000:0a:00.0: irq 81 for MSI/MSI-X igb 0000:0a:00.0: irq 82 for MSI/MSI-X igb 0000:0a:00.0: irq 83 for MSI/MSI-X igb 0000:0a:00.0: irq 84 for MSI/MSI-X igb 0000:0a:00.0: irq 85 for MSI/MSI-X igb 0000:0a:00.0: irq 86 for MSI/MSI-X igb 0000:0a:00.0: irq 87 for MSI/MSI-X igb 0000:0a:00.0: Intel(R) Gigabit Ethernet Network Connection igb 0000:0a:00.0: eth0: (PCIe:2.5Gb/s:Width x4) 00:30:48:cc:9c:08 igb 0000:0a:00.0: eth0: PBA No: 0010ff-0ff igb 0000:0a:00.0: Using MSI-X interrupts. 4 rx queue(s), 4 tx queue(s) igb 0000:0a:00.1: PCI INT B -> GSI 17 (level, low) -> IRQ 17 igb 0000:0a:00.1: setting latency timer to 64 igb 0000:0a:00.1: irq 88 for MSI/MSI-X igb 0000:0a:00.1: irq 89 for MSI/MSI-X igb 0000:0a:00.1: irq 90 for MSI/MSI-X igb 0000:0a:00.1: irq 91 for MSI/MSI-X igb 0000:0a:00.1: irq 92 for MSI/MSI-X igb 0000:0a:00.1: irq 93 for MSI/MSI-X igb 0000:0a:00.1: irq 94 for MSI/MSI-X igb 0000:0a:00.1: irq 95 for MSI/MSI-X igb 0000:0a:00.1: irq 96 for MSI/MSI-X igb 0000:0a:00.1: Intel(R) Gigabit Ethernet Network Connection igb 0000:0a:00.1: eth1: (PCIe:2.5Gb/s:Width x4) 00:30:48:cc:9c:09 igb 0000:0a:00.1: eth1: PBA No: 0010ff-0ff igb 0000:0a:00.1: Using MSI-X interrupts. 4 rx queue(s), 4 tx queue(s) Проблема вот в чём: # grep eth /proc/interrupts CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7 79: 25 5849 0 7 1181 7269 2 8911 PCI-MSI-edge eth0-tx-0 80: 2114 9956 122898 11897 12738227 0 1891945 3218564 PCI-MSI-edge eth0-tx-1 81: 48 0 8 0 6427 21461 163 2750 PCI-MSI-edge eth0-tx-2 82: 79 0 145112 0 41641708 295055 280110612 0 PCI-MSI-edge eth0-tx-3 83: 740156 47635 9233 314 69514326 170338 71809914 15717235 PCI-MSI-edge eth0-rx-0 84: 31827 9525 1230 42496 63013473 21289818 57479626 340986 PCI-MSI-edge eth0-rx-1 85: 97061 25931159 137671 19119 2025570 97256016 21499 19224515 PCI-MSI-edge eth0-rx-2 86: 17798 133378 104 24174 13700907 0 18844767 110242365 PCI-MSI-edge eth0-rx-3 87: 2 0 0 0 0 0 0 0 PCI-MSI-edge eth0 88: 36 13 19 0 64 84 37924 1810 PCI-MSI-edge eth1-tx-0 89: 96 113343 152889375 0 79658193 169327957 0 0 PCI-MSI-edge eth1-tx-1 90: 22 0 0 3 170 0 234 5251 PCI-MSI-edge eth1-tx-2 91: 59 113 0 0 809691 20703 0 12 PCI-MSI-edge eth1-tx-3 92: 601252 259795762 0 37024 282391515 159218727 0 0 PCI-MSI-edge eth1-rx-0 93: 122094 593 141 45 123516 46910 52 136667 PCI-MSI-edge eth1-rx-1 94: 128 0 54 206 1277 159388 97863 279580 PCI-MSI-edge eth1-rx-2 95: 46 79 87 155 0 213 1109548 66863 PCI-MSI-edge eth1-rx-3 96: 2 0 0 0 0 0 0 0 PCI-MSI-edge eth1 1. Не работает балансинг irq по процам. Можно посадить только на одно какое-нить ядро. но это бы пустяк, имея столько очередей, но тут другая проблема 2. основная нагрузка идёт только на одну очередь (что приём, что передача) Как можно если хоть не irqbalance сделать, то равномерное распределение нагрузки по очередям? Изменено 29 октября, 2009 пользователем QVirus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 29 октября, 2009 · Жалоба hint: echo маскапроцессора >/proc/irq/NN/smp_affinity Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QVirus Опубликовано 29 октября, 2009 · Жалоба Указываешь маску, а работает всё равно только одно ядро. irqbalance после запуска раскидывает очереди по процессорам и всё...так в дальнейшем на тех ядрах и висят. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 29 октября, 2009 · Жалоба Как именно указывали маску? И как проверяли, что работает одно ядро? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QVirus Опубликовано 29 октября, 2009 · Жалоба допустим # echo "ff" > /proc/irq/80/smp_affinity т.е. 8 ядер, 8 бит включено проверял в динамике: # watch --interval=1 'grep eth /proc/interrupts' счётчики растут только на одном ядре Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 29 октября, 2009 · Жалоба Одно прерывание и должно сидеть на одном ядре, иначе при разбрасывании будут cache miss. Иногда разбрасывает сам APIC, но ничего хорошего по вышеприведенной причине не будет. Если irqbalance висит в фоне, оно будет переодически перебалансировать ядра. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
voron Опубликовано 29 октября, 2009 · Жалоба 2. основная нагрузка идёт только на одну очередь (что приём, что передача)Я так понимаю, это основная проблема :), особенно заметна на eth1, на eth0 есть разброс. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 29 октября, 2009 · Жалоба Ну висят сетевые на одном ядре и что? Наблюдаются дропы, ерроры и другие аномалии при работе с сетевой? ksoftirqd выступает? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QVirus Опубликовано 30 октября, 2009 · Жалоба 2. основная нагрузка идёт только на одну очередь (что приём, что передача)Я так понимаю, это основная проблема :), особенно заметна на eth1, на eth0 есть разброс. Вот как раз одна очередь на eth1 грузит одно ядро в пиках до 60%, остальные простаивают. В этом проблема. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QVirus Опубликовано 30 октября, 2009 · Жалоба Ну висят сетевые на одном ядре и что? Наблюдаются дропы, ерроры и другие аномалии при работе с сетевой? ksoftirqd выступает?за 2 дня на eth1 как раз набралось "dropped:1431"softirq грузит одно ядро до 60%. Ещё не смертельно, но возникает вопрос: нафиг тогда нужны остальные очереди, если в них ничего не попадает... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
maxxxxu Опубликовано 30 октября, 2009 (изменено) · Жалоба ни у кого не возникали проблемы с сетевой Intel на бордере: 01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) с бордера скачка норм, с серверов доступа ходящих через него ~500 килобит, про шейперы и прочее не предлагать, все что можно было отключено... Изменено 30 октября, 2009 пользователем maxxxxu Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
shaytan Опубликовано 30 октября, 2009 (изменено) · Жалоба Почему в tc, fw классификатор жрёт в 2 раза больше ресурсов проца чем u32 классификатор, хотя количество правил одинаковое? opreport -l |head -20 warning: /oprofile could not be found. CPU: Core 2, speed 1995.31 MHz (estimated) Counted CPU_CLK_UNHALTED events (Clock cycles when not halted) with a unit mask of 0x00 (Unhalted core cycles) count 100000 warning: /usr/lib/locale/en_US/LC_CTYPE is not in a usable binary format. warning: /usr/lib/locale/en_US/LC_NAME is not in a usable binary format. samples % image name app name symbol name 4478082 37.2179 vmlinux vmlinux fw_classify 1937303 16.1012 vmlinux vmlinux ipt_do_table 1871969 15.5582 vmlinux vmlinux u32_classify 323557 2.6891 vmlinux vmlinux mwait_idle 244150 2.0292 vmlinux vmlinux tc_classify_compat 160346 1.3327 vmlinux vmlinux dev_queue_xmit 141067 1.1724 vmlinux vmlinux mix_pool_bytes_extract 121630 1.0109 vmlinux vmlinux __qdisc_run 111390 0.9258 vmlinux vmlinux tg3_poll 103272 0.8583 vmlinux vmlinux tg_shares_up 94775 0.7877 vmlinux vmlinux htb_enqueue 93166 0.7743 vmlinux vmlinux irq_entries_start 84580 0.7030 vmlinux vmlinux tg3_msi_1shot 59688 0.4961 vmlinux vmlinux handle_edge_irq 56085 0.4661 vmlinux vmlinux htb_dequeue 53822 0.4473 vmlinux vmlinux ip_route_input 50180 0.4171 vmlinux vmlinux tg3_start_xmit Изменено 30 октября, 2009 пользователем shaytan Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
voron Опубликовано 30 октября, 2009 · Жалоба Почему в tc, fw классификатор жрёт в 2 раза больше ресурсов проца чем u32 классификатор, хотя количество правил одинаковое?А количество хитов в эти правила тоже одинаковое? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...