lionel

From: Alexander Duyck <alexander.h.duyck@intel.com> CC: e1000-devel@lists.sf.net Subject: Re: [E1000-devel] ixgbe 3.3.9 driver for linux and undocumented VMDQ option. VF multiple queues. Date: Thu, 07 Jul 2011 08:52:29 -0700 User-Agent: Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.2.17) Gecko/20110428 Fedora/3.1.10-1.fc14 Lightning/1.0b3pre Thunderbird/3.1.10 The ixgbe and ixgbevf drivers currently do not support multi-queue VFs. The VMDQ option is also not fully feature complete at this time. Currently all it does is configure the device to support multiple VMDq pools, however since the Linux kernel currently doesn't have a defined means of making use of these pools they are unused. Thanks, Alex

если это паравиртуализация то да. если нет то наверно как на физической машине. физическую сетевуху гостю давал - очередей несколько, всё замечательно работает, из KVM нагрузка видна, распределена по ядрам как и в госте.

при включении max_vfs очереди пропадают вообще. даже в dom0, пока не пропишешь их в VMDQ. параметр max_vfs отключает и блокирует RSS. количество vfs никак не влияет на количество прерываний у них. какой бы ни был max_vfs, у VF всегда Capabilities: [70] MSI-X: Enable- Count=3 Masked- я так понимаю что нет прерываний - нет очередей.

ситуация такая - есть сервак с сетевушкой Intel 82599. она двухпортовая. физическое устройство имеет 16 очередей и 64 прерывания. а виртуальное на RX всего одну. вот физическая сетевуха: 05:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit Network Connection (rev 01) Capabilities: [70] MSI-X: Enable+ Count=64 Masked- а вот её VF девайс: 05:10.0 Ethernet controller: Intel Corporation Device 10ed (rev 01) Capabilities: [70] MSI-X: Enable- Count=3 Masked- при загрузке драйвера становится Enable+ это то что видно из _dom0. с KVM аналогично. в госте соответственно тоже Count=3 одно RX одно TX и одно lsc а у драйвера ixgbevf опций, относящихся к виртуализации вообще нет. нет очередей потому что нет прерываний? или оно как-то по другому работает? ни в readme ни в описании ничего не нашёл про то как оно должно быть. у драйвера ixgbe есть опция VMDQ про которую в readme ничего нет. в версии 3.3.9 она вроде как рабочая но очереди только у основных сетевух появляются. в 3.2.10 с этой опцией переставала работать сеть в _dom0. при этом работала в гостевой системе. опций у модуля ixgbe кроме VMDQ и max_vfs больше нет - смотрел в сорцах. хочется и в госте иметь несколько очередей но вот как это сделать? вариант с прокидыванием нескольких VF сетевух и сооружением port-channel'а не прокатил, да и костыль это.

спасибо за инфу. про MMCONFIG не в курсе был. в x86 есть опция pci_access_mode, стоит в AUTO. в x86_64 есть галка для использования MMCONFIG. а дома x86, благодаря PAE 64 гига адресуются и жаловаться не приходится. я изначально по-другому решил проблему, порывшись в сорцах. однако это не решило пролем с потерями. похоже что виновата была опция NAPI с которой собирался модуль по умолчанию. модуль в составе ядра похоже не способен адекватно работать с 82599. так что собирал уже 3.х.х. без NAPI потерь нет.

http://forum.nag.ru/forum/index.php?showto...rt=#entry575341 работает это или нет - не проверял. а вот патчик чинящий ioat на 5520 чипсете в упор не найду, но ещё правда 38 ядро не проверял

ничего похожего на такой патч не встречал. ядро не выше чем 2.6.35 могу использовать т.к. на >35 ipt_NETFLOW не работает.

у меня на железке с 10гбит сетевухой не пашет ioatdma и DCA на Intel Corporation 5000 Series Chipset с тем же конфигом оси и дров всё работает, по крайней мере ошибок в dmesg нет ни от ioatdma ни от ixgbe в биосе IOAT и DCA включены. сетевуха такая: Intel Corporation 82599EB 10-Gigabit Network Connection платформа: supermicro x8dtu-f системная плата 2xIntel® Xeon® CPU X5650 @ 2.67GHz 12 ядер 24 потока чипсет: Intel Corporation 5520/5500/X58 lsmod: dca 3633 3 igb,ixgbe,ioatdma проблема кажется именно в ioatdma, если вынуть сетевуху то всё равно Intel® I/OAT DMA Engine init failed вот что происходит dmesg | grep "ioat\|dca\|ixgbe" [ 10.436322] dca service started, version 1.12.1 [ 10.596656] ioatdma: Intel® QuickData Technology Driver 4.00 [ 10.596714] ioatdma 0000:00:16.0: PCI INT A -> GSI 43 (level, low) -> IRQ 43 [ 10.596760] ioatdma 0000:00:16.0: setting latency timer to 64 [ 10.596768] ioatdma 0000:00:16.0: channel error register unreachable [ 10.596769] ioatdma 0000:00:16.0: channel enumeration error [ 10.596772] ioatdma 0000:00:16.0: Intel® I/OAT DMA Engine init failed [ 10.596783] ioatdma 0000:00:16.0: PCI INT A disabled [ 10.628435] ixgbe 0000:05:00.0: PCI INT A -> GSI 34 (level, low) -> IRQ 34 [ 10.628445] ixgbe 0000:05:00.0: setting latency timer to 64 [ 10.778101] ixgbe: Direct Cache Access (DCA) set to 1 [ 10.778103] ixgbe: Receive-Side Scaling (RSS) set to 12 [ 10.778109] ixgbe: 0000:05:00.0: ixgbe_check_options: dynamic interrupt throttling enabled [ 10.778111] ixgbe: 0000:05:00.0: ixgbe_check_options: Flow Director hash filtering enabled [ 10.778113] ixgbe: 0000:05:00.0: ixgbe_check_options: Flow Director allocated 64kB of packet buffer [ 10.778115] ixgbe: 0000:05:00.0: ixgbe_check_options: ATR Tx Packet sample rate set to default of 20 [ 10.778117] ixgbe: Node to start on set to 0 [ 10.778118] ixgbe: 0000:05:00.0: ixgbe_check_options: node set to 0 [ 10.800780] ixgbe 0000:05:00.0: irq 81 for MSI/MSI-X [ 10.800785] ixgbe 0000:05:00.0: irq 82 for MSI/MSI-X [ 10.800789] ixgbe 0000:05:00.0: irq 83 for MSI/MSI-X [ 10.800793] ixgbe 0000:05:00.0: irq 84 for MSI/MSI-X [ 10.801040] ixgbe: 0000:05:00.0: ixgbe_init_interrupt_scheme: Multiqueue Enabled: Rx Queue count = 24, Tx Queue count = 24 [ 10.801860] ixgbe: eth0: ixgbe_probe: No DCA provider found. Please start ioatdma for DCA functionality. [ 10.801862] ixgbe: eth0: ixgbe_probe: (PCI Express:5.0Gb/s:Width x8) 00:1b:21:74:57:54 [ 10.801940] ixgbe: eth0: ixgbe_probe: MAC: 2, PHY: 15, SFP+: 5, PBA No: E68785-003 [ 10.801942] ixgbe: eth0: ixgbe_probe: GRO is enabled [ 10.801943] ixgbe: eth0: ixgbe_probe: HW RSC is enabled [ 10.802531] ixgbe: eth0: ixgbe_probe: Intel® 10 Gigabit Network Connection подозреваю что из-за этого уже при 3 гигабитах сквозного трафика загрузка процов за 50%, потери и подскоки пинга судя по этой статье в моём случае что-то явно не так: http://nag.ru/articles/article/19974/kak-m...tizirovali.html

у меня на железке с 10гбит сетевухой не пашет ioatdma и DCA на Intel Corporation 5000 Series Chipset с тем же конфигом оси и дров всё работает, по крайней мере ошибок в dmesg нет ни от ioatdma ни от ixgbe в биосе IOAT и DCA включены. сетевуха такая: Intel Corporation 82599EB 10-Gigabit Network Connection платформа: supermicro x8dtu-f системная плата 2xIntel® Xeon® CPU X5650 @ 2.67GHz 12 ядер 24 потока чипсет: Intel Corporation 5520/5500/X58 lsmod: dca 3633 3 igb,ixgbe,ioatdma проблема кажется именно в ioatdma, если вынуть сетевуху то всё равно Intel® I/OAT DMA Engine init failed вот что происходит dmesg | grep "ioat\|dca\|ixgbe" [ 10.436322] dca service started, version 1.12.1 [ 10.596656] ioatdma: Intel® QuickData Technology Driver 4.00 [ 10.596714] ioatdma 0000:00:16.0: PCI INT A -> GSI 43 (level, low) -> IRQ 43 [ 10.596760] ioatdma 0000:00:16.0: setting latency timer to 64 [ 10.596768] ioatdma 0000:00:16.0: channel error register unreachable [ 10.596769] ioatdma 0000:00:16.0: channel enumeration error [ 10.596772] ioatdma 0000:00:16.0: Intel® I/OAT DMA Engine init failed [ 10.596783] ioatdma 0000:00:16.0: PCI INT A disabled [ 10.628435] ixgbe 0000:05:00.0: PCI INT A -> GSI 34 (level, low) -> IRQ 34 [ 10.628445] ixgbe 0000:05:00.0: setting latency timer to 64 [ 10.778101] ixgbe: Direct Cache Access (DCA) set to 1 [ 10.778103] ixgbe: Receive-Side Scaling (RSS) set to 12 [ 10.778109] ixgbe: 0000:05:00.0: ixgbe_check_options: dynamic interrupt throttling enabled [ 10.778111] ixgbe: 0000:05:00.0: ixgbe_check_options: Flow Director hash filtering enabled [ 10.778113] ixgbe: 0000:05:00.0: ixgbe_check_options: Flow Director allocated 64kB of packet buffer [ 10.778115] ixgbe: 0000:05:00.0: ixgbe_check_options: ATR Tx Packet sample rate set to default of 20 [ 10.778117] ixgbe: Node to start on set to 0 [ 10.778118] ixgbe: 0000:05:00.0: ixgbe_check_options: node set to 0 [ 10.800780] ixgbe 0000:05:00.0: irq 81 for MSI/MSI-X [ 10.800785] ixgbe 0000:05:00.0: irq 82 for MSI/MSI-X [ 10.800789] ixgbe 0000:05:00.0: irq 83 for MSI/MSI-X [ 10.800793] ixgbe 0000:05:00.0: irq 84 for MSI/MSI-X [ 10.801040] ixgbe: 0000:05:00.0: ixgbe_init_interrupt_scheme: Multiqueue Enabled: Rx Queue count = 24, Tx Queue count = 24 [ 10.801860] ixgbe: eth0: ixgbe_probe: No DCA provider found. Please start ioatdma for DCA functionality. [ 10.801862] ixgbe: eth0: ixgbe_probe: (PCI Express:5.0Gb/s:Width x8) 00:1b:21:74:57:54 [ 10.801940] ixgbe: eth0: ixgbe_probe: MAC: 2, PHY: 15, SFP+: 5, PBA No: E68785-003 [ 10.801942] ixgbe: eth0: ixgbe_probe: GRO is enabled [ 10.801943] ixgbe: eth0: ixgbe_probe: HW RSC is enabled [ 10.802531] ixgbe: eth0: ixgbe_probe: Intel® 10 Gigabit Network Connection подозреваю что из-за этого уже при 3 гигабитах сквозного трафика загрузка процов за 50%, потери и подскоки пинга судя по этой статье в моём случае что-то явно не так: http://nag.ru/articles/article/19974/kak-m...tizirovali.html