[ichthyandr]

 56: 1247712358          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 13631488-edge      enp26s0f0-TxRx-0
 57:          1  210485273          0          0          0          0          0          0          0          0          0          0   PCI-MSI 13631489-edge      enp26s0f0-TxRx-1
 58:          1          0  175589906          0          0          0          0          0          0          0          0          0   PCI-MSI 13631490-edge      enp26s0f0-TxRx-2
 59:          1          0          0  145956448          0          0          0          0          0          0          0          0   PCI-MSI 13631491-edge      enp26s0f0-TxRx-3
 60:          1          0          0          0  127790629          0          0          0          0          0          0          0   PCI-MSI 13631492-edge      enp26s0f0-TxRx-4
 61:          1          0          0          0          0  137179287          0          0          0          0          0          0   PCI-MSI 13631493-edge      enp26s0f0-TxRx-5

Всем привет, картинка выше, больше всех загружена 0-я очередь, судя по прерываниям.

mpstat вот что кажет

 

nas228 ~ # mpstat -P 0,1,2,3,4,5
Linux 4.9.95-gentoo (nas228)    10/24/2019      _x86_64_        (12 CPU)

11:54:20 AM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
11:54:20 AM    0    0.08    0.01    0.11    0.09    0.00    7.57    0.00    0.00    0.00   92.14
11:54:20 AM    1    0.15    0.00    0.14    0.00    0.00    0.56    0.00    0.00    0.00   99.15
11:54:20 AM    2    0.28    0.00    0.22    0.00    0.00    0.48    0.00    0.00    0.00   99.02
11:54:20 AM    3    0.18    0.00    0.16    0.00    0.00    0.39    0.00    0.00    0.00   99.28
11:54:20 AM    4    0.07    0.00    0.09    0.00    0.00    0.34    0.00    0.00    0.00   99.50
11:54:20 AM    5    0.09    0.00    0.10    0.00    0.00    0.46    0.00    0.00    0.00   99.35

Карта смотрит наружу, в инет, инкапсуляций 2-го уровня нет, только ip трафик. 

Куда копать?

 

Спасибо 

[taf_321]

Включить RPS?

[ichthyandr]

7 минут назад, taf_321 сказал:

Включить RPS?

не помогает, так то RSS работает и еще момент, на передачу тоже почему то дует больше всего через 0 очередь

[ichthyandr]

и почему то не срабатывает команда

nas228 ~ # ethtool -X enp26s0f0 hfunc xor
Cannot set RX flow hash configuration: Invalid argument

когда

nas228 ~ # ethtool --show-rxfh enp26s0f0
RX flow hash indirection table for enp26s0f0 with 6 RX ring(s):
    0:      0     1     2     3     4     5     0     1
    8:      2     3     4     5     0     1     2     3
   16:      4     5     0     1     2     3     4     5
   24:      0     1     2     3     4     5     0     1
   32:      2     3     4     5     0     1     2     3
   40:      4     5     0     1     2     3     4     5
   48:      0     1     2     3     4     5     0     1
   56:      2     3     4     5     0     1     2     3
   64:      4     5     0     1     2     3     4     5
   72:      0     1     2     3     4     5     0     1
   80:      2     3     4     5     0     1     2     3
   88:      4     5     0     1     2     3     4     5
   96:      0     1     2     3     4     5     0     1
  104:      2     3     4     5     0     1     2     3
  112:      4     5     0     1     2     3     4     5
  120:      0     1     2     3     4     5     0     1
RSS hash key:
43:99:8a:0a:ea:6b:bb:af:41:e4:6d:34:64:9f:b7:24:06:f1:e9:14:44:10:80:9e:d6:37:59:53:c9:43:d6:cd:9f:03:78:ea:a5:d8:fb:10
RSS hash function:
    toeplitz: on
    xor: off

 

[ichthyandr]

Ппл, вопрос в догонку про numa ноды:

 

# numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5
node 0 size: 12276 MB
node 0 free: 10725 MB
node 1 cpus: 6 7 8 9 10 11
node 1 size: 12288 MB
node 1 free: 10716 MB
node distances:
node   0   1
  0:  10  21
  1:  21  10

смотрим сетевые адаптеры

nas228 ~ # lspci | grep -i network
1a:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
1a:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
24:00.0 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
24:00.1 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
24:00.2 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
24:00.3 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)

смотри ноду, а ее там нет

nas228 ~ # cat /sys/bus/pci/devices/0000\:1a\:00.0/numa_node
-1
nas228 ~ # cat /sys/bus/pci/devices/0000\:1a\:00.1/numa_node
-1

почему такое может быть?

 

[jffulcrum]

А что за железо? -1 для numa_node означает, что определить ноду, к которой прикреплено устройство не удалось. Варианты причин:

- кривизна в таблицах ACPI. Надо проверить, какая версия таблиц в BIOS (1.0 тупо не имела такого поля), самого Бивеса желательно обновить

- в многосокетной конфигурации для слотов из чипсета не всегда возможно в принципе определить, к какой ноде они относятся, из-за межсокетной маршрутизации. Тогда руками назначьте:

 

echo 0 | sudo tee -a /sys/bus/pci/devices/0000\:1a\:00.0/numa_node

[ichthyandr]

11 минут назад, jffulcrum сказал:

А что за железо? -1 для numa_node означает, что определить ноду, к которой прикреплено устройство не удалось. Варианты причин:

- кривизна в таблицах ACPI. Надо проверить, какая версия таблиц в BIOS (1.0 тупо не имела такого поля), самого Бивеса желательно обновить

- в многосокетной конфигурации для слотов из чипсета не всегда возможно в принципе определить, к какой ноде они относятся, из-за межсокетной маршрутизации. Тогда руками назначьте:

 

echo 0 | sudo tee -a /sys/bus/pci/devices/0000\:1a\:00.0/numa_node

ibm x3650 m2/m3 и на одной m4 есть такое (на ней старенький firmware).

 

но проблему с 0-й очередью удалось решить: 

 

# ethtool -K enp26s0f0 ntuple on

вот здесь хорошо изложено, как раз случай для 10Г карт:

 

тыц

 

Спасибо за внимание :)