FreeBSD 14 и прерывания сетевой

[roma33rus]

Всем привет.

 

Имеется машина: FreeBSD nas2-gh 14.0-RELEASE-p6 FreeBSD 14.0-RELEASE-p6 #0: Tue Mar 26 20:26:20 UTC 2024

С сетевой на борту:

Apr  4 17:21:33 nas2-gh kernel: ix1: <Intel(R) X520 82599ES (SFI/SFP+)> port 0x4000-0x401f mem 0x50000000-0x5007ffff,0x50100000-0x50103fff at device 0.1 on pci1
Apr  4 17:21:33 nas2-gh kernel: ix1: Using 2048 TX descriptors and 2048 RX descriptors
Apr  4 17:21:33 nas2-gh kernel: ix1: Using 8 RX queues 8 TX queues
Apr  4 17:21:33 nas2-gh kernel: ix1: Using MSI-X interrupts with 9 vectors
Apr  4 17:21:33 nas2-gh kernel: ix1: allocated for 8 queues
Apr  4 17:21:33 nas2-gh kernel: ix1: allocated for 8 rx queues
Apr  4 17:21:33 nas2-gh kernel: ix1: Ethernet address: a0:36:9f:77:f9:5d
Apr  4 17:21:33 nas2-gh kernel: ix1: PCI Express Bus: Speed 5.0GT/s Width x8
Apr  4 17:21:33 nas2-gh kernel: ix1: eTrack 0x800004d0 PHY FW V65535
Apr  4 17:21:33 nas2-gh kernel: ix1: netmap queues/slots: TX 8/2048, RX 8/2048

 

Хотел cpuset'ом прибить очереди сетевухи по ядрам проца. НО, по procstat -at, не обнаружил прерывания от моей сетевой, хотя по vmstat -i | grep ix они есть:

irq128: ix0:rxq0                    1761          0
irq129: ix0:rxq1                      18          0
irq130: ix0:rxq2                    2633          0
irq131: ix0:rxq3                      15          0
irq132: ix0:rxq4                       9          0
irq133: ix0:rxq5                      15          0
irq134: ix0:rxq6                      18          0
irq135: ix0:rxq7                      31          0
irq136: ix0:aq                         9          0
irq137: ix1:rxq0                    3930          0
irq138: ix1:rxq1                     460          0
irq139: ix1:rxq2                    2587          0
irq140: ix1:rxq3                       3          0
irq141: ix1:rxq4                      43          0
irq142: ix1:rxq5                       3          0
irq143: ix1:rxq6                    3059          0
irq145: ix1:aq                        65          0

 

 

Уважаемы форумчане, подскажите, в 14 версии что-то менялось в этом плане? Как теперь правильно прибивать очереди? Есть старые машинки на 10.4 и 11.3, там у меня ручками очереди прибиты к ядрам.

[Ivan_83]

net.isr.bindthreads=1 + net.isr.dispatch=deferred

кажется так.

[roma33rus]

21 минуту назад, Ivan_83 сказал:

net.isr.bindthreads=1 + net.isr.dispatch=deferred

кажется так.

Спасибо :-)

 

Только при net.isr.dispatch=deferred у меня одно ядро прерывания грузит :-(, а при direct нормально раскидывается.

 

На самом деле нашел соседнюю темку, где расписано это дело: 

 

[Ivan_83]

По хорошему это так делается.

Если это не получается - лучше написать в рассылку и спросить, вероятно у вас какойнить pppoe и оно на основании flowid от сетевухи и падает на одно ядро, а надо всего то попросить чтобы это исправили если это так, там простое совсем изменение скорее всего нужно, даже если не pppoe.

[roma33rus]

5 минут назад, Ivan_83 сказал:

По хорошему это так делается.

Если это не получается - лучше написать в рассылку и спросить, вероятно у вас какойнить pppoe и оно на основании flowid от сетевухи и падает на одно ядро, а надо всего то попросить чтобы это исправили если это так, там простое совсем изменение скорее всего нужно, даже если не pppoe.

pppoe у меня нет.

 

ipoe без ната. ipfw dummynet и роутинг.

Машинка тестовая, поэтому трафик гонял через нее с помощью iperf3. Возможно iperf и генерит такую нагрузку. Надо попробовать юзерей туда запустить.

[Ivan_83]

https://people.freebsd.org/~olivier/talks/2017_EuroBSDCon-Tuning_FreeBSD_for_routing_and_firewalling.pdf

Оно не совсем свежее, но часть рекомендаций применима.

[jffulcrum]

Есть версия чуть посвежей: Tuning FreeBSD for routing and firewalling

[roma33rus]

Коллеги, спасибо. Возьму на изучение.