ksoftirqd 100%

[roysbike]

Добрый вечер коллеги. Может у кого была такая проблема как и у меня. Использую сервер на linux (ubuntu 14.04) 3.13.0-39-generic в качестве роутера. Accel-ppp IPoE , QinQ. Карты intel x520-da2(82599). Суть проблемы, на downlink порту переодически выжиарется одна очередь. Когда это происходит, то в perf top весит библиотека udp4_lib_mcast_deliver . Может это мультикаст? Хотя в дампе не нашел. Не смог найти за что отвечает библиотека udp4_lib_mcast_deliver. Причем это происходит одновременно на обоих серверах. NAT нет, фаеврола нет, чисто роутинг серых сетей , без шейпера(это делает sce8000)

 

Интерйфесы . eth0 (в стороны инета) eth1 к клиентам

 

top

Tasks: 236 total,   2 running, 234 sleeping,   0 stopped,   0 zombie
%Cpu0  :  0.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,100.0 si,  0.0 st
%Cpu1  :  0.0 us,  0.0 sy,  0.0 ni, 93.0 id,  0.0 wa,  0.0 hi,  7.0 si,  0.0 st
%Cpu2  :  0.0 us,  0.3 sy,  0.0 ni, 89.5 id,  0.0 wa,  0.0 hi, 10.2 si,  0.0 st
%Cpu3  :  0.0 us,  0.3 sy,  0.0 ni, 92.2 id,  0.0 wa,  0.0 hi,  7.4 si,  0.0 st

 

# cat /proc/interrupts | grep eth

 46:        857          0          0  886613182  IR-PCI-MSI-edge      eth0-TxRx-0
 47:        266          0  887676298          0  IR-PCI-MSI-edge      eth0-TxRx-1
 48:     225400          0          0          0  IR-PCI-MSI-edge      eth0
 49:     424579 2001697846          0          0  IR-PCI-MSI-edge      eth1-TxRx-0
 50:          4          0          0          0  IR-PCI-MSI-edge      eth1
 51:  521758873          0          0          0  IR-PCI-MSI-edge      eth2-TxRx-0
 52:          4          0          0          0  IR-PCI-MSI-edge      eth2

 

perf top -U

Samples: 25K of event 'cycles', Event count (approx.): 15216486517
64.09%  [kernel]  [k] __udp4_lib_mcast_deliver
 4.05%  [kernel]  [k] __netif_receive_skb_core
 2.21%  [kernel]  [k] fib_table_lookup
 2.01%  [kernel]  [k] memcpy
 1.73%  [kernel]  [k] _raw_spin_lock
 1.64%  [kernel]  [k] ixgbe_clean_rx_irq
 0.79%  [kernel]  [k] ixgbe_poll
 0.75%  [kernel]  [k] check_leaf.isra.8
 0.71%  [kernel]  [k] put_page
 0.64%  [kernel]  [k] __slab_free
 0.62%  [kernel]  [k] put_compound_page
 0.62%  [kernel]  [k] __copy_skb_header
 0.59%  [kernel]  [k] skb_release_data
 0.58%  [kernel]  [k] ip_route_input_noref
 0.51%  [kernel]  [k] ixgbe_xmit_frame_ring
 0.49%  [kernel]  [k] __skb_clone
 0.47%  [kernel]  [k] page_fault
 0.45%  [kernel]  [k] kmem_cache_free
 0.45%  [kernel]  [k] vlan_do_receive

Edited August 21, 2016 by roysbike

[roysbike]

Разобрался, проблема была в свиче доступа, чем-то флудил и закладывал ядро

[FATHER_FBI]

Поделитесь, как выяснили что это был флуд.

[roysbike]

Поделитесь, как выяснили что это был флуд.

Все прояснилось. Был loop, smart его не ловил

Edited August 21, 2016 by roysbike

[alexeymanikin]

Я думаю эта статься будет крайне полезна https://beget.com/ru/articles/syncookied

[roysbike]

Я думаю эта статься будет крайне полезна https://beget.com/ru/articles/syncookied

Поймает это приложение , если в сети гуляет loop?

[NiTr0]

Поймает это приложение , если в сети гуляет loop?

ессно нет, но сервер уложить петлей поможет :) потому что обсуждаемую в топике проблему оно лечит примерно так же, как клизма простуду...

[dtcom]

Я думаю эта статься будет крайне полезна https://beget.com/ru/articles/syncookied

Если я ничего не перепутал, то начиная с версии ядра 3.12 и iptables 1.4.2 iptables появилась новая цель SYNPROXY.