junjunk2 Опубликовано 1 февраля, 2016 · Жалоба ну у меня счас в ЧНН 75-80% ... хотелось бы получить хоть чуть запаса на случай "аварии" одного из серверов... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 1 февраля, 2016 · Жалоба Подскажите, господа линуксоиды, пожалуйста, проблемы в следующем: есть новая машина пока только в роли border (в будущем планируется NAT) - 2 * E5-2690v3 (HT включен), 64G памяти, сетевая 4-х портовая Intel X710 За последние 2 суток 2-й раз встает колом по непонятной для меня причины, причем в первый раз ночью, а второй раз сегодня практически в ЧНН. В первый раз судя, по syslog, я грешил на сетевую или ее дрова, но второй раз - на какой то вид трафика, который вызывает панику, похожие симптомы по ссылке. После второй паники отключил на всякий случай гипертрединг. Потоки сетевых прибиты к ядрам, остальные полезные данные и графики в моменты проблем прикладываю. Если нужны еще какие то данные, скажите. ethtool: Linux hellnat 3.19.0-47-generic #53~14.04.1-Ubuntu SMP Mon Jan 18 16:09:14 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux # ethtool -i p1p1 driver: i40e version: 1.3.49 firmware-version: 4.53 0x80001da6 0.0.0 bus-info: 0000:81:00.0 supports-statistics: yes supports-test: yes supports-eeprom-access: yes supports-register-dump: yes supports-priv-flags: yes # ethtool -c p1p1 Coalesce parameters for p1p1: Adaptive RX: off TX: off stats-block-usecs: 0 sample-interval: 0 pkt-rate-low: 0 pkt-rate-high: 0 rx-usecs: 800 rx-frames: 0 rx-usecs-irq: 0 rx-frames-irq: 256 tx-usecs: 600 tx-frames: 0 tx-usecs-irq: 0 tx-frames-irq: 256 rx-usecs-low: 0 rx-frame-low: 0 tx-usecs-low: 0 tx-frame-low: 0 rx-usecs-high: 0 rx-frame-high: 0 tx-usecs-high: 0 tx-frame-high: 0 # ethtool -k p1p1 Features for p1p1: rx-checksumming: on tx-checksumming: on tx-checksum-ipv4: on tx-checksum-ip-generic: off [fixed] tx-checksum-ipv6: on tx-checksum-fcoe-crc: off [fixed] tx-checksum-sctp: on scatter-gather: on tx-scatter-gather: on tx-scatter-gather-fraglist: off [fixed] tcp-segmentation-offload: off tx-tcp-segmentation: off tx-tcp-ecn-segmentation: off tx-tcp6-segmentation: off udp-fragmentation-offload: off [fixed] generic-segmentation-offload: off generic-receive-offload: off large-receive-offload: off [fixed] rx-vlan-offload: on tx-vlan-offload: on ntuple-filters: on receive-hashing: on highdma: on rx-vlan-filter: on vlan-challenged: off [fixed] tx-lockless: off [fixed] netns-local: off [fixed] tx-gso-robust: off [fixed] tx-fcoe-segmentation: off [fixed] tx-gre-segmentation: off [fixed] tx-ipip-segmentation: off [fixed] tx-sit-segmentation: off [fixed] tx-udp_tnl-segmentation: on fcoe-mtu: off [fixed] tx-nocache-copy: off loopback: off [fixed] rx-fcs: off [fixed] rx-all: off [fixed] tx-vlan-stag-hw-insert: off [fixed] rx-vlan-stag-hw-parse: off [fixed] rx-vlan-stag-filter: off [fixed] l2-fwd-offload: off [fixed] busy-poll: off [fixed] syslog после первой аварии Jan 31 02:33:33 hellnat kernel: [220504.793680] ------------[ cut here ]------------ Jan 31 02:33:33 hellnat kernel: [220504.793701] WARNING: CPU: 45 PID: 0 at /build/linux-lts-vivid-Yt59dr/linux-lts-vivid-3.19.0/net/sched/sch_generic.c:303 dev_wa tchdog+0x24f/0x260() Jan 31 02:33:33 hellnat kernel: [220504.793705] NETDEV WATCHDOG: p1p1 (i40e): transmit queue 8 timed out Jan 31 02:33:33 hellnat kernel: [220504.793707] Modules linked in: nf_conntrack_netlink nfnetlink xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conn track_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm joydev intel_rapl iosf_mbi drm_kms_helper x86_pkg_temp_thermal intel_powerclamp drm syscopyarea sysfillrect sysimgblt coretemp kvm_intel kvm crct10dif_pclmul crc32_pclmul aesni_intel ipmi_ssif aes_x86_64 lrw gf128mul glue_helper ablk_helper cryp td lpc_ich mei_me sb_edac edac_core mei ipmi_si 8250_fintek ipmi_msghandler lp wmi acpi_pad parport ioatdma mac_hid shpchp nf_conntrack_ftp acpi_power_meter nf_na t_pptp nf_nat_proto_gre nf_conntrack_pptp nf_conntrack_proto_gre nf_nat nf_conntrack ip_tables x_tables 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb v xlan ip6_udp_tunnel i2c_algo_bit udp_tunnel usbhid dca uas configfs ahci ptp usb_storage hid megaraid_sas libahci pps_core Jan 31 02:33:33 hellnat kernel: [220504.793817] CPU: 45 PID: 0 Comm: swapper/45 Tainted: G OE 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:33:33 hellnat kernel: [220504.793820] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Jan 31 02:33:33 hellnat kernel: [220504.793822] ffffffff81b3fcc0 ffff88105f4a3d58 ffffffff817afcd5 0000000000000000 Jan 31 02:33:33 hellnat kernel: [220504.793827] ffff88105f4a3da8 ffff88105f4a3d98 ffffffff81074dea 0000000000000286 Jan 31 02:33:33 hellnat kernel: [220504.793830] 0000000000000008 ffff88105b65a000 0000000000000040 ffff88105748cf40 Jan 31 02:33:33 hellnat kernel: [220504.793835] Call Trace: Jan 31 02:33:33 hellnat kernel: [220504.793837] <IRQ> [<ffffffff817afcd5>] dump_stack+0x45/0x57 Jan 31 02:33:33 hellnat kernel: [220504.793857] [<ffffffff81074dea>] warn_slowpath_common+0x8a/0xc0 Jan 31 02:33:33 hellnat kernel: [220504.793860] [<ffffffff81074e66>] warn_slowpath_fmt+0x46/0x50 Jan 31 02:33:33 hellnat kernel: [220504.793869] [<ffffffff816cd69f>] dev_watchdog+0x24f/0x260 Jan 31 02:33:33 hellnat kernel: [220504.793874] [<ffffffff816cd450>] ? dev_graft_qdisc+0x80/0x80 Jan 31 02:33:33 hellnat kernel: [220504.793879] [<ffffffff810dac79>] call_timer_fn+0x39/0x110 Jan 31 02:33:33 hellnat kernel: [220504.793883] [<ffffffff816cd450>] ? dev_graft_qdisc+0x80/0x80 Jan 31 02:33:33 hellnat kernel: [220504.793888] [<ffffffff810dc440>] run_timer_softirq+0x220/0x320 Jan 31 02:33:33 hellnat kernel: [220504.793898] [<ffffffff8104a403>] ? lapic_next_deadline+0x33/0x40 Jan 31 02:33:33 hellnat kernel: [220504.793905] [<ffffffff81078f44>] __do_softirq+0xe4/0x270 Jan 31 02:33:33 hellnat kernel: [220504.793909] [<ffffffff8107930d>] irq_exit+0x9d/0xb0 Jan 31 02:33:33 hellnat kernel: [220504.793916] [<ffffffff817ba78a>] smp_apic_timer_interrupt+0x4a/0x60 Jan 31 02:33:33 hellnat kernel: [220504.793924] [<ffffffff817b87bd>] apic_timer_interrupt+0x6d/0x80 Jan 31 02:33:33 hellnat kernel: [220504.793926] <EOI> [<ffffffff81650510>] ? cpuidle_enter_state+0x70/0x170 Jan 31 02:33:33 hellnat kernel: [220504.793938] [<ffffffff816504fd>] ? cpuidle_enter_state+0x5d/0x170 Jan 31 02:33:33 hellnat kernel: [220504.793943] [<ffffffff816506c7>] cpuidle_enter+0x17/0x20 Jan 31 02:33:33 hellnat kernel: [220504.793949] [<ffffffff810b54d4>] cpu_startup_entry+0x334/0x3d0 Jan 31 02:33:33 hellnat kernel: [220504.793955] [<ffffffff810e9e53>] ? clockevents_register_device+0xe3/0x140 Jan 31 02:33:33 hellnat kernel: [220504.793960] [<ffffffff81048bb7>] start_secondary+0x197/0x1c0 Jan 31 02:33:33 hellnat kernel: [220504.793963] ---[ end trace 43e1a051ade0289e ]--- Jan 31 02:33:33 hellnat kernel: [220504.793973] i40e 0000:81:00.0 p1p1: tx_timeout: VSI_seid: 399, Q 8, NTC: 0xd36, HWB: 0xa1, NTU: 0xa1, TAIL: 0xa1, INT: 0x0 Jan 31 02:33:33 hellnat kernel: [220504.793976] i40e 0000:81:00.0 p1p1: tx_timeout recovery level 1, hung_queue 8 Jan 31 02:33:43 hellnat watchquagga[2972]: zebra state -> unresponsive : no response yet to ping sent 10 seconds ago Jan 31 02:33:49 hellnat watchquagga[2972]: bgpd state -> unresponsive : no response yet to ping sent 10 seconds ago Jan 31 02:33:50 hellnat kernel: [220521.908228] NMI watchdog: BUG: soft lockup - CPU#13 stuck for 23s! [kworker/13:1:536] Jan 31 02:33:50 hellnat kernel: [220521.908306] Modules linked in: nf_conntrack_netlink nfnetlink xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm joydev intel_rapl iosf_mbi drm_kms_helper x86_pkg_temp_thermal intel_powerclamp drm syscopyarea sysfillrect sysimgblt coretemp kvm_intel kvm crct10dif_pclmul crc32_pclmul aesni_intel ipmi_ssif aes_x86_64 lrw gf128mul glue_helper ablk_helper cryptd lpc_ich mei_me sb_edac edac_core mei ipmi_si 8250_fintek ipmi_msghandler lp wmi acpi_pad parport ioatdma mac_hid shpchp nf_conntrack_ftp acpi_power_meter nf_nat_pptp nf_nat_proto_gre nf_conntrack_pptp nf_conntrack_proto_gre nf_nat nf_conntrack ip_tables x_tables 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel usbhid dca uas configfs ahci ptp usb_storage hid megaraid_sas libahci pps_core Jan 31 02:33:50 hellnat kernel: [220521.908396] CPU: 13 PID: 536 Comm: kworker/13:1 Tainted: G W OE 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:33:50 hellnat kernel: [220521.908399] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Jan 31 02:33:50 hellnat kernel: [220521.908408] Workqueue: events inet_frag_worker Jan 31 02:33:50 hellnat kernel: [220521.908411] task: ffff8810587993a0 ti: ffff8810574f4000 task.ti: ffff8810574f4000 Jan 31 02:33:50 hellnat kernel: [220521.908414] RIP: 0010:[<ffffffff817b6ffb>] [<ffffffff817b6ffb>] _raw_spin_lock_irqsave+0xb/0x80 Jan 31 02:33:50 hellnat kernel: [220521.908425] RSP: 0018:ffff8810574f7ca8 EFLAGS: 00000286 Jan 31 02:33:50 hellnat kernel: [220521.908427] RAX: 0000000000000200 RBX: ffffffff81183b1b RCX: 000000000000e4d8 Jan 31 02:33:50 hellnat kernel: [220521.908429] RDX: ffff88104f35b098 RSI: ffff8810574f7d00 RDI: ffff88105b9b0000 Jan 31 02:33:50 hellnat kernel: [220521.908431] RBP: ffff8810574f7cb8 R08: 0000000000001e72 R09: 000000018027001f Jan 31 02:33:50 hellnat kernel: [220521.908432] R10: ffffffff8172c1d9 R11: ffffea0020f54000 R12: ffff88083d5009c0 Jan 31 02:33:50 hellnat kernel: [220521.908435] R13: 000000013237a940 R14: 000000018020001f R15: 0000000000000000 Jan 31 02:33:50 hellnat kernel: [220521.908438] FS: 0000000000000000(0000) GS:ffff88105f220000(0000) knlGS:0000000000000000 Jan 31 02:33:50 hellnat kernel: [220521.908440] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Jan 31 02:33:50 hellnat kernel: [220521.908442] CR2: 0000559f14099668 CR3: 0000000001c16000 CR4: 00000000001407e0 Jan 31 02:33:50 hellnat kernel: [220521.908444] Stack: Jan 31 02:33:50 hellnat kernel: [220521.908446] 0000000000000286 ffff88105b9b0000 ffff8810574f7ce8 ffffffff810dae6b Jan 31 02:33:50 hellnat kernel: [220521.908449] ffff88104f35b048 0000000000000009 ffffffff81fc5e60 ffff88082f600398 Jan 31 02:33:50 hellnat kernel: [220521.908453] ffff8810574f7d18 ffffffff810dbe30 0000000000000282 0000000000000286 Jan 31 02:33:50 hellnat kernel: [220521.908456] Call Trace: Jan 31 02:33:50 hellnat kernel: [220521.908466] [<ffffffff810dae6b>] lock_timer_base.isra.36+0x2b/0x50 Jan 31 02:33:50 hellnat kernel: [220521.908471] [<ffffffff810dbe30>] try_to_del_timer_sync+0x20/0x70 Jan 31 02:33:50 hellnat kernel: [220521.908475] [<ffffffff810dbed2>] del_timer_sync+0x52/0x60 Jan 31 02:33:50 hellnat kernel: [220521.908478] [<ffffffff8172c73e>] inet_evict_bucket+0x11e/0x140 Jan 31 02:33:50 hellnat kernel: [220521.908489] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Jan 31 02:33:50 hellnat kernel: [220521.908492] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Jan 31 02:33:50 hellnat kernel: [220521.908498] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Jan 31 02:33:50 hellnat kernel: [220521.908502] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Jan 31 02:33:50 hellnat kernel: [220521.908505] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Jan 31 02:33:50 hellnat kernel: [220521.908510] [<ffffffff810938d2>] kthread+0xd2/0xf0 Jan 31 02:33:50 hellnat kernel: [220521.908514] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:33:50 hellnat kernel: [220521.908519] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Jan 31 02:33:50 hellnat kernel: [220521.908523] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:33:50 hellnat kernel: [220521.908525] Code: 00 00 00 f0 0f b1 17 85 c0 75 05 c3 0f 1f 40 00 55 48 89 e5 e8 27 65 90 ff 5d c3 0f 1f 44 00 00 0f 1f 44 00 00 55 48 89 e5 53 9c <58> 0f 1f 44 00 00 48 89 c3 fa 66 0f 1f 44 00 00 ba 00 00 02 00 Jan 31 02:34:18 hellnat kernel: [220549.919065] NMI watchdog: BUG: soft lockup - CPU#13 stuck for 23s! [kworker/13:1:536] Jan 31 02:34:18 hellnat kernel: [220549.919134] Modules linked in: nf_conntrack_netlink nfnetlink xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm joydev intel_rapl iosf_mbi drm_kms_helper x86_pkg_temp_thermal intel_powerclamp drm syscopyarea sysfillrect sysimgblt coretemp kvm_intel kvm crct10dif_pclmul crc32_pclmul aesni_intel ipmi_ssif aes_x86_64 lrw gf128mul glue_helper ablk_helper cryptd lpc_ich mei_me sb_edac edac_core mei ipmi_si 8250_fintek ipmi_msghandler lp wmi acpi_pad parport ioatdma mac_hid shpchp nf_conntrack_ftp acpi_power_meter nf_nat_pptp nf_nat_proto_gre nf_conntrack_pptp nf_conntrack_proto_gre nf_nat nf_conntrack ip_tables x_tables 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel usbhid dca uas configfs ahci ptp usb_storage hid megaraid_sas libahci pps_core Jan 31 02:34:18 hellnat kernel: [220549.919232] CPU: 13 PID: 536 Comm: kworker/13:1 Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:34:18 hellnat kernel: [220549.919235] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Jan 31 02:34:18 hellnat kernel: [220549.919244] Workqueue: events inet_frag_worker Jan 31 02:34:18 hellnat kernel: [220549.919249] task: ffff8810587993a0 ti: ffff8810574f4000 task.ti: ffff8810574f4000 Jan 31 02:34:18 hellnat kernel: [220549.919251] RIP: 0010:[<ffffffff817b6ffc>] [<ffffffff817b6ffc>] _raw_spin_lock_irqsave+0xc/0x80 Jan 31 02:34:18 hellnat kernel: [220549.919262] RSP: 0018:ffff8810574f7cb0 EFLAGS: 00000286 Jan 31 02:34:18 hellnat kernel: [220549.919264] RAX: 0000000000000286 RBX: ffffffff8172c1d9 RCX: 000000000000b088 Jan 31 02:34:18 hellnat kernel: [220549.919266] RDX: ffff881011fd62c8 RSI: ffff8810574f7d00 RDI: ffff88105b9b0000 Jan 31 02:34:18 hellnat kernel: [220549.919268] RBP: ffff8810574f7cb8 R08: 0000000000004b04 R09: 000000018027001f Jan 31 02:34:18 hellnat kernel: [220549.919270] R10: ffffffff8172c1d9 R11: ffffea0020f54000 R12: ffffffff81183b1b Jan 31 02:34:18 hellnat kernel: [220549.919272] R13: ffff8810574f7cb8 R14: ffff88083d5009c0 R15: 000000013237a940 Jan 31 02:34:18 hellnat kernel: [220549.919275] FS: 0000000000000000(0000) GS:ffff88105f220000(0000) knlGS:0000000000000000 Jan 31 02:34:18 hellnat kernel: [220549.919277] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Jan 31 02:34:18 hellnat kernel: [220549.919279] CR2: 0000559f14099668 CR3: 0000000001c16000 CR4: 00000000001407e0 Jan 31 02:34:18 hellnat kernel: [220549.919281] Stack: Jan 31 02:34:18 hellnat kernel: [220549.919282] ffff88105b9b0000 ffff8810574f7ce8 ffffffff810dae6b ffff881011fd6278 Jan 31 02:34:18 hellnat kernel: [220549.919286] 0000000000000021 ffffffff81fc5e60 ffff880fecd0f4a8 ffff8810574f7d18 Jan 31 02:34:18 hellnat kernel: [220549.919289] ffffffff810dbe30 0000000000000282 0000000000000286 ffff881011fd6278 Jan 31 02:34:18 hellnat kernel: [220549.919293] Call Trace: Jan 31 02:34:18 hellnat kernel: [220549.919303] [<ffffffff810dae6b>] lock_timer_base.isra.36+0x2b/0x50 Jan 31 02:34:18 hellnat kernel: [220549.919308] [<ffffffff810dbe30>] try_to_del_timer_sync+0x20/0x70 Jan 31 02:34:18 hellnat kernel: [220549.919311] [<ffffffff810dbed2>] del_timer_sync+0x52/0x60 Jan 31 02:34:18 hellnat kernel: [220549.919315] [<ffffffff8172c73e>] inet_evict_bucket+0x11e/0x140 Jan 31 02:34:18 hellnat kernel: [220549.919325] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Jan 31 02:34:18 hellnat kernel: [220549.919328] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Jan 31 02:34:18 hellnat kernel: [220549.919334] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Jan 31 02:34:18 hellnat kernel: [220549.919338] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Jan 31 02:34:18 hellnat kernel: [220549.919342] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Jan 31 02:34:18 hellnat kernel: [220549.919346] [<ffffffff810938d2>] kthread+0xd2/0xf0 Jan 31 02:34:18 hellnat kernel: [220549.919351] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:34:18 hellnat kernel: [220549.919355] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Jan 31 02:34:18 hellnat kernel: [220549.919359] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:34:18 hellnat kernel: [220549.919362] Code: 00 00 f0 0f b1 17 85 c0 75 05 c3 0f 1f 40 00 55 48 89 e5 e8 27 65 90 ff 5d c3 0f 1f 44 00 00 0f 1f 44 00 00 55 48 89 e5 53 9c 58 <0f> 1f 44 00 00 48 89 c3 fa 66 0f 1f 44 00 00 ba 00 00 02 00 f0 Jan 31 02:34:25 hellnat kernel: [220556.793723] INFO: rcu_sched self-detected stall on CPU { 13} (t=15000 jiffies g=20088569 c=20088568 q=0) Jan 31 02:34:25 hellnat kernel: [220556.793817] Task dump for CPU 13: Jan 31 02:34:25 hellnat kernel: [220556.793821] kworker/13:1 R running task 0 536 2 0x00000008 Jan 31 02:34:25 hellnat kernel: [220556.793833] Workqueue: events inet_frag_worker Jan 31 02:34:25 hellnat kernel: [220556.793836] ffffffff81c56100 ffff88105f223d78 ffffffff810a01c6 000000000000000d Jan 31 02:34:25 hellnat kernel: [220556.793840] ffffffff81c56100 ffff88105f223d98 ffffffff810a37ed 0000000000000087 Jan 31 02:34:25 hellnat kernel: [220556.793844] 000000000000000e ffff88105f223dc8 ffffffff810d4070 ffff88105f234bc0 Jan 31 02:34:25 hellnat kernel: [220556.793848] Call Trace: Jan 31 02:34:25 hellnat kernel: [220556.793851] <IRQ> [<ffffffff810a01c6>] sched_show_task+0xb6/0x130 Jan 31 02:34:25 hellnat kernel: [220556.793867] [<ffffffff810a37ed>] dump_cpu_task+0x3d/0x50 Jan 31 02:34:25 hellnat kernel: [220556.793875] [<ffffffff810d4070>] rcu_dump_cpu_stacks+0x90/0xd0 Jan 31 02:34:25 hellnat kernel: [220556.793881] [<ffffffff810d7f2c>] rcu_check_callbacks+0x42c/0x670 Jan 31 02:34:25 hellnat kernel: [220556.793886] [<ffffffff810a4821>] ? account_process_tick+0x61/0x180 Jan 31 02:34:25 hellnat kernel: [220556.793890] [<ffffffff810dce69>] update_process_times+0x39/0x60 Jan 31 02:34:25 hellnat kernel: [220556.793898] [<ffffffff810ec3b5>] tick_sched_handle.isra.16+0x25/0x60 Jan 31 02:34:25 hellnat kernel: [220556.793902] [<ffffffff810ec434>] tick_sched_timer+0x44/0x80 Jan 31 02:34:25 hellnat kernel: [220556.793906] [<ffffffff810ddb27>] __run_hrtimer+0x77/0x1d0 Jan 31 02:34:25 hellnat kernel: [220556.793910] [<ffffffff810ec3f0>] ? tick_sched_handle.isra.16+0x60/0x60 Jan 31 02:34:25 hellnat kernel: [220556.793913] [<ffffffff810ddf07>] hrtimer_interrupt+0xe7/0x220 Jan 31 02:34:25 hellnat kernel: [220556.793922] [<ffffffff8104aae9>] local_apic_timer_interrupt+0x39/0x60 Jan 31 02:34:25 hellnat kernel: [220556.793929] [<ffffffff817ba785>] smp_apic_timer_interrupt+0x45/0x60 Jan 31 02:34:25 hellnat kernel: [220556.793937] [<ffffffff817b87bd>] apic_timer_interrupt+0x6d/0x80 Jan 31 02:34:25 hellnat kernel: [220556.793938] <EOI> [<ffffffff8172c1d9>] ? inet_frag_destroy+0xb9/0x100 Jan 31 02:34:25 hellnat kernel: [220556.793946] [<ffffffff817b6efb>] ? _raw_spin_unlock_irqrestore+0x1b/0x50 Jan 31 02:34:25 hellnat kernel: [220556.793949] [<ffffffff810dbe5f>] try_to_del_timer_sync+0x4f/0x70 Jan 31 02:34:25 hellnat kernel: [220556.793952] [<ffffffff810dbed2>] del_timer_sync+0x52/0x60 Jan 31 02:34:25 hellnat kernel: [220556.793955] [<ffffffff8172c73e>] inet_evict_bucket+0x11e/0x140 Jan 31 02:34:25 hellnat kernel: [220556.793964] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Jan 31 02:34:25 hellnat kernel: [220556.793967] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Jan 31 02:34:25 hellnat kernel: [220556.793974] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Jan 31 02:34:25 hellnat kernel: [220556.793977] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Jan 31 02:34:25 hellnat kernel: [220556.793981] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Jan 31 02:34:25 hellnat kernel: [220556.793985] [<ffffffff810938d2>] kthread+0xd2/0xf0 Jan 31 02:34:25 hellnat kernel: [220556.793990] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:34:25 hellnat kernel: [220556.793994] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Jan 31 02:34:25 hellnat kernel: [220556.793998] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:34:50 hellnat kernel: [220581.931448] NMI watchdog: BUG: soft lockup - CPU#13 stuck for 22s! [kworker/13:1:536] Jan 31 02:34:50 hellnat kernel: [220581.931515] Modules linked in: nf_conntrack_netlink nfnetlink xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm joydev intel_rapl iosf_mbi drm_kms_helper x86_pkg_temp_thermal intel_powerclamp drm syscopyarea sysfillrect sysimgblt coretemp kvm_intel kvm crct10dif_pclmul crc32_pclmul aesni_intel ipmi_ssif aes_x86_64 lrw gf128mul glue_helper ablk_helper cryptd lpc_ich mei_me sb_edac edac_core mei ipmi_si 8250_fintek ipmi_msghandler lp wmi acpi_pad parport ioatdma mac_hid shpchp nf_conntrack_ftp acpi_power_meter nf_nat_pptp nf_nat_proto_gre nf_conntrack_pptp nf_conntrack_proto_gre nf_nat nf_conntrack ip_tables x_tables 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel usbhid dca uas configfs ahci ptp usb_storage hid megaraid_sas libahci pps_core Jan 31 02:34:50 hellnat kernel: [220581.931602] CPU: 13 PID: 536 Comm: kworker/13:1 Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:34:50 hellnat kernel: [220581.931605] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Jan 31 02:34:50 hellnat kernel: [220581.931613] Workqueue: events inet_frag_worker Jan 31 02:34:50 hellnat kernel: [220581.931617] task: ffff8810587993a0 ti: ffff8810574f4000 task.ti: ffff8810574f4000 Jan 31 02:34:50 hellnat kernel: [220581.931619] RIP: 0010:[<ffffffff817b6ffc>] [<ffffffff817b6ffc>] _raw_spin_lock_irqsave+0xc/0x80 Jan 31 02:34:50 hellnat kernel: [220581.931630] RSP: 0018:ffff8810574f7cb0 EFLAGS: 00000286 Jan 31 02:34:50 hellnat kernel: [220581.931632] RAX: 0000000000000286 RBX: ffffffff8172c1d9 RCX: 0000000000001fec Jan 31 02:34:50 hellnat kernel: [220581.931634] RDX: ffff881011fd62c8 RSI: ffff8810574f7d00 RDI: ffff88105b9b0000 Jan 31 02:34:50 hellnat kernel: [220581.931635] RBP: ffff8810574f7cb8 R08: 0000000000000000 R09: 000000018027001f Jan 31 02:34:50 hellnat kernel: [220581.931637] R10: ffffffff8172c1d9 R11: ffffea0020f54000 R12: ffffffff81183b1b Jan 31 02:34:50 hellnat kernel: [220581.931639] R13: ffff8810574f7cb8 R14: ffff88083d5009c0 R15: 000000013237a940 Jan 31 02:34:50 hellnat kernel: [220581.931642] FS: 0000000000000000(0000) GS:ffff88105f220000(0000) knlGS:0000000000000000 Jan 31 02:34:50 hellnat kernel: [220581.931644] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Jan 31 02:34:50 hellnat kernel: [220581.931646] CR2: 0000559f14099668 CR3: 0000000001c16000 CR4: 00000000001407e0 Jan 31 02:34:50 hellnat kernel: [220581.931648] Stack: Jan 31 02:34:50 hellnat kernel: [220581.931650] ffff88105b9b0000 ffff8810574f7ce8 ffffffff810dae6b ffff881011fd6278 Jan 31 02:34:50 hellnat kernel: [220581.931654] 0000000000000021 ffffffff81fc5e60 ffff880fecd0f4a8 ffff8810574f7d18 Jan 31 02:34:50 hellnat kernel: [220581.931657] ffffffff810dbe30 ffff881011fd62c8 0000000000000286 ffff881011fd6278 Jan 31 02:34:50 hellnat kernel: [220581.931661] Call Trace: Jan 31 02:34:50 hellnat kernel: [220581.931671] [<ffffffff810dae6b>] lock_timer_base.isra.36+0x2b/0x50 Jan 31 02:34:50 hellnat kernel: [220581.931676] [<ffffffff810dbe30>] try_to_del_timer_sync+0x20/0x70 Jan 31 02:34:50 hellnat kernel: [220581.931679] [<ffffffff810dbed2>] del_timer_sync+0x52/0x60 Jan 31 02:34:50 hellnat kernel: [220581.931683] [<ffffffff8172c73e>] inet_evict_bucket+0x11e/0x140 Jan 31 02:34:50 hellnat kernel: [220581.931693] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Jan 31 02:34:50 hellnat kernel: [220581.931696] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Jan 31 02:34:50 hellnat kernel: [220581.931702] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Jan 31 02:34:50 hellnat kernel: [220581.931706] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Jan 31 02:34:50 hellnat kernel: [220581.931709] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Jan 31 02:34:50 hellnat kernel: [220581.931714] [<ffffffff810938d2>] kthread+0xd2/0xf0 Jan 31 02:34:50 hellnat kernel: [220581.931718] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:34:50 hellnat kernel: [220581.931723] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Jan 31 02:34:50 hellnat kernel: [220581.931727] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:34:50 hellnat kernel: [220581.931729] Code: 00 00 f0 0f b1 17 85 c0 75 05 c3 0f 1f 40 00 55 48 89 e5 e8 27 65 90 ff 5d c3 0f 1f 44 00 00 0f 1f 44 00 00 55 48 89 e5 53 9c 58 <0f> 1f 44 00 00 48 89 c3 fa 66 0f 1f 44 00 00 ba 00 00 02 00 f0 Jan 31 02:35:01 hellnat CRON[32457]: (root) CMD (command -v debian-sa1 > /dev/null && debian-sa1 1 1) Jan 31 02:35:18 hellnat kernel: [220609.942285] NMI watchdog: BUG: soft lockup - CPU#13 stuck for 23s! [kworker/13:1:536] Jan 31 02:35:18 hellnat kernel: [220609.942354] Modules linked in: nf_conntrack_netlink nfnetlink xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm joydev intel_rapl iosf_mbi drm_kms_helper x86_pkg_temp_thermal intel_powerclamp drm syscopyarea sysfillrect sysimgblt coretemp kvm_intel kvm crct10dif_pclmul crc32_pclmul aesni_intel ipmi_ssif aes_x86_64 lrw gf128mul glue_helper ablk_helper cryptd lpc_ich mei_me sb_edac edac_core mei ipmi_si 8250_fintek ipmi_msghandler lp wmi acpi_pad parport ioatdma mac_hid shpchp nf_conntrack_ftp acpi_power_meter nf_nat_pptp nf_nat_proto_gre nf_conntrack_pptp nf_conntrack_proto_gre nf_nat nf_conntrack ip_tables x_tables 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel usbhid dca uas configfs ahci ptp usb_storage hid megaraid_sas libahci pps_core Jan 31 02:35:18 hellnat kernel: [220609.942439] CPU: 13 PID: 536 Comm: kworker/13:1 Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:35:18 hellnat kernel: [220609.942443] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Jan 31 02:35:18 hellnat kernel: [220609.942451] Workqueue: events inet_frag_worker Jan 31 02:35:18 hellnat kernel: [220609.942454] task: ffff8810587993a0 ti: ffff8810574f4000 task.ti: ffff8810574f4000 Jan 31 02:35:18 hellnat kernel: [220609.942457] RIP: 0010:[<ffffffff8172c72d>] [<ffffffff8172c72d>] inet_evict_bucket+0x10d/0x140 Jan 31 02:35:18 hellnat kernel: [220609.942463] RSP: 0018:ffff8810574f7d48 EFLAGS: 00000206 Jan 31 02:35:18 hellnat kernel: [220609.942465] RAX: 0000000000000000 RBX: ffffffff810dae6b RCX: 000000000000af24 Jan 31 02:35:18 hellnat kernel: [220609.942467] RDX: ffff881011fd62c8 RSI: 0000000000300000 RDI: ffff881011fd6278 Jan 31 02:35:18 hellnat kernel: [220609.942469] RBP: ffff8810574f7d98 R08: 0000000000000000 R09: 000000018027001f Jan 31 02:35:18 hellnat kernel: [220609.942471] R10: ffffffff8172c1d9 R11: ffffea0020f54000 R12: ffff88105b9b0000 Jan 31 02:35:18 hellnat kernel: [220609.942473] R13: 0000000000000286 R14: 0000000000000286 R15: 0000000000000000 Jan 31 02:35:18 hellnat kernel: [220609.942475] FS: 0000000000000000(0000) GS:ffff88105f220000(0000) knlGS:0000000000000000 Jan 31 02:35:18 hellnat kernel: [220609.942477] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Jan 31 02:35:18 hellnat kernel: [220609.942479] CR2: 0000559f14099668 CR3: 0000000001c16000 CR4: 00000000001407e0 Jan 31 02:35:18 hellnat kernel: [220609.942481] Stack: Jan 31 02:35:18 hellnat kernel: [220609.942483] ffffffff81fc97c0 ffffffff81fc97c8 ffff88105f233e80 ffff881011fd6310 Jan 31 02:35:18 hellnat kernel: [220609.942487] ffffffff8101359c 0000000000000397 000000000000006a ffff88105f233680 Jan 31 02:35:18 hellnat kernel: [220609.942490] ffff88105f238000 0000000000000008 ffff8810574f7df8 ffffffff8172c7c1 Jan 31 02:35:18 hellnat kernel: [220609.942494] Call Trace: Jan 31 02:35:18 hellnat kernel: [220609.942507] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Jan 31 02:35:18 hellnat kernel: [220609.942511] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Jan 31 02:35:18 hellnat kernel: [220609.942518] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Jan 31 02:35:18 hellnat kernel: [220609.942521] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Jan 31 02:35:18 hellnat kernel: [220609.942525] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Jan 31 02:35:18 hellnat kernel: [220609.942529] [<ffffffff810938d2>] kthread+0xd2/0xf0 Jan 31 02:35:18 hellnat kernel: [220609.942534] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:35:18 hellnat kernel: [220609.942542] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Jan 31 02:35:18 hellnat kernel: [220609.942546] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:35:18 hellnat kernel: [220609.942548] Code: a0 00 00 00 41 ff 95 70 40 00 00 48 85 db 75 e6 48 83 c4 28 44 89 e0 5b 41 5c 41 5d 41 5e 41 5f 5d c3 0f 1f 40 00 f0 41 ff 47 68 <48> 8b 7d b8 e8 1a ab 08 00 48 89 df e8 42 f7 9a ff f0 41 ff 4f Jan 31 02:35:46 hellnat kernel: [220637.953121] NMI watchdog: BUG: soft lockup - CPU#13 stuck for 23s! [kworker/13:1:536] Jan 31 02:35:46 hellnat kernel: [220637.953187] Modules linked in: nf_conntrack_netlink nfnetlink xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm joydev intel_rapl iosf_mbi drm_kms_helper x86_pkg_temp_thermal intel_powerclamp drm syscopyarea sysfillrect sysimgblt coretemp kvm_intel kvm crct10dif_pclmul crc32_pclmul aesni_intel ipmi_ssif aes_x86_64 lrw gf128mul glue_helper ablk_helper cryptd lpc_ich mei_me sb_edac edac_core mei ipmi_si 8250_fintek ipmi_msghandler lp wmi acpi_pad parport ioatdma mac_hid shpchp nf_conntrack_ftp acpi_power_meter nf_nat_pptp nf_nat_proto_gre nf_conntrack_pptp nf_conntrack_proto_gre nf_nat nf_conntrack ip_tables x_tables 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel usbhid dca uas configfs ahci ptp usb_storage hid megaraid_sas libahci pps_core Jan 31 02:35:46 hellnat kernel: [220637.953273] CPU: 13 PID: 536 Comm: kworker/13:1 Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:35:46 hellnat kernel: [220637.953276] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Jan 31 02:35:46 hellnat kernel: [220637.953284] Workqueue: events inet_frag_worker Jan 31 02:35:46 hellnat kernel: [220637.953287] task: ffff8810587993a0 ti: ffff8810574f4000 task.ti: ffff8810574f4000 Jan 31 02:35:46 hellnat kernel: [220637.953290] RIP: 0010:[<ffffffff8172c72d>] [<ffffffff8172c72d>] inet_evict_bucket+0x10d/0x140 Jan 31 02:35:46 hellnat kernel: [220637.953296] RSP: 0018:ffff8810574f7d48 EFLAGS: 00000206 Jan 31 02:35:46 hellnat kernel: [220637.953298] RAX: 0000000000000000 RBX: ffffffff810dae6b RCX: 0000000000000c6a Jan 31 02:35:46 hellnat kernel: [220637.953300] RDX: ffff881011fd62c8 RSI: 0000000000300000 RDI: ffff881011fd6278 Jan 31 02:35:46 hellnat kernel: [220637.953302] RBP: ffff8810574f7d98 R08: 000000000000caa2 R09: 000000018027001f Jan 31 02:35:46 hellnat kernel: [220637.953304] R10: ffffffff8172c1d9 R11: ffffea0020f54000 R12: ffff88105b9b0000 Jan 31 02:35:46 hellnat kernel: [220637.953306] R13: 0000000000000286 R14: 0000000000000286 R15: 0000000000000000 Jan 31 02:35:46 hellnat kernel: [220637.953308] FS: 0000000000000000(0000) GS:ffff88105f220000(0000) knlGS:0000000000000000 Jan 31 02:35:46 hellnat kernel: [220637.953311] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Jan 31 02:35:46 hellnat kernel: [220637.953313] CR2: 0000559f14099668 CR3: 0000000001c16000 CR4: 00000000001407e0 Jan 31 02:35:46 hellnat kernel: [220637.953315] Stack: Jan 31 02:35:46 hellnat kernel: [220637.953316] ffffffff81fc97c0 ffffffff81fc97c8 ffff88105f233e80 ffff881011fd6310 Jan 31 02:35:46 hellnat kernel: [220637.953320] ffffffff8101359c 0000000000000397 000000000000006a ffff88105f233680 Jan 31 02:35:46 hellnat kernel: [220637.953323] ffff88105f238000 0000000000000008 ffff8810574f7df8 ffffffff8172c7c1 Jan 31 02:35:46 hellnat kernel: [220637.953327] Call Trace: Jan 31 02:35:46 hellnat kernel: [220637.953340] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Jan 31 02:35:46 hellnat kernel: [220637.953343] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Jan 31 02:35:46 hellnat kernel: [220637.953350] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Jan 31 02:35:46 hellnat kernel: [220637.953354] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Jan 31 02:35:46 hellnat kernel: [220637.953358] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Jan 31 02:35:46 hellnat kernel: [220637.953362] [<ffffffff810938d2>] kthread+0xd2/0xf0 Jan 31 02:35:46 hellnat kernel: [220637.953367] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:35:46 hellnat kernel: [220637.953375] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Jan 31 02:35:46 hellnat kernel: [220637.953379] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:35:46 hellnat kernel: [220637.953382] Code: a0 00 00 00 41 ff 95 70 40 00 00 48 85 db 75 e6 48 83 c4 28 44 89 e0 5b 41 5c 41 5d 41 5e 41 5f 5d c3 0f 1f 40 00 f0 41 ff 47 68 <48> 8b 7d b8 e8 1a ab 08 00 48 89 df e8 42 f7 9a ff f0 41 ff 4f Jan 31 02:35:54 hellnat kernel: [220646.548552] INFO: task kworker/46:1:534 blocked for more than 120 seconds. Jan 31 02:35:54 hellnat kernel: [220646.548617] Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:35:54 hellnat kernel: [220646.548672] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. Jan 31 02:35:54 hellnat kernel: [220646.548731] kworker/46:1 D ffff8810574efd48 0 534 2 0x00000000 Jan 31 02:35:54 hellnat kernel: [220646.548744] Workqueue: events linkwatch_event Jan 31 02:35:54 hellnat kernel: [220646.548747] ffff8810574efd48 ffff8810578675c0 0000000000013e80 ffff8810574effd8 Jan 31 02:35:54 hellnat kernel: [220646.548752] 0000000000013e80 ffff880035e96220 ffff8810578675c0 ffff8810574efd48 Jan 31 02:35:54 hellnat kernel: [220646.548755] ffffffff81cdbc00 ffffffff81cdbc04 ffff8810578675c0 00000000ffffffff Jan 31 02:35:54 hellnat kernel: [220646.548760] Call Trace: Jan 31 02:35:54 hellnat kernel: [220646.548771] [<ffffffff817b3879>] schedule_preempt_disabled+0x29/0x70 Jan 31 02:35:54 hellnat kernel: [220646.548777] [<ffffffff817b5565>] __mutex_lock_slowpath+0x95/0x100 Jan 31 02:35:54 hellnat kernel: [220646.548781] [<ffffffff817b55f3>] mutex_lock+0x23/0x37 Jan 31 02:35:54 hellnat kernel: [220646.548787] [<ffffffff816b9335>] rtnl_lock+0x15/0x20 Jan 31 02:35:54 hellnat kernel: [220646.548790] [<ffffffff816bf51e>] linkwatch_event+0xe/0x30 Jan 31 02:35:54 hellnat kernel: [220646.548797] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Jan 31 02:35:54 hellnat kernel: [220646.548801] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Jan 31 02:35:54 hellnat kernel: [220646.548805] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Jan 31 02:35:54 hellnat kernel: [220646.548810] [<ffffffff810938d2>] kthread+0xd2/0xf0 Jan 31 02:35:54 hellnat kernel: [220646.548814] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:35:54 hellnat kernel: [220646.548819] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Jan 31 02:35:54 hellnat kernel: [220646.548823] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:35:54 hellnat kernel: [220646.548840] INFO: task zebra:2958 blocked for more than 120 seconds. Jan 31 02:35:54 hellnat kernel: [220646.548889] Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:35:54 hellnat kernel: [220646.548943] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. Jan 31 02:35:54 hellnat kernel: [220646.549002] zebra D ffff881059487a78 0 2958 1 0x00000000 Jan 31 02:35:54 hellnat kernel: [220646.549006] ffff881059487a78 ffff88105a7893a0 0000000000013e80 ffff881059487fd8 Jan 31 02:35:54 hellnat kernel: [220646.549010] 0000000000013e80 ffff88105be41d70 ffff88105a7893a0 00000000ffffef72 Jan 31 02:35:54 hellnat kernel: [220646.549013] ffffffff81cdbc00 ffffffff81cdbc04 ffff88105a7893a0 00000000ffffffff Jan 31 02:35:54 hellnat kernel: [220646.549017] Call Trace: Jan 31 02:35:54 hellnat kernel: [220646.549022] [<ffffffff817b3879>] schedule_preempt_disabled+0x29/0x70 Jan 31 02:35:54 hellnat kernel: [220646.549026] [<ffffffff817b5565>] __mutex_lock_slowpath+0x95/0x100 Jan 31 02:35:54 hellnat kernel: [220646.549030] [<ffffffff817b55f3>] mutex_lock+0x23/0x37 Jan 31 02:35:54 hellnat kernel: [220646.549035] [<ffffffff816ba12d>] rtnetlink_rcv+0x1d/0x40 Jan 31 02:35:54 hellnat kernel: [220646.549040] [<ffffffff816da2c6>] netlink_unicast+0xf6/0x200 Jan 31 02:35:54 hellnat kernel: [220646.549044] [<ffffffff816da6dc>] netlink_sendmsg+0x30c/0x680 Jan 31 02:35:54 hellnat kernel: [220646.549051] [<ffffffff81352290>] ? aa_sk_perm.isra.4+0x70/0x150 Jan 31 02:35:54 hellnat kernel: [220646.549056] [<ffffffff8168fa8c>] do_sock_sendmsg+0x8c/0x100 Jan 31 02:35:54 hellnat kernel: [220646.549062] [<ffffffff812009a0>] ? poll_select_copy_remaining+0x130/0x130 Jan 31 02:35:54 hellnat kernel: [220646.549066] [<ffffffff812009a0>] ? poll_select_copy_remaining+0x130/0x130 Jan 31 02:35:54 hellnat kernel: [220646.549069] [<ffffffff8168f44e>] ? copy_msghdr_from_user+0x15e/0x1f0 Jan 31 02:35:54 hellnat kernel: [220646.549073] [<ffffffff816900a3>] ___sys_sendmsg+0x313/0x320 Jan 31 02:35:54 hellnat kernel: [220646.549079] [<ffffffff810a471f>] ? thread_group_cputime+0xcf/0x170 Jan 31 02:35:54 hellnat kernel: [220646.549083] [<ffffffff810a4295>] ? cputime_adjust+0x25/0x150 Jan 31 02:35:54 hellnat kernel: [220646.549086] [<ffffffff810a4a41>] ? thread_group_cputime_adjusted+0x41/0x50 Jan 31 02:35:54 hellnat kernel: [220646.549092] [<ffffffff81071565>] ? get_task_mm+0x45/0x60 Jan 31 02:35:54 hellnat kernel: [220646.549100] [<ffffffff811cf532>] ? kmem_cache_alloc_trace+0x1e2/0x220 Jan 31 02:35:54 hellnat kernel: [220646.549104] [<ffffffff8133ef47>] ? aa_alloc_task_context+0x27/0x40 Jan 31 02:35:54 hellnat kernel: [220646.549109] [<ffffffff81690792>] __sys_sendmsg+0x42/0x80 Jan 31 02:35:54 hellnat kernel: [220646.549113] [<ffffffff816907e2>] SyS_sendmsg+0x12/0x20 Jan 31 02:35:54 hellnat kernel: [220646.549117] [<ffffffff817b770d>] system_call_fastpath+0x16/0x1b Jan 31 02:35:54 hellnat kernel: [220646.549121] INFO: task snmpd:2993 blocked for more than 120 seconds. Jan 31 02:35:54 hellnat kernel: [220646.549170] Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:35:54 hellnat kernel: [220646.549224] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. Jan 31 02:35:54 hellnat kernel: [220646.549282] snmpd D ffff881059cebd08 0 2993 1 0x00000000 Jan 31 02:35:54 hellnat kernel: [220646.549285] ffff881059cebd08 ffff8810104609d0 0000000000013e80 ffff881059cebfd8 Jan 31 02:35:54 hellnat kernel: [220646.549289] 0000000000013e80 ffffffff81c1d4e0 ffff8810104609d0 ffff880858b04020 Jan 31 02:35:54 hellnat kernel: [220646.549292] ffffffff81cdbc00 ffffffff81cdbc04 ffff8810104609d0 00000000ffffffff Jan 31 02:35:54 hellnat kernel: [220646.549296] Call Trace: Jan 31 02:35:54 hellnat kernel: [220646.549301] [<ffffffff817b3879>] schedule_preempt_disabled+0x29/0x70 Jan 31 02:35:54 hellnat kernel: [220646.549305] [<ffffffff817b5565>] __mutex_lock_slowpath+0x95/0x100 Jan 31 02:35:54 hellnat kernel: [220646.549310] [<ffffffff8120c914>] ? mntput+0x24/0x40 Jan 31 02:35:54 hellnat kernel: [220646.549314] [<ffffffff817b55f3>] mutex_lock+0x23/0x37 Jan 31 02:35:54 hellnat kernel: [220646.549319] [<ffffffff813479cf>] ? apparmor_sk_alloc_security+0x2f/0x60 Jan 31 02:35:54 hellnat kernel: [220646.549323] [<ffffffff816b9335>] rtnl_lock+0x15/0x20 Jan 31 02:35:54 hellnat kernel: [220646.549328] [<ffffffff816c1865>] dev_ioctl+0x395/0x590 Jan 31 02:35:54 hellnat kernel: [220646.549332] [<ffffffff813479cf>] ? apparmor_sk_alloc_security+0x2f/0x60 Jan 31 02:35:54 hellnat kernel: [220646.549337] [<ffffffff811cf532>] ? kmem_cache_alloc_trace+0x1e2/0x220 Jan 31 02:35:54 hellnat kernel: [220646.549342] [<ffffffff813498fb>] ? apparmor_file_alloc_security+0x5b/0x180 Jan 31 02:35:54 hellnat kernel: [220646.549345] [<ffffffff8168e03b>] ? sock_alloc_inode+0x3b/0xc0 Jan 31 02:35:54 hellnat kernel: [220646.549351] [<ffffffff8168c72d>] sock_do_ioctl+0x4d/0x60 Jan 31 02:35:54 hellnat kernel: [220646.549356] [<ffffffff8168cc50>] sock_ioctl+0x1f0/0x2c0 Jan 31 02:35:54 hellnat kernel: [220646.549363] [<ffffffff811ee39f>] ? get_empty_filp+0xcf/0x1a0 Jan 31 02:35:54 hellnat kernel: [220646.549367] [<ffffffff811ffd28>] do_vfs_ioctl+0x2f8/0x510 Jan 31 02:35:54 hellnat kernel: [220646.549372] [<ffffffff8168c5b1>] ? sock_alloc_file+0x91/0x120 Jan 31 02:35:54 hellnat kernel: [220646.549375] [<ffffffff8120a3ae>] ? __fd_install+0x4e/0x60 Jan 31 02:35:54 hellnat kernel: [220646.549379] [<ffffffff811fffc1>] SyS_ioctl+0x81/0xa0 Jan 31 02:35:54 hellnat kernel: [220646.549384] [<ffffffff817b770d>] system_call_fastpath+0x16/0x1b Jan 31 02:35:54 hellnat kernel: [220646.549391] INFO: task ntpd:16752 blocked for more than 120 seconds. Jan 31 02:35:54 hellnat kernel: [220646.549440] Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:35:54 hellnat kernel: [220646.549494] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. Jan 31 02:35:54 hellnat kernel: [220646.549552] ntpd D ffff88100aabbd08 0 16752 1 0x00000004 Jan 31 02:35:54 hellnat kernel: [220646.549556] ffff88100aabbd08 ffff88101312d850 0000000000013e80 ffff88100aabbfd8 Jan 31 02:35:54 hellnat kernel: [220646.549560] 0000000000013e80 ffff88105be53110 ffff88101312d850 0000000000000086 Jan 31 02:35:54 hellnat kernel: [220646.549563] ffffffff81cdbc00 ffffffff81cdbc04 ffff88101312d850 00000000ffffffff Jan 31 02:35:54 hellnat kernel: [220646.549567] Call Trace: Jan 31 02:35:54 hellnat kernel: [220646.549571] [<ffffffff817b3879>] schedule_preempt_disabled+0x29/0x70 Jan 31 02:35:54 hellnat kernel: [220646.549575] [<ffffffff817b5565>] __mutex_lock_slowpath+0x95/0x100 Jan 31 02:35:54 hellnat kernel: [220646.549579] [<ffffffff817b55f3>] mutex_lock+0x23/0x37 Jan 31 02:35:54 hellnat kernel: [220646.549584] [<ffffffff816b9335>] rtnl_lock+0x15/0x20 Jan 31 02:35:54 hellnat kernel: [220646.549587] [<ffffffff816c1865>] dev_ioctl+0x395/0x590 Jan 31 02:35:54 hellnat kernel: [220646.549593] [<ffffffff811cf532>] ? kmem_cache_alloc_trace+0x1e2/0x220 Jan 31 02:35:54 hellnat kernel: [220646.549597] [<ffffffff813498fb>] ? apparmor_file_alloc_security+0x5b/0x180 Jan 31 02:35:54 hellnat kernel: [220646.549602] [<ffffffff8168c72d>] sock_do_ioctl+0x4d/0x60 Jan 31 02:35:54 hellnat kernel: [220646.549607] [<ffffffff8168cc50>] sock_ioctl+0x1f0/0x2c0 Jan 31 02:35:54 hellnat kernel: [220646.549612] [<ffffffff811ee39f>] ? get_empty_filp+0xcf/0x1a0 Jan 31 02:35:54 hellnat kernel: [220646.549615] [<ffffffff811ffd28>] do_vfs_ioctl+0x2f8/0x510 Jan 31 02:35:54 hellnat kernel: [220646.549620] [<ffffffff8168c5b1>] ? sock_alloc_file+0x91/0x120 Jan 31 02:35:54 hellnat kernel: [220646.549623] [<ffffffff8120a3ae>] ? __fd_install+0x4e/0x60 Jan 31 02:35:54 hellnat kernel: [220646.549626] [<ffffffff811fffc1>] SyS_ioctl+0x81/0xa0 Jan 31 02:35:54 hellnat kernel: [220646.549631] [<ffffffff817b770d>] system_call_fastpath+0x16/0x1b Jan 31 02:36:14 hellnat kernel: [220665.963957] NMI watchdog: BUG: soft lockup - CPU#13 stuck for 23s! [kworker/13:1:536] Jan 31 02:36:14 hellnat kernel: [220665.964022] Modules linked in: nf_conntrack_netlink nfnetlink xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm joydev intel_rapl iosf_mbi drm_kms_helper x86_pkg_temp_thermal intel_powerclamp drm syscopyarea sysfillrect sysimgblt coretemp kvm_intel kvm crct10dif_pclmul crc32_pclmul aesni_intel ipmi_ssif aes_x86_64 lrw gf128mul glue_helper ablk_helper cryptd lpc_ich mei_me sb_edac edac_core mei ipmi_si 8250_fintek ipmi_msghandler lp wmi acpi_pad parport ioatdma mac_hid shpchp nf_conntrack_ftp acpi_power_meter nf_nat_pptp nf_nat_proto_gre nf_conntrack_pptp nf_conntrack_proto_gre nf_nat nf_conntrack ip_tables x_tables 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel usbhid dca uas configfs ahci ptp usb_storage hid megaraid_sas libahci pps_core Jan 31 02:36:14 hellnat kernel: [220665.964107] CPU: 13 PID: 536 Comm: kworker/13:1 Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:36:14 hellnat kernel: [220665.964110] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Jan 31 02:36:14 hellnat kernel: [220665.964118] Workqueue: events inet_frag_worker Jan 31 02:36:14 hellnat kernel: [220665.964121] task: ffff8810587993a0 ti: ffff8810574f4000 task.ti: ffff8810574f4000 Jan 31 02:36:14 hellnat kernel: [220665.964123] RIP: 0010:[<ffffffff8172c743>] [<ffffffff8172c743>] inet_evict_bucket+0x123/0x140 Jan 31 02:36:14 hellnat kernel: [220665.964129] RSP: 0018:ffff8810574f7d48 EFLAGS: 00000202 Jan 31 02:36:14 hellnat kernel: [220665.964131] RAX: 0000000000000000 RBX: ffffffff810dae6b RCX: 0000000000002248 Jan 31 02:36:14 hellnat kernel: [220665.964133] RDX: 0000000000000000 RSI: 0000000000000286 RDI: 0000000000000286 Jan 31 02:36:14 hellnat kernel: [220665.964135] RBP: ffff8810574f7d98 R08: 0000000000009c2c R09: 000000018027001f Jan 31 02:36:14 hellnat kernel: [220665.964137] R10: ffffffff8172c1d9 R11: ffffea0020f54000 R12: ffff88105b9b0000 Jan 31 02:36:14 hellnat kernel: [220665.964139] R13: 0000000000000286 R14: 0000000000000286 R15: 0000000000000000 Jan 31 02:36:14 hellnat kernel: [220665.964142] FS: 0000000000000000(0000) GS:ffff88105f220000(0000) knlGS:0000000000000000 Jan 31 02:36:14 hellnat kernel: [220665.964144] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Jan 31 02:36:14 hellnat kernel: [220665.964146] CR2: 0000559f14099668 CR3: 0000000001c16000 CR4: 00000000001407e0 Jan 31 02:36:14 hellnat kernel: [220665.964148] Stack: Jan 31 02:36:14 hellnat kernel: [220665.964149] ffffffff81fc97c0 ffffffff81fc97c8 ffff88105f233e80 ffff881011fd6310 Jan 31 02:36:14 hellnat kernel: [220665.964153] ffffffff8101359c 0000000000000397 000000000000006a ffff88105f233680 Jan 31 02:36:14 hellnat kernel: [220665.964156] ffff88105f238000 0000000000000008 ffff8810574f7df8 ffffffff8172c7c1 Jan 31 02:36:14 hellnat kernel: [220665.964160] Call Trace: Jan 31 02:36:14 hellnat kernel: [220665.964173] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Jan 31 02:36:14 hellnat kernel: [220665.964177] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Jan 31 02:36:14 hellnat kernel: [220665.964184] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Jan 31 02:36:14 hellnat kernel: [220665.964187] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Jan 31 02:36:14 hellnat kernel: [220665.964191] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Jan 31 02:36:14 hellnat kernel: [220665.964195] [<ffffffff810938d2>] kthread+0xd2/0xf0 Jan 31 02:36:14 hellnat kernel: [220665.964200] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:36:14 hellnat kernel: [220665.964208] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Jan 31 02:36:14 hellnat kernel: [220665.964212] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:36:14 hellnat kernel: [220665.964214] Code: e0 5b 41 5c 41 5d 41 5e 41 5f 5d c3 0f 1f 40 00 f0 41 ff 47 68 48 8b 7d b8 e8 1a ab 08 00 48 89 df e8 42 f7 9a ff f0 41 ff 4f 68 <74> 05 e9 09 ff ff ff 4c 89 ee 4c 89 ff e8 cb f9 ff ff e9 f9 fe Jan 31 02:36:42 hellnat kernel: [220693.974794] NMI watchdog: BUG: soft lockup - CPU#13 stuck for 23s! [kworker/13:1:536] Jan 31 02:36:42 hellnat kernel: [220693.974860] Modules linked in: nf_conntrack_netlink nfnetlink xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm joydev intel_rapl iosf_mbi drm_kms_helper x86_pkg_temp_thermal intel_powerclamp drm syscopyarea sysfillrect sysimgblt coretemp kvm_intel kvm crct10dif_pclmul crc32_pclmul aesni_intel ipmi_ssif aes_x86_64 lrw gf128mul glue_helper ablk_helper cryptd lpc_ich mei_me sb_edac edac_core mei ipmi_si 8250_fintek ipmi_msghandler lp wmi acpi_pad parport ioatdma mac_hid shpchp nf_conntrack_ftp acpi_power_meter nf_nat_pptp nf_nat_proto_gre nf_conntrack_pptp nf_conntrack_proto_gre nf_nat nf_conntrack ip_tables x_tables 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel usbhid dca uas configfs ahci ptp usb_storage hid megaraid_sas libahci pps_core Jan 31 02:36:42 hellnat kernel: [220693.974951] CPU: 13 PID: 536 Comm: kworker/13:1 Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:36:42 hellnat kernel: [220693.974954] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Jan 31 02:36:42 hellnat kernel: [220693.974962] Workqueue: events inet_frag_worker Jan 31 02:36:42 hellnat kernel: [220693.974965] task: ffff8810587993a0 ti: ffff8810574f4000 task.ti: ffff8810574f4000 Jan 31 02:36:42 hellnat kernel: [220693.974967] RIP: 0010:[<ffffffff8172c743>] [<ffffffff8172c743>] inet_evict_bucket+0x123/0x140 Jan 31 02:36:42 hellnat kernel: [220693.974973] RSP: 0018:ffff8810574f7d48 EFLAGS: 00000202 Jan 31 02:36:42 hellnat kernel: [220693.974975] RAX: 0000000000000000 RBX: ffffffff810dae6b RCX: 000000000000aa5e Jan 31 02:36:42 hellnat kernel: [220693.974977] RDX: 0000000000000000 RSI: 0000000000000286 RDI: 0000000000000286 Jan 31 02:36:42 hellnat kernel: [220693.974979] RBP: ffff8810574f7d98 R08: 0000000000009522 R09: 000000018027001f Jan 31 02:36:42 hellnat kernel: [220693.974981] R10: ffffffff8172c1d9 R11: ffffea0020f54000 R12: ffff88105b9b0000 Jan 31 02:36:42 hellnat kernel: [220693.974983] R13: 0000000000000286 R14: 0000000000000286 R15: 0000000000000000 Jan 31 02:36:42 hellnat kernel: [220693.974986] FS: 0000000000000000(0000) GS:ffff88105f220000(0000) knlGS:0000000000000000 Jan 31 02:36:42 hellnat kernel: [220693.974988] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Jan 31 02:36:42 hellnat kernel: [220693.974990] CR2: 0000559f14099668 CR3: 0000000001c16000 CR4: 00000000001407e0 Jan 31 02:36:42 hellnat kernel: [220693.974992] Stack: Jan 31 02:36:42 hellnat kernel: [220693.974993] ffffffff81fc97c0 ffffffff81fc97c8 ffff88105f233e80 ffff881011fd6310 Jan 31 02:36:42 hellnat kernel: [220693.974997] ffffffff8101359c 0000000000000397 000000000000006a ffff88105f233680 Jan 31 02:36:42 hellnat kernel: [220693.975000] ffff88105f238000 0000000000000008 ffff8810574f7df8 ffffffff8172c7c1 Jan 31 02:36:42 hellnat kernel: [220693.975004] Call Trace: Jan 31 02:36:42 hellnat kernel: [220693.975017] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Jan 31 02:36:42 hellnat kernel: [220693.975020] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Jan 31 02:36:42 hellnat kernel: [220693.975028] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Jan 31 02:36:42 hellnat kernel: [220693.975031] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Jan 31 02:36:42 hellnat kernel: [220693.975035] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Jan 31 02:36:42 hellnat kernel: [220693.975039] [<ffffffff810938d2>] kthread+0xd2/0xf0 Jan 31 02:36:42 hellnat kernel: [220693.975044] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:36:42 hellnat kernel: [220693.975052] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Jan 31 02:36:42 hellnat kernel: [220693.975055] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Jan 31 02:36:42 hellnat kernel: [220693.975058] Code: e0 5b 41 5c 41 5d 41 5e 41 5f 5d c3 0f 1f 40 00 f0 41 ff 47 68 48 8b 7d b8 e8 1a ab 08 00 48 89 df e8 42 f7 9a ff f0 41 ff 4f 68 <74> 05 e9 09 ff ff ff 4c 89 ee 4c 89 ff e8 cb f9 ff ff e9 f9 fe Jan 31 02:37:10 hellnat kernel: [220721.985630] NMI watchdog: BUG: soft lockup - CPU#13 stuck for 22s! [kworker/13:1:536] Jan 31 02:37:10 hellnat kernel: [220721.985696] Modules linked in: nf_conntrack_netlink nfnetlink xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm joydev intel_rapl iosf_mbi drm_kms_helper x86_pkg_temp_thermal intel_powerclamp drm syscopyarea sysfillrect sysimgblt coretemp kvm_intel kvm crct10dif_pclmul crc32_pclmul aesni_intel ipmi_ssif aes_x86_64 lrw gf128mul glue_helper ablk_helper cryptd lpc_ich mei_me sb_edac edac_core mei ipmi_si 8250_fintek ipmi_msghandler lp wmi acpi_pad parport ioatdma mac_hid shpchp nf_conntrack_ftp acpi_power_meter nf_nat_pptp nf_nat_proto_gre nf_conntrack_pptp nf_conntrack_proto_gre nf_nat nf_conntrack ip_tables x_tables 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel usbhid dca uas configfs ahci ptp usb_storage hid megaraid_sas libahci pps_core Jan 31 02:37:10 hellnat kernel: [220721.985780] CPU: 13 PID: 536 Comm: kworker/13:1 Tainted: G W OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Jan 31 02:37:10 hellnat kernel: [220721.985783] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Jan 31 02:37:10 hellnat kernel: [220721.985792] Workqueue: events inet_frag_worker Jan 31 02:37:10 hellnat kernel: [220721.985795] task: ffff8810587993a0 ti: ffff8810574f4000 task.ti: ffff8810574f4000 Jan 31 02:37:10 hellnat kernel: [220721.985798] RIP: 0010:[<ffffffff817b6efb>] [<ffffffff817b6efb>] _raw_spin_unlock_irqrestore+0x1b/0x50 Jan 31 02:37:10 hellnat kernel: [220721.985808] RSP: 0018:ffff8810574f7ce0 EFLAGS: 00000286 Jan 31 02:37:10 hellnat kernel: [220721.985810] RAX: 0000000000000000 RBX: 000000000000ceb6 RCX: 000000000000c178 Jan 31 02:37:10 hellnat kernel: [220721.985812] RDX: 0000000000000000 RSI: 0000000000000286 RDI: 0000000000000286 Jan 31 02:37:10 hellnat kernel: [220721.985814] RBP: ffff8810574f7ce8 R08: 0000000000005668 R09: 000000018027001f Jan 31 02:37:10 hellnat kernel: [220721.985816] R10: ffffffff8172c1d9 R11: ffffea0020f54000 R12: 0000000000005668 Jan 31 02:37:10 hellnat kernel: [220721.985818] R13: 000000018027001f R14: ffffffff8172c1d9 R15: ffffea0020f54000 Jan 31 02:37:10 hellnat kernel: [220721.985820] FS: 0000000000000000(0000) GS:ffff88105f220000(0000) knlGS:0000000000000000 Jan 31 02:37:10 hellnat kernel: [220721.985822] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 и т.д. syslog второй аварии: Feb 1 20:49:59 hellnat kernel: [150386.976430] NMI watchdog: BUG: soft lockup - CPU#18 stuck for 22s! [kworker/18:2:13112] Feb 1 20:49:59 hellnat kernel: [150386.976500] Modules linked in: xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_na t_ipv4 iptable_mangle xt_CT iptable_raw ast ttm drm_kms_helper drm joydev syscopyarea sysfillrect sysimgblt intel_rapl iosf_mbi x86_pkg_temp_thermal intel_powercl amp coretemp ipmi_ssif kvm_intel sb_edac kvm mei_me crct10dif_pclmul crc32_pclmul aesni_intel lp aes_x86_64 parport lrw gf128mul nf_conntrack_ftp glue_helper nf_nat_pptp nf_nat_proto_gre ablk_helper cryptd nf_conntrack_pptp lpc_ich shpchp edac_core mei nf_conntrack_proto_gre ipmi_si ioatdma ipmi_msghandler nf_nat 8250_fintek mac_hid acpi_pad nf_conntrack ip_tables x_tables wmi acpi_power_meter 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel dca usbhid uas configfs ahci ptp hid usb_storage megaraid_sas libahci pps_core Feb 1 20:49:59 hellnat kernel: [150386.976576] CPU: 18 PID: 13112 Comm: kworker/18:2 Tainted: G OE 3.19.0-47-generic #53~14.04.1-Ubuntu Feb 1 20:49:59 hellnat kernel: [150386.976578] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Feb 1 20:49:59 hellnat kernel: [150386.976587] Workqueue: events inet_frag_worker Feb 1 20:49:59 hellnat kernel: [150386.976589] task: ffff881059e4e220 ti: ffff88101ecf0000 task.ti: ffff88101ecf0000 Feb 1 20:49:59 hellnat kernel: [150386.976591] RIP: 0010:[<ffffffff8172c743>] [<ffffffff8172c743>] inet_evict_bucket+0x123/0x140 Feb 1 20:49:59 hellnat kernel: [150386.976597] RSP: 0018:ffff88101ecf3d48 EFLAGS: 00000202 Feb 1 20:49:59 hellnat kernel: [150386.976598] RAX: 0000000000000000 RBX: ffffffff810dae6b RCX: 000000000000839e Feb 1 20:49:59 hellnat kernel: [150386.976599] RDX: 0000000000000000 RSI: 0000000000000286 RDI: 0000000000000286 Feb 1 20:49:59 hellnat kernel: [150386.976601] RBP: ffff88101ecf3d98 R08: 0000000000007c72 R09: 0000000180270013 Feb 1 20:49:59 hellnat kernel: [150386.976602] R10: ffffffff8172c1d9 R11: ffffea0040ef6f80 R12: ffff88105b56c000 Feb 1 20:49:59 hellnat kernel: [150386.976603] R13: 0000000000000286 R14: ffff88101ecf3cb8 R15: 0000000000000000 Feb 1 20:49:59 hellnat kernel: [150386.976606] FS: 0000000000000000(0000) GS:ffff88105f2c0000(0000) knlGS:0000000000000000 Feb 1 20:49:59 hellnat kernel: [150386.976607] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Feb 1 20:49:59 hellnat kernel: [150386.976609] CR2: 00007f5cfbfe3cb8 CR3: 0000000001c16000 CR4: 00000000001407e0 Feb 1 20:49:59 hellnat kernel: [150386.976610] Stack: Feb 1 20:49:59 hellnat kernel: [150386.976612] ffffffff81fc70a0 ffffffff81fc70a8 ffff88105f2d3e80 ffff88080e78e170 Feb 1 20:49:59 hellnat kernel: [150386.976614] ffffffff8101359c 0000000000000125 000000000000005c ffff88105f2d3680 Feb 1 20:49:59 hellnat kernel: [150386.976617] ffff88105f2d8000 000000000000001a ffff88101ecf3df8 ffffffff8172c7c1 Feb 1 20:49:59 hellnat kernel: [150386.976619] Call Trace: Feb 1 20:49:59 hellnat kernel: [150386.976630] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Feb 1 20:49:59 hellnat kernel: [150386.976633] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Feb 1 20:49:59 hellnat kernel: [150386.976641] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Feb 1 20:49:59 hellnat kernel: [150386.976643] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Feb 1 20:49:59 hellnat kernel: [150386.976646] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Feb 1 20:49:59 hellnat kernel: [150386.976650] [<ffffffff810938d2>] kthread+0xd2/0xf0 Feb 1 20:49:59 hellnat kernel: [150386.976653] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:49:59 hellnat kernel: [150386.976660] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Feb 1 20:49:59 hellnat kernel: [150386.976663] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:49:59 hellnat kernel: [150386.976664] Code: e0 5b 41 5c 41 5d 41 5e 41 5f 5d c3 0f 1f 40 00 f0 41 ff 47 68 48 8b 7d b8 e8 1a ab 08 00 48 89 df e8 42 f7 9a ff f0 41 ff 4f 68 <74> 05 e9 09 ff ff ff 4c 89 ee 4c 89 ff e8 cb f9 ff ff e9 f9 fe Feb 1 20:50:27 hellnat kernel: [150414.987264] NMI watchdog: BUG: soft lockup - CPU#18 stuck for 22s! [kworker/18:2:13112] Feb 1 20:50:27 hellnat kernel: [150414.987319] Modules linked in: xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm drm_kms_helper drm joydev syscopyarea sysfillrect sysimgblt intel_rapl iosf_mbi x86_pkg_temp_thermal intel_powerclamp coretemp ipmi_ssif kvm_intel sb_edac kvm mei_me crct10dif_pclmul crc32_pclmul aesni_intel lp aes_x86_64 parport lrw gf128mul nf_conntrack_ftp glue_helper nf_nat_pptp nf_nat_proto_gre ablk_helper cryptd nf_conntrack_pptp lpc_ich shpchp edac_core mei nf_conntrack_proto_gre ipmi_si ioatdma ipmi_msghandler nf_nat 8250_fintek mac_hid acpi_pad nf_conntrack ip_tables x_tables wmi acpi_power_meter 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel dca usbhid uas configfs ahci ptp hid usb_storage megaraid_sas libahci pps_core Feb 1 20:50:27 hellnat kernel: [150414.987400] CPU: 18 PID: 13112 Comm: kworker/18:2 Tainted: G OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Feb 1 20:50:27 hellnat kernel: [150414.987403] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Feb 1 20:50:27 hellnat kernel: [150414.987413] Workqueue: events inet_frag_worker Feb 1 20:50:27 hellnat kernel: [150414.987416] task: ffff881059e4e220 ti: ffff88101ecf0000 task.ti: ffff88101ecf0000 Feb 1 20:50:27 hellnat kernel: [150414.987419] RIP: 0010:[<ffffffff817b6f01>] [<ffffffff817b6f01>] _raw_spin_unlock_irqrestore+0x21/0x50 Feb 1 20:50:27 hellnat kernel: [150414.987430] RSP: 0018:ffff88101ecf3ce8 EFLAGS: 00000286 Feb 1 20:50:27 hellnat kernel: [150414.987432] RAX: 0000000000000000 RBX: 00000000000020e4 RCX: 000000000000bc6c Feb 1 20:50:27 hellnat kernel: [150414.987434] RDX: 0000000000000000 RSI: 0000000000000286 RDI: 0000000000000286 Feb 1 20:50:27 hellnat kernel: [150414.987436] RBP: ffff88101ecf3ce8 R08: 000000000000558e R09: 0000000180270013 Feb 1 20:50:27 hellnat kernel: [150414.987438] R10: ffffffff8172c1d9 R11: ffffea0040ef6f80 R12: 000000000000afae Feb 1 20:50:27 hellnat kernel: [150414.987440] R13: 0000000180270013 R14: ffffffff8172c1d9 R15: ffffea0040ef6f80 Feb 1 20:50:27 hellnat kernel: [150414.987443] FS: 0000000000000000(0000) GS:ffff88105f2c0000(0000) knlGS:0000000000000000 Feb 1 20:50:27 hellnat kernel: [150414.987445] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Feb 1 20:50:27 hellnat kernel: [150414.987447] CR2: 00007f5cfbfe3cb8 CR3: 0000000001c16000 CR4: 00000000001407e0 Feb 1 20:50:27 hellnat kernel: [150414.987448] Stack: Feb 1 20:50:27 hellnat kernel: [150414.987450] ffff88101ecf3d18 ffffffff810dbe5f 0000000000000286 0000000000000286 Feb 1 20:50:27 hellnat kernel: [150414.987452] ffff88103fabd938 0000000000000065 ffff88101ecf3d38 ffffffff810dbed2 Feb 1 20:50:27 hellnat kernel: [150414.987455] 0000000000000065 ffff88103fabd938 ffff88101ecf3d98 ffffffff8172c73e Feb 1 20:50:27 hellnat kernel: [150414.987458] Call Trace: Feb 1 20:50:27 hellnat kernel: [150414.987467] [<ffffffff810dbe5f>] try_to_del_timer_sync+0x4f/0x70 Feb 1 20:50:27 hellnat kernel: [150414.987470] [<ffffffff810dbed2>] del_timer_sync+0x52/0x60 Feb 1 20:50:27 hellnat kernel: [150414.987473] [<ffffffff8172c73e>] inet_evict_bucket+0x11e/0x140 Feb 1 20:50:27 hellnat kernel: [150414.987481] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Feb 1 20:50:27 hellnat kernel: [150414.987484] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Feb 1 20:50:27 hellnat kernel: [150414.987490] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Feb 1 20:50:27 hellnat kernel: [150414.987494] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Feb 1 20:50:27 hellnat kernel: [150414.987497] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Feb 1 20:50:27 hellnat kernel: [150414.987504] [<ffffffff810938d2>] kthread+0xd2/0xf0 Feb 1 20:50:27 hellnat kernel: [150414.987510] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:50:27 hellnat kernel: [150414.987515] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Feb 1 20:50:27 hellnat kernel: [150414.987519] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:50:27 hellnat kernel: [150414.987521] Code: 96 22 8c ff 5d c3 0f 1f 40 00 0f 1f 44 00 00 55 48 89 e5 53 48 89 f3 0f 1f 44 00 00 66 83 07 02 48 89 df 57 9d 0f 1f 44 00 00 5b <5d> c3 0f 1f 44 00 00 b8 02 00 00 00 f0 66 0f c1 07 a8 01 74 e0 Feb 1 20:50:32 hellnat kernel: [150420.049222] INFO: rcu_sched self-detected stall on CPU { 18} (t=15000 jiffies g=13052660 c=13052659 q=0) Feb 1 20:50:32 hellnat kernel: [150420.049318] Task dump for CPU 18: Feb 1 20:50:32 hellnat kernel: [150420.049322] kworker/18:2 R running task 0 13112 2 0x00000008 Feb 1 20:50:32 hellnat kernel: [150420.049334] Workqueue: events inet_frag_worker Feb 1 20:50:32 hellnat kernel: [150420.049339] ffffffff81c56200 ffff88105f2c3d78 ffffffff810a01c6 0000000000000012 Feb 1 20:50:32 hellnat kernel: [150420.049344] ffffffff81c56200 ffff88105f2c3d98 ffffffff810a37ed 0000000000000087 Feb 1 20:50:32 hellnat kernel: [150420.049348] 0000000000000003 ffff88105f2c3dc8 ffffffff810d4070 ffff88105f2d4bc0 Feb 1 20:50:32 hellnat kernel: [150420.049352] Call Trace: Feb 1 20:50:32 hellnat kernel: [150420.049355] <IRQ> [<ffffffff810a01c6>] sched_show_task+0xb6/0x130 Feb 1 20:50:32 hellnat kernel: [150420.049369] [<ffffffff810a37ed>] dump_cpu_task+0x3d/0x50 Feb 1 20:50:32 hellnat kernel: [150420.049378] [<ffffffff810d4070>] rcu_dump_cpu_stacks+0x90/0xd0 Feb 1 20:50:32 hellnat kernel: [150420.049385] [<ffffffff810d7f2c>] rcu_check_callbacks+0x42c/0x670 Feb 1 20:50:32 hellnat kernel: [150420.049389] [<ffffffff810a4821>] ? account_process_tick+0x61/0x180 Feb 1 20:50:32 hellnat kernel: [150420.049394] [<ffffffff810dce69>] update_process_times+0x39/0x60 Feb 1 20:50:32 hellnat kernel: [150420.049402] [<ffffffff810ec3b5>] tick_sched_handle.isra.16+0x25/0x60 Feb 1 20:50:32 hellnat kernel: [150420.049405] [<ffffffff810ec434>] tick_sched_timer+0x44/0x80 Feb 1 20:50:32 hellnat kernel: [150420.049409] [<ffffffff810ddb27>] __run_hrtimer+0x77/0x1d0 Feb 1 20:50:32 hellnat kernel: [150420.049414] [<ffffffff810ec3f0>] ? tick_sched_handle.isra.16+0x60/0x60 Feb 1 20:50:32 hellnat kernel: [150420.049418] [<ffffffff810ddf07>] hrtimer_interrupt+0xe7/0x220 Feb 1 20:50:32 hellnat kernel: [150420.049427] [<ffffffff8104aae9>] local_apic_timer_interrupt+0x39/0x60 Feb 1 20:50:32 hellnat kernel: [150420.049434] [<ffffffff817ba785>] smp_apic_timer_interrupt+0x45/0x60 Feb 1 20:50:32 hellnat kernel: [150420.049442] [<ffffffff817b87bd>] apic_timer_interrupt+0x6d/0x80 Feb 1 20:50:32 hellnat kernel: [150420.049444] <EOI> [<ffffffff8172c1d9>] ? inet_frag_destroy+0xb9/0x100 Feb 1 20:50:32 hellnat kernel: [150420.049451] [<ffffffff817b6efb>] ? _raw_spin_unlock_irqrestore+0x1b/0x50 Feb 1 20:50:32 hellnat kernel: [150420.049455] [<ffffffff810dbe5f>] try_to_del_timer_sync+0x4f/0x70 Feb 1 20:50:32 hellnat kernel: [150420.049458] [<ffffffff810dbed2>] del_timer_sync+0x52/0x60 Feb 1 20:50:32 hellnat kernel: [150420.049461] [<ffffffff8172c73e>] inet_evict_bucket+0x11e/0x140 Feb 1 20:50:32 hellnat kernel: [150420.049469] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Feb 1 20:50:32 hellnat kernel: [150420.049473] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Feb 1 20:50:32 hellnat kernel: [150420.049479] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Feb 1 20:50:32 hellnat kernel: [150420.049482] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Feb 1 20:50:32 hellnat kernel: [150420.049486] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Feb 1 20:50:32 hellnat kernel: [150420.049491] [<ffffffff810938d2>] kthread+0xd2/0xf0 Feb 1 20:50:32 hellnat kernel: [150420.049495] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:50:32 hellnat kernel: [150420.049499] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Feb 1 20:50:32 hellnat kernel: [150420.049503] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:50:59 hellnat kernel: [150446.999649] NMI watchdog: BUG: soft lockup - CPU#18 stuck for 22s! [kworker/18:2:13112] Feb 1 20:50:59 hellnat kernel: [150446.999709] Modules linked in: xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm drm_kms_helper drm joydev syscopyarea sysfillrect sysimgblt intel_rapl iosf_mbi x86_pkg_temp_thermal intel_powerclamp coretemp ipmi_ssif kvm_intel sb_edac kvm mei_me crct10dif_pclmul crc32_pclmul aesni_intel lp aes_x86_64 parport lrw gf128mul nf_conntrack_ftp glue_helper nf_nat_pptp nf_nat_proto_gre ablk_helper cryptd nf_conntrack_pptp lpc_ich shpchp edac_core mei nf_conntrack_proto_gre ipmi_si ioatdma ipmi_msghandler nf_nat 8250_fintek mac_hid acpi_pad nf_conntrack ip_tables x_tables wmi acpi_power_meter 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel dca usbhid uas configfs ahci ptp hid usb_storage megaraid_sas libahci pps_core Feb 1 20:50:59 hellnat kernel: [150446.999785] CPU: 18 PID: 13112 Comm: kworker/18:2 Tainted: G OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Feb 1 20:50:59 hellnat kernel: [150446.999787] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Feb 1 20:50:59 hellnat kernel: [150446.999795] Workqueue: events inet_frag_worker Feb 1 20:50:59 hellnat kernel: [150446.999798] task: ffff881059e4e220 ti: ffff88101ecf0000 task.ti: ffff88101ecf0000 Feb 1 20:50:59 hellnat kernel: [150446.999799] RIP: 0010:[<ffffffff810dbe66>] [<ffffffff810dbe66>] try_to_del_timer_sync+0x56/0x70 Feb 1 20:50:59 hellnat kernel: [150446.999807] RSP: 0018:ffff88101ecf3d10 EFLAGS: 00000282 Feb 1 20:50:59 hellnat kernel: [150446.999809] RAX: 0000000000000000 RBX: 000000000000810e RCX: 00000000000036f2 Feb 1 20:50:59 hellnat kernel: [150446.999810] RDX: 0000000000000000 RSI: 0000000000000286 RDI: 0000000000000286 Feb 1 20:50:59 hellnat kernel: [150446.999812] RBP: ffff88101ecf3d18 R08: 0000000000005d54 R09: 0000000180270013 Feb 1 20:50:59 hellnat kernel: [150446.999813] R10: ffffffff8172c1d9 R11: ffffea0040ef6f80 R12: 000000000000789c Feb 1 20:50:59 hellnat kernel: [150446.999814] R13: 0000000180270013 R14: ffffffff8172c1d9 R15: ffffea0040ef6f80 Feb 1 20:50:59 hellnat kernel: [150446.999816] FS: 0000000000000000(0000) GS:ffff88105f2c0000(0000) knlGS:0000000000000000 Feb 1 20:50:59 hellnat kernel: [150446.999818] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Feb 1 20:50:59 hellnat kernel: [150446.999819] CR2: 00007f5cfbfe3cb8 CR3: 0000000001c16000 CR4: 00000000001407e0 Feb 1 20:50:59 hellnat kernel: [150446.999821] Stack: Feb 1 20:50:59 hellnat kernel: [150446.999822] 000000000000006f ffff88101ecf3d38 ffffffff810dbed2 000000000000006f Feb 1 20:50:59 hellnat kernel: [150446.999825] ffff880fac994c38 ffff88101ecf3d98 ffffffff8172c73e ffffffff81fc70a0 Feb 1 20:50:59 hellnat kernel: [150446.999827] ffffffff81fc70a8 ffff88105f2d3e80 ffff880fac994cd0 ffffffff8101359c Feb 1 20:50:59 hellnat kernel: [150446.999830] Call Trace: Feb 1 20:50:59 hellnat kernel: [150446.999836] [<ffffffff810dbed2>] del_timer_sync+0x52/0x60 Feb 1 20:50:59 hellnat kernel: [150446.999839] [<ffffffff8172c73e>] inet_evict_bucket+0x11e/0x140 Feb 1 20:50:59 hellnat kernel: [150446.999848] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Feb 1 20:50:59 hellnat kernel: [150446.999851] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Feb 1 20:50:59 hellnat kernel: [150446.999856] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Feb 1 20:50:59 hellnat kernel: [150446.999861] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Feb 1 20:50:59 hellnat kernel: [150446.999865] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Feb 1 20:50:59 hellnat kernel: [150446.999870] [<ffffffff810938d2>] kthread+0xd2/0xf0 Feb 1 20:50:59 hellnat kernel: [150446.999874] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:50:59 hellnat kernel: [150446.999882] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Feb 1 20:50:59 hellnat kernel: [150446.999885] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:50:59 hellnat kernel: [150446.999887] Code: 43 38 00 00 00 00 48 89 df ba 01 00 00 00 48 89 c6 e8 6f fe ff ff 89 c3 48 8b 75 e8 4c 89 e7 e8 81 b0 6d 00 48 83 c4 10 89 d8 5b <41> 5c 5d c3 66 0f 1f 44 00 00 bb ff ff ff ff eb dc 66 0f 1f 84 Feb 1 20:51:27 hellnat kernel: [150475.010485] NMI watchdog: BUG: soft lockup - CPU#18 stuck for 22s! [kworker/18:2:13112] Feb 1 20:51:27 hellnat kernel: [150475.010549] Modules linked in: xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm drm_kms_helper drm joydev syscopyarea sysfillrect sysimgblt intel_rapl iosf_mbi x86_pkg_temp_thermal intel_powerclamp coretemp ipmi_ssif kvm_intel sb_edac kvm mei_me crct10dif_pclmul crc32_pclmul aesni_intel lp aes_x86_64 parport lrw gf128mul nf_conntrack_ftp glue_helper nf_nat_pptp nf_nat_proto_gre ablk_helper cryptd nf_conntrack_pptp lpc_ich shpchp edac_core mei nf_conntrack_proto_gre ipmi_si ioatdma ipmi_msghandler nf_nat 8250_fintek mac_hid acpi_pad nf_conntrack ip_tables x_tables wmi acpi_power_meter 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel dca usbhid uas configfs ahci ptp hid usb_storage megaraid_sas libahci pps_core Feb 1 20:51:27 hellnat kernel: [150475.010617] CPU: 18 PID: 13112 Comm: kworker/18:2 Tainted: G OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Feb 1 20:51:27 hellnat kernel: [150475.010619] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Feb 1 20:51:27 hellnat kernel: [150475.010627] Workqueue: events inet_frag_worker Feb 1 20:51:27 hellnat kernel: [150475.010629] task: ffff881059e4e220 ti: ffff88101ecf0000 task.ti: ffff88101ecf0000 Feb 1 20:51:27 hellnat kernel: [150475.010631] RIP: 0010:[<ffffffff817b6efb>] [<ffffffff817b6efb>] _raw_spin_unlock_irqrestore+0x1b/0x50 Feb 1 20:51:27 hellnat kernel: [150475.010640] RSP: 0018:ffff88101ecf3ce0 EFLAGS: 00000286 Feb 1 20:51:27 hellnat kernel: [150475.010642] RAX: 0000000000000000 RBX: 00000000000014ec RCX: 000000000000524a Feb 1 20:51:27 hellnat kernel: [150475.010643] RDX: 0000000000000000 RSI: 0000000000000286 RDI: 0000000000000286 Feb 1 20:51:27 hellnat kernel: [150475.010645] RBP: ffff88101ecf3ce8 R08: 0000000000002626 R09: 0000000180270013 Feb 1 20:51:27 hellnat kernel: [150475.010646] R10: ffffffff8172c1d9 R11: ffffea0040ef6f80 R12: 000000000000e402 Feb 1 20:51:27 hellnat kernel: [150475.010648] R13: 0000000180270013 R14: ffffffff8172c1d9 R15: ffffea0040ef6f80 Feb 1 20:51:27 hellnat kernel: [150475.010650] FS: 0000000000000000(0000) GS:ffff88105f2c0000(0000) knlGS:0000000000000000 Feb 1 20:51:27 hellnat kernel: [150475.010651] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Feb 1 20:51:27 hellnat kernel: [150475.010653] CR2: 00007f5cfbfe3cb8 CR3: 0000000001c16000 CR4: 00000000001407e0 Feb 1 20:51:27 hellnat kernel: [150475.010654] Stack: Feb 1 20:51:27 hellnat kernel: [150475.010656] 0000000000000000 ffff88101ecf3d18 ffffffff810dbe5f 0000000000000282 Feb 1 20:51:27 hellnat kernel: [150475.010658] 0000000000000286 ffff880838b021a8 000000000000007d ffff88101ecf3d38 Feb 1 20:51:27 hellnat kernel: [150475.010661] ffffffff810dbed2 000000000000007d ffff880838b021a8 ffff88101ecf3d98 Feb 1 20:51:27 hellnat kernel: [150475.010664] Call Trace: Feb 1 20:51:27 hellnat kernel: [150475.010674] [<ffffffff810dbe5f>] try_to_del_timer_sync+0x4f/0x70 Feb 1 20:51:27 hellnat kernel: [150475.010677] [<ffffffff810dbed2>] del_timer_sync+0x52/0x60 Feb 1 20:51:27 hellnat kernel: [150475.010679] [<ffffffff8172c73e>] inet_evict_bucket+0x11e/0x140 Feb 1 20:51:27 hellnat kernel: [150475.010688] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Feb 1 20:51:27 hellnat kernel: [150475.010690] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Feb 1 20:51:27 hellnat kernel: [150475.010695] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Feb 1 20:51:27 hellnat kernel: [150475.010698] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Feb 1 20:51:27 hellnat kernel: [150475.010700] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Feb 1 20:51:27 hellnat kernel: [150475.010704] [<ffffffff810938d2>] kthread+0xd2/0xf0 Feb 1 20:51:27 hellnat kernel: [150475.010707] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:51:27 hellnat kernel: [150475.010711] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Feb 1 20:51:27 hellnat kernel: [150475.010714] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:51:27 hellnat kernel: [150475.010715] Code: be 00 02 00 00 e8 96 22 8c ff 5d c3 0f 1f 40 00 0f 1f 44 00 00 55 48 89 e5 53 48 89 f3 0f 1f 44 00 00 66 83 07 02 48 89 df 57 9d <0f> 1f 44 00 00 5b 5d c3 0f 1f 44 00 00 b8 02 00 00 00 f0 66 0f Feb 1 20:51:36 hellnat watchquagga[3481]: zebra state -> unresponsive : no response yet to ping sent 10 seconds ago Feb 1 20:51:40 hellnat kernel: [150488.032702] net_ratelimit: 75 callbacks suppressed Feb 1 20:51:46 hellnat kernel: [150493.398629] net_ratelimit: 37 callbacks suppressed Feb 1 20:51:51 hellnat kernel: [150498.599385] net_ratelimit: 34 callbacks suppressed Feb 1 20:51:55 hellnat kernel: [150503.021324] NMI watchdog: BUG: soft lockup - CPU#18 stuck for 22s! [kworker/18:2:13112] Feb 1 20:51:55 hellnat kernel: [150503.021403] Modules linked in: xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm drm_kms_helper drm joydev syscopyarea sysfillrect sysimgblt intel_rapl iosf_mbi x86_pkg_temp_thermal intel_powerclamp coretemp ipmi_ssif kvm_intel sb_edac kvm mei_me crct10dif_pclmul crc32_pclmul aesni_intel lp aes_x86_64 parport lrw gf128mul nf_conntrack_ftp glue_helper nf_nat_pptp nf_nat_proto_gre ablk_helper cryptd nf_conntrack_pptp lpc_ich shpchp edac_core mei nf_conntrack_proto_gre ipmi_si ioatdma ipmi_msghandler nf_nat 8250_fintek mac_hid acpi_pad nf_conntrack ip_tables x_tables wmi acpi_power_meter 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel dca usbhid uas configfs ahci ptp hid usb_storage megaraid_sas libahci pps_core Feb 1 20:51:55 hellnat kernel: [150503.021488] CPU: 18 PID: 13112 Comm: kworker/18:2 Tainted: G OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Feb 1 20:51:55 hellnat kernel: [150503.021491] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Feb 1 20:51:55 hellnat kernel: [150503.021499] Workqueue: events inet_frag_worker Feb 1 20:51:55 hellnat kernel: [150503.021502] task: ffff881059e4e220 ti: ffff88101ecf0000 task.ti: ffff88101ecf0000 Feb 1 20:51:55 hellnat kernel: [150503.021504] RIP: 0010:[<ffffffff817b6ffc>] [<ffffffff817b6ffc>] _raw_spin_lock_irqsave+0xc/0x80 Feb 1 20:51:55 hellnat kernel: [150503.021513] RSP: 0018:ffff88101ecf3cb0 EFLAGS: 00000286 Feb 1 20:51:55 hellnat kernel: [150503.021515] RAX: 0000000000000286 RBX: ffffffff8172c1d9 RCX: 000000000000fef6 Feb 1 20:51:55 hellnat kernel: [150503.021516] RDX: ffff880ff51eac88 RSI: ffff88101ecf3d00 RDI: ffff88105b56c000 Feb 1 20:51:55 hellnat kernel: [150503.021517] RBP: ffff88101ecf3cb8 R08: 000000000000f2f4 R09: 0000000180270013 Feb 1 20:51:55 hellnat kernel: [150503.021519] R10: ffffffff8172c1d9 R11: ffffea0040ef6f80 R12: ffffffff81183b1b Feb 1 20:51:55 hellnat kernel: [150503.021520] R13: ffff88101ecf3cb8 R14: ffff88103bdbe340 R15: 0000000115fef540 Feb 1 20:51:55 hellnat kernel: [150503.021522] FS: 0000000000000000(0000) GS:ffff88105f2c0000(0000) knlGS:0000000000000000 Feb 1 20:51:55 hellnat kernel: [150503.021524] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Feb 1 20:51:55 hellnat kernel: [150503.021525] CR2: 00007f5cfbfe3cb8 CR3: 0000000001c16000 CR4: 00000000001407e0 Feb 1 20:51:55 hellnat kernel: [150503.021527] Stack: Feb 1 20:51:55 hellnat kernel: [150503.021528] ffff88105b56c000 ffff88101ecf3ce8 ffffffff810dae6b ffff880ff51eac38 Feb 1 20:51:55 hellnat kernel: [150503.021532] 0000000000000083 ffffffff81fc5e60 ffff880ff51eabb8 ffff88101ecf3d18 Feb 1 20:51:55 hellnat kernel: [150503.021536] ffffffff810dbe30 0000000000000018 0000000000000286 ffff880ff51eac38 Feb 1 20:51:55 hellnat kernel: [150503.021540] Call Trace: Feb 1 20:51:55 hellnat kernel: [150503.021549] [<ffffffff810dae6b>] lock_timer_base.isra.36+0x2b/0x50 Feb 1 20:51:55 hellnat kernel: [150503.021555] [<ffffffff810dbe30>] try_to_del_timer_sync+0x20/0x70 Feb 1 20:51:55 hellnat kernel: [150503.021559] [<ffffffff810dbed2>] del_timer_sync+0x52/0x60 Feb 1 20:51:55 hellnat kernel: [150503.021562] [<ffffffff8172c73e>] inet_evict_bucket+0x11e/0x140 Feb 1 20:51:55 hellnat kernel: [150503.021572] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Feb 1 20:51:55 hellnat kernel: [150503.021575] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Feb 1 20:51:55 hellnat kernel: [150503.021581] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Feb 1 20:51:55 hellnat kernel: [150503.021584] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Feb 1 20:51:55 hellnat kernel: [150503.021588] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Feb 1 20:51:55 hellnat kernel: [150503.021592] [<ffffffff810938d2>] kthread+0xd2/0xf0 Feb 1 20:51:55 hellnat kernel: [150503.021597] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:51:55 hellnat kernel: [150503.021601] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Feb 1 20:51:55 hellnat kernel: [150503.021605] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:51:55 hellnat kernel: [150503.021607] Code: 00 00 f0 0f b1 17 85 c0 75 05 c3 0f 1f 40 00 55 48 89 e5 e8 27 65 90 ff 5d c3 0f 1f 44 00 00 0f 1f 44 00 00 55 48 89 e5 53 9c 58 <0f> 1f 44 00 00 48 89 c3 fa 66 0f 1f 44 00 00 ba 00 00 02 00 f0 Feb 1 20:51:56 hellnat kernel: [150503.737499] net_ratelimit: 71 callbacks suppressed Feb 1 20:52:01 hellnat kernel: [150508.772372] net_ratelimit: 78 callbacks suppressed Feb 1 20:52:06 hellnat kernel: [150513.859328] net_ratelimit: 63 callbacks suppressed Feb 1 20:52:11 hellnat kernel: [150519.160276] net_ratelimit: 70 callbacks suppressed Feb 1 20:52:15 hellnat watchquagga[3481]: bgpd state -> unresponsive : no response yet to ping sent 10 seconds ago Feb 1 20:52:17 hellnat kernel: [150524.417290] net_ratelimit: 66 callbacks suppressed Feb 1 20:52:22 hellnat kernel: [150530.307832] net_ratelimit: 89 callbacks suppressed Feb 1 20:52:23 hellnat kernel: [150531.032159] NMI watchdog: BUG: soft lockup - CPU#18 stuck for 22s! [kworker/18:2:13112] Feb 1 20:52:23 hellnat kernel: [150531.032214] Modules linked in: xt_tcpudp xt_multiport iptable_filter xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_mangle xt_CT iptable_raw ast ttm drm_kms_helper drm joydev syscopyarea sysfillrect sysimgblt intel_rapl iosf_mbi x86_pkg_temp_thermal intel_powerclamp coretemp ipmi_ssif kvm_intel sb_edac kvm mei_me crct10dif_pclmul crc32_pclmul aesni_intel lp aes_x86_64 parport lrw gf128mul nf_conntrack_ftp glue_helper nf_nat_pptp nf_nat_proto_gre ablk_helper cryptd nf_conntrack_pptp lpc_ich shpchp edac_core mei nf_conntrack_proto_gre ipmi_si ioatdma ipmi_msghandler nf_nat 8250_fintek mac_hid acpi_pad nf_conntrack ip_tables x_tables wmi acpi_power_meter 8021q garp mrp stp llc tcp_htcp hid_generic i40e(OE) igb vxlan ip6_udp_tunnel i2c_algo_bit udp_tunnel dca usbhid uas configfs ahci ptp hid usb_storage megaraid_sas libahci pps_core Feb 1 20:52:23 hellnat kernel: [150531.032297] CPU: 18 PID: 13112 Comm: kworker/18:2 Tainted: G OEL 3.19.0-47-generic #53~14.04.1-Ubuntu Feb 1 20:52:23 hellnat kernel: [150531.032300] Hardware name: Supermicro SYS-6018R-WTR/X10DRW-i, BIOS 1.1 08/13/2015 Feb 1 20:52:23 hellnat kernel: [150531.032308] Workqueue: events inet_frag_worker Feb 1 20:52:23 hellnat kernel: [150531.032311] task: ffff881059e4e220 ti: ffff88101ecf0000 task.ti: ffff88101ecf0000 Feb 1 20:52:23 hellnat kernel: [150531.032314] RIP: 0010:[<ffffffff810dbdb1>] [<ffffffff810dbdb1>] del_timer+0x11/0x70 Feb 1 20:52:23 hellnat kernel: [150531.032325] RSP: 0018:ffff88101ecf3d20 EFLAGS: 00000246 Feb 1 20:52:23 hellnat kernel: [150531.032327] RAX: ffffffff81cda340 RBX: ffff88101ecf3cb8 RCX: 000000000000afb2 Feb 1 20:52:23 hellnat kernel: [150531.032329] RDX: ffff880ff51eac88 RSI: 0000000000300000 RDI: ffff880ff51eac38 Feb 1 20:52:23 hellnat kernel: [150531.032331] RBP: ffff88101ecf3d38 R08: 000000000000abf4 R09: 0000000180270013 Feb 1 20:52:23 hellnat kernel: [150531.032333] R10: ffffffff8172c1d9 R11: ffffea0040ef6f80 R12: 0000000000006082 Feb 1 20:52:23 hellnat kernel: [150531.032335] R13: 0000000000000000 R14: 0000000000003c46 R15: 0000000180270013 Feb 1 20:52:23 hellnat kernel: [150531.032338] FS: 0000000000000000(0000) GS:ffff88105f2c0000(0000) knlGS:0000000000000000 Feb 1 20:52:23 hellnat kernel: [150531.032341] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Feb 1 20:52:23 hellnat kernel: [150531.032343] CR2: 00007f5cfbfe3cb8 CR3: 0000000001c16000 CR4: 00000000001407e0 Feb 1 20:52:23 hellnat kernel: [150531.032346] Stack: Feb 1 20:52:23 hellnat kernel: [150531.032347] ffff880ff51eac38 0000000000000083 ffffffff81fc5e60 ffff88101ecf3d98 Feb 1 20:52:23 hellnat kernel: [150531.032351] ffffffff8172c697 ffffffff81fc70a0 ffffffff81fc70a8 ffff88105f2d3e80 Feb 1 20:52:23 hellnat kernel: [150531.032355] ffff880ff51eacd0 ffffffff8101359c 0000000000000125 000000000000005c Feb 1 20:52:23 hellnat kernel: [150531.032358] Call Trace: Feb 1 20:52:23 hellnat kernel: [150531.032366] [<ffffffff8172c697>] inet_evict_bucket+0x77/0x140 Feb 1 20:52:23 hellnat kernel: [150531.032375] [<ffffffff8101359c>] ? __switch_to+0xdc/0x570 Feb 1 20:52:23 hellnat kernel: [150531.032378] [<ffffffff8172c7c1>] inet_frag_worker+0x61/0x220 Feb 1 20:52:23 hellnat kernel: [150531.032385] [<ffffffff8108dc5f>] process_one_work+0x14f/0x400 Feb 1 20:52:23 hellnat kernel: [150531.032388] [<ffffffff8108e3f8>] worker_thread+0x118/0x510 Feb 1 20:52:23 hellnat kernel: [150531.032392] [<ffffffff8108e2e0>] ? rescuer_thread+0x3d0/0x3d0 Feb 1 20:52:23 hellnat kernel: [150531.032396] [<ffffffff810938d2>] kthread+0xd2/0xf0 Feb 1 20:52:23 hellnat kernel: [150531.032400] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:52:23 hellnat kernel: [150531.032408] [<ffffffff817b7658>] ret_from_fork+0x58/0x90 Feb 1 20:52:23 hellnat kernel: [150531.032412] [<ffffffff81093800>] ? kthread_create_on_node+0x1c0/0x1c0 Feb 1 20:52:23 hellnat kernel: [150531.032414] Code: 8b 14 24 e9 5a ff ff ff 66 90 49 8b 45 10 49 89 45 18 eb 8e 66 0f 1f 44 00 00 0f 1f 44 00 00 55 48 89 e5 41 55 41 54 45 31 e4 53 <48> 89 fb 48 83 ec 18 48 83 3f 00 48 c7 47 38 00 00 00 00 74 2f Feb 1 20:52:28 hellnat kernel: [150535.602628] net_ratelimit: 47 callbacks suppressed Feb 1 20:52:33 hellnat kernel: [150540.706828] net_ratelimit: 79 callbacks suppressed Feb 1 20:52:38 hellnat kernel: [150546.242520] net_ratelimit: 55 callbacks suppressed Feb 1 20:52:43 hellnat kernel: [150551.265045] net_ratelimit: 44 callbacks suppressed Feb 1 20:52:49 hellnat kernel: [150556.456166] net_ratelimit: 60 callbacks suppressed и т.д. И в первом и во втором случае упоминается Workqueue: events inet_frag_worker Гуглятся некоторые топики с патчами по этому поводу с похожими симптомами. Что посоветуете, менять дрова, ядро? В 4.2 как раз применен патч по ссылке выше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 1 февраля, 2016 · Жалоба nuclearcat Спасибо за ссылочку, многое стало понятно :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 1 февраля, 2016 · Жалоба John_obn очень интересное поведение. причем интересно оно тем, что у меня произошло тоже самое минут на 10-15 раньше, чем на ваших графиках. Так же спонтанно поднялся трафик где-то на 2Гбит/с, 0.3Mpps и один NAT сервер пропал. Правда, в логи он не успел ничего записать, поэтому не могу сказать, на чем упал. Но подозрение на пакеты с флагом фрагментов есть и обоснованное. Патч, представленный по ссылке, применен и в 4.1.16, именно эта версия у меня стоит на "упавшем" серваке. Однако, после этого были еще патчи, частично возвращающие функционал и исправляющие еще один race condition и memory leak. Попробую сделать back port для 4.1.16 и применить у себя Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 2 февраля, 2016 · Жалоба junjunk2, я бы не сказал, что у нас как то аномально поднялся трафик перед аварией, вполне себе плавное увеличение трафика для этого времени суток. Вы ядро патчите сами или обновляете штатными средствами Linux? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 2 февраля, 2016 · Жалоба John_obn на интерфейсе p1p4 хорошо видно увеличение трафика и явно аномальное увеличение conntrack прям перед падением у меня аналогично было, кроме увеличения conntrack, т.к. трафик дропался Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 2 февраля, 2016 · Жалоба Поставил ядро через apt-get ubuntu-wily, 4.2.0-27-generic. Действительно в логах посмотрел, были изменения в inet_fragment.c между 4.1 и 4.2 Также заодно отключил в BIOS VT-d. nuclearcat, стоит ли отключать Intel Virtualization Technology в BIOS, учитывая, что у нас не используется виртуализация? Или же Linux юзает ее в каких то целях? junjunk2, по поводу всплеска трафика на p1p4 - это интерфейс, смотрящий в сторону аплинка, думаю, что это скорее следствие, а не причина. Данный всплеск был промониторен заббиксом на p1p4 , но его нет на интерфейсе коммутатора, куда приходит оптика от аплинка. Увеличение записей в conntrack - скорее всего это тоже следствие, т.к. нарушается трафик от/к самой машине, следовательно, возможно, пытаются идти новые пакеты от машины, открывая новые соединения. P.S. после обновления посмотрел perf top: раньше на первой строчке 30-45% был fib_table_lookup, сейчас же первые две строки выглядят так: 6,22% [kernel] [k] i40e_napi_poll 6,03% [kernel] [k] fib_table_lookup Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 2 февраля, 2016 · Жалоба nuclearcat, стоит ли отключать Intel Virtualization Technology в BIOS, учитывая, что у нас не используется виртуализация? Или же Linux юзает ее в каких то целях? Выключать однозначно. На нагруженном роутере попытки включить какие-то технологии связанные с ней вызывают только лишнюю побочную нагрузку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 2 февраля, 2016 · Жалоба John_obn Судя по графику это входящий в машину трафик. Соответственно он откуда-то взялся. Неплохо было бы найти источник, т.к. сам по себе он не мог организоваться. Ну либо это баг счетчиков ядра, что, как мне кажется, маловероятно. По поводу Virtualization Tech - я несколько постов назад в этой теме писал по этому поводу. У меня тоже было выключено VT-d и включена эта опция - оверхед был порядка 10-15%. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 4 февраля, 2016 · Жалоба nuclearcat Нашел платформу под Е3, в которой карта работает вот так: DevCtl: Report errors: Correctable+ Non-Fatal+ Fatal+ Unsupported+ RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset- MaxPayload 256 bytes, MaxReadReq 512 bytes Перепрофилировал ;) запустил с нагрузкой для сравнения - выигрыша относительно тех, у кого MaxPayload 128 bytes, никакого. Однако, на этой платформе при большой нагрузке в perf top появляется irq_entries_start, как на Е5 ... пока адекватных мыслей, из-за чего так, у меня нет... может кто-нить объяснить,что это такое? ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 5 февраля, 2016 · Жалоба Коллеги, подскажите, пожалуйста. На графиках трафик имеет волнообразную форму, что естественно. Но почему график с прерываниями не повторяет их форму? В моменты минимума трафика он опускается, но далее поднимается и имеет практически горизонтальную форму. При этом дропов нет, жалоб от абонентов нет. Или если произвести расчеты со значениями из ethtool -c p1p* tx/rx-usecs и tx/rx-frames-irq и получится как надо, а когда пакетов меньше чем *x-frames-irq, то ждем пока наберется нужное кол-во пакетов и только потом генерим прерывание? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 5 февраля, 2016 · Жалоба Перепрофилировал ;) запустил с нагрузкой для сравнения - выигрыша относительно тех, у кого MaxPayload 128 bytes, никакого. Однако, на этой платформе при большой нагрузке в perf top появляется irq_entries_start, как на Е5 ... пока адекватных мыслей, из-за чего так, у меня нет... может кто-нить объяснить,что это такое? ;) Надо копаться. irq_entries_start я вообще такой функции не могу найти, у вас там все заголовки правильные? Это вроде даже не функция, а переменная. Я вот три дня копался, была такая проблема, почти ровно в 6 вечера нагрузка на процессоры с 5-и процентов (средняя), резко подскакивает до 30-35 и бешено скачет. Пинг на тазик растет, каналы при том, что ЧНН - в полку не грузятся. Единственное, что было в perf - nf_conntrack_tuple_taken . Логически, там есть упоминания в коде, что процедура медленная, и анализом кода выяснилось - эта процедура ищет свободную пару для srcip:srcport в SNAT, а у меня на этом IP (единственном, по техническим причинам) был линк на который перекинул facebook. А у фейсбука относительно немного адресов для основной страницы, соответственно пары ip/port заканчивались (на этом IP по статистике было больше 200к соединений) и нагрузка росла экспоненциально. Добавил еще адресов - и сервер в порядке. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 5 февраля, 2016 · Жалоба Но почему график с прерываниями не повторяет их форму? interrupts moderation работает? зачем дергать 100500 раз прерывание по каждому пакету, если буфер еще не заполнился и пакеты можно потом будет обработать пачкой? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 8 февраля, 2016 · Жалоба NiTr0, скорее всего interrupts moderation. Я пытался понять, по какому порогу генерятся прерывания: usecs или frames. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 8 февраля, 2016 · Жалоба nuclearcat покопался. irq_entries_start действительно вообще не функция, а массив векторов прерываний. почему этот символ всплывает в perf - пока не понятно. в развернутом виде выглядит вот так: - 2.43% 2.43% [kernel] [k] irq_entries_start - irq_entries_start - 84.51% arch_cpu_idle cpuidle_idle_call cpu_idle_loop вообще не ясно, к чему бы это... Так же выяснил, что при довольно большой нагрузке появляется _raw_spin_lock который в sch_direct_xmit -> _dev_queue_xmit -> _bond_queue_xmit, соответственно драйвер бондинга активно использует spinlock, что есть крайне нехорошо... вот теперь думаю, как мне избавиться от бондинга, зарулив трафик в два разных интерфейса и при этом еще оставив bgp для анонса белых сетей и резервирования маршрутов к абонентам... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 9 февраля, 2016 · Жалоба Это у вас похоже cpu_idle не выкошен, убейте супостата. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 9 февраля, 2016 · Жалоба Как? scaling_governor? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 9 февраля, 2016 · Жалоба GRUB_CMDLINE_LINUX="nosoftlockup intel_idle.max_cstate=0 mce=ignore_ce idle=poll" Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 9 февраля, 2016 · Жалоба У вас для ведра указано "intel_idle.max_cstate=0 processor.max_cstate=1" ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 9 февраля, 2016 (изменено) · Жалоба Вот так у меня: [root@nat4 ~]# cat /proc/cmdline ro root=UUID=9e64fd75-d90b-48d2-b307-ffa216732fd6 LANG=en_US.UTF-8 rd_NO_LUKS rd_MD_UUID=12b89c06:102410f9:aef705e9:c174a513 crashkernel=auto KEYBOARDTYPE=pc KEYTABLE=ru rd_NO_LVM rd_NO_DM rhgb quiet intel_idle.max_cstate=0 processor.max_cstate=1 Изменено 9 февраля, 2016 пользователем junjunk2 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 13 февраля, 2016 · Жалоба появляется _raw_spin_lock который в sch_direct_xmit -> _dev_queue_xmit -> _bond_queue_xmit, соответственно драйвер бондинга активно использует spinlock, что есть крайне нехорошо... замените bonding на teaming. там есть lockless rx/tx. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 14 февраля, 2016 (изменено) · Жалоба Отличная идея, спасибо! Я совсем не заметил teaming драйвер, потому что использовал для основы CentOS 6, куда бинарно накатывал новые ядра и новые драйвера, а для этой версии нет пакета teamd. Сейчас пересобрал пакет для CentOS 6, завтра проведу тестирование и отпишусь по результатам. Изменено 14 февраля, 2016 пользователем junjunk2 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 16 февраля, 2016 · Жалоба Собрал teaming, запустил в работу... Сильно-сильно расстроил момент один - поднять LACP получилось совсем не сразу. Пришлось играться с приоритетами, иначе со стороны свитча порт был suspended. И сейчас так и не смог добиться нормальной балансировки исходящего трафика - на 2х портах перекос 40:60 ... если убрать из алгоритма MAC адреса, то вообще идет только по одному каналу. l3 или l4 - не имеет значения Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
junjunk2 Опубликовано 16 февраля, 2016 · Жалоба И в дополнение - не очень хорошо ведет себя этот драйвер в плане нагрузки по сравнению с bonding. Xeon E3 3.5Ггц 9.5 Гбит/с -- teaming: 81% CPU, bonding 73% CPU при прочих равных условиях. Видимо, буду выводить из работы, пока не прооптимизируют балансера. Ну или чуть позже сам посмотрю алгоритм выбора интерфейса и сравню его с bonding. Хотя, как я понял из описания, алгоритм работы драйвера (LACP + HASH ALGO) загружаются в разделяемую память модуля team при создании интерфейса в качестве BPF подпрограммы... поэтому заоптимизировать это дело будет сложно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 16 февраля, 2016 · Жалоба А простого round-robin там разве нет? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
