[Zaqwr]

будет возможность, воспользуйся CONFIG_NETCONSOLE , скорее всего не весь вывод видно на экране

[Abram]

будет возможность, воспользуйся CONFIG_NETCONSOLE , скорее всего не весь вывод видно на экране

Использовал console=ttyS0,38400 и сливал нуль-модемным кабелем на соседний хост.

[sfstudio]

Сегодня наступил на ту же граблю после замены броадкома на igb...

В skbuff.h:

-#define NET_SKB_PAD max(32, L1_CACHE_BYTES)

+#define NET_SKB_PAD 16

 

Уже 3й час молотит.

 

2Abram я помниться тебе намекал на эти чудеса.

[nuclearcat]

Кажется решение где-то тут

http://marc.info/?t=130368495400001&r=1&w=2

[Abram]

nuclearcat,

Да, я видел, но как-то экспериментировать страшно уже :). Приедут новые железяки - буду пробовать (наверное, это будет уже в 3.0).

[zakachkin]

Последние 4 ядра меня мягко говоря шокируют... и куда подевалась бывалая стабильность??

[nuclearcat]

Хотите bleeding edge - ловите баги, помогайте.

Хотите стабильность - CentOS. Хотите поддержку и поменьше думать - CentOS + $$$ = RHEL.

[NiTr0]

Хотите стабильность - CentOS.

Помнится, в центоси и прочих красношапочьих продуктах с год назад с февраля по эдак май заполомали kvm (при загрузке гостя с ядром 2.6.32+ у гостя в самом начале падала кернел паника), и не шибко спешили чинить, а от багрепортов - отбивались (в шапке - мол, проблемы с гостями не наши) или игнорили (багзилла центоси).

[technolab]

Еще подозрения: bonding.

У меня падает именно с bounding'ом, на 38 и 39 - 100%, а вообще, похоже появилась проблема начиная с 36.

[cpulink]

Пробую 2.6.39.3 где вроде бы должно быть исправлено.... Стоит accel-ppp и openl2tpd. Падает вообще интересно.

Если используется коннтрак то падает так:

[  164.002622] BUG: unable to handle kernel NULL pointer dereference at           (null)
[  164.006602] IP: [<ffffffffa023ae7a>] __nf_conntrack_confirm+0x2ba/0x480 [nf_conntrack]
[  164.006602] PGD 11493c067 PUD 114f00067 PMD 0
[  164.006602] Oops: 0002 [#1] SMP
[  164.006602] last sysfs file: /sys/devices/virtual/net/ppp5/flags
[  164.006602] CPU 2
[  164.006602] Modules linked in: arc4 ecb ppp_mppe act_mirred act_ipt cls_u32 sch_ingress pptp gre l2tp_ppp pppox ppp_ged
[  164.006602]
[  164.006602] Pid: 0, comm: kworker/0:1 Not tainted 2.6.39-std-def-alt3 #1 ASUS RS100-E4/PI2/P5M2-M/RS100-E4
[  164.006602] RIP: 0010:[<ffffffffa023ae7a>]  [<ffffffffa023ae7a>] __nf_conntrack_confirm+0x2ba/0x480 [nf_conntrack]
[  164.006602] RSP: 0018:ffff88011fd03a50  EFLAGS: 00010202
[  164.006602] RAX: 0000000000006ea3 RBX: ffff88011fd14620 RCX: 0000000000000000
[  164.006602] RDX: 000000000000f790 RSI: 00000000afb7c786 RDI: ffffffffa0245600
[  164.006602] RBP: ffff88011fd03a90 R08: ffff880116b40000 R09: 0000000000004000
[  164.006602] R10: ffff88011fd14688 R11: 0000000000000001 R12: 0000000000000000
[  164.006602] R13: ffff880117160dc0 R14: ffffffff81a53100 R15: 0000000000009648
[  164.006602] FS:  0000000000000000(0000) GS:ffff88011fd00000(0000) knlGS:0000000000000000
[  164.006602] CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
[  164.006602] CR2: 0000000000000000 CR3: 0000000114e85000 CR4: 00000000000006e0
[  164.006602] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[  164.006602] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400
[  164.006602] Process kworker/0:1 (pid: 0, threadinfo ffff880118f0e000, task ffff880118f0c3c0)
[  164.006602] Stack:
[  164.006602]  ffffffff7bc8a3e2 0000400011830380 0000000000000001 ffff880117160dc0
[  164.006602]  ffff88011fd03b98 ffff88011fd14620 0000000000000002 ffff880118a7e000
[  164.006602]  ffff88011fd03b00 ffffffffa02aade8 ffff880118a7e000 0000000000000000
[  164.006602] Call Trace:
[  164.006602]  <IRQ>
[  164.006602]  [<ffffffffa02aade8>] ipv4_confirm+0x188/0x1c0 [nf_conntrack_ipv4]
[  164.006602]  [<ffffffff81377f84>] nf_iterate+0x84/0xa0
[  164.006602]  [<ffffffff8137f7a0>] ? ip_rcv+0x2f0/0x2f0
[  164.006602]  [<ffffffff81378016>] nf_hook_slow+0x76/0x120
[  164.006602]  [<ffffffff8137f7a0>] ? ip_rcv+0x2f0/0x2f0
[  164.006602]  [<ffffffff8137fa94>] ip_local_deliver+0x64/0x80
[  164.006602]  [<ffffffff8137f0e9>] ip_rcv_finish+0x119/0x3a0
[  164.006602]  [<ffffffff8137f6cd>] ip_rcv+0x21d/0x2f0
[  164.006602]  [<ffffffff8105231e>] ? try_to_wake_up+0xbe/0x420
[  164.006602]  [<ffffffff8135043c>] __netif_receive_skb+0x1bc/0x620
[  164.006602]  [<ffffffff81134fc5>] ? __kmalloc_node_track_caller+0x45/0x50
[  164.006602]  [<ffffffff8105269b>] ? wake_up_state+0xb/0x10
[  164.006602]  [<ffffffff81350c78>] netif_receive_skb+0x78/0x80
[  164.006602]  [<ffffffff8124884c>] ? is_swiotlb_buffer+0x3c/0x50
[  164.006602]  [<ffffffff81350db8>] napi_skb_finish+0x48/0x60
[  164.006602]  [<ffffffff81351255>] napi_gro_receive+0xc5/0xd0
[  164.006602]  [<ffffffffa01acb2f>] igb_poll+0x6df/0xb60 [igb]
[  164.006602]  [<ffffffff810477f2>] ? enqueue_task_fair+0x162/0x530
[  164.006602]  [<ffffffff81080378>] ? sched_clock_cpu+0xb8/0x110
[  164.006602]  [<ffffffff8107d6c1>] ? enqueue_hrtimer+0x31/0x80
[  164.006602]  [<ffffffff8135143c>] net_rx_action+0x10c/0x2c0
[  164.006602]  [<ffffffff810600e3>] __do_softirq+0xa3/0x1f0
[  164.006602]  [<ffffffff8140899c>] call_softirq+0x1c/0x30
[  164.006602]  [<ffffffff8100d285>] do_softirq+0x65/0xa0
[  164.006602]  [<ffffffff8105ff25>] irq_exit+0xa5/0xb0
[  164.006602]  [<ffffffff8100ca51>] do_IRQ+0x61/0xe0
[  164.006602]  [<ffffffff81400193>] common_interrupt+0x13/0x13
[  164.006602]  <EOI>
[  164.006602]  [<ffffffff810135c0>] ? mwait_idle+0xa0/0x1e0
[  164.006602]  [<ffffffff81403885>] ? atomic_notifier_call_chain+0x15/0x20
[  164.006602]  [<ffffffff8100afaf>] cpu_idle+0x5f/0xb0
[  164.006602]  [<ffffffff813f92a7>] start_secondary+0x193/0x198
[  164.006602] Code: 5e 41 5f c9 c3 0f 1f 40 00 0f b6 d2 44 0f b7 24 10 41 0f b7 f4 e9 a5 fd ff ff 0f 1f 80 00 00 00 00 4
[  164.006602]  89 01 0f 84 7d 01 00 00 49 bc 00 02 20 00 00 00 ad de 48 8d
[  164.006602] RIP  [<ffffffffa023ae7a>] __nf_conntrack_confirm+0x2ba/0x480 [nf_conntrack]
[  164.006602]  RSP <ffff88011fd03a50>
[  164.006602] CR2: 0000000000000000
[  165.331916] ---[ end trace fe09762b35aeb8e6 ]---
[  165.345740] Kernel panic - not syncing: Fatal exception in interrupt
[  165.364774] Pid: 0, comm: kworker/0:1 Tainted: G      D     2.6.39-std-def-alt3 #1
[  165.387445] Call Trace:
[  165.394775]  <IRQ>  [<ffffffff813fcecb>] panic+0x8c/0x199
[  165.410974]  [<ffffffff81401102>] oops_end+0xe2/0xf0
[  165.425848]  [<ffffffff81038913>] no_context+0xf3/0x260
[  165.441499]  [<ffffffff81038ba5>] __bad_area_nosemaphore+0x125/0x1e0
[  165.460531]  [<ffffffff81038c6e>] bad_area_nosemaphore+0xe/0x10
[  165.478264]  [<ffffffff81403650>] do_page_fault+0x300/0x4a0
[  165.494955]  [<ffffffff8133d807>] ? sk_reset_timer+0x17/0x30
[  165.511908]  [<ffffffff81389e3b>] ? inet_csk_reset_keepalive_timer+0x1b/0x20
[  165.533020]  [<ffffffff8138a225>] ? inet_csk_reqsk_queue_hash_add+0xf5/0x110
[  165.554134]  [<ffffffffa01ca543>] ? ipt_do_table+0x233/0x640 [ip_tables]
[  165.574203]  [<ffffffff81400455>] page_fault+0x25/0x30
[  165.589597]  [<ffffffffa023ae7a>] ? __nf_conntrack_confirm+0x2ba/0x480 [nf_conntrack]
[  165.613048]  [<ffffffffa02aade8>] ipv4_confirm+0x188/0x1c0 [nf_conntrack_ipv4]
[  165.634680]  [<ffffffff81377f84>] nf_iterate+0x84/0xa0
[  165.650072]  [<ffffffff8137f7a0>] ? ip_rcv+0x2f0/0x2f0
[  165.665463]  [<ffffffff81378016>] nf_hook_slow+0x76/0x120
[  165.681636]  [<ffffffff8137f7a0>] ? ip_rcv+0x2f0/0x2f0
[  165.697028]  [<ffffffff8137fa94>] ip_local_deliver+0x64/0x80
[  165.713979]  [<ffffffff8137f0e9>] ip_rcv_finish+0x119/0x3a0
[  165.730671]  [<ffffffff8137f6cd>] ip_rcv+0x21d/0x2f0
[  165.745544]  [<ffffffff8105231e>] ? try_to_wake_up+0xbe/0x420
[  165.762754]  [<ffffffff8135043c>] __netif_receive_skb+0x1bc/0x620
[  165.781007]  [<ffffffff81134fc5>] ? __kmalloc_node_track_caller+0x45/0x50
[  165.801338]  [<ffffffff8105269b>] ? wake_up_state+0xb/0x10
[  165.817772]  [<ffffffff81350c78>] netif_receive_skb+0x78/0x80
[  165.834983]  [<ffffffff8124884c>] ? is_swiotlb_buffer+0x3c/0x50
[  165.852714]  [<ffffffff81350db8>] napi_skb_finish+0x48/0x60
[  165.869406]  [<ffffffff81351255>] napi_gro_receive+0xc5/0xd0
[  165.886363]  [<ffffffffa01acb2f>] igb_poll+0x6df/0xb60 [igb]
[  165.903312]  [<ffffffff810477f2>] ? enqueue_task_fair+0x162/0x530
[  165.921562]  [<ffffffff81080378>] ? sched_clock_cpu+0xb8/0x110
[  165.939036]  [<ffffffff8107d6c1>] ? enqueue_hrtimer+0x31/0x80
[  165.956247]  [<ffffffff8135143c>] net_rx_action+0x10c/0x2c0
[  165.972939]  [<ffffffff810600e3>] __do_softirq+0xa3/0x1f0
[  165.989111]  [<ffffffff8140899c>] call_softirq+0x1c/0x30
[  166.005025]  [<ffffffff8100d285>] do_softirq+0x65/0xa0
[  166.020415]  [<ffffffff8105ff25>] irq_exit+0xa5/0xb0
[  166.035287]  [<ffffffff8100ca51>] do_IRQ+0x61/0xe0
[  166.049639]  [<ffffffff81400193>] common_interrupt+0x13/0x13
[  166.066591]  <EOI>  [<ffffffff810135c0>] ? mwait_idle+0xa0/0x1e0
[  166.084636]  [<ffffffff81403885>] ? atomic_notifier_call_chain+0x15/0x20
[  166.104707]  [<ffffffff8100afaf>] cpu_idle+0x5f/0xb0
[  166.119579]  [<ffffffff813f92a7>] start_secondary+0x193/0x198
[  166.136801] Rebooting in 30 seconds

И ребутается.

Убираю коннтрак (-j NOTRACK) падает так (2 раза похоже падает):

[  112.880465] ------------[ cut here ]------------
[  112.884431] kernel BUG at mm/slab.c:511!
[  112.884431] invalid opcode: 0000 [#1] SMP
[  112.884431] last sysfs file: /sys/devices/virtual/net/ppp18/flags
[  112.884431] CPU 2
[  112.884431] Modules linked in: act_mirred act_ipt cls_u32 sch_ingress arc4 ecb ppp_mppe pptp gre l2tp_ppp pppox ppp_ged
[  112.884431]
[  112.884431] Pid: 212, comm: kworker/2:1 Not tainted 2.6.39-std-def-alt3 #1 ASUS RS100-E4/PI2/P5M2-M/RS100-E4
[  112.884431] RIP: 0010:[<ffffffff8113551b>]  [<ffffffff8113551b>] free_block+0x17b/0x190
[  112.884431] RSP: 0018:ffff8801188cbd10  EFLAGS: 00010046
[  112.884431] RAX: ffffea0003ef5c60 RBX: ffff8801170f6a80 RCX: 0200000000000400
[  112.884431] RDX: ffff88011fd14620 RSI: ffff8801168bcc18 RDI: ffff88011fd14620
[  112.884431] RBP: ffff8801188cbd50 R08: 0000000000000000 R09: 000000000000002e
[  112.884431] R10: 0000000000000000 R11: 0000000000000000 R12: 000000000000000b
[  112.884431] R13: ffff8801168bcc18 R14: 0000000000000000 R15: ffffea0000000000
[  112.884431] FS:  0000000000000000(0000) GS:ffff88011fd00000(0000) knlGS:0000000000000000
[  112.884431] CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
[  112.884431] CR2: 00007f95ee1a7c80 CR3: 00000001166eb000 CR4: 00000000000006e0
[  112.884431] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[  112.884431] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400
[  112.884431] Process kworker/2:1 (pid: 212, threadinfo ffff8801188ca000, task ffff8801189ae2c0)
[  112.884431] Stack:
[  112.884431]  ffff88011fd14620 000000000000004c ffff8801188cbd70 ffff8801168bcc00
[  112.884431]  ffff8801170a7d40 ffff8801170f6a80 000000000000000b ffff8801168bcc18
[  112.884431]  ffff8801188cbda0 ffffffff8113573f ffffffff00000000 0000000000000000
[  112.884431] Call Trace:
[  112.884431]  [<ffffffff8113573f>] drain_array+0xbf/0xf0
[  112.884431]  [<ffffffff81135e0e>] cache_reap+0x6e/0x220
[  112.884431]  [<ffffffff81135da0>] ? drain_freelist+0xd0/0xd0
[  112.884431]  [<ffffffff81072a4b>] process_one_work+0x11b/0x450
[  112.884431]  [<ffffffff81074d50>] worker_thread+0x170/0x410
[  112.884431]  [<ffffffff81074be0>] ? manage_workers+0x220/0x220
[  112.884431]  [<ffffffff81079bc6>] kthread+0x96/0xa0
[  112.884431]  [<ffffffff814088a4>] kernel_thread_helper+0x4/0x10
[  112.884431]  [<ffffffff81079b30>] ? kthread_worker_fn+0x190/0x190
[  112.884431]  [<ffffffff814088a0>] ? gs_change+0x13/0x13
[  112.884431] Code: 5e 41 5f c9 c3 0f 1f 00 8b 8b 18 02 00 00 48 89 df 48 29 ca 48 89 50 30 e8 13 fe ff ff e9 f1 fe ff f
[  112.884431] RIP  [<ffffffff8113551b>] free_block+0x17b/0x190
[  112.884431]  RSP <ffff8801188cbd10>
[  112.884431] ---[ end trace 4a7f036452aae3c2 ]---

или так

[  124.964149] ------------[ cut here ]------------
[  124.968118] kernel BUG at mm/slab.c:511!
[  124.968118] invalid opcode: 0000 [#1] SMP
[  124.968118] last sysfs file: /sys/devices/virtual/net/ppp15/flags
[  124.968118] CPU 2
[  124.968118] Modules linked in: arc4 ecb ppp_mppe cls_fw sch_sfq act_mirred act_ipt cls_u32 sch_ingress pptp gre l2tp_pd
[  124.968118]
[  124.968118] Pid: 1418, comm: kworker/2:2 Not tainted 2.6.39-std-def-alt3 #1 ASUS RS100-E4/PI2/P5M2-M/RS100-E4
[  124.968118] RIP: 0010:[<ffffffff8113551b>]  [<ffffffff8113551b>] free_block+0x17b/0x190
[  124.968118] RSP: 0018:ffff880117507d10  EFLAGS: 00010046
[  124.968118] RAX: ffffea0003ef5c60 RBX: ffff880117273a80 RCX: 0200000000000400
[  124.968118] RDX: ffff88011fd14620 RSI: ffff88011792ac18 RDI: ffff88011fd14620
[  124.968118] RBP: ffff880117507d50 R08: 0000000000000000 R09: 0000000000000027
[  124.968118] R10: 0000000000000000 R11: 0000000000000000 R12: 000000000000000b
[  124.968118] R13: ffff88011792ac18 R14: 0000000000000000 R15: ffffea0000000000
[  124.968118] FS:  0000000000000000(0000) GS:ffff88011fd00000(0000) knlGS:0000000000000000
[  124.968118] CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
[  124.968118] CR2: 000000000067b088 CR3: 0000000114e6f000 CR4: 00000000000006e0
[  124.968118] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[  124.968118] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400
[  124.968118] Process kworker/2:2 (pid: 1418, threadinfo ffff880117506000, task ffff880117736740)
[  124.968118] Stack:
[  124.968118]  ffff88011fd14620 000000000000004c ffff880117507d70 ffff88011792ac00
[  124.968118]  ffff88011720ebc0 ffff880117273a80 000000000000000b ffff88011792ac18
[  124.968118]  ffff880117507da0 ffffffff8113573f ffffffff00000000 0000000000000000
[  124.968118] Call Trace:
[  124.968118]  [<ffffffff8113573f>] drain_array+0xbf/0xf0
[  124.968118]  [<ffffffff81135e0e>] cache_reap+0x6e/0x220
[  124.968118]  [<ffffffff81135da0>] ? drain_freelist+0xd0/0xd0
[  124.968118]  [<ffffffff81072a4b>] process_one_work+0x11b/0x450
[  124.968118]  [<ffffffff81074d50>] worker_thread+0x170/0x410
[  124.968118]  [<ffffffff81074be0>] ? manage_workers+0x220/0x220
[  124.968118]  [<ffffffff81079bc6>] kthread+0x96/0xa0
[  124.968118]  [<ffffffff814088a4>] kernel_thread_helper+0x4/0x10
[  124.968118]  [<ffffffff81079b30>] ? kthread_worker_fn+0x190/0x190
[  124.968118]  [<ffffffff814088a0>] ? gs_change+0x13/0x13
[  124.968118] Code: 5e 41 5f c9 c3 0f 1f 00 8b 8b 18 02 00 00 48 89 df 48 29 ca 48 89 50 30 e8 13 fe ff ff e9 f1 fe ff f
[  124.968118] RIP  [<ffffffff8113551b>] free_block+0x17b/0x190
[  124.968118]  RSP <ffff880117507d10>
[  124.968118] ---[ end trace 0d18e95ffc307b34 ]---

И встает наглухо, не ребутается, только ресет...

Может я что-то не то делаю??

У кого было такое?

ЗЫ: сетевушки интел igb, по 4 потока на прием-передачу,gso gro - отключено.

slub_nomerge=1 - не влияет. При чем сам не могу повторить такую хрень трафиком, но только юзеры заходят - бух и упали...

[nuclearcat]

igb... в этом драйвере недавно были косяки. Может попробовать драйвера от интела? т.е. out of kernel.

[cpulink]

igb... в этом драйвере недавно были косяки. Может попробовать драйвера от интела? т.е. out of kernel.

В том то и дело что последний от интела и используется 3.0.22 вродь....

[OperationCwal]

Доброго времени суток!

Наступил на те же грабли. Есть шейпер на gentoo. Несколько экзотический - на ipfw. Симптомы схожи. Падает в произвольные моменты времени, при наличии сетевой нагрузки, но нагрузка низкая. Сетевая 82576 драйвер igb интеловский 3.1.16 Пробовал ядра 2.6.38, 2.6.39 - падает. Откатился на 32-е снова упало. Все ядра из gentoo-sources. Ванильное не пробовал. bonding не используется. Есть неск. шейперов на убунте 10.10 стоят как вкопанные. Решили переходить на генту и такие вот грабли. Есть какие-ниб. решения?

[Abram]

OperationCwal,

У меня решилось откатом на .35. Если у Вас не помогло - значит, это другая проблема.

Но я бы в первую очередь пробовал убрать ipfw.

[OperationCwal]

OperationCwal,

У меня решилось откатом на .35. Если у Вас не помогло - значит, это другая проблема.

Но я бы в первую очередь пробовал убрать ipfw.

Просто откат до 32 (35 почему-то не стабилизировали в gentoo) проблему не решил. Пересобрал его с заменой дефайна в skbuff.h Простояло до понедельника, а потом сбойнуло питание. Короче не считается )) Наблюдаю сколько проживёт.

ipfw то конечно стоит убрать, но в данный момент не представляется возможным. Слишком много переделывать. Да и работает он на убунтах прекрасно.

[Max P]

хех, очень похоже на багу которую я у себя отловил, и даже наш8ел фиксу ;) попробуйте патчик, у меня помогло

nf-nat-patch.diff.txt

Изменено 12 сентября, 2011 пользователем Max P

[OperationCwal]

Max P,

нат этой машиной не выполняется. А что делал твой сервер? Шейпинг+нат?

[OperationCwal]

Не помогло

[nickD]

А на шейпере какие краевые дисциплины для классов используете?

[Vovic]

Подозреваю, что в проблеме виноват драйвер igb.

У нас работает 10 серверов с шейпингом, на 8-ми установлены intel 82576, периодически падают в кернел панику.

Оставшиеся два с драйвером e1000e, uptime больше года.

Недавно вышла новая версия igb (3.2.9), поставили, понаблюдаем.

[OperationCwal]

Подозреваю, что в проблеме виноват драйвер igb.

У нас работает 10 серверов с шейпингом, на 8-ми установлены intel 82576, периодически падают в кернел панику.

Оставшиеся два с драйвером e1000e, uptime больше года.

Недавно вышла новая версия igb (3.2.9), поставили, понаблюдаем.

Тоже поставлю, потестирую.

[kayot]

У нас везде древний igb версии 2.3.4 стоит, проблем нет. Как вариант, попробуйте.

Изменено 27 сентября, 2011 пользователем kayot

[Max P]

Я пробовал с разными драйверами, с некоторыми сразу в даун уходил, с некоторыми сутки могло работать. Насколько я понял из описания баги - там тупо косяк в коде nf_conntrack. На сервере nat + шейпер с u32 hfsc классами, после патча забыл о кернел паниках, без него приходилось пару раз за ночь бегать ребутить