Перейти к содержимому
Калькуляторы

FreeBSD паники ядра шлюза

Доброго времени суток.
Имеется сервер FreeBSD 11.2 с биллингов NoDeny Plus (ipfw+mpd5 pppoe)
Перезагружается с паникой ядра в произвольные моменты времени.
Зависимости найти на данный момент не удалось...
Оперативку меняли, Жесткий диск проверен - без бедов и подкидывали другой.
Помогите пожалуйста! Уже не знаю на что думать, не могу найти проблему
 

# kgdb /boot/kernel.min/kernel /var/crash/vmcore.last

Spoiler

GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "amd64-marcel-freebsd"...

Unread portion of the kernel message buffer:


Fatal trap 12: page fault while in kernel mode
cpuid = 0; apic id = 00
fault virtual address    = 0x0
fault code        = supervisor read instruction, page not present
instruction pointer    = 0x20:0x0
stack pointer            = 0x28:0xfffffe011a338638
frame pointer            = 0x28:0xfffffe011a338780
code segment        = base 0x0, limit 0xfffff, type 0x1b
            = DPL 0, pres 1, long 1, def32 0, gran 1
processor eflags    = interrupt enabled, resume, IOPL = 0
current process        = 0 (dummynet)
trap number        = 12
panic: page fault
cpuid = 0
KDB: stack backtrace:
#0 0xffffffff805b98c7 at kdb_backtrace+0x67
#1 0xffffffff80572fc7 at vpanic+0x177
#2 0xffffffff80572e43 at panic+0x43
#3 0xffffffff807f0fdf at trap_fatal+0x35f
#4 0xffffffff807f1039 at trap_pfault+0x49
#5 0xffffffff807f0807 at trap+0x2c7
#6 0xffffffff807d044c at calltrap+0x8
#7 0xffffffff8067ee63 at pfil_run_hooks+0xb3
#8 0xffffffff8069fde3 at ip_output+0xb33
#9 0xffffffff81523232 at dummynet_send+0xf2
#10 0xffffffff81522cb5 at dummynet_task+0x2c5
#11 0xffffffff805cb0d4 at taskqueue_run_locked+0x154
#12 0xffffffff805cc238 at taskqueue_thread_loop+0x98
#13 0xffffffff8053d963 at fork_exit+0x83
#14 0xffffffff807d136e at fork_trampoline+0xe
Uptime: 5d14h28m4s
Dumping 535 out of 3979 MB:..3%..12%..21%..33%..42%..51%..63%..72%..81%..93%

Reading symbols from /boot/kernel.min/zfs.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/zfs.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/zfs.ko
Reading symbols from /boot/kernel.min/krpc.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/krpc.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/krpc.ko
Reading symbols from /boot/kernel.min/opensolaris.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/opensolaris.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/opensolaris.ko
Reading symbols from /boot/kernel.min/ipfw.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ipfw.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ipfw.ko
Reading symbols from /boot/kernel.min/ipdivert.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ipdivert.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ipdivert.ko
Reading symbols from /boot/kernel.min/dummynet.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/dummynet.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/dummynet.ko
Reading symbols from /boot/kernel.min/netgraph.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/netgraph.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/netgraph.ko
Reading symbols from /boot/kernel.min/ng_tee.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_tee.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_tee.ko
Reading symbols from /boot/kernel.min/ng_ether.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_ether.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_ether.ko
Reading symbols from /boot/kernel.min/ng_socket.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_socket.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_socket.ko
Reading symbols from /boot/kernel.min/ng_mppc.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_mppc.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_mppc.ko
Reading symbols from /boot/kernel.min/rc4.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/rc4.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/rc4.ko
Reading symbols from /boot/kernel.min/ng_iface.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_iface.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_iface.ko
Reading symbols from /boot/kernel.min/ng_pppoe.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_pppoe.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_pppoe.ko
Reading symbols from /boot/kernel.min/ng_ppp.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_ppp.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_ppp.ko
Reading symbols from /boot/kernel.min/pf.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/pf.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/pf.ko
Reading symbols from /boot/kernel.min/accf_http.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/accf_http.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/accf_http.ko
Reading symbols from /boot/kernel.min/uhid.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/uhid.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/uhid.ko
#0  doadump (textdump=<value optimized out>) at pcpu.h:229
229    pcpu.h: No such file or directory.
    in pcpu.h
(kgdb) bt
#0  doadump (textdump=<value optimized out>) at pcpu.h:229
#1  0xffffffff80572bdb in kern_reboot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:383
#2  0xffffffff80573001 in vpanic (fmt=<value optimized out>, ap=<value optimized out>) at /usr/src/sys/kern/kern_shutdown.c:776
#3  0xffffffff80572e43 in panic (fmt=<value optimized out>) at /usr/src/sys/kern/kern_shutdown.c:707
#4  0xffffffff807f0fdf in trap_fatal (frame=0xfffffe011a338570, eva=0) at /usr/src/sys/amd64/amd64/trap.c:875
#5  0xffffffff807f1039 in trap_pfault (frame=0xfffffe011a338570, usermode=0) at pcpu.h:229
#6  0xffffffff807f0807 in trap (frame=0xfffffe011a338570) at /usr/src/sys/amd64/amd64/trap.c:415
#7  0xffffffff807d044c in calltrap () at /usr/src/sys/amd64/amd64/exception.S:231
#8  0x0000000000000000 in ?? ()
Current language:  auto; currently minimal
(kgdb)

 

# cat /boot/loader.conf

Spoiler

kern.geom.label.disk_ident.enable="0"
kern.geom.label.gptid.enable="0"
vfs.zfs.min_auto_ashift=12
zfs_load="YES"

kernel="kernel.min"

kern.hz=5000
vm.pmap.pti=0

ipfw_load="YES"
ipdivert_load="YES"
dummynet_load="YES"
netgraph_load="YES"

ng_tee_load="YES"
ng_ether_load="YES"
ng_socket_load="YES"
ng_mppc_load="YES"
ng_iface_load="YES"
ng_pppoe_load="YES"
ng_ppp_load="YES"

 

# cat /etc/sysctl.conf

Spoiler

vfs.zfs.min_auto_ashift=12
kern.ipc.somaxconn=1024
kern.ipc.maxsockbuf=83886080
net.link.ether.inet.max_age=600
net.link.ether.inet.log_arp_wrong_iface=0
net.inet.icmp.icmplim=5000
net.inet.ip.fw.one_pass=1
net.inet.ip.maxfragsperpacket=43
net.inet.ip.intr_queue_maxlen=10240
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.hash_size=1024
net.inet.ip.dummynet.pipe_slot_limit=2048

 

Конфиг ядра:

Spoiler

# $FreeBSD: releng/11.2/sys/amd64/conf/BSDGW 341405 2018-12-01 $

cpu        HAMMER
ident        MIN

makeoptions    DEBUG=-g        # Build kernel with gdb(1) debug symbols
makeoptions    WITH_CTF=1        # Run ctfconvert(1) for DTrace support

options     SCHED_ULE        # ULE scheduler
options     PREEMPTION        # Enable kernel thread preemption
options     INET            # InterNETworking
options     TCP_OFFLOAD        # TCP offload
options     SCTP            # Stream Control Transmission Protocol
options     FFS            # Berkeley Fast Filesystem
options     SOFTUPDATES        # Enable FFS soft updates support
options     UFS_ACL            # Support for access control lists
options     UFS_DIRHASH        # Improve performance on big directories
options     UFS_GJOURNAL        # Enable gjournal-based UFS journaling
options     QUOTA            # Enable disk quotas for UFS
options     MD_ROOT            # MD is a potential root device
options     MSDOSFS            # MSDOS Filesystem
options     CD9660            # ISO 9660 Filesystem
options     PROCFS            # Process filesystem (requires PSEUDOFS)
options     PSEUDOFS        # Pseudo-filesystem framework
options     GEOM_PART_GPT        # GUID Partition Tables.
options     GEOM_RAID        # Soft RAID functionality.
options     GEOM_LABEL        # Provides labelization
options     COMPAT_FREEBSD32    # Compatible with i386 binaries
options     COMPAT_FREEBSD4        # Compatible with FreeBSD4
options     COMPAT_FREEBSD5        # Compatible with FreeBSD5
options     COMPAT_FREEBSD6        # Compatible with FreeBSD6
options     COMPAT_FREEBSD7        # Compatible with FreeBSD7
options     COMPAT_FREEBSD9        # Compatible with FreeBSD9
options     COMPAT_FREEBSD10    # Compatible with FreeBSD10
options     SCSI_DELAY=5000        # Delay (in ms) before probing SCSI
options     KTRACE            # ktrace(1) support
options     STACK            # stack(9) support
options     SYSVSHM            # SYSV-style shared memory
options     SYSVMSG            # SYSV-style message queues
options     SYSVSEM            # SYSV-style semaphores
options     _KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions
options     PRINTF_BUFR_SIZE=128    # Prevent printf output being interspersed.
options     KBD_INSTALL_CDEV    # install a CDEV entry in /dev
options     HWPMC_HOOKS        # Necessary kernel hooks for hwpmc(4)
options     AUDIT            # Security event auditing
options     CAPABILITY_MODE        # Capsicum capability mode
options     CAPABILITIES        # Capsicum capabilities
options     MAC            # TrustedBSD MAC Framework
options     KDTRACE_FRAME        # Ensure frames are compiled in
options     KDTRACE_HOOKS        # Kernel DTrace hooks
options     DDB_CTF            # Kernel ELF linker loads CTF data
options     INCLUDE_CONFIG_FILE    # Include this file in kernel

# Debugging support.  Always need this:
options     KDB            # Enable kernel debugger support.
options     KDB_TRACE        # Print a stack trace for a panic.

# Make an SMP-capable kernel by default
options     SMP            # Symmetric MultiProcessor Kernel
options     DEVICE_NUMA        # I/O Device Affinity

# CPU frequency control
device        cpufreq

# Bus support.
device        acpi
options     ACPI_DMAR
device        pci
options     PCI_HP            # PCI-Express native HotPlug
options        PCI_IOV            # PCI SR-IOV support

# ATA controllers
device        ahci            # AHCI-compatible SATA controllers
device        ata            # Legacy ATA/SATA controllers

# ATA/SCSI peripherals
device        scbus            # SCSI bus (required for ATA/SCSI)
device        da            # Direct Access (disks)
device        cd            # CD
device        pass            # Passthrough device (direct ATA/SCSI access)

# atkbdc0 controls both the keyboard and the PS/2 mouse
device        atkbdc            # AT keyboard controller
device        atkbd            # AT keyboard
device        psm            # PS/2 mouse

device        kbdmux            # keyboard multiplexer

device        vga            # VGA video card driver
options     VESA            # Add support for VESA BIOS Extensions (VBE)

device        splash            # Splash screen and screen saver support

# syscons is the default console driver, resembling an SCO console
device        sc
options     SC_PIXEL_MODE        # add support for the raster text mode

# vt is the new video console driver
device        vt
device        vt_vga
device        vt_efifb

device        agp            # support several AGP chipsets

# Serial (COM) ports
device        uart            # Generic UART driver
device        puc            # Multi I/O cards and multi-channel UARTs

# PCI Ethernet NICs.
device        em            # Intel PRO/1000 Gigabit Ethernet Family
device        igb            # Intel PRO/1000 PCIE Server Gigabit Family
device        ix            # Intel PRO/10GbE PCIE PF Ethernet
device        ixv            # Intel PRO/10GbE PCIE VF Ethernet

# PCI Ethernet NICs that use the common MII bus controller code.
# NOTE: Be sure to keep the 'device miibus' line in order to use these NICs!
device        miibus            # MII bus support
device        re            # RealTek 8139C+/8169/8169S/8110S
device        rl            # RealTek 8129/8139

# Pseudo devices.
device        loop            # Network loopback
device        random            # Entropy device
device        padlock_rng        # VIA Padlock RNG
device        rdrand_rng        # Intel Bull Mountain RNG
device        ether            # Ethernet support
device        vlan            # 802.1Q VLAN support
device        tun            # Packet tunnel.
device        md            # Memory "disks"
device        gif            # IPv6 and IPv4 tunneling
device        firmware        # firmware assist module

# The `bpf' device enables the Berkeley Packet Filter.
# Be aware of the administrative consequences of enabling this!
# Note that 'bpf' is required for DHCP.
device        bpf            # Berkeley packet filter

# USB support
options     USB_DEBUG        # enable debug msgs
device        uhci            # UHCI PCI->USB interface
device        ohci            # OHCI PCI->USB interface
device        ehci            # EHCI PCI->USB interface (USB 2.0)
device        xhci            # XHCI PCI->USB interface (USB 3.0)
device        usb            # USB Bus (required)
device        ukbd            # Keyboard
device        umass            # Disks/Mass storage - Requires scbus and da

# VirtIO support
device        virtio            # Generic VirtIO bus (required)
device        virtio_pci        # VirtIO PCI device
device        vtnet            # VirtIO Ethernet device
device        virtio_blk        # VirtIO Block device
device        virtio_scsi        # VirtIO SCSI device
device        virtio_balloon        # VirtIO Memory Balloon device

# Xen HVM Guest Optimizations
# NOTE: XENHVM depends on xenpci.  They must be added or removed together.
options     XENHVM            # Xen HVM kernel infrastructure
device        xenpci            # Xen HVM Hypervisor services driver

# VMware support
device        vmx            # VMware VMXNET3 Ethernet

# Netmap provides direct access to TX/RX rings on supported NICs
device        netmap            # netmap(4) support

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

нужен стектрейс паника

он бывает в dmesg

все остальное не нужно

хотя при наличии mpd+ipfw это не удивительно

довольно частая проблема

обновляйте систему в стеибл

Изменено пользователем paradox_

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 час назад, paradox_ сказал:

обновляйте систему в стеибл

Не в стейбл мяс. Стэйбл, так сказать, не поддерживается более и баги в багтреке не принимаются.

Я бы рекомендовал перейти на нетграф.

 

Сам юзаю mpd + netgraph + pf. Была проблема на 10.3, решилась патчем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

обновляются до стеибл что бы не ловить новые баги

а в карренте они баг на баге и не поймешь где поймаешь новые

но если роутер для хомяков то конечно и так сойдет

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
7 часов назад, BobroCoder сказал:

Доброго времени суток.
Имеется сервер FreeBSD 11.2 с биллингов NoDeny Plus (ipfw+mpd5 pppoe)
Перезагружается с паникой ядра в произвольные моменты времени.
Зависимости найти на данный момент не удалось...
Оперативку меняли, Жесткий диск проверен - без бедов и подкидывали другой.
Помогите пожалуйста! Уже не знаю на что думать, не могу найти проблему
 

# kgdb /boot/kernel.min/kernel /var/crash/vmcore.last

  Показать содержимое

GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "amd64-marcel-freebsd"...

Unread portion of the kernel message buffer:


Fatal trap 12: page fault while in kernel mode
cpuid = 0; apic id = 00
fault virtual address    = 0x0
fault code        = supervisor read instruction, page not present
instruction pointer    = 0x20:0x0
stack pointer            = 0x28:0xfffffe011a338638
frame pointer            = 0x28:0xfffffe011a338780
code segment        = base 0x0, limit 0xfffff, type 0x1b
            = DPL 0, pres 1, long 1, def32 0, gran 1
processor eflags    = interrupt enabled, resume, IOPL = 0
current process        = 0 (dummynet)
trap number        = 12
panic: page fault
cpuid = 0
KDB: stack backtrace:
#0 0xffffffff805b98c7 at kdb_backtrace+0x67
#1 0xffffffff80572fc7 at vpanic+0x177
#2 0xffffffff80572e43 at panic+0x43
#3 0xffffffff807f0fdf at trap_fatal+0x35f
#4 0xffffffff807f1039 at trap_pfault+0x49
#5 0xffffffff807f0807 at trap+0x2c7
#6 0xffffffff807d044c at calltrap+0x8
#7 0xffffffff8067ee63 at pfil_run_hooks+0xb3
#8 0xffffffff8069fde3 at ip_output+0xb33
#9 0xffffffff81523232 at dummynet_send+0xf2
#10 0xffffffff81522cb5 at dummynet_task+0x2c5
#11 0xffffffff805cb0d4 at taskqueue_run_locked+0x154
#12 0xffffffff805cc238 at taskqueue_thread_loop+0x98
#13 0xffffffff8053d963 at fork_exit+0x83
#14 0xffffffff807d136e at fork_trampoline+0xe
Uptime: 5d14h28m4s
Dumping 535 out of 3979 MB:..3%..12%..21%..33%..42%..51%..63%..72%..81%..93%

Reading symbols from /boot/kernel.min/zfs.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/zfs.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/zfs.ko
Reading symbols from /boot/kernel.min/krpc.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/krpc.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/krpc.ko
Reading symbols from /boot/kernel.min/opensolaris.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/opensolaris.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/opensolaris.ko
Reading symbols from /boot/kernel.min/ipfw.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ipfw.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ipfw.ko
Reading symbols from /boot/kernel.min/ipdivert.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ipdivert.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ipdivert.ko
Reading symbols from /boot/kernel.min/dummynet.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/dummynet.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/dummynet.ko
Reading symbols from /boot/kernel.min/netgraph.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/netgraph.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/netgraph.ko
Reading symbols from /boot/kernel.min/ng_tee.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_tee.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_tee.ko
Reading symbols from /boot/kernel.min/ng_ether.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_ether.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_ether.ko
Reading symbols from /boot/kernel.min/ng_socket.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_socket.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_socket.ko
Reading symbols from /boot/kernel.min/ng_mppc.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_mppc.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_mppc.ko
Reading symbols from /boot/kernel.min/rc4.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/rc4.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/rc4.ko
Reading symbols from /boot/kernel.min/ng_iface.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_iface.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_iface.ko
Reading symbols from /boot/kernel.min/ng_pppoe.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_pppoe.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_pppoe.ko
Reading symbols from /boot/kernel.min/ng_ppp.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/ng_ppp.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/ng_ppp.ko
Reading symbols from /boot/kernel.min/pf.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/pf.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/pf.ko
Reading symbols from /boot/kernel.min/accf_http.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/accf_http.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/accf_http.ko
Reading symbols from /boot/kernel.min/uhid.ko...Reading symbols from /usr/lib/debug//boot/kernel.min/uhid.ko.debug...done.
done.
Loaded symbols for /boot/kernel.min/uhid.ko
#0  doadump (textdump=<value optimized out>) at pcpu.h:229
229    pcpu.h: No such file or directory.
    in pcpu.h
(kgdb) bt
#0  doadump (textdump=<value optimized out>) at pcpu.h:229
#1  0xffffffff80572bdb in kern_reboot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:383
#2  0xffffffff80573001 in vpanic (fmt=<value optimized out>, ap=<value optimized out>) at /usr/src/sys/kern/kern_shutdown.c:776
#3  0xffffffff80572e43 in panic (fmt=<value optimized out>) at /usr/src/sys/kern/kern_shutdown.c:707
#4  0xffffffff807f0fdf in trap_fatal (frame=0xfffffe011a338570, eva=0) at /usr/src/sys/amd64/amd64/trap.c:875
#5  0xffffffff807f1039 in trap_pfault (frame=0xfffffe011a338570, usermode=0) at pcpu.h:229
#6  0xffffffff807f0807 in trap (frame=0xfffffe011a338570) at /usr/src/sys/amd64/amd64/trap.c:415
#7  0xffffffff807d044c in calltrap () at /usr/src/sys/amd64/amd64/exception.S:231
#8  0x0000000000000000 in ?? ()
Current language:  auto; currently minimal
(kgdb)

 

# cat /boot/loader.conf

  Показать содержимое

kern.geom.label.disk_ident.enable="0"
kern.geom.label.gptid.enable="0"
vfs.zfs.min_auto_ashift=12
zfs_load="YES"

kernel="kernel.min"

kern.hz=5000
vm.pmap.pti=0

ipfw_load="YES"
ipdivert_load="YES"
dummynet_load="YES"
netgraph_load="YES"

ng_tee_load="YES"
ng_ether_load="YES"
ng_socket_load="YES"
ng_mppc_load="YES"
ng_iface_load="YES"
ng_pppoe_load="YES"
ng_ppp_load="YES"

 

# cat /etc/sysctl.conf

  Показать содержимое

vfs.zfs.min_auto_ashift=12
kern.ipc.somaxconn=1024
kern.ipc.maxsockbuf=83886080
net.link.ether.inet.max_age=600
net.link.ether.inet.log_arp_wrong_iface=0
net.inet.icmp.icmplim=5000
net.inet.ip.fw.one_pass=1
net.inet.ip.maxfragsperpacket=43
net.inet.ip.intr_queue_maxlen=10240
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.hash_size=1024
net.inet.ip.dummynet.pipe_slot_limit=2048

 

Конфиг ядра:

  Показать содержимое

# $FreeBSD: releng/11.2/sys/amd64/conf/BSDGW 341405 2018-12-01 $

cpu        HAMMER
ident        MIN

makeoptions    DEBUG=-g        # Build kernel with gdb(1) debug symbols
makeoptions    WITH_CTF=1        # Run ctfconvert(1) for DTrace support

options     SCHED_ULE        # ULE scheduler
options     PREEMPTION        # Enable kernel thread preemption
options     INET            # InterNETworking
options     TCP_OFFLOAD        # TCP offload
options     SCTP            # Stream Control Transmission Protocol
options     FFS            # Berkeley Fast Filesystem
options     SOFTUPDATES        # Enable FFS soft updates support
options     UFS_ACL            # Support for access control lists
options     UFS_DIRHASH        # Improve performance on big directories
options     UFS_GJOURNAL        # Enable gjournal-based UFS journaling
options     QUOTA            # Enable disk quotas for UFS
options     MD_ROOT            # MD is a potential root device
options     MSDOSFS            # MSDOS Filesystem
options     CD9660            # ISO 9660 Filesystem
options     PROCFS            # Process filesystem (requires PSEUDOFS)
options     PSEUDOFS        # Pseudo-filesystem framework
options     GEOM_PART_GPT        # GUID Partition Tables.
options     GEOM_RAID        # Soft RAID functionality.
options     GEOM_LABEL        # Provides labelization
options     COMPAT_FREEBSD32    # Compatible with i386 binaries
options     COMPAT_FREEBSD4        # Compatible with FreeBSD4
options     COMPAT_FREEBSD5        # Compatible with FreeBSD5
options     COMPAT_FREEBSD6        # Compatible with FreeBSD6
options     COMPAT_FREEBSD7        # Compatible with FreeBSD7
options     COMPAT_FREEBSD9        # Compatible with FreeBSD9
options     COMPAT_FREEBSD10    # Compatible with FreeBSD10
options     SCSI_DELAY=5000        # Delay (in ms) before probing SCSI
options     KTRACE            # ktrace(1) support
options     STACK            # stack(9) support
options     SYSVSHM            # SYSV-style shared memory
options     SYSVMSG            # SYSV-style message queues
options     SYSVSEM            # SYSV-style semaphores
options     _KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions
options     PRINTF_BUFR_SIZE=128    # Prevent printf output being interspersed.
options     KBD_INSTALL_CDEV    # install a CDEV entry in /dev
options     HWPMC_HOOKS        # Necessary kernel hooks for hwpmc(4)
options     AUDIT            # Security event auditing
options     CAPABILITY_MODE        # Capsicum capability mode
options     CAPABILITIES        # Capsicum capabilities
options     MAC            # TrustedBSD MAC Framework
options     KDTRACE_FRAME        # Ensure frames are compiled in
options     KDTRACE_HOOKS        # Kernel DTrace hooks
options     DDB_CTF            # Kernel ELF linker loads CTF data
options     INCLUDE_CONFIG_FILE    # Include this file in kernel

# Debugging support.  Always need this:
options     KDB            # Enable kernel debugger support.
options     KDB_TRACE        # Print a stack trace for a panic.

# Make an SMP-capable kernel by default
options     SMP            # Symmetric MultiProcessor Kernel
options     DEVICE_NUMA        # I/O Device Affinity

# CPU frequency control
device        cpufreq

# Bus support.
device        acpi
options     ACPI_DMAR
device        pci
options     PCI_HP            # PCI-Express native HotPlug
options        PCI_IOV            # PCI SR-IOV support

# ATA controllers
device        ahci            # AHCI-compatible SATA controllers
device        ata            # Legacy ATA/SATA controllers

# ATA/SCSI peripherals
device        scbus            # SCSI bus (required for ATA/SCSI)
device        da            # Direct Access (disks)
device        cd            # CD
device        pass            # Passthrough device (direct ATA/SCSI access)

# atkbdc0 controls both the keyboard and the PS/2 mouse
device        atkbdc            # AT keyboard controller
device        atkbd            # AT keyboard
device        psm            # PS/2 mouse

device        kbdmux            # keyboard multiplexer

device        vga            # VGA video card driver
options     VESA            # Add support for VESA BIOS Extensions (VBE)

device        splash            # Splash screen and screen saver support

# syscons is the default console driver, resembling an SCO console
device        sc
options     SC_PIXEL_MODE        # add support for the raster text mode

# vt is the new video console driver
device        vt
device        vt_vga
device        vt_efifb

device        agp            # support several AGP chipsets

# Serial (COM) ports
device        uart            # Generic UART driver
device        puc            # Multi I/O cards and multi-channel UARTs

# PCI Ethernet NICs.
device        em            # Intel PRO/1000 Gigabit Ethernet Family
device        igb            # Intel PRO/1000 PCIE Server Gigabit Family
device        ix            # Intel PRO/10GbE PCIE PF Ethernet
device        ixv            # Intel PRO/10GbE PCIE VF Ethernet

# PCI Ethernet NICs that use the common MII bus controller code.
# NOTE: Be sure to keep the 'device miibus' line in order to use these NICs!
device        miibus            # MII bus support
device        re            # RealTek 8139C+/8169/8169S/8110S
device        rl            # RealTek 8129/8139

# Pseudo devices.
device        loop            # Network loopback
device        random            # Entropy device
device        padlock_rng        # VIA Padlock RNG
device        rdrand_rng        # Intel Bull Mountain RNG
device        ether            # Ethernet support
device        vlan            # 802.1Q VLAN support
device        tun            # Packet tunnel.
device        md            # Memory "disks"
device        gif            # IPv6 and IPv4 tunneling
device        firmware        # firmware assist module

# The `bpf' device enables the Berkeley Packet Filter.
# Be aware of the administrative consequences of enabling this!
# Note that 'bpf' is required for DHCP.
device        bpf            # Berkeley packet filter

# USB support
options     USB_DEBUG        # enable debug msgs
device        uhci            # UHCI PCI->USB interface
device        ohci            # OHCI PCI->USB interface
device        ehci            # EHCI PCI->USB interface (USB 2.0)
device        xhci            # XHCI PCI->USB interface (USB 3.0)
device        usb            # USB Bus (required)
device        ukbd            # Keyboard
device        umass            # Disks/Mass storage - Requires scbus and da

# VirtIO support
device        virtio            # Generic VirtIO bus (required)
device        virtio_pci        # VirtIO PCI device
device        vtnet            # VirtIO Ethernet device
device        virtio_blk        # VirtIO Block device
device        virtio_scsi        # VirtIO SCSI device
device        virtio_balloon        # VirtIO Memory Balloon device

# Xen HVM Guest Optimizations
# NOTE: XENHVM depends on xenpci.  They must be added or removed together.
options     XENHVM            # Xen HVM kernel infrastructure
device        xenpci            # Xen HVM Hypervisor services driver

# VMware support
device        vmx            # VMware VMXNET3 Ethernet

# Netmap provides direct access to TX/RX rings on supported NICs
device        netmap            # netmap(4) support

 

Самого главного не вижу. ipfw list

В каждой похожей теме совет один. deny_in на нат.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

избавляйтесь от dummynet. переходите на нетграф шейпер/лимитер. этому багу сто лет уже

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо за помощь, NAT не используется у нас - только белые ip. Система FreeBSD 11.2-RELEASE-p5
На счет перехода на netgraph - интересный путь, биллинг NoDeny заточен на dummynet как понял. Надо почитать можно ли малым потом перевести...

PS: С похожей нагрузкой сервер в другом месте работает исправно (но на FreeBSD 10.3)

Ранее работало все исправно - падать начало то ли с увеличением нагрузки, то ли (что более вероятно) после обновления до FreeBSD 11

Сейчас около 1000 абонентов в пиках до 1Гбит/c трафика (до 600kpps)

 

ipfw list

Spoiler

00110 allow ip from any to any via lo0
00120 skipto 1000 ip from me to any
00130 deny icmp from any to any in icmptypes 5,9,13,14,15,16,17
00160 skipto 2000 ip from any to me
00200 skipto 500 ip from any to any { via vlan1335 or via vlan1336 }
00300 skipto 4500 ip from any to any in
00400 skipto 450 ip from any to any { recv vlan1335 or recv vlan1336 }
00420 tee 1 ip from any to any
00450 tee 2 ip from any to any
00490 allow ip from any to any
00500 skipto 32500 ip from any to any in
00510 tee 1 ip from any to any
00540 allow ip from any to any
01000 allow udp from any 53,7723 to any
01010 allow tcp from any to any setup keep-state :default
01020 allow udp from any to any keep-state :default
01100 allow ip from any to any
02000 check-state :default
02010 allow icmp from any to any
02020 allow tcp from any to any 22,80,443,5006
02030 allow tcp from table(101) to any 3306
02050 deny ip from any to any { via vlan1335 or via vlan1336 }
02060 allow udp from any to any 53,7723
02100 deny ip from any to any
04500 allow ip from any to table(100)
05000 skipto 18501 ip from table(24) to table(14)
05001 allow ip from table(44) to table(14)
05002 skipto 18502 ip from table(21) to table(11)
05003 allow ip from table(41) to table(11)
18500 deny ip from any to any
18501 pipe tablearg ip from table(24) to any
18502 pipe tablearg ip from table(21) to any
32000 deny ip from any to any
32490 deny ip from any to any
32500 allow ip from table(100) to any
33000 skipto 46501 ip from table(14) to table(34)
33001 allow ip from table(14) to table(44)
33002 skipto 46502 ip from table(11) to table(31)
33003 allow ip from table(11) to table(41)
46500 deny ip from any to any
46501 pipe tablearg ip from any to table(34)
46502 pipe tablearg ip from any to table(31)
60000 deny ip from any to any
65535 deny ip from any to any

 

Изменено пользователем BobroCoder

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

uname -r 9.3

mpd+ipfw+dummynet

uptime up 340 days

работает стабильно, не глючит, не валится.

На данный момент 2500 коннектов на текущем сервере

~1900G входящего ~500g исходящего

ipfw тщательно "причесан"

пока хватает

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
29 минут назад, BobroCoder сказал:

FreeBSD 11.2-RELEASE-p5

обновитесь до стеибла в 11 ветке

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Порыскал еще - судя по всему проблема и есть в dummynet.

По вашему стоит попробовать откатиться на предыдущую версию FreeBSD?
Сейчас все что ниже 11.2 - End of Life. С другой стороны если стабильно работает можно наверно и не трогать.

Хотя (может мыслю неправильно) хотелось бы быть на актуальной на данный момент версии.

Обновиться до STABLE попробую.

Изменено пользователем BobroCoder

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

от релиза до стеибл там много изменений

и по сетевой части тоже было

при наличии проблемы даже в стеибле 

запульте баг репорт в бсд

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

проблема возникает при удалении интерфейса, по которому в момент удаления идёт трафик.

лечится этим патчем: https://reviews.freebsd.org/D12457

если на машине нет dummynet, после патча проблема прекращается полностью.

 

также есть схожая проблема с dummynet, патч планируется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Большое спасибо за ответы. Проблема так пока и не решилась.
На данный момент стоит FreeBSD 11.2-STABLE #0 r342164
Dummynet присутствует, хотелось бы увидеть попробовать патч.

Для полной уверенности хотелось бы проверить железо сервера, хотя memtest говорит что все норм.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Дамминет - это всего лишь шейпер от луиджи, рекомендовал бы откатиться с 11 до 10-ки хотя-бы. Уже писал - попытка завести ipfw+ipfnat+dummynet на 11 свежей у меня была неудачной абсолютно. Без грехов на железо, ибмские сервера(там память вообще с есс - сама себя корректирует). Переустановка старой 10-ки, и всё стабильно работает. ng и динамической маршрутизации не было, но всё падало. После даунгрейда до 10.2  и квагга заработала, и шейпер. Про падения железяки - бывало, но давно. Если есть куча динамических маршрутов - то стандартый снмп-демон гадил при их перестройке, или фиб использовалась. Посмотрите в эту сторону. Ну и у вас - я бы на ng перешел, там проще. Проблему с изменением  количества динамических интерфейсов - я в мртг отписывал, для pptp-mpd.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

баг репорт надо писать а не откатываться

а то такими откатываниями и сами же бсд и угробите

 

>BobroCoder

бек трейсы не плохо приложить бы

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 26.01.2019 в 10:37, paradox_ сказал:

баг репорт надо писать а не откатываться

а то такими откатываниями и сами же бсд и угробите

 

 

 Вам шашечки, или ехать ? Мне нужна стабильность. Было время - и багрепорты писал, ответ в форуме - в основном "не подтвердилось".

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

по вашему через лет 5 проблема сама рассосется к новому релизу бсд ?

или сразу перейдете на линукс ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Проблема может очень долго висеть и решать сиюминутно никто не будет, но баг репортить, конечно нужно.

А для стабильной работы, лучше откатиться на старые, проверенные временем и работой релизы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ещё раз повторяю.

проблема с mpd известна, уже решена, ссылка на патч приведена выше.

проблема с dummynet известна, патч планируется.

 

в качестве временного решения прямо сейчас, могу посоветовать разнесение по разным тачкам mpd и dummynet.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас