Jump to content
Калькуляторы

freebsd 7.3 - swi4: clock sio

Имеется некий NAS, в на нем стоит карточка с дровами igb, крутится оспфд и мпд.

Наблюдается странная картина, вместе с ростом нагрузки на исходящий интерфейс, начинает жрать swi4: clock sio. Не могу не как найти концов.

 

в лоадере.

 

ipmi_load="YES"
if_igb_load="YES"

hw.igb.rxd=2048
hw.igb.txd=2048
hw.igb.rx_process_limit=1024
hw.igb.num_queues=0
hw.igb.lro=0
hw.igb.fc_setting=0
hw.igb.enable_aim=1
hw.igb.low_latency=500
hw.igb.ave_latency=1000
hw.igb.bulk_latency=2500

kern.hz=1000

 

в сусктл.

 

kern.ipc.maxsockbuf=8388608

net.graph.recvspace=256000
net.graph.maxdgram=256000
net.graph.mppe_max_rekey=1000000

#net.inet.ip.fw.verbose=1
#net.inet.ip.fw.verbose_limit=10

net.inet.ip.intr_queue_maxlen=4096
net.inet.tcp.rfc1323=1

net.inet.tcp.sendspace=78840
net.inet.tcp.recvspace=78840
net.inet.udp.recvspace=78840
net.inet.udp.maxdgram=57344

net.inet.tcp.delayed_ack=1
net.inet.tcp.delacktime=100
net.local.stream.sendspace=82320
net.local.stream.recvspace=82320
net.inet.tcp.local_slowstart_flightsize=10
net.inet.tcp.nolocaltimewait=1
net.inet.tcp.hostcache.expire=3900

net.inet.tcp.hostcache.expire=3900
net.inet.tcp.slowstart_flightsize=54
net.inet.tcp.inflight.enable=1
net.inet.tcp.inflight.min=6144

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

kern.maxfiles=24656
kern.maxfilesperproc=22190
net.inet.ip.fastforwarding=1

 

Это при 60-70 мбитах, 4-5 Кпс, около 300 пптп сессий.

 

PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   12 root     171 ki31     0K    16K CPU2    2  29:14 97.56% idle: cpu2
   13 root     171 ki31     0K    16K CPU1    1  28:54 96.09% idle: cpu1
   11 root     171 ki31     0K    16K RUN     3  29:16 91.70% idle: cpu3
   14 root     171 ki31     0K    16K CPU0    0  27:53 90.38% idle: cpu0
   16 root     -32    -     0K    16K WAIT    1   1:37  5.96% swi4: clock sio
   47 root     -68    -     0K    16K WAIT    0   0:40  3.86% irq260: igb0
    2 root     -68    -     0K    16K sleep   0   0:49  3.37% ng_queue0
    4 root     -68    -     0K    16K sleep   1   0:49  3.27% ng_queue2
    5 root     -68    -     0K    16K sleep   0   0:49  3.27% ng_queue3
    3 root     -68    -     0K    16K sleep   0   0:49  3.17% ng_queue1
   49 root     -68    -     0K    16K CPU1    1   0:36  3.08% irq261: igb0
   51 root     -68    -     0K    16K CPU2    2   0:34  2.98% irq262: igb0
   53 root     -68    -     0K    16K WAIT    3   0:38  2.69% irq263: igb0

 

 

 

 

 

Прошу помощи ) сам дойти до решения немогу ) Спасибо.

P.S Процессоры старые Opteron по 2 ядра. (2ГГц)

Edited by Zarin

Share this post


Link to post
Share on other sites

systat -v

справа колонка interrupts, покажите.

в машине нету других активных адаптеров кроме igb ?

Share this post


Link to post
Share on other sites
systat -v

справа колонка interrupts, покажите.

в машине нету других активных адаптеров кроме igb ?

interrupt                          total       rate
irq1: atkbd0                          18          0
irq6: atapci0                      21831          1
irq9: acpi0                            1          0
irq11: ohci0 ohci1+                    9          0
irq14: ata0                           58          0
cpu0: timer                     35011771       1999
irq256: igb0                    88663743       5064
irq260: igb0                    37172162       2123
irq261: igb0                    36278732       2072
irq262: igb0                    37287323       2129
irq263: igb0                    37272126       2128
irq264: igb0                           4          0
irq265: igb1                    93615790       5347
irq269: igb1                    35801616       2044
irq270: igb1                    30732025       1755
irq271: igb1                    35052810       2002
irq272: igb1                    40925226       2337
irq273: igb1                           6          0
cpu1: timer                     35011703       1999
cpu3: timer                     35011725       1999
cpu2: timer                     35011772       1999
Total                          612870451      35007

 

В машине стоит 4 портовая интел про1000.

vendor = 'Intel Corporation'

device = '82575GB Gigabit Network Connection'

class = network

subclass = ethernet

 

Используются только 2 интерфейса, больше активных нет. Встроеные броадкомы отключены в биосе.

 

Картина сейчас:

 

   13 root     171 ki31     0K    16K RUN     1 186:31 49.27% idle: cpu1
   14 root     171 ki31     0K    16K RUN     0 168:37 43.80% idle: cpu0
   12 root     171 ki31     0K    16K RUN     2 189:59 43.36% idle: cpu2
   11 root     171 ki31     0K    16K RUN     3 193:48 29.59% idle: cpu3
   16 root     -32    -     0K    16K RUN     2  61:50 26.07% swi4: clock sio
    4 root     -68    -     0K    16K RUN     3  43:40 21.68% ng_queue2
    3 root     -68    -     0K    16K CPU3    3  43:33 21.68% ng_queue1
    2 root     -68    -     0K    16K RUN     3  43:30 21.58% ng_queue0
    5 root     -68    -     0K    16K RUN     1  43:27 21.09% ng_queue3
   51 root     -68    -     0K    16K WAIT    2  31:12 19.29% irq262: igb0
   47 root     -68    -     0K    16K CPU0    0  30:22 17.68% irq260: igb0
   49 root     -68    -     0K    16K WAIT    1  26:45 17.68% irq261: igb0
   53 root     -68    -     0K    16K WAIT    3  29:54 14.36% irq263: igb0
1096 root      98    0 51844K 25268K select  3  26:08 13.18% mpd5
   70 root     -68    -     0K    16K WAIT    3  10:37  5.08% irq272: igb1
  681 root      48    0 17836K  4984K select  0   0:35  4.88% zebra
   68 root     -68    -     0K    16K WAIT    2   8:30  3.96% irq271: igb1
   66 root     -68    -     0K    16K WAIT    1   6:24  3.76% irq270: igb1
   64 root     -68    -     0K    16K WAIT    0   7:35  3.66% irq269: igb1
   56 root     -68    -     0K    16K RUN     0   7:04  2.69% irq265: igb1
   39 root     -68    -     0K    16K RUN     0   3:49  1.46% irq256: igb0
1105 root      49    0 26764K  8100K select  0   1:34  0.88% snmpd

 

170-180 мбит, 22 Кпс, 900 пптп. Это через igb0/

Edited by Zarin

Share this post


Link to post
Share on other sites

немного не то, но тоже пойдет.

не вижу в интерраптах irq4, вывод точно полный? ОСь какая?

 

в интернете говорят скринсейвер надо выключить, если включен, но думаю на боевом сервере он не используется.

 

больше ничего сказать не могу.

Share this post


Link to post
Share on other sites
немного не то, но тоже пойдет.

не вижу в интерраптах irq4, вывод точно полный? ОСь какая?

 

в интернете говорят скринсейвер надо выключить, если включен, но думаю на боевом сервере он не используется.

 

больше ничего сказать не могу.

FreeBSD nas-pptp1. v 7.3-RELEASE-p3 FreeBSD 7.3-RELEASE-p3 #1: Sat Nov 20 13:23:49 VLAT 2010 root@nas-pptp1.:/usr/obj/usr/src/sys/NAS-PPTP amd64

 

Скрин сервера нет, irq4 нет в сусстате.

 

Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt    246 cow   40077 total
             24      434k  732 8165  32k 1002  659    266 zfod        atkbd0 1
                                                          ozfod     1 atapci0 6
20.1%Sys  22.9%Intr  2.1%User  0.0%Nice 54.9%Idle        %ozfod       acpi0 irq9
|    |    |    |    |    |    |    |    |    |    |       daefr       ohci0 ohci
==========+++++++++++>>                               421 prcfr       ata0 irq14
                                        24 dtbuf      776 totfr  2001 cpu0: time
Namei     Name-cache   Dir-cache    100000 desvn          react  5928 igb0 256
   Calls    hits   %    hits   %      1315 numvn          pdwak  2420 igb0 260
     468     464  99                   691 frevn          pdpgs  2449 igb0 261
                                                          intrn  2577 igb0 262
Disks   ad4                                        224160 wire   2628 igb0 263
KB/t  26.67                                         47036 act         igb0 264
tps       1                                         11604 inact  6145 igb1 265
MB/s   0.02                                           208 cache  2424 igb1 269
%busy     0                                       3760304 free   2483 igb1 270
                                                    80112 buf    2727 igb1 271
                                                                 2291 igb1 272
                                                                      igb1 273
                                                                 2001 cpu1: time
                                                                 2001 cpu3: time
                                                                 2001 cpu2: time

 

У меня есть подозрения на разделение прерываний между игб0 и 1, попробую подрезать очереди до 2х, чтобы распределились по ядрам. Может отпустит.

Интересен тот момент, что таймер временами отпускает, при небольшом падении или подъеме нагрузки.

Еще идеи есть ?

 

Не в 7.3 же дело или самом тазике.

Edited by Zarin

Share this post


Link to post
Share on other sites

Уменьшение количества потоков проблему не решило. swi4 все также жрет ресурсы при повышении нагрузки.

 

Ну что, проблему никто не встречал ?

Share this post


Link to post
Share on other sites

1. конфиг ядра покажите

2. список загруженых модулей ядра

3. используется последовательный порт для чего-либо?

4. машина одна? ребутнуться можно будет пару раз?

Edited by Giga-Byte

Share this post


Link to post
Share on other sites
1. конфиг ядра покажите

2. список загруженых модулей ядра

3. используется последовательный порт для чего-либо?

4. машина одна? ребутнуться можно будет пару раз?

cpu        HAMMER
ident        NAS-PPTP

# To statically compile in device wiring instead of /boot/device.hints
#hints        "GENERIC.hints"        # Default places to look for devices.

makeoptions    DEBUG=-g        # Build kernel with gdb(1) debug symbols

options     SCHED_ULE        # ULE scheduler
options     PREEMPTION        # Enable kernel thread preemption
options     INET            # InterNETworking
#options     INET6            # IPv6 communications protocols
options     SCTP            # Stream Control Transmission Protocol 
options     FFS            # Berkeley Fast Filesystem
options     SOFTUPDATES        # Enable FFS soft updates support
options     UFS_ACL            # Support for access control lists
options     UFS_DIRHASH        # Improve performance on big directories
options     UFS_GJOURNAL        # Enable gjournal-based UFS journaling
options     MD_ROOT            # MD is a potential root device
options     NFSCLIENT        # Network Filesystem Client
options     NFSSERVER        # Network Filesystem Server
options     NFSLOCKD        # Network Lock Manager
options     NFS_ROOT        # NFS usable as /, requires NFSCLIENT
options     MSDOSFS            # MSDOS Filesystem
options     CD9660            # ISO 9660 Filesystem
options     PROCFS            # Process filesystem (requires PSEUDOFS)
options     PSEUDOFS        # Pseudo-filesystem framework
options     GEOM_PART_GPT        # GUID Partition Tables.
options     GEOM_LABEL        # Provides labelization
options     COMPAT_43TTY        # BSD 4.3 TTY compat [KEEP THIS!]
options     COMPAT_IA32        # Compatible with i386 binaries
options     COMPAT_FREEBSD4        # Compatible with FreeBSD4
options     COMPAT_FREEBSD5        # Compatible with FreeBSD5
options     COMPAT_FREEBSD6        # Compatible with FreeBSD6
options     SCSI_DELAY=5000        # Delay (in ms) before probing SCSI
options     KTRACE            # ktrace(1) support
options     STACK            # stack(9) support
options     SYSVSHM            # SYSV-style shared memory
options     SYSVMSG            # SYSV-style message queues
options     SYSVSEM            # SYSV-style semaphores
options     P1003_1B_SEMAPHORES    # POSIX-style semaphores
options     _KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions
options     KBD_INSTALL_CDEV    # install a CDEV entry in /dev
options     ADAPTIVE_GIANT        # Giant mutex is adaptive.
options     STOP_NMI        # Stop CPUS using NMI instead of IPI
options     AUDIT            # Security event auditing
#options     KDTRACE_FRAME        # Ensure frames are compiled in
#options     KDTRACE_HOOKS        # Kernel DTrace hooks
options     INCLUDE_CONFIG_FILE     # Include this file in kernel

# Make an SMP-capable kernel by default
options     SMP            # Symmetric MultiProcessor Kernel

# CPU frequency control
device        cpufreq

# Bus support.
device        acpi
device        pci

# Floppy drives
#device        fdc

# ATA and ATAPI devices
device        ata
device        atadisk        # ATA disk drives
device        ataraid        # ATA RAID drives
device        atapicd        # ATAPI CDROM drives
device        atapifd        # ATAPI floppy drives
device        atapist        # ATAPI tape drives
options     ATA_STATIC_ID    # Static device numbering

# SCSI Controllers
device        ahc        # AHA2940 and onboard AIC7xxx devices
options     AHC_REG_PRETTY_PRINT    # Print register bitfields in debug
                    # output.  Adds ~128k to driver.
device        ahd        # AHA39320/29320 and onboard AIC79xx devices
options     AHD_REG_PRETTY_PRINT    # Print register bitfields in debug
                    # output.  Adds ~215k to driver.
device        amd        # AMD 53C974 (Tekram DC-390(T))
device        hptiop        # Highpoint RocketRaid 3xxx series
device        isp        # Qlogic family
#device     ispfw        # Firmware for QLogic HBAs- normally a module
device        mpt        # LSI-Logic MPT-Fusion
#device        ncr        # NCR/Symbios Logic
device        sym        # NCR/Symbios Logic (newer chipsets + those of `ncr')
device        trm        # Tekram DC395U/UW/F DC315U adapters

device        adv        # Advansys SCSI adapters
device        adw        # Advansys wide SCSI adapters
device        aic        # Adaptec 15[012]x SCSI adapters, AIC-6[23]60.
device        bt        # Buslogic/Mylex MultiMaster SCSI adapters


# SCSI peripherals
device        scbus        # SCSI bus (required for SCSI)
#device        ch        # SCSI media changers
device        da        # Direct Access (disks)
device        sa        # Sequential Access (tape etc)
#device        cd        # CD
#device        pass        # Passthrough device (direct SCSI access)
#device        ses        # SCSI Environmental Services (and SAF-TE)

# RAID controllers interfaced to the SCSI subsystem
device        amr        # AMI MegaRAID
device        arcmsr        # Areca SATA II RAID
device        ciss        # Compaq Smart RAID 5*
device        dpt        # DPT Smartcache III, IV - See NOTES for options
device        hptmv        # Highpoint RocketRAID 182x
device        hptrr        # Highpoint RocketRAID 17xx, 22xx, 23xx, 25xx
device        iir        # Intel Integrated RAID
device        ips        # IBM (Adaptec) ServeRAID
device        mly        # Mylex AcceleRAID/eXtremeRAID
device        twa        # 3ware 9000 series PATA/SATA RAID

# RAID controllers
device        aac        # Adaptec FSA RAID
device        aacp        # SCSI passthrough for aac (requires CAM)
device        ida        # Compaq Smart RAID
device        mfi        # LSI MegaRAID SAS
device        mlx        # Mylex DAC960 family
#XXX pointer/int warnings
#device        pst        # Promise Supertrak SX6000
device        twe        # 3ware ATA RAID

# atkbdc0 controls both the keyboard and the PS/2 mouse
device        atkbdc        # AT keyboard controller
device        atkbd        # AT keyboard
device        psm        # PS/2 mouse

device        kbdmux        # keyboard multiplexer

device        vga        # VGA video card driver

device        splash        # Splash screen and screen saver support

# syscons is the default console driver, resembling an SCO console
device        sc

device        agp        # support several AGP chipsets

# PCCARD (PCMCIA) support
# PCMCIA and cardbus bridge support
device        cbb        # cardbus (yenta) bridge
device        pccard        # PC Card (16-bit) bus
device        cardbus        # CardBus (32-bit) bus

# Serial (COM) ports
device        sio        # 8250, 16[45]50 based serial ports
device        uart        # Generic UART driver

# Parallel port
device        ppc
device        ppbus        # Parallel port bus (required)
device        lpt        # Printer
device        plip        # TCP/IP over parallel
device        ppi        # Parallel port interface device
#device        vpo        # Requires scbus and da

# If you've got a "dumb" serial or parallel PCI card that is
# supported by the puc(4) glue driver, uncomment the following
# line to enable it (connects to sio, uart and/or ppc drivers):
#device        puc

# PCI Ethernet NICs.
#device        de        # DEC/Intel DC21x4x (``Tulip'')
device        em        # Intel PRO/1000 Gigabit Ethernet Family
#device        igb        # Intel PRO/1000 PCIE Server Gigabit Family
#device        ixgbe        # Intel PRO/10GbE PCIE Ethernet Family
#device        le        # AMD Am7900 LANCE and Am79C9xx PCnet
#device        txp        # 3Com 3cR990 (``Typhoon'')
#device        vx        # 3Com 3c590, 3c595 (``Vortex'')

# PCI Ethernet NICs that use the common MII bus controller code.
# NOTE: Be sure to keep the 'device miibus' line in order to use these NICs!
device        miibus        # MII bus support
#device        age        # Attansic/Atheros L1 Gigabit Ethernet
#device        alc        # Atheros AR8131/AR8132 Ethernet
#device        ale        # Atheros AR8121/AR8113/AR8114 Ethernet
device        bce        # Broadcom BCM5706/BCM5708 Gigabit Ethernet
device        bfe        # Broadcom BCM440x 10/100 Ethernet
device        bge        # Broadcom BCM570xx Gigabit Ethernet
#device        dc        # DEC/Intel 21143 and various workalikes
#device        et        # Agere ET1310 10/100/Gigabit Ethernet
#device        fxp        # Intel EtherExpress PRO/100B (82557, 82558)
#device        jme        # JMicron JMC250 Gigabit/JMC260 Fast Ethernet
#device        lge        # Level 1 LXT1001 gigabit Ethernet
#device        msk        # Marvell/SysKonnect Yukon II Gigabit Ethernet
#device        nfe        # nVidia nForce MCP on-board Ethernet
#device        nge        # NatSemi DP83820 gigabit Ethernet
#device        nve        # nVidia nForce MCP on-board Ethernet Networking
#device        pcn        # AMD Am79C97x PCI 10/100 (precedence over 'le')
#device        re        # RealTek 8139C+/8169/8169S/8110S
#device        rl        # RealTek 8129/8139
#device        sf        # Adaptec AIC-6915 (``Starfire'')
#device        sis        # Silicon Integrated Systems SiS 900/SiS 7016
#device        sk        # SysKonnect SK-984x & SK-982x gigabit Ethernet
#device        ste        # Sundance ST201 (D-Link DFE-550TX)
#device        ti        # Alteon Networks Tigon I/II gigabit Ethernet
#device        tl        # Texas Instruments ThunderLAN
#device        tx        # SMC EtherPower II (83c170 ``EPIC'')
#device        vge        # VIA VT612x gigabit Ethernet
#device        vr        # VIA Rhine, Rhine II
#device        wb        # Winbond W89C840F
#device        xl        # 3Com 3c90x (``Boomerang'', ``Cyclone'')

# ISA Ethernet NICs.  pccard NICs included.
device        cs        # Crystal Semiconductor CS89x0 NIC
# 'device ed' requires 'device miibus'
#device        ed        # NE[12]000, SMC Ultra, 3c503, DS8390 cards
#device        ex        # Intel EtherExpress Pro/10 and Pro/10+
#device        ep        # Etherlink III based cards
#device        fe        # Fujitsu MB8696x based cards
#device        sn        # SMC's 9000 series of Ethernet chips
#device        xe        # Xircom pccard Ethernet

# Wireless NIC cards
#device        wlan        # 802.11 support
#device        wlan_wep    # 802.11 WEP support
#device        wlan_ccmp    # 802.11 CCMP support
#device        wlan_tkip    # 802.11 TKIP support
#device        wlan_amrr    # AMRR transmit rate control algorithm
#device        wlan_scan_ap    # 802.11 AP mode scanning
#device        wlan_scan_sta    # 802.11 STA mode scanning
#device        an        # Aironet 4500/4800 802.11 wireless NICs.
#device        ath        # Atheros pci/cardbus NIC's
#device        ath_hal        # Atheros HAL (Hardware Access Layer)
#options        AH_SUPPORT_AR5416    # enable AR5416 tx/rx descriptors
#device        ath_rate_sample    # SampleRate tx rate control for ath
#device        awi        # BayStack 660 and others
#device        ral        # Ralink Technology RT2500 wireless NICs.
#device        wi        # WaveLAN/Intersil/Symbol 802.11 wireless NICs.

# Pseudo devices.
device        loop        # Network loopback
device        random        # Entropy device
device        ether        # Ethernet support
device        vlan        # 802.1Q VLAN support
device        sl        # Kernel SLIP
device        ppp        # Kernel PPP
device        tun        # Packet tunnel.
device        pty        # Pseudo-ttys (telnet etc)
device        md        # Memory "disks"
device        gif        # IPv6 and IPv4 tunneling
device        faith        # IPv6-to-IPv4 relaying (translation)
device        firmware    # firmware assist module

# The `bpf' device enables the Berkeley Packet Filter.
# Be aware of the administrative consequences of enabling this!
# Note that 'bpf' is required for DHCP.
device        bpf        # Berkeley packet filter

# USB support
device        uhci        # UHCI PCI->USB interface
device        ohci        # OHCI PCI->USB interface
device        ehci        # EHCI PCI->USB interface (USB 2.0)
device        usb        # USB Bus (required)
#device        udbp        # USB Double Bulk Pipe devices
device        ugen        # Generic
device        uhid        # "Human Interface Devices"
device        ukbd        # Keyboard
device        ulpt        # Printer
device        umass        # Disks/Mass storage - Requires scbus and da
device        ums        # Mouse
device        urio        # Diamond Rio 500 MP3 player
device        uscanner    # Scanners
# USB Serial devices
device        ucom        # Generic com ttys
device        uark        # Technologies ARK3116 based serial adapters
device        ubsa        # Belkin F5U103 and compatible serial adapters
device        ubser        # BWCT console serial adapters
device        uftdi        # For FTDI usb serial adapters
device        uipaq        # Some WinCE based devices
device        uplcom        # Prolific PL-2303 serial adapters
device        uslcom        # SI Labs CP2101/CP2102 serial adapters
device        uvisor        # Visor and Palm devices
device        uvscom        # USB serial support for DDI pocket's PHS
# USB Ethernet, requires miibus
#device        aue        # ADMtek USB Ethernet
#device        axe        # ASIX Electronics USB Ethernet
#device        cdce        # Generic USB over Ethernet
#device        cue        # CATC USB Ethernet
#device        kue        # Kawasaki LSI USB Ethernet
#device        rue        # RealTek RTL8150 USB Ethernet
# USB Wireless
#device        rum        # Ralink Technology RT2501USB wireless NICs
#device        ural        # Ralink Technology RT2500USB wireless NICs

# FireWire support
#device        firewire    # FireWire bus code
#device        sbp        # SCSI over FireWire (Requires scbus and da)
#device        fwe        # Ethernet over FireWire (non-standard!)
#device        fwip        # IP over FireWire (RFC 2734,3146)
#device        dcons        # Dumb console driver
#device        dcons_crom    # Configuration ROM for dcons
                                                                                                                                                   

########################################################

#options         IPFIREWALL
#options         LIBALIAS  
#options         IPFIREWALL_VERBOSE
#options         IPFIREWALL_VERBOSE_LIMIT=10
#options         IPFIREWALL_FORWARD         
#options         IPFIREWALL_DEFAULT_TO_ACCEPT
#options         DUMMYNET                   
#options         IPFIREWALL_NAT             
#options         IPDIVERT                   
options         HZ=500                                                 

# Polling
#options         DEVICE_POLLING
                              
#options         ALTQ         
#options         ALTQ_CBQ     
#options         ALTQ_RED
#options         ALTQ_RIO
#options         ALTQ_HFSC
#options         ALTQ_CDNR
#options         ALTQ_PRIQ
#options         ALTQ_NOPCC

options         NETGRAPH                #any
options         NETGRAPH_PPP            #mpd
options         NETGRAPH_PPTPGRE        #mpd
options         NETGRAPH_PPPOE          #mpd
#options         NETGRAPH_IPFW
options         NETGRAPH_ETHER          #mpd
options         NETGRAPH_NAT            #mpd
options         NETGRAPH_NETFLOW        #mpd
options         NETGRAPH_SPLIT          #netflow
options         NETGRAPH_KSOCKET        #mpd,netflow
options         NETGRAPH_SOCKET         #mpd
options         NETGRAPH_BPF            #mpd
options         NETGRAPH_IFACE          #mpd,netflow
#options         NETGRAPH_MPPC_ENCRYPTION  #mpd
#options         NETGRAPH_MPPC_COMPRESSION #mpd
options         NETGRAPH_TCPMSS         #mpd
options         NETGRAPH_VJC            #mpd
#options         NETGRAPH_CISCO
#options         NETGRAPH_ECHO
#options         NETGRAPH_FRAME_RELAY
#options         NETGRAPH_HOLE
#options         NETGRAPH_LMI
#options         NETGRAPH_RFC1490
options         NETGRAPH_TTY            #mpd
options         NETGRAPH_ASYNC          #mpd
options         NETGRAPH_L2TP           # mpd
options         NETGRAPH_TEE            #mpd
#options         NETGRAPH_UI
options         NETGRAPH_CAR            #mpd
options         NETGRAPH_DEFLATE        #mpd
options         NETGRAPH_PRED1          #mpd

options         PANIC_REBOOT_WAIT_TIME=13
options         SC_DISABLE_REBOOT

options        ROUTETABLES=5

 

Ядро еще будет пилится на предмет лишнего. Серийные порты не используются. Но вот вклчены ли в биосе, я не помню.

 

Id Refs Address            Size     Name
1   10 0xffffffff80100000 9ac1d0   kernel
2    1 0xffffffff80aad000 f328     ipmi.ko
3    2 0xffffffff80abd000 24b8     smbus.ko
4    1 0xffffffff80ac0000 21f60    if_igb.ko
5    1 0xffffffff80c22000 1912     ng_mppc.ko
6    1 0xffffffff80c24000 247      rc4.ko

 

Ребутнуть можно будет. )

 

 

Share this post


Link to post
Share on other sites

Хмм, а где у тебя "device apic"?

И "HZ=500" - явно маловато, здесь напрашивается мин. HZ=2000

 

И ещё, а как ты "options SCTP" собрал без "options INET6"?

Edited by Deac

Share this post


Link to post
Share on other sites

1. если ipmi с smbus выгрузить, нагрузка спадёт на sio?

2. покажите лог ядра во время загрузки ОС

3. про apic не забудьте.

Share this post


Link to post
Share on other sites
Хмм, а где у тебя "device apic"?

И "HZ=500" - явно маловато, здесь напрашивается мин. HZ=2000

 

И ещё, а как ты "options SCTP" собрал без "options INET6"?

apic только на i386, у меня amd64 собрана. В генерике его нет, да и в хендбук помнится когда-то давно не рекомендовали, его заталкивать.

Поправте, если не прав :D

 

при HZ=2000, swi4 убивает машину раза в 2-3 быстрее. На машине нет поллинга или даминета, так что проблем в работе всего остального не заметил.

 

P.S отключил в биосе серийные порты, пока наблюдаю. 120-130 мбит, полет нормальный.

Edited by Zarin

Share this post


Link to post
Share on other sites

apic для всего, не рекомендуется только если вызывает проблемы.

может быть отключено опцией hint.apic.0.disabled="1" без пересборки ядра.

Даже если вызывает проблемы, оказывается есть патч http://people.freebsd.org/~peter/hammer.diff

Правда сам не пробовал, т.к. пока проблем не испытывал.

 

И про SCTP без INET6 поподробней.

Edited by Deac

Share this post


Link to post
Share on other sites
apic для всего, не рекомендуется только если вызывает проблемы.

может быть отключено опцией hint.apic.0.disabled="1" без пересборки ядра.

Даже если вызывает проблемы, оказывается есть патч http://people.freebsd.org/~peter/hammer.diff

Правда сам не пробовал, т.к. пока проблем не испытывал.

 

И про SCTP без INET6 поподробней.

"[20080307] The FreeBSD implementation of SCTP currently depends on having INET6 support compiled into the kernel. This requirement is planned to be removed in future releases. "

http://www.freebsd.org/releases/7.0R/errata.html тут.

Убрал INET6, как-то даже внимание не заострял, Вы напомнили :) (у меня 7.3-release-p3)

 

APIC попробую добавить, посмотрим, что выйдет.

Share this post


Link to post
Share on other sites

То то и оно, что у меня без INET6 не собирается. :(

Share this post


Link to post
Share on other sites
cpu HAMMER

ident NAS-PPTP

Выкинуть всё с ядра.

Загружать всё что можно и нужно модулями.

Исключение только для ата и скази модулей - они всё равно всегда нужны и не зависят от железа.

 

 

### Rozhuk Ivan 2009.12 - 2010
### RIM kernel configuration file for FreeBSD/AMD64
### warning: all modules loaded by loader!



##############################################################
###  Text marks  #############################################
##############################################################
#! - critical, cant be excluded
#a - autoload
#b - only build in to kernel, no module
#B - build in to kernel, but can be loaded as module
#d - default, see DEFAULTS -- Default kernel configuration file for FreeBSD
#m - can be loaded as module
#o - option



##############################################################
###  Config  #################################################
##############################################################
profile    2            # We want LINT to cover profiling as well.

machine    amd64
cpu        HAMMER
ident        RIMx64
options     INCLUDE_CONFIG_FILE    #o Include this file in kernel


options     SCHED_ULE        #b ULE scheduler
#options     PREEMPTION        #b Enable kernel thread preemption
options     INET            #!b InterNETworking
#options     INET6            #b IPv6 communications protocols
options     FFS            #!b Berkeley Fast Filesystem
options     SOFTUPDATES        #b Enable FFS soft updates support
options     UFS_ACL        #b Support for access control lists
options     UFS_DIRHASH        #b Improve performance on big directories
options     UFS_GJOURNAL        #b Enable gjournal-based UFS journaling
#options     MD_ROOT        #b MD is a potential root device
#options     GEOM_PART_BSD        #md adds support for the traditional BSD disklabel
#options     GEOM_PART_EBR        #md Extended Boot Records
#options     GEOM_PART_EBR_COMPAT    #md Backward compatible partition names
#options     GEOM_PART_MBR        #md support for the Master Boot Record found on PCs and used on many removable media
options     GEOM_PART_GPT        #md GUID Partition Tables.
options     GEOM_LABEL        #m Provides labelization
#options     COMPAT_43TTY        #o BSD 4.3 TTY compat [KEEP THIS!]
options     _KPOSIX_PRIORITY_SCHEDULING #b POSIX P1003_1B real-time extensions
#options     ADAPTIVE_GIANT    #b Giant mutex is adaptive.
#options    ADAPTIVE_LOCKMGRS    #b Adaptive spining in lockmgr
#options     AUDIT            #b Security event auditing
#options    FLOWTABLE        #o per-cpu routing cache
#options     KSTACK_PAGES=3    #o Num of mem pages to assign to the kernel stack of each thread

# To make an SMP kernel, the next line are needed
options     SMP            #b Symmetric MultiProcessor Kernel
#options     IPI_PREEMPTION    #o instructs the kernel to preempt threads running on other CPUS if needed. Required PREEMPTION option
#device    atpic            #b Optional legacy pic support
#device    mptable        #b Optional MPSPEC mptable support


#options     DEVICE_POLLING    #o
#options    HZ=1000        #o



# Bus support.
device        acpi            #m ACPI; not exist as module on x64
#device    isa            #!bd ISA bus
device        pci            #!b only built-in
# System Management Bus (SMB)
options     ENABLE_ALART        #o Control alarm on Intel intpm driver


# ATA and ATAPI devices
device        atacore        #m ATA support
options     ATA_STATIC_ID        #o Static device numbering
options    ATA_CAM        #o NCQ support / req: scbus


# SCSI peripherals / cam.ko
device        scbus            #m SCSI bus (required for SCSI)
device        da            #m Direct Access (disks)
device        pass            #m Passthrough device (direct SCSI access)
device        cd            #m CD


# atkbdc0 controls both the keyboard and the PS/2 mouse
device        atkbdc            #!b AT keyboard controller
device        atkbd            #!b AT keyboard

device        vga            #!b VGA video card driver
#options    VGA_WIDTH90        #o support 90 column modes
options     VGA_NO_FONT_LOADING    #o don't save/load font / save some memory
options     VGA_NO_MODE_CHANGE    #o don't change video modes / save some memory

device        sc            #!b syscons is the default console driver, resembling an SCO console
#options    SC_PIXEL_MODE        #o add support for the raster text mode
#options    SC_MOUSE_CHAR=0x3    #o 
options     SC_DISABLE_REBOOT     #o ignory ctl-alt-del
options    SC_DISABLE_KDBKEY    #o disable `debug' key
options    SC_HISTORY_SIZE=8192    #o 
options     SC_NORM_ATTR        =(FG_GREEN|BG_BLACK) # see /usr/src/sys/i386/include/pc/display.h
options     SC_NORM_REV_ATTR    =(FG_YELLOW|BG_GREEN)
options     SC_KERNEL_CONS_ATTR    =(FG_YELLOW|BG_BLACK)
options     SC_KERNEL_CONS_REV_ATTR=(FG_BLACK|BG_CYAN)
#options    TEKEN_UTF8        #o (9.x+) UTF-8 in console
#options    TEKEN_XTERM        #o (9.x+) UTF-8 in console

device        splash            #b Splash screen and screen saver support


# Pseudo devices
#device    mem            #!bd Memory and kernel memory devices
#device    io            #!bd I/O device
device        loop            #!b Network loopback
device        ether            #!b Ethernet support
device        pty            #!b Pseudo-ttys (telnet etc) # only built-in
#device    enc            #b IPsec interface
device        bpf            #b Berkeley packet filter, required for DHCP


# ALTQ for pf: only built-in
options    ALTQ            #b
options    ALTQ_CBQ        #b Class Bases Queuing (CBQ)
options    ALTQ_RED        #b Random Early Detection (RED)
options    ALTQ_RIO        #b RED In/Out
options    ALTQ_HFSC        #b Hierarchical Packet Scheduler (HFSC)
options    ALTQ_PRIQ        #b Priority Queuing (PRIQ)
options    ALTQ_NOPCC        #b Required for SMP build
#options    ALTQ_DEBUG


#options    IPSEC            #b IP security
#options    IPSEC_ESP        #b IP security (crypto; define w/ IPSEC)
#options    IPSEC_DEBUG        #b debug for IP security
#options    IPSEC_FILTERGIF    #b filter ipsec packets from a tunnel
#options    FAST_IPSEC        #b new IPsec (cannot define w/ IPSEC)

#options    RADIX_MPATH        #o (8.0+) Support for ECMP. >1 route for dst. Works even with default route, can use it as LB for two ISP
#options    IPSTEALTH        #o support for stealth forwarding
#options    TCPDEBUG        #o
#options    TCP_SIGNATURE        #o include support for RFC 2385 (Protection of BGP Sessions via the TCP MD5 Signature Option), dev crypto reqyired
options    ZERO_COPY_SOCKETS    #o

 

 

"[20080307] The FreeBSD implementation of SCTP currently depends on having INET6 support compiled into the kernel. This requirement is planned to be removed in future releases. "

http://www.freebsd.org/releases/7.0R/errata.html тут.

Убрал INET6, как-то даже внимание не заострял, Вы напомнили :) (у меня 7.3-release-p3)

То то и оно, что у меня без INET6 не собирается. :(
Уже 3 года прошло.

Уже 9.0 на носу.

До IPv6 я где нибудь в районе НГ может доберусь :)

Share this post


Link to post
Share on other sites
Цитата(Zarin @ 23.11.2010, 18:05) *

"[20080307] The FreeBSD implementation of SCTP currently depends on having INET6 support compiled into the kernel. This requirement is planned to be removed in future releases. "

http://www.freebsd.org/releases/7.0R/errata.html тут.

Убрал INET6, как-то даже внимание не заострял, Вы напомнили :) (у меня 7.3-release-p3)

 

Цитата(Deac @ 23.11.2010, 18:11) *

То то и оно, что у меня без INET6 не собирается. :(

 

Уже 3 года прошло.

Уже 9.0 на носу.

До IPv6 я где нибудь в районе НГ может доберусь :)

После очередного обновления - собралось без INET6

 

Share this post


Link to post
Share on other sites
Имеется некий NAS, в на нем стоит карточка с дровами igb, крутится оспфд и мпд.

Наблюдается странная картина, вместе с ростом нагрузки на исходящий интерфейс, начинает жрать swi4: clock sio. Не могу не как найти концов.

было такое. отключил в биосе COM-порты, проблема ушла.

 

Share this post


Link to post
Share on other sites

попробуй на другой сетевой, igb это то еще гэ

Share this post


Link to post
Share on other sites

madint, не пиши бред.

сетевая тут ниприем. особено не использующая Legacy-Interrupts.

Share this post


Link to post
Share on other sites

Cетевая может и не причем, а дрова причем. Что в 7.2, что в 8.0 работают они весьма криво - проверено. По крайней мере попробовать нечто другое ничего не мешает, я так щщитаю.

Edited by madint

Share this post


Link to post
Share on other sites
Cетевая может и не причем, а дрова причем. Что в 7.2, что в 8.0 работают они весьма криво - проверено. По крайней мере попробовать нечто другое ничего не мешает, я так щщитаю.
они может для провайдинга и не годятся, но на счет кривые - приведите пример!

 

другое что? что можно купить в Москве допустим, и докажите что там дрова не кривые

 

у меня вот есть пара десктопных машин на матерях P5Q-SE, там сетевой контроллер Atheros чип не помню:

http://www.freebsd.org/cgi/man.cgi?query=a...amp;format=html

 

Share this post


Link to post
Share on other sites

гм.. я бы перво наперво дебаг из ядра убрал бы.

потом преемпшн убрал и поставил HZ=100

еще отрубить драйвер sio и вырубить порты в биосе. но это уже последним вариантом.

еще юсб непонятно зачем на сервере.. но это так - "на скорость не влияет"

 

 

Share this post


Link to post
Share on other sites
гм.. я бы перво наперво дебаг из ядра убрал бы.
нуну, и тупо вывести красную кнопку на стол админа, если что - нажал, релюшка щёлкнула, сервер ребутнулся
потом преемпшн убрал и поставил HZ=100
зачем? опишите ваш опыт, приведите аргументы, пустые слова.
еще отрубить драйвер sio и вырубить порты в биосе. но это уже последним вариантом.
см первый абзац
еще юсб непонятно зачем на сервере.. но это так - "на скорость не влияет"
про перенос системы на USB флэшки и дохнувшие винты не слышали?

Share this post


Link to post
Share on other sites

ребутнется он сам, в случае паника. и в логе напишет чегонить. а бектрейсы собирать на продакшн сервере не есть необходимость. тестить софт можно на чем-нибудь другом.

наличие дебага в ядре тормозит работу в разы, увеличивает объем потребляемой памяти, ухудшает тайминг в преемпшн.

мой опыт - это фря с версии 2.1 и с того же времени основная работа - установка и поддержка продакшн серверов вплоть до 2006-го года, когда я из tier 1 ISP ушел в разработчики.

терминация PPTP - тут высокий гранулярити таймера не нужен, только нагрузку увеличивает на проц.

про USB флешки - это в кино таких снимают админов?

про SSD и RAID1 не слышали? Продакшн сервер с USB2 работать не может. Дохнущие винты детектятся смартом и заменяются хотсвапом. и чаще дохнут блоки питания (меняются так же).

если вы свой домашний роутер называете сервером, то ваш опыт мало применим.

На P5Q - Attansic (Atheros их купил) кривое убоище. я даже на дескторе отключаю сразу. Реалтек гигабитный и то ровнее (но тоже гадость редкая).

 

 

Share this post


Link to post
Share on other sites
а бектрейсы собирать на продакшн сервере не есть необходимость. тестить софт можно на чем-нибудь другом.
сомневаюсь, есть какраз проблемы в софте, которые вылазят не сразу.
наличие дебага в ядре тормозит работу в разы, увеличивает объем потребляемой памяти, ухудшает тайминг в преемпшн.
прошу указать версию ОС и железо, на котором это было замечено.
про USB флешки - это в кино таких снимают админов?

про SSD и RAID1 не слышали? Продакшн сервер с USB2 работать не может. Дохнущие винты детектятся смартом и заменяются хотсвапом. и чаще дохнут блоки питания (меняются так же).

согласен, простите погорячился.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this