[Zarin]

Имеется некий NAS, в на нем стоит карточка с дровами igb, крутится оспфд и мпд.

Наблюдается странная картина, вместе с ростом нагрузки на исходящий интерфейс, начинает жрать swi4: clock sio. Не могу не как найти концов.

 

в лоадере.

 

ipmi_load="YES"
if_igb_load="YES"

hw.igb.rxd=2048
hw.igb.txd=2048
hw.igb.rx_process_limit=1024
hw.igb.num_queues=0
hw.igb.lro=0
hw.igb.fc_setting=0
hw.igb.enable_aim=1
hw.igb.low_latency=500
hw.igb.ave_latency=1000
hw.igb.bulk_latency=2500

kern.hz=1000

 

в сусктл.

 

kern.ipc.maxsockbuf=8388608

net.graph.recvspace=256000
net.graph.maxdgram=256000
net.graph.mppe_max_rekey=1000000

#net.inet.ip.fw.verbose=1
#net.inet.ip.fw.verbose_limit=10

net.inet.ip.intr_queue_maxlen=4096
net.inet.tcp.rfc1323=1

net.inet.tcp.sendspace=78840
net.inet.tcp.recvspace=78840
net.inet.udp.recvspace=78840
net.inet.udp.maxdgram=57344

net.inet.tcp.delayed_ack=1
net.inet.tcp.delacktime=100
net.local.stream.sendspace=82320
net.local.stream.recvspace=82320
net.inet.tcp.local_slowstart_flightsize=10
net.inet.tcp.nolocaltimewait=1
net.inet.tcp.hostcache.expire=3900

net.inet.tcp.hostcache.expire=3900
net.inet.tcp.slowstart_flightsize=54
net.inet.tcp.inflight.enable=1
net.inet.tcp.inflight.min=6144

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

kern.maxfiles=24656
kern.maxfilesperproc=22190
net.inet.ip.fastforwarding=1

 

Это при 60-70 мбитах, 4-5 Кпс, около 300 пптп сессий.

 

PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   12 root     171 ki31     0K    16K CPU2    2  29:14 97.56% idle: cpu2
   13 root     171 ki31     0K    16K CPU1    1  28:54 96.09% idle: cpu1
   11 root     171 ki31     0K    16K RUN     3  29:16 91.70% idle: cpu3
   14 root     171 ki31     0K    16K CPU0    0  27:53 90.38% idle: cpu0
   16 root     -32    -     0K    16K WAIT    1   1:37  5.96% swi4: clock sio
   47 root     -68    -     0K    16K WAIT    0   0:40  3.86% irq260: igb0
    2 root     -68    -     0K    16K sleep   0   0:49  3.37% ng_queue0
    4 root     -68    -     0K    16K sleep   1   0:49  3.27% ng_queue2
    5 root     -68    -     0K    16K sleep   0   0:49  3.27% ng_queue3
    3 root     -68    -     0K    16K sleep   0   0:49  3.17% ng_queue1
   49 root     -68    -     0K    16K CPU1    1   0:36  3.08% irq261: igb0
   51 root     -68    -     0K    16K CPU2    2   0:34  2.98% irq262: igb0
   53 root     -68    -     0K    16K WAIT    3   0:38  2.69% irq263: igb0

 

 

 

 

 

Прошу помощи ) сам дойти до решения немогу ) Спасибо.

P.S Процессоры старые Opteron по 2 ядра. (2ГГц)

Изменено 22 ноября, 2010 пользователем Zarin

[Giga-Byte]

systat -v

справа колонка interrupts, покажите.

в машине нету других активных адаптеров кроме igb ?

[Zarin]

systat -v

справа колонка interrupts, покажите.

в машине нету других активных адаптеров кроме igb ?

interrupt                          total       rate
irq1: atkbd0                          18          0
irq6: atapci0                      21831          1
irq9: acpi0                            1          0
irq11: ohci0 ohci1+                    9          0
irq14: ata0                           58          0
cpu0: timer                     35011771       1999
irq256: igb0                    88663743       5064
irq260: igb0                    37172162       2123
irq261: igb0                    36278732       2072
irq262: igb0                    37287323       2129
irq263: igb0                    37272126       2128
irq264: igb0                           4          0
irq265: igb1                    93615790       5347
irq269: igb1                    35801616       2044
irq270: igb1                    30732025       1755
irq271: igb1                    35052810       2002
irq272: igb1                    40925226       2337
irq273: igb1                           6          0
cpu1: timer                     35011703       1999
cpu3: timer                     35011725       1999
cpu2: timer                     35011772       1999
Total                          612870451      35007

 

В машине стоит 4 портовая интел про1000.

vendor = 'Intel Corporation'

device = '82575GB Gigabit Network Connection'

class = network

subclass = ethernet

 

Используются только 2 интерфейса, больше активных нет. Встроеные броадкомы отключены в биосе.

 

Картина сейчас:

 

   13 root     171 ki31     0K    16K RUN     1 186:31 49.27% idle: cpu1
   14 root     171 ki31     0K    16K RUN     0 168:37 43.80% idle: cpu0
   12 root     171 ki31     0K    16K RUN     2 189:59 43.36% idle: cpu2
   11 root     171 ki31     0K    16K RUN     3 193:48 29.59% idle: cpu3
   16 root     -32    -     0K    16K RUN     2  61:50 26.07% swi4: clock sio
    4 root     -68    -     0K    16K RUN     3  43:40 21.68% ng_queue2
    3 root     -68    -     0K    16K CPU3    3  43:33 21.68% ng_queue1
    2 root     -68    -     0K    16K RUN     3  43:30 21.58% ng_queue0
    5 root     -68    -     0K    16K RUN     1  43:27 21.09% ng_queue3
   51 root     -68    -     0K    16K WAIT    2  31:12 19.29% irq262: igb0
   47 root     -68    -     0K    16K CPU0    0  30:22 17.68% irq260: igb0
   49 root     -68    -     0K    16K WAIT    1  26:45 17.68% irq261: igb0
   53 root     -68    -     0K    16K WAIT    3  29:54 14.36% irq263: igb0
1096 root      98    0 51844K 25268K select  3  26:08 13.18% mpd5
   70 root     -68    -     0K    16K WAIT    3  10:37  5.08% irq272: igb1
  681 root      48    0 17836K  4984K select  0   0:35  4.88% zebra
   68 root     -68    -     0K    16K WAIT    2   8:30  3.96% irq271: igb1
   66 root     -68    -     0K    16K WAIT    1   6:24  3.76% irq270: igb1
   64 root     -68    -     0K    16K WAIT    0   7:35  3.66% irq269: igb1
   56 root     -68    -     0K    16K RUN     0   7:04  2.69% irq265: igb1
   39 root     -68    -     0K    16K RUN     0   3:49  1.46% irq256: igb0
1105 root      49    0 26764K  8100K select  0   1:34  0.88% snmpd

 

170-180 мбит, 22 Кпс, 900 пптп. Это через igb0/

Изменено 22 ноября, 2010 пользователем Zarin

[Giga-Byte]

немного не то, но тоже пойдет.

не вижу в интерраптах irq4, вывод точно полный? ОСь какая?

 

в интернете говорят скринсейвер надо выключить, если включен, но думаю на боевом сервере он не используется.

 

больше ничего сказать не могу.

[Zarin]

немного не то, но тоже пойдет.

не вижу в интерраптах irq4, вывод точно полный? ОСь какая?

 

в интернете говорят скринсейвер надо выключить, если включен, но думаю на боевом сервере он не используется.

 

больше ничего сказать не могу.

FreeBSD nas-pptp1. v 7.3-RELEASE-p3 FreeBSD 7.3-RELEASE-p3 #1: Sat Nov 20 13:23:49 VLAT 2010 root@nas-pptp1.:/usr/obj/usr/src/sys/NAS-PPTP amd64

 

Скрин сервера нет, irq4 нет в сусстате.

 

Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt    246 cow   40077 total
             24      434k  732 8165  32k 1002  659    266 zfod        atkbd0 1
                                                          ozfod     1 atapci0 6
20.1%Sys  22.9%Intr  2.1%User  0.0%Nice 54.9%Idle        %ozfod       acpi0 irq9
|    |    |    |    |    |    |    |    |    |    |       daefr       ohci0 ohci
==========+++++++++++>>                               421 prcfr       ata0 irq14
                                        24 dtbuf      776 totfr  2001 cpu0: time
Namei     Name-cache   Dir-cache    100000 desvn          react  5928 igb0 256
   Calls    hits   %    hits   %      1315 numvn          pdwak  2420 igb0 260
     468     464  99                   691 frevn          pdpgs  2449 igb0 261
                                                          intrn  2577 igb0 262
Disks   ad4                                        224160 wire   2628 igb0 263
KB/t  26.67                                         47036 act         igb0 264
tps       1                                         11604 inact  6145 igb1 265
MB/s   0.02                                           208 cache  2424 igb1 269
%busy     0                                       3760304 free   2483 igb1 270
                                                    80112 buf    2727 igb1 271
                                                                 2291 igb1 272
                                                                      igb1 273
                                                                 2001 cpu1: time
                                                                 2001 cpu3: time
                                                                 2001 cpu2: time

 

У меня есть подозрения на разделение прерываний между игб0 и 1, попробую подрезать очереди до 2х, чтобы распределились по ядрам. Может отпустит.

Интересен тот момент, что таймер временами отпускает, при небольшом падении или подъеме нагрузки.

Еще идеи есть ?

 

Не в 7.3 же дело или самом тазике.

Изменено 22 ноября, 2010 пользователем Zarin

[Zarin]

Уменьшение количества потоков проблему не решило. swi4 все также жрет ресурсы при повышении нагрузки.

 

Ну что, проблему никто не встречал ?

[Giga-Byte]

1. конфиг ядра покажите

2. список загруженых модулей ядра

3. используется последовательный порт для чего-либо?

4. машина одна? ребутнуться можно будет пару раз?

Изменено 23 ноября, 2010 пользователем Giga-Byte

[Zarin]

1. конфиг ядра покажите

2. список загруженых модулей ядра

3. используется последовательный порт для чего-либо?

4. машина одна? ребутнуться можно будет пару раз?

cpu        HAMMER
ident        NAS-PPTP

# To statically compile in device wiring instead of /boot/device.hints
#hints        "GENERIC.hints"        # Default places to look for devices.

makeoptions    DEBUG=-g        # Build kernel with gdb(1) debug symbols

options     SCHED_ULE        # ULE scheduler
options     PREEMPTION        # Enable kernel thread preemption
options     INET            # InterNETworking
#options     INET6            # IPv6 communications protocols
options     SCTP            # Stream Control Transmission Protocol 
options     FFS            # Berkeley Fast Filesystem
options     SOFTUPDATES        # Enable FFS soft updates support
options     UFS_ACL            # Support for access control lists
options     UFS_DIRHASH        # Improve performance on big directories
options     UFS_GJOURNAL        # Enable gjournal-based UFS journaling
options     MD_ROOT            # MD is a potential root device
options     NFSCLIENT        # Network Filesystem Client
options     NFSSERVER        # Network Filesystem Server
options     NFSLOCKD        # Network Lock Manager
options     NFS_ROOT        # NFS usable as /, requires NFSCLIENT
options     MSDOSFS            # MSDOS Filesystem
options     CD9660            # ISO 9660 Filesystem
options     PROCFS            # Process filesystem (requires PSEUDOFS)
options     PSEUDOFS        # Pseudo-filesystem framework
options     GEOM_PART_GPT        # GUID Partition Tables.
options     GEOM_LABEL        # Provides labelization
options     COMPAT_43TTY        # BSD 4.3 TTY compat [KEEP THIS!]
options     COMPAT_IA32        # Compatible with i386 binaries
options     COMPAT_FREEBSD4        # Compatible with FreeBSD4
options     COMPAT_FREEBSD5        # Compatible with FreeBSD5
options     COMPAT_FREEBSD6        # Compatible with FreeBSD6
options     SCSI_DELAY=5000        # Delay (in ms) before probing SCSI
options     KTRACE            # ktrace(1) support
options     STACK            # stack(9) support
options     SYSVSHM            # SYSV-style shared memory
options     SYSVMSG            # SYSV-style message queues
options     SYSVSEM            # SYSV-style semaphores
options     P1003_1B_SEMAPHORES    # POSIX-style semaphores
options     _KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions
options     KBD_INSTALL_CDEV    # install a CDEV entry in /dev
options     ADAPTIVE_GIANT        # Giant mutex is adaptive.
options     STOP_NMI        # Stop CPUS using NMI instead of IPI
options     AUDIT            # Security event auditing
#options     KDTRACE_FRAME        # Ensure frames are compiled in
#options     KDTRACE_HOOKS        # Kernel DTrace hooks
options     INCLUDE_CONFIG_FILE     # Include this file in kernel

# Make an SMP-capable kernel by default
options     SMP            # Symmetric MultiProcessor Kernel

# CPU frequency control
device        cpufreq

# Bus support.
device        acpi
device        pci

# Floppy drives
#device        fdc

# ATA and ATAPI devices
device        ata
device        atadisk        # ATA disk drives
device        ataraid        # ATA RAID drives
device        atapicd        # ATAPI CDROM drives
device        atapifd        # ATAPI floppy drives
device        atapist        # ATAPI tape drives
options     ATA_STATIC_ID    # Static device numbering

# SCSI Controllers
device        ahc        # AHA2940 and onboard AIC7xxx devices
options     AHC_REG_PRETTY_PRINT    # Print register bitfields in debug
                    # output.  Adds ~128k to driver.
device        ahd        # AHA39320/29320 and onboard AIC79xx devices
options     AHD_REG_PRETTY_PRINT    # Print register bitfields in debug
                    # output.  Adds ~215k to driver.
device        amd        # AMD 53C974 (Tekram DC-390(T))
device        hptiop        # Highpoint RocketRaid 3xxx series
device        isp        # Qlogic family
#device     ispfw        # Firmware for QLogic HBAs- normally a module
device        mpt        # LSI-Logic MPT-Fusion
#device        ncr        # NCR/Symbios Logic
device        sym        # NCR/Symbios Logic (newer chipsets + those of `ncr')
device        trm        # Tekram DC395U/UW/F DC315U adapters

device        adv        # Advansys SCSI adapters
device        adw        # Advansys wide SCSI adapters
device        aic        # Adaptec 15[012]x SCSI adapters, AIC-6[23]60.
device        bt        # Buslogic/Mylex MultiMaster SCSI adapters


# SCSI peripherals
device        scbus        # SCSI bus (required for SCSI)
#device        ch        # SCSI media changers
device        da        # Direct Access (disks)
device        sa        # Sequential Access (tape etc)
#device        cd        # CD
#device        pass        # Passthrough device (direct SCSI access)
#device        ses        # SCSI Environmental Services (and SAF-TE)

# RAID controllers interfaced to the SCSI subsystem
device        amr        # AMI MegaRAID
device        arcmsr        # Areca SATA II RAID
device        ciss        # Compaq Smart RAID 5*
device        dpt        # DPT Smartcache III, IV - See NOTES for options
device        hptmv        # Highpoint RocketRAID 182x
device        hptrr        # Highpoint RocketRAID 17xx, 22xx, 23xx, 25xx
device        iir        # Intel Integrated RAID
device        ips        # IBM (Adaptec) ServeRAID
device        mly        # Mylex AcceleRAID/eXtremeRAID
device        twa        # 3ware 9000 series PATA/SATA RAID

# RAID controllers
device        aac        # Adaptec FSA RAID
device        aacp        # SCSI passthrough for aac (requires CAM)
device        ida        # Compaq Smart RAID
device        mfi        # LSI MegaRAID SAS
device        mlx        # Mylex DAC960 family
#XXX pointer/int warnings
#device        pst        # Promise Supertrak SX6000
device        twe        # 3ware ATA RAID

# atkbdc0 controls both the keyboard and the PS/2 mouse
device        atkbdc        # AT keyboard controller
device        atkbd        # AT keyboard
device        psm        # PS/2 mouse

device        kbdmux        # keyboard multiplexer

device        vga        # VGA video card driver

device        splash        # Splash screen and screen saver support

# syscons is the default console driver, resembling an SCO console
device        sc

device        agp        # support several AGP chipsets

# PCCARD (PCMCIA) support
# PCMCIA and cardbus bridge support
device        cbb        # cardbus (yenta) bridge
device        pccard        # PC Card (16-bit) bus
device        cardbus        # CardBus (32-bit) bus

# Serial (COM) ports
device        sio        # 8250, 16[45]50 based serial ports
device        uart        # Generic UART driver

# Parallel port
device        ppc
device        ppbus        # Parallel port bus (required)
device        lpt        # Printer
device        plip        # TCP/IP over parallel
device        ppi        # Parallel port interface device
#device        vpo        # Requires scbus and da

# If you've got a "dumb" serial or parallel PCI card that is
# supported by the puc(4) glue driver, uncomment the following
# line to enable it (connects to sio, uart and/or ppc drivers):
#device        puc

# PCI Ethernet NICs.
#device        de        # DEC/Intel DC21x4x (``Tulip'')
device        em        # Intel PRO/1000 Gigabit Ethernet Family
#device        igb        # Intel PRO/1000 PCIE Server Gigabit Family
#device        ixgbe        # Intel PRO/10GbE PCIE Ethernet Family
#device        le        # AMD Am7900 LANCE and Am79C9xx PCnet
#device        txp        # 3Com 3cR990 (``Typhoon'')
#device        vx        # 3Com 3c590, 3c595 (``Vortex'')

# PCI Ethernet NICs that use the common MII bus controller code.
# NOTE: Be sure to keep the 'device miibus' line in order to use these NICs!
device        miibus        # MII bus support
#device        age        # Attansic/Atheros L1 Gigabit Ethernet
#device        alc        # Atheros AR8131/AR8132 Ethernet
#device        ale        # Atheros AR8121/AR8113/AR8114 Ethernet
device        bce        # Broadcom BCM5706/BCM5708 Gigabit Ethernet
device        bfe        # Broadcom BCM440x 10/100 Ethernet
device        bge        # Broadcom BCM570xx Gigabit Ethernet
#device        dc        # DEC/Intel 21143 and various workalikes
#device        et        # Agere ET1310 10/100/Gigabit Ethernet
#device        fxp        # Intel EtherExpress PRO/100B (82557, 82558)
#device        jme        # JMicron JMC250 Gigabit/JMC260 Fast Ethernet
#device        lge        # Level 1 LXT1001 gigabit Ethernet
#device        msk        # Marvell/SysKonnect Yukon II Gigabit Ethernet
#device        nfe        # nVidia nForce MCP on-board Ethernet
#device        nge        # NatSemi DP83820 gigabit Ethernet
#device        nve        # nVidia nForce MCP on-board Ethernet Networking
#device        pcn        # AMD Am79C97x PCI 10/100 (precedence over 'le')
#device        re        # RealTek 8139C+/8169/8169S/8110S
#device        rl        # RealTek 8129/8139
#device        sf        # Adaptec AIC-6915 (``Starfire'')
#device        sis        # Silicon Integrated Systems SiS 900/SiS 7016
#device        sk        # SysKonnect SK-984x & SK-982x gigabit Ethernet
#device        ste        # Sundance ST201 (D-Link DFE-550TX)
#device        ti        # Alteon Networks Tigon I/II gigabit Ethernet
#device        tl        # Texas Instruments ThunderLAN
#device        tx        # SMC EtherPower II (83c170 ``EPIC'')
#device        vge        # VIA VT612x gigabit Ethernet
#device        vr        # VIA Rhine, Rhine II
#device        wb        # Winbond W89C840F
#device        xl        # 3Com 3c90x (``Boomerang'', ``Cyclone'')

# ISA Ethernet NICs.  pccard NICs included.
device        cs        # Crystal Semiconductor CS89x0 NIC
# 'device ed' requires 'device miibus'
#device        ed        # NE[12]000, SMC Ultra, 3c503, DS8390 cards
#device        ex        # Intel EtherExpress Pro/10 and Pro/10+
#device        ep        # Etherlink III based cards
#device        fe        # Fujitsu MB8696x based cards
#device        sn        # SMC's 9000 series of Ethernet chips
#device        xe        # Xircom pccard Ethernet

# Wireless NIC cards
#device        wlan        # 802.11 support
#device        wlan_wep    # 802.11 WEP support
#device        wlan_ccmp    # 802.11 CCMP support
#device        wlan_tkip    # 802.11 TKIP support
#device        wlan_amrr    # AMRR transmit rate control algorithm
#device        wlan_scan_ap    # 802.11 AP mode scanning
#device        wlan_scan_sta    # 802.11 STA mode scanning
#device        an        # Aironet 4500/4800 802.11 wireless NICs.
#device        ath        # Atheros pci/cardbus NIC's
#device        ath_hal        # Atheros HAL (Hardware Access Layer)
#options        AH_SUPPORT_AR5416    # enable AR5416 tx/rx descriptors
#device        ath_rate_sample    # SampleRate tx rate control for ath
#device        awi        # BayStack 660 and others
#device        ral        # Ralink Technology RT2500 wireless NICs.
#device        wi        # WaveLAN/Intersil/Symbol 802.11 wireless NICs.

# Pseudo devices.
device        loop        # Network loopback
device        random        # Entropy device
device        ether        # Ethernet support
device        vlan        # 802.1Q VLAN support
device        sl        # Kernel SLIP
device        ppp        # Kernel PPP
device        tun        # Packet tunnel.
device        pty        # Pseudo-ttys (telnet etc)
device        md        # Memory "disks"
device        gif        # IPv6 and IPv4 tunneling
device        faith        # IPv6-to-IPv4 relaying (translation)
device        firmware    # firmware assist module

# The `bpf' device enables the Berkeley Packet Filter.
# Be aware of the administrative consequences of enabling this!
# Note that 'bpf' is required for DHCP.
device        bpf        # Berkeley packet filter

# USB support
device        uhci        # UHCI PCI->USB interface
device        ohci        # OHCI PCI->USB interface
device        ehci        # EHCI PCI->USB interface (USB 2.0)
device        usb        # USB Bus (required)
#device        udbp        # USB Double Bulk Pipe devices
device        ugen        # Generic
device        uhid        # "Human Interface Devices"
device        ukbd        # Keyboard
device        ulpt        # Printer
device        umass        # Disks/Mass storage - Requires scbus and da
device        ums        # Mouse
device        urio        # Diamond Rio 500 MP3 player
device        uscanner    # Scanners
# USB Serial devices
device        ucom        # Generic com ttys
device        uark        # Technologies ARK3116 based serial adapters
device        ubsa        # Belkin F5U103 and compatible serial adapters
device        ubser        # BWCT console serial adapters
device        uftdi        # For FTDI usb serial adapters
device        uipaq        # Some WinCE based devices
device        uplcom        # Prolific PL-2303 serial adapters
device        uslcom        # SI Labs CP2101/CP2102 serial adapters
device        uvisor        # Visor and Palm devices
device        uvscom        # USB serial support for DDI pocket's PHS
# USB Ethernet, requires miibus
#device        aue        # ADMtek USB Ethernet
#device        axe        # ASIX Electronics USB Ethernet
#device        cdce        # Generic USB over Ethernet
#device        cue        # CATC USB Ethernet
#device        kue        # Kawasaki LSI USB Ethernet
#device        rue        # RealTek RTL8150 USB Ethernet
# USB Wireless
#device        rum        # Ralink Technology RT2501USB wireless NICs
#device        ural        # Ralink Technology RT2500USB wireless NICs

# FireWire support
#device        firewire    # FireWire bus code
#device        sbp        # SCSI over FireWire (Requires scbus and da)
#device        fwe        # Ethernet over FireWire (non-standard!)
#device        fwip        # IP over FireWire (RFC 2734,3146)
#device        dcons        # Dumb console driver
#device        dcons_crom    # Configuration ROM for dcons
                                                                                                                                                   

########################################################

#options         IPFIREWALL
#options         LIBALIAS  
#options         IPFIREWALL_VERBOSE
#options         IPFIREWALL_VERBOSE_LIMIT=10
#options         IPFIREWALL_FORWARD         
#options         IPFIREWALL_DEFAULT_TO_ACCEPT
#options         DUMMYNET                   
#options         IPFIREWALL_NAT             
#options         IPDIVERT                   
options         HZ=500                                                 

# Polling
#options         DEVICE_POLLING
                              
#options         ALTQ         
#options         ALTQ_CBQ     
#options         ALTQ_RED
#options         ALTQ_RIO
#options         ALTQ_HFSC
#options         ALTQ_CDNR
#options         ALTQ_PRIQ
#options         ALTQ_NOPCC

options         NETGRAPH                #any
options         NETGRAPH_PPP            #mpd
options         NETGRAPH_PPTPGRE        #mpd
options         NETGRAPH_PPPOE          #mpd
#options         NETGRAPH_IPFW
options         NETGRAPH_ETHER          #mpd
options         NETGRAPH_NAT            #mpd
options         NETGRAPH_NETFLOW        #mpd
options         NETGRAPH_SPLIT          #netflow
options         NETGRAPH_KSOCKET        #mpd,netflow
options         NETGRAPH_SOCKET         #mpd
options         NETGRAPH_BPF            #mpd
options         NETGRAPH_IFACE          #mpd,netflow
#options         NETGRAPH_MPPC_ENCRYPTION  #mpd
#options         NETGRAPH_MPPC_COMPRESSION #mpd
options         NETGRAPH_TCPMSS         #mpd
options         NETGRAPH_VJC            #mpd
#options         NETGRAPH_CISCO
#options         NETGRAPH_ECHO
#options         NETGRAPH_FRAME_RELAY
#options         NETGRAPH_HOLE
#options         NETGRAPH_LMI
#options         NETGRAPH_RFC1490
options         NETGRAPH_TTY            #mpd
options         NETGRAPH_ASYNC          #mpd
options         NETGRAPH_L2TP           # mpd
options         NETGRAPH_TEE            #mpd
#options         NETGRAPH_UI
options         NETGRAPH_CAR            #mpd
options         NETGRAPH_DEFLATE        #mpd
options         NETGRAPH_PRED1          #mpd

options         PANIC_REBOOT_WAIT_TIME=13
options         SC_DISABLE_REBOOT

options        ROUTETABLES=5

 

Ядро еще будет пилится на предмет лишнего. Серийные порты не используются. Но вот вклчены ли в биосе, я не помню.

 

Id Refs Address            Size     Name
1   10 0xffffffff80100000 9ac1d0   kernel
2    1 0xffffffff80aad000 f328     ipmi.ko
3    2 0xffffffff80abd000 24b8     smbus.ko
4    1 0xffffffff80ac0000 21f60    if_igb.ko
5    1 0xffffffff80c22000 1912     ng_mppc.ko
6    1 0xffffffff80c24000 247      rc4.ko

 

Ребутнуть можно будет. )

 

 

[Deac]

Хмм, а где у тебя "device apic"?

И "HZ=500" - явно маловато, здесь напрашивается мин. HZ=2000

 

И ещё, а как ты "options SCTP" собрал без "options INET6"?

Изменено 23 ноября, 2010 пользователем Deac

[Giga-Byte]

1. если ipmi с smbus выгрузить, нагрузка спадёт на sio?

2. покажите лог ядра во время загрузки ОС

3. про apic не забудьте.

[Zarin]

Хмм, а где у тебя "device apic"?

И "HZ=500" - явно маловато, здесь напрашивается мин. HZ=2000

 

И ещё, а как ты "options SCTP" собрал без "options INET6"?

apic только на i386, у меня amd64 собрана. В генерике его нет, да и в хендбук помнится когда-то давно не рекомендовали, его заталкивать.

Поправте, если не прав :D

 

при HZ=2000, swi4 убивает машину раза в 2-3 быстрее. На машине нет поллинга или даминета, так что проблем в работе всего остального не заметил.

 

P.S отключил в биосе серийные порты, пока наблюдаю. 120-130 мбит, полет нормальный.

Изменено 23 ноября, 2010 пользователем Zarin

[Deac]

apic для всего, не рекомендуется только если вызывает проблемы.

может быть отключено опцией hint.apic.0.disabled="1" без пересборки ядра.

Даже если вызывает проблемы, оказывается есть патч http://people.freebsd.org/~peter/hammer.diff

Правда сам не пробовал, т.к. пока проблем не испытывал.

 

И про SCTP без INET6 поподробней.

Изменено 23 ноября, 2010 пользователем Deac

[Zarin]

apic для всего, не рекомендуется только если вызывает проблемы.

может быть отключено опцией hint.apic.0.disabled="1" без пересборки ядра.

Даже если вызывает проблемы, оказывается есть патч http://people.freebsd.org/~peter/hammer.diff

Правда сам не пробовал, т.к. пока проблем не испытывал.

 

И про SCTP без INET6 поподробней.

"[20080307] The FreeBSD implementation of SCTP currently depends on having INET6 support compiled into the kernel. This requirement is planned to be removed in future releases. "

http://www.freebsd.org/releases/7.0R/errata.html тут.

Убрал INET6, как-то даже внимание не заострял, Вы напомнили :) (у меня 7.3-release-p3)

 

APIC попробую добавить, посмотрим, что выйдет.

[Deac]

То то и оно, что у меня без INET6 не собирается. :(

[Ivan_83]

cpu HAMMER

ident NAS-PPTP

Выкинуть всё с ядра.

Загружать всё что можно и нужно модулями.

Исключение только для ата и скази модулей - они всё равно всегда нужны и не зависят от железа.

 

 

### Rozhuk Ivan 2009.12 - 2010
### RIM kernel configuration file for FreeBSD/AMD64
### warning: all modules loaded by loader!



##############################################################
###  Text marks  #############################################
##############################################################
#! - critical, cant be excluded
#a - autoload
#b - only build in to kernel, no module
#B - build in to kernel, but can be loaded as module
#d - default, see DEFAULTS -- Default kernel configuration file for FreeBSD
#m - can be loaded as module
#o - option



##############################################################
###  Config  #################################################
##############################################################
profile    2            # We want LINT to cover profiling as well.

machine    amd64
cpu        HAMMER
ident        RIMx64
options     INCLUDE_CONFIG_FILE    #o Include this file in kernel


options     SCHED_ULE        #b ULE scheduler
#options     PREEMPTION        #b Enable kernel thread preemption
options     INET            #!b InterNETworking
#options     INET6            #b IPv6 communications protocols
options     FFS            #!b Berkeley Fast Filesystem
options     SOFTUPDATES        #b Enable FFS soft updates support
options     UFS_ACL        #b Support for access control lists
options     UFS_DIRHASH        #b Improve performance on big directories
options     UFS_GJOURNAL        #b Enable gjournal-based UFS journaling
#options     MD_ROOT        #b MD is a potential root device
#options     GEOM_PART_BSD        #md adds support for the traditional BSD disklabel
#options     GEOM_PART_EBR        #md Extended Boot Records
#options     GEOM_PART_EBR_COMPAT    #md Backward compatible partition names
#options     GEOM_PART_MBR        #md support for the Master Boot Record found on PCs and used on many removable media
options     GEOM_PART_GPT        #md GUID Partition Tables.
options     GEOM_LABEL        #m Provides labelization
#options     COMPAT_43TTY        #o BSD 4.3 TTY compat [KEEP THIS!]
options     _KPOSIX_PRIORITY_SCHEDULING #b POSIX P1003_1B real-time extensions
#options     ADAPTIVE_GIANT    #b Giant mutex is adaptive.
#options    ADAPTIVE_LOCKMGRS    #b Adaptive spining in lockmgr
#options     AUDIT            #b Security event auditing
#options    FLOWTABLE        #o per-cpu routing cache
#options     KSTACK_PAGES=3    #o Num of mem pages to assign to the kernel stack of each thread

# To make an SMP kernel, the next line are needed
options     SMP            #b Symmetric MultiProcessor Kernel
#options     IPI_PREEMPTION    #o instructs the kernel to preempt threads running on other CPUS if needed. Required PREEMPTION option
#device    atpic            #b Optional legacy pic support
#device    mptable        #b Optional MPSPEC mptable support


#options     DEVICE_POLLING    #o
#options    HZ=1000        #o



# Bus support.
device        acpi            #m ACPI; not exist as module on x64
#device    isa            #!bd ISA bus
device        pci            #!b only built-in
# System Management Bus (SMB)
options     ENABLE_ALART        #o Control alarm on Intel intpm driver


# ATA and ATAPI devices
device        atacore        #m ATA support
options     ATA_STATIC_ID        #o Static device numbering
options    ATA_CAM        #o NCQ support / req: scbus


# SCSI peripherals / cam.ko
device        scbus            #m SCSI bus (required for SCSI)
device        da            #m Direct Access (disks)
device        pass            #m Passthrough device (direct SCSI access)
device        cd            #m CD


# atkbdc0 controls both the keyboard and the PS/2 mouse
device        atkbdc            #!b AT keyboard controller
device        atkbd            #!b AT keyboard

device        vga            #!b VGA video card driver
#options    VGA_WIDTH90        #o support 90 column modes
options     VGA_NO_FONT_LOADING    #o don't save/load font / save some memory
options     VGA_NO_MODE_CHANGE    #o don't change video modes / save some memory

device        sc            #!b syscons is the default console driver, resembling an SCO console
#options    SC_PIXEL_MODE        #o add support for the raster text mode
#options    SC_MOUSE_CHAR=0x3    #o 
options     SC_DISABLE_REBOOT     #o ignory ctl-alt-del
options    SC_DISABLE_KDBKEY    #o disable `debug' key
options    SC_HISTORY_SIZE=8192    #o 
options     SC_NORM_ATTR        =(FG_GREEN|BG_BLACK) # see /usr/src/sys/i386/include/pc/display.h
options     SC_NORM_REV_ATTR    =(FG_YELLOW|BG_GREEN)
options     SC_KERNEL_CONS_ATTR    =(FG_YELLOW|BG_BLACK)
options     SC_KERNEL_CONS_REV_ATTR=(FG_BLACK|BG_CYAN)
#options    TEKEN_UTF8        #o (9.x+) UTF-8 in console
#options    TEKEN_XTERM        #o (9.x+) UTF-8 in console

device        splash            #b Splash screen and screen saver support


# Pseudo devices
#device    mem            #!bd Memory and kernel memory devices
#device    io            #!bd I/O device
device        loop            #!b Network loopback
device        ether            #!b Ethernet support
device        pty            #!b Pseudo-ttys (telnet etc) # only built-in
#device    enc            #b IPsec interface
device        bpf            #b Berkeley packet filter, required for DHCP


# ALTQ for pf: only built-in
options    ALTQ            #b
options    ALTQ_CBQ        #b Class Bases Queuing (CBQ)
options    ALTQ_RED        #b Random Early Detection (RED)
options    ALTQ_RIO        #b RED In/Out
options    ALTQ_HFSC        #b Hierarchical Packet Scheduler (HFSC)
options    ALTQ_PRIQ        #b Priority Queuing (PRIQ)
options    ALTQ_NOPCC        #b Required for SMP build
#options    ALTQ_DEBUG


#options    IPSEC            #b IP security
#options    IPSEC_ESP        #b IP security (crypto; define w/ IPSEC)
#options    IPSEC_DEBUG        #b debug for IP security
#options    IPSEC_FILTERGIF    #b filter ipsec packets from a tunnel
#options    FAST_IPSEC        #b new IPsec (cannot define w/ IPSEC)

#options    RADIX_MPATH        #o (8.0+) Support for ECMP. >1 route for dst. Works even with default route, can use it as LB for two ISP
#options    IPSTEALTH        #o support for stealth forwarding
#options    TCPDEBUG        #o
#options    TCP_SIGNATURE        #o include support for RFC 2385 (Protection of BGP Sessions via the TCP MD5 Signature Option), dev crypto reqyired
options    ZERO_COPY_SOCKETS    #o

 

 

"[20080307] The FreeBSD implementation of SCTP currently depends on having INET6 support compiled into the kernel. This requirement is planned to be removed in future releases. "

http://www.freebsd.org/releases/7.0R/errata.html тут.

Убрал INET6, как-то даже внимание не заострял, Вы напомнили :) (у меня 7.3-release-p3)

То то и оно, что у меня без INET6 не собирается. :(

Уже 3 года прошло.

Уже 9.0 на носу.

До IPv6 я где нибудь в районе НГ может доберусь :)

[Deac]

Цитата(Zarin @ 23.11.2010, 18:05) *

"[20080307] The FreeBSD implementation of SCTP currently depends on having INET6 support compiled into the kernel. This requirement is planned to be removed in future releases. "

http://www.freebsd.org/releases/7.0R/errata.html тут.

Убрал INET6, как-то даже внимание не заострял, Вы напомнили :) (у меня 7.3-release-p3)

 

Цитата(Deac @ 23.11.2010, 18:11) *

То то и оно, что у меня без INET6 не собирается. :(

 

Уже 3 года прошло.

Уже 9.0 на носу.

До IPv6 я где нибудь в районе НГ может доберусь :)

После очередного обновления - собралось без INET6

 

[fozz]

Имеется некий NAS, в на нем стоит карточка с дровами igb, крутится оспфд и мпд.

Наблюдается странная картина, вместе с ростом нагрузки на исходящий интерфейс, начинает жрать swi4: clock sio. Не могу не как найти концов.

было такое. отключил в биосе COM-порты, проблема ушла.

 

[madint]

попробуй на другой сетевой, igb это то еще гэ

[Giga-Byte]

madint, не пиши бред.

сетевая тут ниприем. особено не использующая Legacy-Interrupts.

[madint]

Cетевая может и не причем, а дрова причем. Что в 7.2, что в 8.0 работают они весьма криво - проверено. По крайней мере попробовать нечто другое ничего не мешает, я так щщитаю.

Изменено 1 декабря, 2010 пользователем madint

[Giga-Byte]

Cетевая может и не причем, а дрова причем. Что в 7.2, что в 8.0 работают они весьма криво - проверено. По крайней мере попробовать нечто другое ничего не мешает, я так щщитаю.

они может для провайдинга и не годятся, но на счет кривые - приведите пример!

 

другое что? что можно купить в Москве допустим, и докажите что там дрова не кривые

 

у меня вот есть пара десктопных машин на матерях P5Q-SE, там сетевой контроллер Atheros чип не помню:

http://www.freebsd.org/cgi/man.cgi?query=a...amp;format=html

 

[Ainy]

гм.. я бы перво наперво дебаг из ядра убрал бы.

потом преемпшн убрал и поставил HZ=100

еще отрубить драйвер sio и вырубить порты в биосе. но это уже последним вариантом.

еще юсб непонятно зачем на сервере.. но это так - "на скорость не влияет"

 

 

[Giga-Byte]

гм.. я бы перво наперво дебаг из ядра убрал бы.

нуну, и тупо вывести красную кнопку на стол админа, если что - нажал, релюшка щёлкнула, сервер ребутнулся

потом преемпшн убрал и поставил HZ=100

зачем? опишите ваш опыт, приведите аргументы, пустые слова.

еще отрубить драйвер sio и вырубить порты в биосе. но это уже последним вариантом.

см первый абзац

еще юсб непонятно зачем на сервере.. но это так - "на скорость не влияет"

про перенос системы на USB флэшки и дохнувшие винты не слышали?

[Ainy]

ребутнется он сам, в случае паника. и в логе напишет чегонить. а бектрейсы собирать на продакшн сервере не есть необходимость. тестить софт можно на чем-нибудь другом.

наличие дебага в ядре тормозит работу в разы, увеличивает объем потребляемой памяти, ухудшает тайминг в преемпшн.

мой опыт - это фря с версии 2.1 и с того же времени основная работа - установка и поддержка продакшн серверов вплоть до 2006-го года, когда я из tier 1 ISP ушел в разработчики.

терминация PPTP - тут высокий гранулярити таймера не нужен, только нагрузку увеличивает на проц.

про USB флешки - это в кино таких снимают админов?

про SSD и RAID1 не слышали? Продакшн сервер с USB2 работать не может. Дохнущие винты детектятся смартом и заменяются хотсвапом. и чаще дохнут блоки питания (меняются так же).

если вы свой домашний роутер называете сервером, то ваш опыт мало применим.

На P5Q - Attansic (Atheros их купил) кривое убоище. я даже на дескторе отключаю сразу. Реалтек гигабитный и то ровнее (но тоже гадость редкая).

 

 

[Giga-Byte]

а бектрейсы собирать на продакшн сервере не есть необходимость. тестить софт можно на чем-нибудь другом.

сомневаюсь, есть какраз проблемы в софте, которые вылазят не сразу.

наличие дебага в ядре тормозит работу в разы, увеличивает объем потребляемой памяти, ухудшает тайминг в преемпшн.

прошу указать версию ОС и железо, на котором это было замечено.

про USB флешки - это в кино таких снимают админов?

про SSD и RAID1 не слышали? Продакшн сервер с USB2 работать не может. Дохнущие винты детектятся смартом и заменяются хотсвапом. и чаще дохнут блоки питания (меняются так же).

согласен, простите погорячился.