Zarin Posted November 22, 2010 (edited) · Report post Имеется некий NAS, в на нем стоит карточка с дровами igb, крутится оспфд и мпд. Наблюдается странная картина, вместе с ростом нагрузки на исходящий интерфейс, начинает жрать swi4: clock sio. Не могу не как найти концов. в лоадере. ipmi_load="YES" if_igb_load="YES" hw.igb.rxd=2048 hw.igb.txd=2048 hw.igb.rx_process_limit=1024 hw.igb.num_queues=0 hw.igb.lro=0 hw.igb.fc_setting=0 hw.igb.enable_aim=1 hw.igb.low_latency=500 hw.igb.ave_latency=1000 hw.igb.bulk_latency=2500 kern.hz=1000 в сусктл. kern.ipc.maxsockbuf=8388608 net.graph.recvspace=256000 net.graph.maxdgram=256000 net.graph.mppe_max_rekey=1000000 #net.inet.ip.fw.verbose=1 #net.inet.ip.fw.verbose_limit=10 net.inet.ip.intr_queue_maxlen=4096 net.inet.tcp.rfc1323=1 net.inet.tcp.sendspace=78840 net.inet.tcp.recvspace=78840 net.inet.udp.recvspace=78840 net.inet.udp.maxdgram=57344 net.inet.tcp.delayed_ack=1 net.inet.tcp.delacktime=100 net.local.stream.sendspace=82320 net.local.stream.recvspace=82320 net.inet.tcp.local_slowstart_flightsize=10 net.inet.tcp.nolocaltimewait=1 net.inet.tcp.hostcache.expire=3900 net.inet.tcp.hostcache.expire=3900 net.inet.tcp.slowstart_flightsize=54 net.inet.tcp.inflight.enable=1 net.inet.tcp.inflight.min=6144 net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 kern.maxfiles=24656 kern.maxfilesperproc=22190 net.inet.ip.fastforwarding=1 Это при 60-70 мбитах, 4-5 Кпс, около 300 пптп сессий. PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 12 root 171 ki31 0K 16K CPU2 2 29:14 97.56% idle: cpu2 13 root 171 ki31 0K 16K CPU1 1 28:54 96.09% idle: cpu1 11 root 171 ki31 0K 16K RUN 3 29:16 91.70% idle: cpu3 14 root 171 ki31 0K 16K CPU0 0 27:53 90.38% idle: cpu0 16 root -32 - 0K 16K WAIT 1 1:37 5.96% swi4: clock sio 47 root -68 - 0K 16K WAIT 0 0:40 3.86% irq260: igb0 2 root -68 - 0K 16K sleep 0 0:49 3.37% ng_queue0 4 root -68 - 0K 16K sleep 1 0:49 3.27% ng_queue2 5 root -68 - 0K 16K sleep 0 0:49 3.27% ng_queue3 3 root -68 - 0K 16K sleep 0 0:49 3.17% ng_queue1 49 root -68 - 0K 16K CPU1 1 0:36 3.08% irq261: igb0 51 root -68 - 0K 16K CPU2 2 0:34 2.98% irq262: igb0 53 root -68 - 0K 16K WAIT 3 0:38 2.69% irq263: igb0 Прошу помощи ) сам дойти до решения немогу ) Спасибо. P.S Процессоры старые Opteron по 2 ядра. (2ГГц) Edited November 22, 2010 by Zarin Share this post Link to post Share on other sites
Giga-Byte Posted November 22, 2010 · Report post systat -v справа колонка interrupts, покажите. в машине нету других активных адаптеров кроме igb ? Share this post Link to post Share on other sites
Zarin Posted November 22, 2010 (edited) · Report post systat -vсправа колонка interrupts, покажите. в машине нету других активных адаптеров кроме igb ? interrupt total rate irq1: atkbd0 18 0 irq6: atapci0 21831 1 irq9: acpi0 1 0 irq11: ohci0 ohci1+ 9 0 irq14: ata0 58 0 cpu0: timer 35011771 1999 irq256: igb0 88663743 5064 irq260: igb0 37172162 2123 irq261: igb0 36278732 2072 irq262: igb0 37287323 2129 irq263: igb0 37272126 2128 irq264: igb0 4 0 irq265: igb1 93615790 5347 irq269: igb1 35801616 2044 irq270: igb1 30732025 1755 irq271: igb1 35052810 2002 irq272: igb1 40925226 2337 irq273: igb1 6 0 cpu1: timer 35011703 1999 cpu3: timer 35011725 1999 cpu2: timer 35011772 1999 Total 612870451 35007 В машине стоит 4 портовая интел про1000. vendor = 'Intel Corporation' device = '82575GB Gigabit Network Connection' class = network subclass = ethernet Используются только 2 интерфейса, больше активных нет. Встроеные броадкомы отключены в биосе. Картина сейчас: 13 root 171 ki31 0K 16K RUN 1 186:31 49.27% idle: cpu1 14 root 171 ki31 0K 16K RUN 0 168:37 43.80% idle: cpu0 12 root 171 ki31 0K 16K RUN 2 189:59 43.36% idle: cpu2 11 root 171 ki31 0K 16K RUN 3 193:48 29.59% idle: cpu3 16 root -32 - 0K 16K RUN 2 61:50 26.07% swi4: clock sio 4 root -68 - 0K 16K RUN 3 43:40 21.68% ng_queue2 3 root -68 - 0K 16K CPU3 3 43:33 21.68% ng_queue1 2 root -68 - 0K 16K RUN 3 43:30 21.58% ng_queue0 5 root -68 - 0K 16K RUN 1 43:27 21.09% ng_queue3 51 root -68 - 0K 16K WAIT 2 31:12 19.29% irq262: igb0 47 root -68 - 0K 16K CPU0 0 30:22 17.68% irq260: igb0 49 root -68 - 0K 16K WAIT 1 26:45 17.68% irq261: igb0 53 root -68 - 0K 16K WAIT 3 29:54 14.36% irq263: igb0 1096 root 98 0 51844K 25268K select 3 26:08 13.18% mpd5 70 root -68 - 0K 16K WAIT 3 10:37 5.08% irq272: igb1 681 root 48 0 17836K 4984K select 0 0:35 4.88% zebra 68 root -68 - 0K 16K WAIT 2 8:30 3.96% irq271: igb1 66 root -68 - 0K 16K WAIT 1 6:24 3.76% irq270: igb1 64 root -68 - 0K 16K WAIT 0 7:35 3.66% irq269: igb1 56 root -68 - 0K 16K RUN 0 7:04 2.69% irq265: igb1 39 root -68 - 0K 16K RUN 0 3:49 1.46% irq256: igb0 1105 root 49 0 26764K 8100K select 0 1:34 0.88% snmpd 170-180 мбит, 22 Кпс, 900 пптп. Это через igb0/ Edited November 22, 2010 by Zarin Share this post Link to post Share on other sites
Giga-Byte Posted November 22, 2010 · Report post немного не то, но тоже пойдет. не вижу в интерраптах irq4, вывод точно полный? ОСь какая? в интернете говорят скринсейвер надо выключить, если включен, но думаю на боевом сервере он не используется. больше ничего сказать не могу. Share this post Link to post Share on other sites
Zarin Posted November 22, 2010 (edited) · Report post немного не то, но тоже пойдет.не вижу в интерраптах irq4, вывод точно полный? ОСь какая? в интернете говорят скринсейвер надо выключить, если включен, но думаю на боевом сервере он не используется. больше ничего сказать не могу. FreeBSD nas-pptp1. v 7.3-RELEASE-p3 FreeBSD 7.3-RELEASE-p3 #1: Sat Nov 20 13:23:49 VLAT 2010 root@nas-pptp1.:/usr/obj/usr/src/sys/NAS-PPTP amd64 Скрин сервера нет, irq4 нет в сусстате. Proc: Interrupts r p d s w Csw Trp Sys Int Sof Flt 246 cow 40077 total 24 434k 732 8165 32k 1002 659 266 zfod atkbd0 1 ozfod 1 atapci0 6 20.1%Sys 22.9%Intr 2.1%User 0.0%Nice 54.9%Idle %ozfod acpi0 irq9 | | | | | | | | | | | daefr ohci0 ohci ==========+++++++++++>> 421 prcfr ata0 irq14 24 dtbuf 776 totfr 2001 cpu0: time Namei Name-cache Dir-cache 100000 desvn react 5928 igb0 256 Calls hits % hits % 1315 numvn pdwak 2420 igb0 260 468 464 99 691 frevn pdpgs 2449 igb0 261 intrn 2577 igb0 262 Disks ad4 224160 wire 2628 igb0 263 KB/t 26.67 47036 act igb0 264 tps 1 11604 inact 6145 igb1 265 MB/s 0.02 208 cache 2424 igb1 269 %busy 0 3760304 free 2483 igb1 270 80112 buf 2727 igb1 271 2291 igb1 272 igb1 273 2001 cpu1: time 2001 cpu3: time 2001 cpu2: time У меня есть подозрения на разделение прерываний между игб0 и 1, попробую подрезать очереди до 2х, чтобы распределились по ядрам. Может отпустит. Интересен тот момент, что таймер временами отпускает, при небольшом падении или подъеме нагрузки. Еще идеи есть ? Не в 7.3 же дело или самом тазике. Edited November 22, 2010 by Zarin Share this post Link to post Share on other sites
Zarin Posted November 23, 2010 · Report post Уменьшение количества потоков проблему не решило. swi4 все также жрет ресурсы при повышении нагрузки. Ну что, проблему никто не встречал ? Share this post Link to post Share on other sites
Giga-Byte Posted November 23, 2010 (edited) · Report post 1. конфиг ядра покажите 2. список загруженых модулей ядра 3. используется последовательный порт для чего-либо? 4. машина одна? ребутнуться можно будет пару раз? Edited November 23, 2010 by Giga-Byte Share this post Link to post Share on other sites
Zarin Posted November 23, 2010 · Report post 1. конфиг ядра покажите2. список загруженых модулей ядра 3. используется последовательный порт для чего-либо? 4. машина одна? ребутнуться можно будет пару раз? cpu HAMMER ident NAS-PPTP # To statically compile in device wiring instead of /boot/device.hints #hints "GENERIC.hints" # Default places to look for devices. makeoptions DEBUG=-g # Build kernel with gdb(1) debug symbols options SCHED_ULE # ULE scheduler options PREEMPTION # Enable kernel thread preemption options INET # InterNETworking #options INET6 # IPv6 communications protocols options SCTP # Stream Control Transmission Protocol options FFS # Berkeley Fast Filesystem options SOFTUPDATES # Enable FFS soft updates support options UFS_ACL # Support for access control lists options UFS_DIRHASH # Improve performance on big directories options UFS_GJOURNAL # Enable gjournal-based UFS journaling options MD_ROOT # MD is a potential root device options NFSCLIENT # Network Filesystem Client options NFSSERVER # Network Filesystem Server options NFSLOCKD # Network Lock Manager options NFS_ROOT # NFS usable as /, requires NFSCLIENT options MSDOSFS # MSDOS Filesystem options CD9660 # ISO 9660 Filesystem options PROCFS # Process filesystem (requires PSEUDOFS) options PSEUDOFS # Pseudo-filesystem framework options GEOM_PART_GPT # GUID Partition Tables. options GEOM_LABEL # Provides labelization options COMPAT_43TTY # BSD 4.3 TTY compat [KEEP THIS!] options COMPAT_IA32 # Compatible with i386 binaries options COMPAT_FREEBSD4 # Compatible with FreeBSD4 options COMPAT_FREEBSD5 # Compatible with FreeBSD5 options COMPAT_FREEBSD6 # Compatible with FreeBSD6 options SCSI_DELAY=5000 # Delay (in ms) before probing SCSI options KTRACE # ktrace(1) support options STACK # stack(9) support options SYSVSHM # SYSV-style shared memory options SYSVMSG # SYSV-style message queues options SYSVSEM # SYSV-style semaphores options P1003_1B_SEMAPHORES # POSIX-style semaphores options _KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions options KBD_INSTALL_CDEV # install a CDEV entry in /dev options ADAPTIVE_GIANT # Giant mutex is adaptive. options STOP_NMI # Stop CPUS using NMI instead of IPI options AUDIT # Security event auditing #options KDTRACE_FRAME # Ensure frames are compiled in #options KDTRACE_HOOKS # Kernel DTrace hooks options INCLUDE_CONFIG_FILE # Include this file in kernel # Make an SMP-capable kernel by default options SMP # Symmetric MultiProcessor Kernel # CPU frequency control device cpufreq # Bus support. device acpi device pci # Floppy drives #device fdc # ATA and ATAPI devices device ata device atadisk # ATA disk drives device ataraid # ATA RAID drives device atapicd # ATAPI CDROM drives device atapifd # ATAPI floppy drives device atapist # ATAPI tape drives options ATA_STATIC_ID # Static device numbering # SCSI Controllers device ahc # AHA2940 and onboard AIC7xxx devices options AHC_REG_PRETTY_PRINT # Print register bitfields in debug # output. Adds ~128k to driver. device ahd # AHA39320/29320 and onboard AIC79xx devices options AHD_REG_PRETTY_PRINT # Print register bitfields in debug # output. Adds ~215k to driver. device amd # AMD 53C974 (Tekram DC-390(T)) device hptiop # Highpoint RocketRaid 3xxx series device isp # Qlogic family #device ispfw # Firmware for QLogic HBAs- normally a module device mpt # LSI-Logic MPT-Fusion #device ncr # NCR/Symbios Logic device sym # NCR/Symbios Logic (newer chipsets + those of `ncr') device trm # Tekram DC395U/UW/F DC315U adapters device adv # Advansys SCSI adapters device adw # Advansys wide SCSI adapters device aic # Adaptec 15[012]x SCSI adapters, AIC-6[23]60. device bt # Buslogic/Mylex MultiMaster SCSI adapters # SCSI peripherals device scbus # SCSI bus (required for SCSI) #device ch # SCSI media changers device da # Direct Access (disks) device sa # Sequential Access (tape etc) #device cd # CD #device pass # Passthrough device (direct SCSI access) #device ses # SCSI Environmental Services (and SAF-TE) # RAID controllers interfaced to the SCSI subsystem device amr # AMI MegaRAID device arcmsr # Areca SATA II RAID device ciss # Compaq Smart RAID 5* device dpt # DPT Smartcache III, IV - See NOTES for options device hptmv # Highpoint RocketRAID 182x device hptrr # Highpoint RocketRAID 17xx, 22xx, 23xx, 25xx device iir # Intel Integrated RAID device ips # IBM (Adaptec) ServeRAID device mly # Mylex AcceleRAID/eXtremeRAID device twa # 3ware 9000 series PATA/SATA RAID # RAID controllers device aac # Adaptec FSA RAID device aacp # SCSI passthrough for aac (requires CAM) device ida # Compaq Smart RAID device mfi # LSI MegaRAID SAS device mlx # Mylex DAC960 family #XXX pointer/int warnings #device pst # Promise Supertrak SX6000 device twe # 3ware ATA RAID # atkbdc0 controls both the keyboard and the PS/2 mouse device atkbdc # AT keyboard controller device atkbd # AT keyboard device psm # PS/2 mouse device kbdmux # keyboard multiplexer device vga # VGA video card driver device splash # Splash screen and screen saver support # syscons is the default console driver, resembling an SCO console device sc device agp # support several AGP chipsets # PCCARD (PCMCIA) support # PCMCIA and cardbus bridge support device cbb # cardbus (yenta) bridge device pccard # PC Card (16-bit) bus device cardbus # CardBus (32-bit) bus # Serial (COM) ports device sio # 8250, 16[45]50 based serial ports device uart # Generic UART driver # Parallel port device ppc device ppbus # Parallel port bus (required) device lpt # Printer device plip # TCP/IP over parallel device ppi # Parallel port interface device #device vpo # Requires scbus and da # If you've got a "dumb" serial or parallel PCI card that is # supported by the puc(4) glue driver, uncomment the following # line to enable it (connects to sio, uart and/or ppc drivers): #device puc # PCI Ethernet NICs. #device de # DEC/Intel DC21x4x (``Tulip'') device em # Intel PRO/1000 Gigabit Ethernet Family #device igb # Intel PRO/1000 PCIE Server Gigabit Family #device ixgbe # Intel PRO/10GbE PCIE Ethernet Family #device le # AMD Am7900 LANCE and Am79C9xx PCnet #device txp # 3Com 3cR990 (``Typhoon'') #device vx # 3Com 3c590, 3c595 (``Vortex'') # PCI Ethernet NICs that use the common MII bus controller code. # NOTE: Be sure to keep the 'device miibus' line in order to use these NICs! device miibus # MII bus support #device age # Attansic/Atheros L1 Gigabit Ethernet #device alc # Atheros AR8131/AR8132 Ethernet #device ale # Atheros AR8121/AR8113/AR8114 Ethernet device bce # Broadcom BCM5706/BCM5708 Gigabit Ethernet device bfe # Broadcom BCM440x 10/100 Ethernet device bge # Broadcom BCM570xx Gigabit Ethernet #device dc # DEC/Intel 21143 and various workalikes #device et # Agere ET1310 10/100/Gigabit Ethernet #device fxp # Intel EtherExpress PRO/100B (82557, 82558) #device jme # JMicron JMC250 Gigabit/JMC260 Fast Ethernet #device lge # Level 1 LXT1001 gigabit Ethernet #device msk # Marvell/SysKonnect Yukon II Gigabit Ethernet #device nfe # nVidia nForce MCP on-board Ethernet #device nge # NatSemi DP83820 gigabit Ethernet #device nve # nVidia nForce MCP on-board Ethernet Networking #device pcn # AMD Am79C97x PCI 10/100 (precedence over 'le') #device re # RealTek 8139C+/8169/8169S/8110S #device rl # RealTek 8129/8139 #device sf # Adaptec AIC-6915 (``Starfire'') #device sis # Silicon Integrated Systems SiS 900/SiS 7016 #device sk # SysKonnect SK-984x & SK-982x gigabit Ethernet #device ste # Sundance ST201 (D-Link DFE-550TX) #device ti # Alteon Networks Tigon I/II gigabit Ethernet #device tl # Texas Instruments ThunderLAN #device tx # SMC EtherPower II (83c170 ``EPIC'') #device vge # VIA VT612x gigabit Ethernet #device vr # VIA Rhine, Rhine II #device wb # Winbond W89C840F #device xl # 3Com 3c90x (``Boomerang'', ``Cyclone'') # ISA Ethernet NICs. pccard NICs included. device cs # Crystal Semiconductor CS89x0 NIC # 'device ed' requires 'device miibus' #device ed # NE[12]000, SMC Ultra, 3c503, DS8390 cards #device ex # Intel EtherExpress Pro/10 and Pro/10+ #device ep # Etherlink III based cards #device fe # Fujitsu MB8696x based cards #device sn # SMC's 9000 series of Ethernet chips #device xe # Xircom pccard Ethernet # Wireless NIC cards #device wlan # 802.11 support #device wlan_wep # 802.11 WEP support #device wlan_ccmp # 802.11 CCMP support #device wlan_tkip # 802.11 TKIP support #device wlan_amrr # AMRR transmit rate control algorithm #device wlan_scan_ap # 802.11 AP mode scanning #device wlan_scan_sta # 802.11 STA mode scanning #device an # Aironet 4500/4800 802.11 wireless NICs. #device ath # Atheros pci/cardbus NIC's #device ath_hal # Atheros HAL (Hardware Access Layer) #options AH_SUPPORT_AR5416 # enable AR5416 tx/rx descriptors #device ath_rate_sample # SampleRate tx rate control for ath #device awi # BayStack 660 and others #device ral # Ralink Technology RT2500 wireless NICs. #device wi # WaveLAN/Intersil/Symbol 802.11 wireless NICs. # Pseudo devices. device loop # Network loopback device random # Entropy device device ether # Ethernet support device vlan # 802.1Q VLAN support device sl # Kernel SLIP device ppp # Kernel PPP device tun # Packet tunnel. device pty # Pseudo-ttys (telnet etc) device md # Memory "disks" device gif # IPv6 and IPv4 tunneling device faith # IPv6-to-IPv4 relaying (translation) device firmware # firmware assist module # The `bpf' device enables the Berkeley Packet Filter. # Be aware of the administrative consequences of enabling this! # Note that 'bpf' is required for DHCP. device bpf # Berkeley packet filter # USB support device uhci # UHCI PCI->USB interface device ohci # OHCI PCI->USB interface device ehci # EHCI PCI->USB interface (USB 2.0) device usb # USB Bus (required) #device udbp # USB Double Bulk Pipe devices device ugen # Generic device uhid # "Human Interface Devices" device ukbd # Keyboard device ulpt # Printer device umass # Disks/Mass storage - Requires scbus and da device ums # Mouse device urio # Diamond Rio 500 MP3 player device uscanner # Scanners # USB Serial devices device ucom # Generic com ttys device uark # Technologies ARK3116 based serial adapters device ubsa # Belkin F5U103 and compatible serial adapters device ubser # BWCT console serial adapters device uftdi # For FTDI usb serial adapters device uipaq # Some WinCE based devices device uplcom # Prolific PL-2303 serial adapters device uslcom # SI Labs CP2101/CP2102 serial adapters device uvisor # Visor and Palm devices device uvscom # USB serial support for DDI pocket's PHS # USB Ethernet, requires miibus #device aue # ADMtek USB Ethernet #device axe # ASIX Electronics USB Ethernet #device cdce # Generic USB over Ethernet #device cue # CATC USB Ethernet #device kue # Kawasaki LSI USB Ethernet #device rue # RealTek RTL8150 USB Ethernet # USB Wireless #device rum # Ralink Technology RT2501USB wireless NICs #device ural # Ralink Technology RT2500USB wireless NICs # FireWire support #device firewire # FireWire bus code #device sbp # SCSI over FireWire (Requires scbus and da) #device fwe # Ethernet over FireWire (non-standard!) #device fwip # IP over FireWire (RFC 2734,3146) #device dcons # Dumb console driver #device dcons_crom # Configuration ROM for dcons ######################################################## #options IPFIREWALL #options LIBALIAS #options IPFIREWALL_VERBOSE #options IPFIREWALL_VERBOSE_LIMIT=10 #options IPFIREWALL_FORWARD #options IPFIREWALL_DEFAULT_TO_ACCEPT #options DUMMYNET #options IPFIREWALL_NAT #options IPDIVERT options HZ=500 # Polling #options DEVICE_POLLING #options ALTQ #options ALTQ_CBQ #options ALTQ_RED #options ALTQ_RIO #options ALTQ_HFSC #options ALTQ_CDNR #options ALTQ_PRIQ #options ALTQ_NOPCC options NETGRAPH #any options NETGRAPH_PPP #mpd options NETGRAPH_PPTPGRE #mpd options NETGRAPH_PPPOE #mpd #options NETGRAPH_IPFW options NETGRAPH_ETHER #mpd options NETGRAPH_NAT #mpd options NETGRAPH_NETFLOW #mpd options NETGRAPH_SPLIT #netflow options NETGRAPH_KSOCKET #mpd,netflow options NETGRAPH_SOCKET #mpd options NETGRAPH_BPF #mpd options NETGRAPH_IFACE #mpd,netflow #options NETGRAPH_MPPC_ENCRYPTION #mpd #options NETGRAPH_MPPC_COMPRESSION #mpd options NETGRAPH_TCPMSS #mpd options NETGRAPH_VJC #mpd #options NETGRAPH_CISCO #options NETGRAPH_ECHO #options NETGRAPH_FRAME_RELAY #options NETGRAPH_HOLE #options NETGRAPH_LMI #options NETGRAPH_RFC1490 options NETGRAPH_TTY #mpd options NETGRAPH_ASYNC #mpd options NETGRAPH_L2TP # mpd options NETGRAPH_TEE #mpd #options NETGRAPH_UI options NETGRAPH_CAR #mpd options NETGRAPH_DEFLATE #mpd options NETGRAPH_PRED1 #mpd options PANIC_REBOOT_WAIT_TIME=13 options SC_DISABLE_REBOOT options ROUTETABLES=5 Ядро еще будет пилится на предмет лишнего. Серийные порты не используются. Но вот вклчены ли в биосе, я не помню. Id Refs Address Size Name 1 10 0xffffffff80100000 9ac1d0 kernel 2 1 0xffffffff80aad000 f328 ipmi.ko 3 2 0xffffffff80abd000 24b8 smbus.ko 4 1 0xffffffff80ac0000 21f60 if_igb.ko 5 1 0xffffffff80c22000 1912 ng_mppc.ko 6 1 0xffffffff80c24000 247 rc4.ko Ребутнуть можно будет. ) Share this post Link to post Share on other sites
Deac Posted November 23, 2010 (edited) · Report post Хмм, а где у тебя "device apic"? И "HZ=500" - явно маловато, здесь напрашивается мин. HZ=2000 И ещё, а как ты "options SCTP" собрал без "options INET6"? Edited November 23, 2010 by Deac Share this post Link to post Share on other sites
Giga-Byte Posted November 23, 2010 · Report post 1. если ipmi с smbus выгрузить, нагрузка спадёт на sio? 2. покажите лог ядра во время загрузки ОС 3. про apic не забудьте. Share this post Link to post Share on other sites
Zarin Posted November 23, 2010 (edited) · Report post Хмм, а где у тебя "device apic"?И "HZ=500" - явно маловато, здесь напрашивается мин. HZ=2000 И ещё, а как ты "options SCTP" собрал без "options INET6"? apic только на i386, у меня amd64 собрана. В генерике его нет, да и в хендбук помнится когда-то давно не рекомендовали, его заталкивать. Поправте, если не прав :D при HZ=2000, swi4 убивает машину раза в 2-3 быстрее. На машине нет поллинга или даминета, так что проблем в работе всего остального не заметил. P.S отключил в биосе серийные порты, пока наблюдаю. 120-130 мбит, полет нормальный. Edited November 23, 2010 by Zarin Share this post Link to post Share on other sites
Deac Posted November 23, 2010 (edited) · Report post apic для всего, не рекомендуется только если вызывает проблемы. может быть отключено опцией hint.apic.0.disabled="1" без пересборки ядра. Даже если вызывает проблемы, оказывается есть патч http://people.freebsd.org/~peter/hammer.diff Правда сам не пробовал, т.к. пока проблем не испытывал. И про SCTP без INET6 поподробней. Edited November 23, 2010 by Deac Share this post Link to post Share on other sites
Zarin Posted November 23, 2010 · Report post apic для всего, не рекомендуется только если вызывает проблемы.может быть отключено опцией hint.apic.0.disabled="1" без пересборки ядра. Даже если вызывает проблемы, оказывается есть патч http://people.freebsd.org/~peter/hammer.diff Правда сам не пробовал, т.к. пока проблем не испытывал. И про SCTP без INET6 поподробней. "[20080307] The FreeBSD implementation of SCTP currently depends on having INET6 support compiled into the kernel. This requirement is planned to be removed in future releases. " http://www.freebsd.org/releases/7.0R/errata.html тут. Убрал INET6, как-то даже внимание не заострял, Вы напомнили :) (у меня 7.3-release-p3) APIC попробую добавить, посмотрим, что выйдет. Share this post Link to post Share on other sites
Deac Posted November 23, 2010 · Report post То то и оно, что у меня без INET6 не собирается. :( Share this post Link to post Share on other sites
Ivan_83 Posted November 23, 2010 · Report post cpu HAMMERident NAS-PPTP Выкинуть всё с ядра.Загружать всё что можно и нужно модулями. Исключение только для ата и скази модулей - они всё равно всегда нужны и не зависят от железа. ### Rozhuk Ivan 2009.12 - 2010 ### RIM kernel configuration file for FreeBSD/AMD64 ### warning: all modules loaded by loader! ############################################################## ### Text marks ############################################# ############################################################## #! - critical, cant be excluded #a - autoload #b - only build in to kernel, no module #B - build in to kernel, but can be loaded as module #d - default, see DEFAULTS -- Default kernel configuration file for FreeBSD #m - can be loaded as module #o - option ############################################################## ### Config ################################################# ############################################################## profile 2 # We want LINT to cover profiling as well. machine amd64 cpu HAMMER ident RIMx64 options INCLUDE_CONFIG_FILE #o Include this file in kernel options SCHED_ULE #b ULE scheduler #options PREEMPTION #b Enable kernel thread preemption options INET #!b InterNETworking #options INET6 #b IPv6 communications protocols options FFS #!b Berkeley Fast Filesystem options SOFTUPDATES #b Enable FFS soft updates support options UFS_ACL #b Support for access control lists options UFS_DIRHASH #b Improve performance on big directories options UFS_GJOURNAL #b Enable gjournal-based UFS journaling #options MD_ROOT #b MD is a potential root device #options GEOM_PART_BSD #md adds support for the traditional BSD disklabel #options GEOM_PART_EBR #md Extended Boot Records #options GEOM_PART_EBR_COMPAT #md Backward compatible partition names #options GEOM_PART_MBR #md support for the Master Boot Record found on PCs and used on many removable media options GEOM_PART_GPT #md GUID Partition Tables. options GEOM_LABEL #m Provides labelization #options COMPAT_43TTY #o BSD 4.3 TTY compat [KEEP THIS!] options _KPOSIX_PRIORITY_SCHEDULING #b POSIX P1003_1B real-time extensions #options ADAPTIVE_GIANT #b Giant mutex is adaptive. #options ADAPTIVE_LOCKMGRS #b Adaptive spining in lockmgr #options AUDIT #b Security event auditing #options FLOWTABLE #o per-cpu routing cache #options KSTACK_PAGES=3 #o Num of mem pages to assign to the kernel stack of each thread # To make an SMP kernel, the next line are needed options SMP #b Symmetric MultiProcessor Kernel #options IPI_PREEMPTION #o instructs the kernel to preempt threads running on other CPUS if needed. Required PREEMPTION option #device atpic #b Optional legacy pic support #device mptable #b Optional MPSPEC mptable support #options DEVICE_POLLING #o #options HZ=1000 #o # Bus support. device acpi #m ACPI; not exist as module on x64 #device isa #!bd ISA bus device pci #!b only built-in # System Management Bus (SMB) options ENABLE_ALART #o Control alarm on Intel intpm driver # ATA and ATAPI devices device atacore #m ATA support options ATA_STATIC_ID #o Static device numbering options ATA_CAM #o NCQ support / req: scbus # SCSI peripherals / cam.ko device scbus #m SCSI bus (required for SCSI) device da #m Direct Access (disks) device pass #m Passthrough device (direct SCSI access) device cd #m CD # atkbdc0 controls both the keyboard and the PS/2 mouse device atkbdc #!b AT keyboard controller device atkbd #!b AT keyboard device vga #!b VGA video card driver #options VGA_WIDTH90 #o support 90 column modes options VGA_NO_FONT_LOADING #o don't save/load font / save some memory options VGA_NO_MODE_CHANGE #o don't change video modes / save some memory device sc #!b syscons is the default console driver, resembling an SCO console #options SC_PIXEL_MODE #o add support for the raster text mode #options SC_MOUSE_CHAR=0x3 #o options SC_DISABLE_REBOOT #o ignory ctl-alt-del options SC_DISABLE_KDBKEY #o disable `debug' key options SC_HISTORY_SIZE=8192 #o options SC_NORM_ATTR =(FG_GREEN|BG_BLACK) # see /usr/src/sys/i386/include/pc/display.h options SC_NORM_REV_ATTR =(FG_YELLOW|BG_GREEN) options SC_KERNEL_CONS_ATTR =(FG_YELLOW|BG_BLACK) options SC_KERNEL_CONS_REV_ATTR=(FG_BLACK|BG_CYAN) #options TEKEN_UTF8 #o (9.x+) UTF-8 in console #options TEKEN_XTERM #o (9.x+) UTF-8 in console device splash #b Splash screen and screen saver support # Pseudo devices #device mem #!bd Memory and kernel memory devices #device io #!bd I/O device device loop #!b Network loopback device ether #!b Ethernet support device pty #!b Pseudo-ttys (telnet etc) # only built-in #device enc #b IPsec interface device bpf #b Berkeley packet filter, required for DHCP # ALTQ for pf: only built-in options ALTQ #b options ALTQ_CBQ #b Class Bases Queuing (CBQ) options ALTQ_RED #b Random Early Detection (RED) options ALTQ_RIO #b RED In/Out options ALTQ_HFSC #b Hierarchical Packet Scheduler (HFSC) options ALTQ_PRIQ #b Priority Queuing (PRIQ) options ALTQ_NOPCC #b Required for SMP build #options ALTQ_DEBUG #options IPSEC #b IP security #options IPSEC_ESP #b IP security (crypto; define w/ IPSEC) #options IPSEC_DEBUG #b debug for IP security #options IPSEC_FILTERGIF #b filter ipsec packets from a tunnel #options FAST_IPSEC #b new IPsec (cannot define w/ IPSEC) #options RADIX_MPATH #o (8.0+) Support for ECMP. >1 route for dst. Works even with default route, can use it as LB for two ISP #options IPSTEALTH #o support for stealth forwarding #options TCPDEBUG #o #options TCP_SIGNATURE #o include support for RFC 2385 (Protection of BGP Sessions via the TCP MD5 Signature Option), dev crypto reqyired options ZERO_COPY_SOCKETS #o "[20080307] The FreeBSD implementation of SCTP currently depends on having INET6 support compiled into the kernel. This requirement is planned to be removed in future releases. "http://www.freebsd.org/releases/7.0R/errata.html тут. Убрал INET6, как-то даже внимание не заострял, Вы напомнили :) (у меня 7.3-release-p3) То то и оно, что у меня без INET6 не собирается. :(Уже 3 года прошло.Уже 9.0 на носу. До IPv6 я где нибудь в районе НГ может доберусь :) Share this post Link to post Share on other sites
Deac Posted November 25, 2010 · Report post Цитата(Zarin @ 23.11.2010, 18:05) *"[20080307] The FreeBSD implementation of SCTP currently depends on having INET6 support compiled into the kernel. This requirement is planned to be removed in future releases. " http://www.freebsd.org/releases/7.0R/errata.html тут. Убрал INET6, как-то даже внимание не заострял, Вы напомнили :) (у меня 7.3-release-p3) Цитата(Deac @ 23.11.2010, 18:11) * То то и оно, что у меня без INET6 не собирается. :( Уже 3 года прошло. Уже 9.0 на носу. До IPv6 я где нибудь в районе НГ может доберусь :) После очередного обновления - собралось без INET6 Share this post Link to post Share on other sites
fozz Posted November 28, 2010 · Report post Имеется некий NAS, в на нем стоит карточка с дровами igb, крутится оспфд и мпд.Наблюдается странная картина, вместе с ростом нагрузки на исходящий интерфейс, начинает жрать swi4: clock sio. Не могу не как найти концов. было такое. отключил в биосе COM-порты, проблема ушла. Share this post Link to post Share on other sites
madint Posted November 30, 2010 · Report post попробуй на другой сетевой, igb это то еще гэ Share this post Link to post Share on other sites
Giga-Byte Posted December 1, 2010 · Report post madint, не пиши бред. сетевая тут ниприем. особено не использующая Legacy-Interrupts. Share this post Link to post Share on other sites
madint Posted December 1, 2010 (edited) · Report post Cетевая может и не причем, а дрова причем. Что в 7.2, что в 8.0 работают они весьма криво - проверено. По крайней мере попробовать нечто другое ничего не мешает, я так щщитаю. Edited December 1, 2010 by madint Share this post Link to post Share on other sites
Giga-Byte Posted December 2, 2010 · Report post Cетевая может и не причем, а дрова причем. Что в 7.2, что в 8.0 работают они весьма криво - проверено. По крайней мере попробовать нечто другое ничего не мешает, я так щщитаю.они может для провайдинга и не годятся, но на счет кривые - приведите пример! другое что? что можно купить в Москве допустим, и докажите что там дрова не кривые у меня вот есть пара десктопных машин на матерях P5Q-SE, там сетевой контроллер Atheros чип не помню: http://www.freebsd.org/cgi/man.cgi?query=a...amp;format=html Share this post Link to post Share on other sites
Ainy Posted December 2, 2010 · Report post гм.. я бы перво наперво дебаг из ядра убрал бы. потом преемпшн убрал и поставил HZ=100 еще отрубить драйвер sio и вырубить порты в биосе. но это уже последним вариантом. еще юсб непонятно зачем на сервере.. но это так - "на скорость не влияет" Share this post Link to post Share on other sites
Giga-Byte Posted December 3, 2010 · Report post гм.. я бы перво наперво дебаг из ядра убрал бы.нуну, и тупо вывести красную кнопку на стол админа, если что - нажал, релюшка щёлкнула, сервер ребутнулсяпотом преемпшн убрал и поставил HZ=100зачем? опишите ваш опыт, приведите аргументы, пустые слова.еще отрубить драйвер sio и вырубить порты в биосе. но это уже последним вариантом.см первый абзацеще юсб непонятно зачем на сервере.. но это так - "на скорость не влияет"про перенос системы на USB флэшки и дохнувшие винты не слышали? Share this post Link to post Share on other sites
Ainy Posted December 3, 2010 · Report post ребутнется он сам, в случае паника. и в логе напишет чегонить. а бектрейсы собирать на продакшн сервере не есть необходимость. тестить софт можно на чем-нибудь другом. наличие дебага в ядре тормозит работу в разы, увеличивает объем потребляемой памяти, ухудшает тайминг в преемпшн. мой опыт - это фря с версии 2.1 и с того же времени основная работа - установка и поддержка продакшн серверов вплоть до 2006-го года, когда я из tier 1 ISP ушел в разработчики. терминация PPTP - тут высокий гранулярити таймера не нужен, только нагрузку увеличивает на проц. про USB флешки - это в кино таких снимают админов? про SSD и RAID1 не слышали? Продакшн сервер с USB2 работать не может. Дохнущие винты детектятся смартом и заменяются хотсвапом. и чаще дохнут блоки питания (меняются так же). если вы свой домашний роутер называете сервером, то ваш опыт мало применим. На P5Q - Attansic (Atheros их купил) кривое убоище. я даже на дескторе отключаю сразу. Реалтек гигабитный и то ровнее (но тоже гадость редкая). Share this post Link to post Share on other sites
Giga-Byte Posted December 3, 2010 · Report post а бектрейсы собирать на продакшн сервере не есть необходимость. тестить софт можно на чем-нибудь другом.сомневаюсь, есть какраз проблемы в софте, которые вылазят не сразу.наличие дебага в ядре тормозит работу в разы, увеличивает объем потребляемой памяти, ухудшает тайминг в преемпшн.прошу указать версию ОС и железо, на котором это было замечено.про USB флешки - это в кино таких снимают админов?про SSD и RAID1 не слышали? Продакшн сервер с USB2 работать не может. Дохнущие винты детектятся смартом и заменяются хотсвапом. и чаще дохнут блоки питания (меняются так же). согласен, простите погорячился. Share this post Link to post Share on other sites
