freebsd 7.1 роутер, em0 тест и тюнинг

milkob_78 · February 18, 2009

Выключи порт Flow Control на switch

Edited February 18, 2009 by milkob_78

IvanI · February 18, 2009

И еще нарыл

pcib1: <ACPI PCI-PCI bridge> irq 16 at device 1.0 on pci0

em0: <Intel® PRO/1000 Network Connection Version - 6.7.3> port 0xcc00-0xcc1f mem 0xfe9e0000-0xfe9fffff,0xfe9c0000-0xfe9dffff irq 16 at device 0.0 on pci1

em1: <Intel® PRO/1000 Network Connection Version - 6.7.3> port 0xbc00-0xbc1f mem 0xfe8e0000-0xfe8fffff,0xfe8df000-0xfe8dffff irq 20 at device 25.0 on pci0

pcib2: <ACPI PCI-PCI bridge> irq 16 at device 28.0 on pci0

pcib3: <ACPI PCI-PCI bridge> irq 16 at device 28.4 on pci0

em2: <Intel® PRO/1000 Network Connection Version - 6.7.3> port 0xdc00-0xdc1f mem 0xfeae0000-0xfeafffff irq 16 at device 0.0 on pci3

У коготить есть подобное(1 прерывание на 3 шины и 2 сетевухи)?

IvanI · February 18, 2009

новый бубен!

http://global.msi.com.tw/index.php?func=pr...mp;prod_no=1257

EM0 - EXPI9400PTBLK - Intel® (PCI-e 82572GI)

EM1 - 1/2 82563EB

EM2 - 1/2 82563EB

Copyright (c) 1992-2009 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 7.1-RELEASE #0: Mon Jan 26 20:33:19 MSK 2009
    ivan@new.aaa.ru:/usr/src/sys/i386/compile/web1
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: Intel(R) Xeon(R) CPU           E5420  @ 2.50GHz (2493.76-MHz 686-class CPU)
  Origin = "GenuineIntel"  Id = 0x1067a  Stepping = 10
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFL
USH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x40ce3bd<SSE3,DTES64,MON,DS_CPL,VMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,DCA,SSE4.1,<b26>>
  AMD Features=0x20000000<LM>
  AMD Features2=0x1<LAHF>
  Cores per package: 4
real memory  = 3488612352 (3327 MB)
avail memory = 3411542016 (3253 MB)
ACPI APIC Table: <PTLTD          APIC  >
FreeBSD/SMP: Multiprocessor System Detected: 8 CPUs
cpu0 (BSP): APIC ID:  0
cpu1 (AP): APIC ID:  1
cpu2 (AP): APIC ID:  2
cpu3 (AP): APIC ID:  3
cpu4 (AP): APIC ID:  4
cpu5 (AP): APIC ID:  5
cpu6 (AP): APIC ID:  6
cpu7 (AP): APIC ID:  7
ioapic0 <Version 2.0> irqs 0-23 on motherboard
ioapic1 <Version 2.0> irqs 24-47 on motherboard
kbd1 at kbdmux0
acpi0: <PTLTD    XSDT> on motherboard
acpi0: [ITHREAD]
acpi0: Power Button (fixed)
unknown: I/O range not supported
unknown: I/O range not supported
acpi0: reservation of 400, 100 (3) failed
Timecounter "ACPI-fast" frequency 3579545 Hz quality 1000
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x1008-0x100b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
pcib1: <ACPI PCI-PCI bridge> at device 2.0 on pci0
pci1: <ACPI PCI bus> on pcib1
pcib2: <ACPI PCI-PCI bridge> irq 16 at device 0.0 on pci1
pci2: <ACPI PCI bus> on pcib2
pcib3: <ACPI PCI-PCI bridge> irq 16 at device 0.0 on pci2
pci3: <ACPI PCI bus> on pcib3
em0: <Intel(R) PRO/1000 Network Connection 6.9.6> port 0x8000-0x801f mem 0xde220000-0xde23ffff,0xde200000-0xde21ffff irq 16 at device 0.0 on pci3
em0: Using MSI interrupt
em0: [FILTER]
em0: Ethernet address: 00:15:17:97:17:a6
pcib4: <ACPI PCI-PCI bridge> irq 18 at device 2.0 on pci2
pci4: <ACPI PCI bus> on pcib4
em1: <Intel(R) PRO/1000 Network Connection 6.9.6> port 0x9000-0x901f mem 0xde300000-0xde31ffff irq 18 at device 0.0 on pci4
em1: Using MSI interrupt
em1: [FILTER]
em1: Ethernet address: 00:1d:92:71:48:20
em2: <Intel(R) PRO/1000 Network Connection 6.9.6> port 0x9020-0x903f mem 0xde320000-0xde33ffff irq 19 at device 0.1 on pci4
em2: Using MSI interrupt
em2: [FILTER]
em2: Ethernet address: 00:1d:92:71:48:21
pcib5: <ACPI PCI-PCI bridge> at device 0.3 on pci1
pci5: <ACPI PCI bus> on pcib5
pcib6: <PCI-PCI bridge> at device 3.0 on pci0
pci6: <PCI bus> on pcib6
pcib7: <ACPI PCI-PCI bridge> irq 17 at device 28.0 on pci0
pci7: <ACPI PCI bus> on pcib7
pcib8: <ACPI PCI-PCI bridge> at device 30.0 on pci0
pci8: <ACPI PCI bus> on pcib8
vgapci0: <VGA-compatible display> port 0xa000-0xa07f mem 0xdc000000-0xddffffff,0xde000000-0xde03ffff at device 1.0 on pci8
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
atapci0: <Intel 63XXESB2 UDMA100 controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0x7000-0x700f at device 31.1 on pci0
ata0: <ATA channel 0> on atapci0
ata0: [ITHREAD]
ata1: <ATA channel 1> on atapci0
ata1: [ITHREAD]
atapci1: <Intel 63XXESB2 SATA300 controller> port 0x7048-0x704f,0x702c-0x702f,0x7040-0x7047,0x7028-0x702b,0x7030-0x703f mem 0xde600000-0xde6003ff irq 19 at device 31.2 on pci0
atapci1: [ITHREAD]
ata2: <ATA channel 0> on atapci1
ata2: [ITHREAD]
ata3: <ATA channel 1> on atapci1
ata3: [ITHREAD]
pci0: <serial bus, SMBus> at device 31.3 (no driver attached)
acpi_button0: <Power Button> on acpi0
atkbdc0: <Keyboard controller (i8042)> port 0x60,0x64 irq 1 on acpi0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
atkbd0: [ITHREAD]
cpu0: <ACPI CPU> on acpi0
est0: <Enhanced SpeedStep Frequency Control> on cpu0
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 4721472106004721
device_attach: est0 attach returned 6
p4tcc0: <CPU Frequency Thermal Control> on cpu0
cpu1: <ACPI CPU> on acpi0
est1: <Enhanced SpeedStep Frequency Control> on cpu1
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 4721472106004721
device_attach: est1 attach returned 6
p4tcc1: <CPU Frequency Thermal Control> on cpu1
cpu2: <ACPI CPU> on acpi0
est2: <Enhanced SpeedStep Frequency Control> on cpu2
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 4721472106004721
device_attach: est2 attach returned 6
p4tcc2: <CPU Frequency Thermal Control> on cpu2
cpu3: <ACPI CPU> on acpi0
est3: <Enhanced SpeedStep Frequency Control> on cpu3
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 4721472106004721
device_attach: est3 attach returned 6
p4tcc3: <CPU Frequency Thermal Control> on cpu3
cpu4: <ACPI CPU> on acpi0
est4: <Enhanced SpeedStep Frequency Control> on cpu4
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 4721472106004721
device_attach: est4 attach returned 6
p4tcc4: <CPU Frequency Thermal Control> on cpu4
cpu5: <ACPI CPU> on acpi0
est5: <Enhanced SpeedStep Frequency Control> on cpu5
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 4721472106004721
device_attach: est5 attach returned 6
p4tcc5: <CPU Frequency Thermal Control> on cpu5
cpu6: <ACPI CPU> on acpi0
est6: <Enhanced SpeedStep Frequency Control> on cpu6
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 4721472106004721
device_attach: est6 attach returned 6
p4tcc6: <CPU Frequency Thermal Control> on cpu6
cpu7: <ACPI CPU> on acpi0
est7: <Enhanced SpeedStep Frequency Control> on cpu7
est: CPU supports Enhanced Speedstep, but is not recognized.
est: cpu_vendor GenuineIntel, msr 4721472106004721
device_attach: est7 attach returned 6
p4tcc7: <CPU Frequency Thermal Control> on cpu7
pmtimer0 on isa0
orm0: <ISA Option ROMs> at iomem 0xc0000-0xc7fff,0xdc000-0xdffff pnpid ORM0000 on isa0
sc0: <System console> at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
Timecounters tick every 1.000 msec
ipfw2 (+ipv6) initialized, divert loadable, nat loadable, rule-based forwarding disabled, default to accept, logging disabled
acd0: CDRW <TSSTcorpCDW/DVD TS-L462D/TM01> at ata0-master UDMA33
ad4: 715404MB <Seagate ST3750330NS SN05> at ata2-master SATA150
ad5: 715404MB <Seagate ST3750330NS SN05> at ata2-slave SATA150
ad6: 715404MB <Seagate ST3750330NS SN05> at ata3-master SATA150
ad7: 715404MB <Seagate ST3750330NS SN05> at ata3-slave SATA150
SMP: AP CPU #1 Launched!
SMP: AP CPU #3 Launched!
SMP: AP CPU #2 Launched!
SMP: AP CPU #4 Launched!
SMP: AP CPU #5 Launched!
SMP: AP CPU #6 Launched!
SMP: AP CPU #7 Launched!

dev.em.0.%desc: Intel(R) PRO/1000 Network Connection 6.9.6
dev.em.0.%driver: em
dev.em.0.%location: slot=0 function=0
dev.em.0.%pnpinfo: vendor=0x8086 device=0x107d subvendor=0x8086 subdevice=0x1082 class=0x020000
dev.em.0.%parent: pci3
dev.em.0.debug: -1
dev.em.0.stats: -1
dev.em.0.rx_int_delay: 0
dev.em.0.tx_int_delay: 66
dev.em.0.rx_abs_int_delay: 66
dev.em.0.tx_abs_int_delay: 66
dev.em.0.rx_processing_limit: 100
dev.em.1.%desc: Intel(R) PRO/1000 Network Connection 6.9.6
dev.em.1.%driver: em
dev.em.1.%location: slot=0 function=0
dev.em.1.%pnpinfo: vendor=0x8086 device=0x1096 subvendor=0x1462 subdevice=0x6380 class=0x020000
dev.em.1.%parent: pci4
dev.em.1.debug: -1
dev.em.1.stats: -1
dev.em.1.rx_int_delay: 0
dev.em.1.tx_int_delay: 66
dev.em.1.rx_abs_int_delay: 66
dev.em.1.tx_abs_int_delay: 66
dev.em.1.rx_processing_limit: 100
dev.em.2.%desc: Intel(R) PRO/1000 Network Connection 6.9.6
dev.em.2.%driver: em
dev.em.2.%location: slot=0 function=1
dev.em.2.%pnpinfo: vendor=0x8086 device=0x1096 subvendor=0x1462 subdevice=0x6380 class=0x020000
dev.em.2.%parent: pci4
dev.em.2.debug: -1
dev.em.2.stats: -1
dev.em.2.rx_int_delay: 0
dev.em.2.tx_int_delay: 66
dev.em.2.rx_abs_int_delay: 66
dev.em.2.tx_abs_int_delay: 66
dev.em.2.rx_processing_limit: 100

em0: Excessive collisions = 0
em0: Sequence errors = 0
em0: Defer count = 0
em0: Missed Packets = 1075679
em0: Receive No Buffers = 0
em0: Receive Length Errors = 0
em0: Receive errors = 0
em0: Crc errors = 0
em0: Alignment errors = 0
em0: Collision/Carrier extension errors = 0
em0: RX overruns = 326442
em0: watchdog timeouts = 0
em0: RX MSIX IRQ = 0 TX MSIX IRQ = 0 LINK MSIX IRQ = 0
em0: XON Rcvd = 0
em0: XON Xmtd = 0
em0: XOFF Rcvd = 0
em0: XOFF Xmtd = 0
em0: Good Packets Rcvd = 110569416
em0: Good Packets Xmtd = 2266058270
em0: TSO Contexts Xmtd = 51
em0: TSO Contexts Failed = 0

em0: Adapter hardware address = 0x8647c218
em0: CTRL = 0x480c0241 RCTL = 0x8002
em0: Packet buffer = Tx=16k Rx=32k
em0: Flow control watermarks high = 30720 low = 29220
em0: tx_int_delay = 66, tx_abs_int_delay = 66
em0: rx_int_delay = 0, rx_abs_int_delay = 66
em0: fifo workaround = 0, fifo_reset_count = 0
em0: hw tdh = 38, hw tdt = 38
em0: hw rdh = 232, hw rdt = 231
em0: Num Tx descriptors avail = 256
em0: Tx Descriptors not avail1 = 47917060
em0: Tx Descriptors not avail2 = 0
em0: Std mbuf failed = 0
em0: Std mbuf cluster failed = 0
em0: Driver dropped packets = 0
em0: Driver tx dma failure in encap = 0

em1: Excessive collisions = 0
em1: Sequence errors = 0
em1: Defer count = 8234
em1: Missed Packets = 0
em1: Receive No Buffers = 0
em1: Receive Length Errors = 0
em1: Receive errors = 0
em1: Crc errors = 0
em1: Alignment errors = 0
em1: Collision/Carrier extension errors = 0
em1: RX overruns = 0
em1: watchdog timeouts = 0
em1: RX MSIX IRQ = 0 TX MSIX IRQ = 0 LINK MSIX IRQ = 0
em1: XON Rcvd = 377950
em1: XON Xmtd = 0
em1: XOFF Rcvd = 377950
em1: XOFF Xmtd = 0
em1: Good Packets Rcvd = 88658753
em1: Good Packets Xmtd = 1645581033
em1: TSO Contexts Xmtd = 0
em1: TSO Contexts Failed = 0

em1: Adapter hardware address = 0x86484218
em1: CTRL = 0x481c4241 RCTL = 0x8002
em1: Packet buffer = Tx=16k Rx=32k
em1: Flow control watermarks high = 30720 low = 29220
em1: tx_int_delay = 66, tx_abs_int_delay = 66
em1: rx_int_delay = 0, rx_abs_int_delay = 66
em1: fifo workaround = 0, fifo_reset_count = 0
em1: hw tdh = 39, hw tdt = 39
em1: hw rdh = 48, hw rdt = 47
em1: Num Tx descriptors avail = 256
em1: Tx Descriptors not avail1 = 14532473
em1: Tx Descriptors not avail2 = 0
em1: Std mbuf failed = 0
em1: Std mbuf cluster failed = 0
em1: Driver dropped packets = 0
em1: Driver tx dma failure in encap = 0

em2: Excessive collisions = 0
em2: Sequence errors = 0
em2: Defer count = 53397
em2: Missed Packets = 0
em2: Receive No Buffers = 0
em2: Receive Length Errors = 0
em2: Receive errors = 0
em2: Crc errors = 0
em2: Alignment errors = 0
em2: Collision/Carrier extension errors = 0
em2: RX overruns = 0
em2: watchdog timeouts = 0
em2: RX MSIX IRQ = 0 TX MSIX IRQ = 0 LINK MSIX IRQ = 0
em2: XON Rcvd = 3045465
em2: XON Xmtd = 0
em2: XOFF Rcvd = 3050023
em2: XOFF Xmtd = 0
em2: Good Packets Rcvd = 87198097
em2: Good Packets Xmtd = 577085620
em2: TSO Contexts Xmtd = 0
em2: TSO Contexts Failed = 0

em2: Adapter hardware address = 0x8649c218
em2: CTRL = 0x481c4241 RCTL = 0x8002
em2: Packet buffer = Tx=16k Rx=32k
em2: Flow control watermarks high = 30720 low = 29220
em2: tx_int_delay = 66, tx_abs_int_delay = 66
em2: rx_int_delay = 0, rx_abs_int_delay = 66
em2: fifo workaround = 0, fifo_reset_count = 0
em2: hw tdh = 218, hw tdt = 218
em2: hw rdh = 255, hw rdt = 254
em2: Num Tx descriptors avail = 256
em2: Tx Descriptors not avail1 = 2294422
em2: Tx Descriptors not avail2 = 0
em2: Std mbuf failed = 0
em2: Std mbuf cluster failed = 0
em2: Driver dropped packets = 0
em2: Driver tx dma failure in encap = 0

и его работа:

            input          (em0)           output
   packets  errs      bytes    packets  errs      bytes colls
    195497 23123  105830425     195188     0  105811114     0
    195733 23291  105810215     195193     0  105774312     0
    195213 22311  105763884     195096     0  105756890     0
    195440 23384  105873755     195312     0  105864206     0
    195521 22624  105915756     195410     0  105905398     0

            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
    219063     0  118690366     218931     0  118682282     0
    219382     0  118774168     219112     0  118757078     0
    219981     0  118761680     219018     0  118701252     0
    219003     0  118646909     218910     0  118638922     0
    219226     0  118781246     219127     0  118775506     0

            input          (em2)           output
   packets  errs      bytes    packets  errs      bytes colls
    217037     0  117598241     216962     0  117592862     0
    215619     0  116827336     215536     0  116819970     0
    216498     0  117066124     215927     0  117029724     0
    217247     0  117607854     216955     0  117588526     0
    216321     0  117199369     216224     0  117191782     0

last pid: 13145;  load averages:  0.49,  0.12,  0.04                                  up 3+09:10:59  23:53:11
79 processes:  10 running, 58 sleeping, 11 waiting
CPU 0:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 1:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 2:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 3:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 4:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 5:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 6:  0.0% user,  0.0% nice,  0.4% system,  0.0% interrupt, 99.6% idle
CPU 7:  0.0% user,  0.0% nice, 68.4% system,  0.0% interrupt, 31.6% idle
Mem: 17M Active, 108M Inact, 161M Wired, 32K Cache, 199M Buf, 2973M Free
Swap: 8192M Total, 8192M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   12 root        1 171 ki31     0K     8K CPU6   6  80.5H 100.00% idle: cpu6
   13 root        1 171 ki31     0K     8K CPU5   5  80.5H 100.00% idle: cpu5
   15 root        1 171 ki31     0K     8K CPU3   3  79.3H 100.00% idle: cpu3
   14 root        1 171 ki31     0K     8K CPU4   4  77.5H 100.00% idle: cpu4
   18 root        1 171 ki31     0K     8K RUN    0  76.5H 100.00% idle: cpu0
   16 root        1 171 ki31     0K     8K CPU2   2  75.6H 100.00% idle: cpu2
   17 root        1 171 ki31     0K     8K CPU1   1  77.0H 99.46% idle: cpu1
   29 root        1 -68    -     0K     8K CPU7   7   6:52 59.57% em2 taskq
   11 root        1 171 ki31     0K     8K RUN    7  80.8H 41.06% idle: cpu7
   27 root        1 -68    -     0K     8K -      5  24:47  0.00% em0 taskq
   28 root        1 -68    -     0K     8K -      6  13:07  0.00% em1 taskq
   39 root        1  20    -     0K     8K syncer 3   5:17  0.00% syncer
   19 root        1 -32    -     0K     8K WAIT   1   3:13  0.00% swi4: clock
   22 root        1 -16    -     0K     8K -      0   2:27  0.00% yarrow
    4 root        1  -8    -     0K     8K -      2   0:09  0.00% g_down
1198 ivan        1  44    0  8428K  3952K select 1   0:09  0.00% sshd
    3 root        1  -8    -     0K     8K -      0   0:08  0.00% g_up
    2 root        1  -8    -     0K     8K -      0   0:07  0.00% g_event
1206 root        1  44    0  6276K  2852K select 2   0:03  0.00% mc
  757 root        1  44    0  5876K  3368K select 0   0:02  0.00% sendmail
   32 root        1 -64    -     0K     8K WAIT   4   0:01  0.00% irq19: atapci1
   41 root        1 -16    -     0K     8K sdflus 2   0:01  0.00% softdepflush
   40 root        1  -4    -     0K     8K vlruwt 0   0:01  0.00% vnlru
   38 root        1 -16    -     0K     8K psleep 0   0:01  0.00% bufdaemon
  767 root        1   8    0  3212K  1272K nanslp 0   0:01  0.00% cron

pcib1: <ACPI PCI-PCI bridge> at device 2.0 on pci0

pcib2: <ACPI PCI-PCI bridge> irq 16 at device 0.0 on pci1

pcib3: <ACPI PCI-PCI bridge> irq 16 at device 0.0 on pci2

em0: <Intel® PRO/1000 Network Connection 6.9.6> port 0x8000-0x801f mem 0xde220000-0xde23ffff,0xde200000-0xde21ffff irq 16 at device 0.0 on pci3

pcib4: <ACPI PCI-PCI bridge> irq 18 at device 2.0 on pci2

em1: <Intel® PRO/1000 Network Connection 6.9.6> port 0x9000-0x901f mem 0xde300000-0xde31ffff irq 18 at device 0.0 on pci4

em2: <Intel® PRO/1000 Network Connection 6.9.6> port 0x9020-0x903f mem 0xde320000-0xde33ffff irq 19 at device 0.1 on pci4

Cетевуха на 16 прерывании разделяемом с 2мя PCI шинами опять криво работает

Или PCI-e полноценные шины неработают в freebsd?

t0ly · February 19, 2009

usb пробывал отключать?

IvanI · February 19, 2009

Пробовал, но в биосе тока 2.0 отключается, в rc.conf 7.1 еще не пробовал

Поставил 6.4 релиз, стало чуть лучше.

            input          (em0)           output
   packets  errs      bytes    packets  errs      bytes colls
    197012 15916  106741334     196934     0  106735816     0
    197067 15554  106770038     196984     0  106764218     0
    197146 15726  106748177     196925     0  106733648     0
    197360 15186  106728377     196867     0  106697334     0
    197042 15614  106759418     196960     0  106754244     0
    197058 15708  106765725     196980     0  106759664     0
    197006 15754  106730182     196906     0  106723892     0
    197579 15490  106709092     196795     0  106660478     0
    197028 15229  106738272     196921     0  106730938     0

RX overruns = 1550528

IvanI · February 19, 2009

В 3 сервере с 7.1 бетта2, карта переставлена с первого

            input          (em0)           output
   packets  errs      bytes    packets  errs      bytes colls
    186682 27568  101130776     186572     0  101122566     0
    186804 27582  101133043     186529     0  101117688     0
    187026 26886  101073412     186461     0  101035304     0
    186628 27626  101118475     186548     0  101112810     0
    186630 27776  101112185     186541     0  101106306     0

Вывод PCI-e во FREEBSD неработает.....

t0ly · February 19, 2009

почему для тестов используется 7.1-b2, а не последний 7.1-stable ?

jab · February 19, 2009

Вывод PCI-e во FREEBSD неработает.....

Причем почему-то только у Вас.

IvanI · February 19, 2009

да скорее всего у всех , но тестил только я

IvanI · February 19, 2009

Попробовал 4 версии FREEBSD 7.1 , 6.4 , 7.0 , 7.1 бета 2; 3 сервера на интеле 3200 , 5000 , P35 ; на 7.1 попробовал 3 разных драйвера интеловский , родной и от Яндекса ; проблема не только спакетами по 542 байта но и с 1042 байта http://forum.nag.ru/forum/index.php?showto...st&p=378343

IvanI · February 19, 2009

И забил-бы я на этот глюк но есть уверенность что он боком еще вылезет, а вот и пример - нормальный роутинг, пакет 542 байта, по очереди запускаю 3 потока - 2 в одну сторону и 1 в другую, данные с интерфейсов снимались паралельно.

       421     0      26760          4     0        448     0
        60     0       5052          4     0        448     0
    124309     0   67349120          4     0        448     0
    124644     0   67526603          4     0        448     0
    124838     0   67513227          4     0        448     0
    124611     0   67507311          4     0        448     0
    120307     0   65177880     109558     0   59383052     0
    120337     0   65187973     120269     0   65187330     0
    119861     0   64864247     119862     0   64964680     0
            input          (em0)           output
   packets  errs      bytes    packets  errs      bytes colls
    119428     0   64612605     119561     0   64798934     0
    119345     0   64646353     172360     0   93424988     0
    118992     0   64462243     205166     0  111207466     0
    119620     0   64786834     204962     0  111077928     0
    120467     0   65188104     204803     0  110986872     0
    120422     0   65237259     205161     0  111208550     0
    120605     0   65339027     203418     0  110253004     0
    120402     0   65211671     204716     0  110941344     0
    120496     0   65180570     204967     0  111096898     0

       419     0      26466          0     0          0     0
        57     0       4982      13660     0    7409140     0
        54     0       4130     124544     0   67505016     0
        60     0       4958     124542     0   67501764     0
       323     0      21868     124537     0   67504474     0
      3101     0    1651403     124390     0   67417212     0
    120115     0   65074063     120003     0   65030786     0
            input          (em2)           output
   packets  errs      bytes    packets  errs      bytes colls
    120228     0   65132332     120109     0   65111544     0
    120156     0   64968250     119609     0   64815612     0
    119772     0   64856774     119202     0   64617240     0
    182216     0   98728225     119138     0   64570086     0
    205109  4921  111136526     119042     0   64518596     0
    205204  6064  111117358     119598     0   64825368     0
    204573  7050  110833286     120269     0   65196638     0
    205218  6187  111198909     120338     0   65205310     0
    203508  7462  110273375     120498     0   65317504     0
    204432  6019  110700570     120351     0   65221570     0
    205680  7287  111412638     120236     0   65172248     0

IvanI · February 19, 2009

и даже так сыпет ошибки

            input          (em2)           output
   packets  errs      bytes    packets  errs      bytes colls
    166913    33   90422243     119999     0   65050298     0
    168455   148   91225202     120563     0   65329428     0
    169056    26   91348655     120758     0   65458424     0
    168888    69   91487769     120825     0   65479562     0
    168160    28   91095265     120223     0   65160866     0
    168260    33   91149811     119697     0   64882820     0
    168292    44   90816010     120058     0   65064390     0
    168123    37   91073518     120166     0   65134308     0
    168322    58   91178261     120630     0   65385254     0
    168335    52   91186403     120652     0   65385254     0

Kaban · February 19, 2009

Вывод PCI-e во FREEBSD неработает.....

Причем почему-то только у Вас.

А у вас при такой нагрузке подобных проблем не наблюдается ? Если не секрет, с каким железом работаете ?

jab · February 19, 2009

А у вас при такой нагрузке подобных проблем не наблюдается ? Если не секрет, с каким железом работаете ?

Завтра прогоню тест, сейчас негде. Железо десктопное, карточки 1000/PT Dual port из помойки...

IvanI · February 19, 2009

У меня тож в основном десктопное, вот купил 2 рековых 1u сервера и собрался брать 3ий, и с 1ым проблемс получается. 2ой и 3ий обойдуться бортовыми картами всю жизнь, а первый будет бордером и хочется его года 3 нетрогать, но с этим глюком так невыйдет.

Как вариант поставить дуалпорт и разносить все по вланам (аплинки, пиринги, сети ASки)

Edited February 19, 2009 by IvanI

IvanI · February 19, 2009

У интела нет десктопных дуалпорт, серверные дулпорты на PCIe 4.

Gigabit CT Desktop Adapter EXPI9301CT - возможно будет нормально работать, PRO/1000 PT Desktop Adapter EXPI9300PT - врядли там 82572

Завтра закажу какунить дуальную карточку потестить.

Kaban · February 19, 2009

У меня на десктопной PRO/1000 MT 82540EM (32-bit PCI) уже после 40Kpps начинают появляться ошибки и растут задержки, а на 60Kpps начинаются конкретные дропы.

Edited February 19, 2009 by Kaban

IvanI · February 19, 2009

тестирование правил IPFW пакет 600 байт

1 правило allow

iperf -u -c 10.189.2.10 -i 10 -l 550 -t 300 -b 800M

0.0-10.0 sec 984 MBytes 826 Mbits/sec

            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
    187843     0  111136983     187699     0  111126096     0
    188006     0  111246495     187915     0  111237392     0
    187957     0  111198079     187809     0  111185888     0
    188247     0  111117127     187630     0  111074000     0

= 31% 1 ядра

100 правил типа ipfw add 100 allow all from 192.168.20.1 to 10.0.0.1

в 2 стороны (200) ipfw = 66%

100 правил типа ipfw add 100 allow udp from 192.168.20.1 to 10.0.0.1

в 2 стороны (200) ipfw = 93%

100 правил типа ipfw add 100 allow tcp from 192.168.20.1 to 10.0.0.1

в 2 стороны (200) ipfw = 66%

100 правил типа ipfw add 100 allow tcp from 192.168.20.1 100 to 10.0.0.1 1

в 2 стороны (200) ipfw = 66%

100 правил типа ipfw add 100 allow udp from 192.168.20.1 100 to 10.0.0.1 1

в 2 стороны (200) ipfw = 93%

несрабатывающий skipto также как несрабатывающий allow

правил типа ipfw add 100 skipto 200 udp from 192.168.20.1 to 10.0.0.1= 93%

срабатывающий skipto в 1 сторону (прием срабатывает 100 передача несрабатывает 100)

правил типа ipfw add 100 skipto 200 udp from 10.188.2.10 to any ядро воткнулось в 100% загрузки

            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
    155634 32236   91749614     154872     0   91704944     0
    155149 32515   91806160     155118     0   91799072     0
    155149 32200   91804027     155012     0   91796112     0

ipfw add 100 skipto 200 all from 10.188.2.10 to any = 94%

тест с меньшим потоком

iperf -u -c 10.189.2.10 -i 10 -l 550 -t 300 -b 600M

[ 3] 0.0-10.0 sec 741 MBytes 621 Mbits/sec

            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
    141263     0   83585519     141233     0   83579152     0
    141491     0   83606480     141131     0   83587440     0
    141337     0   83627090     141240     0   83617632     0
    141341     0   83633396     141334     0   83626512     0
    141117     0   83498089     141007     0   83490352     0
    141653     0   83649918     141291     0   83623552     0

= 24% 1 ядра

срабатывающий skipto в 1 сторону (прием срабатывает 100 передача несрабатывает 100)

ipfw add 100 skipto 200 udp from 10.188.2.10 to any = 98%

срабатывающий skipto в 1 сторону (прием срабатывает 100 передача несрабатывает 100)

ipfw add 100 skipto 200 all from 10.188.2.10 to any = 76%

Vinc · February 19, 2009

Попробовал 4 версии FREEBSD 7.1 , 6.4 , 7.0 , 7.1 бета 2;

Пробуй релизы с последними патч-левелами.

STABLE в продакщен без необходимости ставить не рекомендую. Тестировать STABLE есть смысл если получаешь отрицательные результаты на релизе.

Edited February 19, 2009 by Vinc

[GP]Villi · February 20, 2009

если уж пошла такая пляска, IvanI может быть протестите еще NAT на pf ?

IvanI · February 20, 2009

С пф неработал, если кините минимальный конфиг - попробую, к томуж нат тестить бесполезно без 1-10-100 тысяч потоков.

Edited February 20, 2009 by IvanI

jab · February 20, 2009

input (em1) output

packets errs bytes packets errs bytes colls

543816 0 104395506 1 0 178 0

543369 0 104309268 2 0 404 0

544565 0 104543978 1 0 178 0

545278 0 104679294 1 0 178 0

543884 0 104414994 1 0 178 0

544795 0 104588478 1 0 178 0

524955 0 100777722 1 0 178 0

493378 0 94716030 1 0 178 0

543892 0 104416122 1 0 178 0

544590 0 104547774 1 0 178 0

Тест нечестный, навскидку воткнул две тачки в свич и запустил на одной два iperf'а а на второй netstat -I em1 -w1.

7.0-STABLE, yandex drivers, kthreads=4

em1: link state changed to UP

em1: Excessive collisions = 0

em1: Sequence errors = 0

em1: Defer count = 0

em1: Missed Packets = 0

em1: Receive No Buffers = 0

em1: Receive Length Errors = 0

em1: Receive errors = 0

em1: Crc errors = 0

em1: Alignment errors = 0

em1: Collision/Carrier extension errors = 0

em1: RX overruns = 0

em1: watchdog timeouts = 0

em1: XON Rcvd = 0

em1: XON Xmtd = 0

em1: XOFF Rcvd = 0

em1: XOFF Xmtd = 0

em1: Good Packets Rcvd = 88991472

em1: Good Packets Xmtd = 1129

em1: TSO Contexts Xmtd = 0

em1: TSO Contexts Failed = 0

IvanI · February 20, 2009

так нет роутинга и исходящего потока через туже карту, вот конфиг для моего теста

роутер тестируемый

ifconfig em1 up
sleep 3
ifconfig vlan202 create vlan 202 vlandev em1
ifconfig vlan202 10.188.2.1/24
sysctl net.inet.ip.forwarding=1
sysctl net.inet.ip.fastforwarding=1
ifconfig vlan222 create vlan 222 vlandev em1
ifconfig vlan222 10.189.2.1/24
arp -s 10.189.2.10 00:00:00:12:24:50
netstat -w 1 -I em1

отправитель потока

ifconfig em1 up
sleep 3
ifconfig vlan202 create vlan 202 vlandev em1
ifconfig vlan202 10.188.2.10/24
route add 10.189.2.0/24 10.188.2.1
iperf -u -c 10.189.2.10 -i 10 -l 500 -t 300 -b 900M

и результат

            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
    196507  3450  106455364     196390     0  106446632     0
    196508  3580  106453166     196379     0  106442296     0
    196529  3304  106469817     196495     0  106461808     0
    197076  3157  106436654     196210     0  106387012     0

IvanI · February 20, 2009

Есть предположени что шина не справляется:

Пропускная способность 2.5 Гигабита (250 МБ) в секунду для одного канала в каждом направлении одновременно (полный дуплекс), однако, следует учесть, что эффективная скорость передачи данных за вычетом избыточного кодирования составляет 2 Гигабита (200 МБ) ровно;

Вся контрольная информация передается по тем же линиям что и данные, используется стек протоколов, из нескольких уровней, включая маршрутизацию данных

еще и заголовки

      |               | Header | Data  |     |
      | Packet number | T-Layer Packet | CRC |
freme | --------- L-Layer Packet ----------- | freme

(взято с http://www.ixbt.com/mainboard/pci-express.shtml ) и получится еще меньше.

Дескрипторы хранятся в сетевухе - работа _шины_ на _каждый_ пакет:

Процесс отправки пакета из памяти в карту - взять следующий дескриптор на отправку, запрограммировать ДМА, принять данные.

Процесс приема пакета от карты в память- взять следующий свободный дескриптор, запрограммировать ДМА, передать данные.

На каждый пакет придется по несколько операций по шине(возможно 10-20 (контрольная информация, адреса буферов чипсета, адреса памяти и адреса буферов устройства))

Edited February 20, 2009 by IvanI

jab · February 20, 2009

# netstat -w1 -I em1

input (em1) output

packets errs bytes packets errs bytes colls

295650 0 115891006 295693 0 115559474 0

294464 0 115423958 294387 0 115159194 0

298744 0 117103070 298753 0 116784426 0

298291 0 116925946 298333 0 116604106 0

293423 0 115013258 293380 0 114689186 0

295892 0 115981618 295989 0 115614698 0

297295 0 116531094 297216 0 116139586 0

297884 0 116760494 297940 0 116372826 0

Sign In

freebsd 7.1 роутер, em0 тест и тюнинг

Recommended Posts

milkob_78

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

IvanI

IvanI

t0ly

IvanI

IvanI

t0ly

jab

IvanI

IvanI

IvanI

IvanI

Kaban

jab

IvanI

IvanI

Kaban

IvanI

Vinc

[GP]Villi

IvanI

jab

IvanI

IvanI

jab

Join the conversation