Потери пакетов на сетевых интерфейсах :(

[Zohan]

Имеется

Dell Power Edge 1950 II

2xXeon 1.6, шина 1066, 4 Мб кэша

8 Гб ЕЦЦ ОЗУ

2 сетевые гигабитные интеловские карты

FreeBSD 7.3RC2 - amd64, MPD5.5 + radius 1.8

ядро GENERIC

 

в момент максимальной нагрузки которая для нас не должна быть максимальной происходят потери пакетов на интерфейсе:

 

    netstat -w1 -bdh -i em2
                input        (Total)           output
       packets  errs      bytes    packets  errs      bytes colls drops
           34K     0        16M        38K     0        21M     0     0
           35K     2        16M        39K     0        22M     0     0
           26K   176        13M        29K     0        16M     0     0
           21K    20       9.8M        23K     0        12M     0     0
           16K   367       7.1M        17K     0       8.4M     0     0
           21K   378       9.6M        23K     0        13M     0     0
           18K   245       8.5M        20K     0        11M     0     0
           20K   174       9.0M        22K     0        12M     0     0
           14K   282       6.6M        15K     0       8.1M     0     0
           18K   164       8.4M        20K     0        11M     0     0
           22K   250        10M        24K     0        13M     0     0
           23K    41        10M        25K     0        14M     0     0
           28K   137        13M        30K     0        17M     0     0
           23K   196        10M        25K     0        13M     0     0
           19K   268       8.1M        19K     0       9.9M     0     0
           20K   907       8.6M        20K     0        11M     0     0
          3.5K     0       1.1M       3.0K     0       1.1M     0     0

 

и так до может до 1-2000 в секунду доходить :(

 

cat /etc/sysctl.conf

 

    net.graph.maxdgram=524288
    net.graph.recvspace=524288
    net.inet.tcp.sendspace=65536
    net.inet.tcp.recvspace=65536
    kern.ipc.somaxconn=4096
    kern.maxfilesperproc=200000
    kern.maxvnodes=200000
    kern.ipc.maxsockbuf=1048576
    net.inet.ip.intr_queue_maxlen=5120
    net.route.netisr_maxqlen=512
    net.local.stream.recvspace=65535
    net.local.stream.sendspace=65535
    net.inet.tcp.blackhole=2
    net.inet.udp.blackhole=1
    net.inet.tcp.sendbuf_max=1048576
    net.inet.tcp.recvbuf_max=1048576

 

cat /boot/loader.conf

 

    pf_load="YES"
    kern.ipc.maxpipekva=256000009
    kern.ipc.maxsockets=262144
    kern.ipc.nmbclusters=262144
    kern.maxfiles=204800
    kern.maxfilesperproc=200000
    kern.ipc.maxsockbuf=524288
    autoboot_delay="3"
    kern.maxusers=1024
    net.graph.maxdata=1024

 

Мы понимаем что дело на такой мощной машине явно не в железе, а в настройке TCP/IP стека

Кто что может сказать? Все логи или параметры системы готов в любой момент предоставить.

[_longhorn_]

Zohan

Flow control на свиче выключен?

[Zohan]

Zohan

Flow control на свиче выключен?

Выключен.

[goletsa]

Какие интеловые карточки?

Какой драйвер?

Xeon 1.6 или вы опечатались?

Что видно по top -S?

 

Edited March 8, 2010 by goletsa

[Zohan]

Какие интеловые карточки?

Какой драйвер?

Xeon 1.6 или вы опечатались?

Что видно по top -S?

CPU: Intel® Xeon® CPU E5310 @ 1.60GHz (1597.53-MHz K8-class CPU)

Origin = "GenuineIntel" Id = 0x6f7 Stepping = 7

Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLU

SH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>

Features2=0x4e33d<SSE3,DTES64,MON,DS_CPL,VMX,TM2,SSSE3,CX16,xTPR,PDCM,DCA>

AMD Features=0x20100800<SYSCALL,NX,LM>

AMD Features2=0x1<LAHF>

TSC: P-state invariant

Cores per package: 4

 

 

em1@pci0:14:0:0: class=0x020000 card=0x135e8086 chip=0x105e8086 rev=0x06 hdr=0x00

vendor = 'Intel Corporation'

device = 'HP NC360T PCIe DP Gigabit Server Adapter (n1e5132)'

class = network

subclass = ethernet

em2@pci0:14:0:1: class=0x020000 card=0x135e8086 chip=0x105e8086 rev=0x06 hdr=0x00

vendor = 'Intel Corporation'

device = 'HP NC360T PCIe DP Gigabit Server Adapter (n1e5132)'

class = network

subclass = ethernet

 

 

 

em1: <Intel® PRO/1000 Network Connection 6.9.6> port 0xdce0-0xdcff mem 0xfc3e0000-0xfc3fffff,0xfc3c0000-0xfc3dffff irq 16 at device 0.0 on pci14

em1: Using MSI interrupt

em1: [FILTER]

em2: <Intel® PRO/1000 Network Connection 6.9.6> port 0xdcc0-0xdcdf mem 0xfc3a0000-0xfc3bffff,0xfc380000-0xfc39ffff irq 17 at device 0.1 on pci14

em2: Using MSI interrupt

em2: [FILTER]

 

[Dyr]

top -aSHP покажите, будьте любезны.