[adron2]

Привет всем. Есть сервак:

00:00.0 Host bridge: Intel Corporation 82G33/G31/P35/P31 Express DRAM Controller (rev 02)

00:02.0 VGA compatible controller: Intel Corporation 82G33/G31 Express Integrated Graphics Controller (rev 02)

00:03.0 Communication controller: Intel Corporation 82G33/G31/P35/P31 Express MEI Controller (rev 02)

00:19.0 Ethernet controller: Intel Corporation 82566DC-2 Gigabit Network Connection (rev 02)

00:1a.0 USB Controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #4 (rev 02)

00:1a.1 USB Controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #5 (rev 02)

00:1a.2 USB Controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #6 (rev 02)

00:1a.7 USB Controller: Intel Corporation 82801I (ICH9 Family) USB2 EHCI Controller #2 (rev 02)

00:1b.0 Audio device: Intel Corporation 82801I (ICH9 Family) HD Audio Controller (rev 02)

00:1c.0 PCI bridge: Intel Corporation 82801I (ICH9 Family) PCI Express Port 1 (rev 02)

00:1c.1 PCI bridge: Intel Corporation 82801I (ICH9 Family) PCI Express Port 2 (rev 02)

00:1c.2 PCI bridge: Intel Corporation 82801I (ICH9 Family) PCI Express Port 3 (rev 02)

00:1c.3 PCI bridge: Intel Corporation 82801I (ICH9 Family) PCI Express Port 4 (rev 02)

00:1c.4 PCI bridge: Intel Corporation 82801I (ICH9 Family) PCI Express Port 5 (rev 02)

00:1d.0 USB Controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #1 (rev 02)

00:1d.1 USB Controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #2 (rev 02)

00:1d.2 USB Controller: Intel Corporation 82801I (ICH9 Family) USB UHCI Controller #3 (rev 02)

00:1d.7 USB Controller: Intel Corporation 82801I (ICH9 Family) USB2 EHCI Controller #1 (rev 02)

00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev 92)

00:1f.0 ISA bridge: Intel Corporation 82801IH (ICH9DH) LPC Interface Controller (rev 02)

00:1f.2 SATA controller: Intel Corporation 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA AHCI Controller (rev 02)

00:1f.3 SMBus: Intel Corporation 82801I (ICH9 Family) SMBus Controller (rev 02)

02:00.0 IDE interface: Marvell Technology Group Ltd. 88SE6101 single-port PATA133 interface (rev b2)

06:00.0 Ethernet controller: Intel Corporation 82541PI Gigabit Ethernet Controller (rev 05)

06:01.0 Ethernet controller: Intel Corporation 82541PI Gigabit Ethernet Controller (rev 05)

06:03.0 FireWire (IEEE 1394): Texas Instruments TSB43AB22/A IEEE-1394a-2000 Controller (PHY/Link)

 

 

...............................

4 ядра. Это 4 -е.

processor : 3

vendor_id : GenuineIntel

cpu family : 6

model : 15

model name : Intel® Core™2 Quad CPU Q6600 @ 2.40GHz

stepping : 11

cpu MHz : 2400.187

cache size : 4096 KB

physical id : 0

siblings : 4

core id : 3

cpu cores : 4

fdiv_bug : no

hlt_bug : no

f00f_bug : no

coma_bug : no

fpu : yes

fpu_exception : yes

cpuid level : 10

wp : yes

flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc arch_perfmon pebs bts pni monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr lahf_lm

bogomips : 4800.54

clflush size : 64

 

core1-sf:/# cat /proc/meminfo

MemTotal: 2048072 kB

MemFree: 696900 kB

Buffers: 27396 kB

Cached: 188836 kB

SwapCached: 112 kB

Active: 289324 kB

Inactive: 200840 kB

HighTotal: 1150964 kB

HighFree: 681164 kB

LowTotal: 897108 kB

LowFree: 15736 kB

SwapTotal: 3903752 kB

SwapFree: 3903580 kB

Dirty: 144 kB

Writeback: 0 kB

AnonPages: 273976 kB

Mapped: 9044 kB

Slab: 842244 kB

SReclaimable: 9040 kB

SUnreclaim: 833204 kB

PageTables: 1088 kB

NFS_Unstable: 0 kB

Bounce: 0 kB

CommitLimit: 4927788 kB

Committed_AS: 659816 kB

VmallocTotal: 114680 kB

VmallocUsed: 7364 kB

VmallocChunk: 106372 kB

HugePages_Total: 0

HugePages_Free: 0

HugePages_Rsvd: 0

HugePages_Surp: 0

Hugepagesize: 4096 kB

 

 

eth2 Link encap:Ethernet HWaddr 00:1B:21:09:A6:1B

inet addr:192.168.0.1 Bcast:192.168.0.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:1082343732 errors:25 dropped:55662030 overruns:0 frame:20

TX packets:999065892 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:2389107889 (2.2 GiB) TX bytes:3714315536 (3.4 GiB)

Base address:0x1000 Memory:90020000-90040000

 

Так вот на eth2 нагрузка 150-200 мегабит на вход и 100 Мегабит на выход. И соответственно 30000-50000 pps На вход и 20000-30000 pps на выход. Как видно из кода крутится счетчик на интерфейсе(dropped). Сетевуха воткнута в свитч zyxel dimension 2024a. Сетевуха воткнута в гиговый порт этого свитча. Свитч ошибок не показывает на этом интерфейсе.

Нагрузка на всех ядрах сервака не более 30 %. NAPI работает. В фаерволе около 1200 правил.

Патчкорд длиной 5 метров. Вчера его заменил на экранированный кабель и заземлил. Ошибки все равно идут. Причем спонтанно. То по 50-200 в секунду то вообще не одной в течении 10 минут. Куда копать?

 

[nuclearcat]

Покажите ethtool -S eth2;ethtool eth2

[adron2]

Покажите ethtool -S eth2;ethtool eth2

ethtool -S eth2

NIC statistics:

rx_packets: 74726387521

tx_packets: 65939805932

rx_bytes: 54849503950651

tx_bytes: 36361684495804

rx_broadcast: 2396184

tx_broadcast: 1864791

rx_multicast: 12814991

tx_multicast: 10908951

rx_errors: 5

tx_errors: 0

tx_dropped: 0

multicast: 12814991

collisions: 0

rx_length_errors: 13

rx_over_errors: 0

rx_crc_errors: 7

rx_frame_errors: 0

rx_no_buffer_count: 783807880

rx_missed_errors: 55667651

tx_aborted_errors: 0

tx_carrier_errors: 0

tx_fifo_errors: 0

tx_heartbeat_errors: 0

tx_window_errors: 0

tx_abort_late_coll: 0

tx_deferred_ok: 1113942

tx_single_coll_ok: 0

tx_multi_coll_ok: 0

tx_timeout_count: 2

tx_restart_queue: 42759842

rx_long_length_errors: 13

rx_short_length_errors: 0

rx_align_errors: 0

tx_tcp_seg_good: 0

tx_tcp_seg_failed: 0

rx_flow_control_xon: 1115116

rx_flow_control_xoff: 1116625

tx_flow_control_xon: 1066817116

tx_flow_control_xoff: 1139109330

rx_long_byte_count: 54849503950651

rx_csum_offload_good: 73895502749

rx_csum_offload_errors: 5709834

rx_header_split: 0

alloc_rx_buff_failed: 0

tx_smbus: 0

rx_smbus: 0

dropped_smbus: 0

 

ethtool eth2

Settings for eth2:

Supported ports: [ TP ]

Supported link modes: 10baseT/Half 10baseT/Full

100baseT/Half 100baseT/Full

1000baseT/Full

Supports auto-negotiation: Yes

Advertised link modes: 10baseT/Half 10baseT/Full

100baseT/Half 100baseT/Full

1000baseT/Full

Advertised auto-negotiation: Yes

Speed: 1000Mb/s

Duplex: Full

Port: Twisted Pair

PHYAD: 0

Transceiver: internal

Auto-negotiation: on

Supports Wake-on: umbg

Wake-on: g

Current message level: 0x00000007 (7)

Link detected: yes

 

[adron2]

попробую сам ответить.

ifconfig eth2

eth2 Link encap:Ethernet HWaddr 00:1B:21:09:A6:1B

inet addr:192.168.0.1 Bcast:192.168.0.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:1802102316 errors:25 dropped:55668167 overruns:0 frame:20

TX packets:1589396076 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:1061946540 (1012.7 MiB) TX bytes:498181945 (475.1 MiB)

Base address:0x1000 Memory:90020000-90040000

 

Обращаем внимание на dropped:55668167

а потом на rx_missed_errors: 55667651

Почти одинаково. А потом читаем http://forum.nag.ru/forum/index.php?showto...46335&st=60.

И там:

в e1000e можно этим параметром управлять динамически через ethtool -c

А можно подробенее?

 

Может кто-нибудь знает нормальную доку про ethtool?

rx_missed_errors: 12471649

tx_deferred_ok: 4302243

tx_restart_queue: 1780921

tx_tcp_seg_good: 3654

rx_flow_control_xon: 4372530

rx_flow_control_xoff: 4367738

tx_flow_control_xon: 436942

tx_flow_control_xoff: 447152

rx_long_byte_count: 2801363193093

rx_csum_offload_good: 3014004698

rx_csum_offload_errors: 791

 

Это хорошо или плохо? Нигде не могу найти нормального описания значений.

 

Стоит ли включать/выключать flow control?

rx_missed_errors: 12471649

Очень плохо. Но в зависимости от общего количества пакетов. Но все равно выглядит плохо.

Говорит о том, что ваша железка не успевает переваривать пакеты.

 

ethtool -g интерфейс покажите

То есть как я понял мне нужно убирать iptables И переходить на ipset?

Вот еще

ethtool -g eth2

Ring parameters for eth2:

Pre-set maximums:

RX: 4096

RX Mini: 0

RX Jumbo: 0

TX: 4096

Current hardware settings:

RX: 256

RX Mini: 0

RX Jumbo: 0

TX: 256

 

Изменено 13 июня, 2009 пользователем adron2

[nuclearcat]

Попробуйте увеличить ring,

ethtool -G

 

Еще можно включить flow control (или выключить если включен) - но это не всегда хорошо и не всегда помогает. (ethtool -a / ethtool -A)

Но если вкратце - система не держит нагрузку... а что уже причина - надо искать... прерывания разводить, систему профайлить...