Перейти к содержимому
Калькуляторы

Netstat input error или как задолбали эти потери

Ответить

Graffic   

Graffic
Опубликовано

Здравствуйте, уважаемые.

У меня следующая проблема - Каждый вечер, примерно с 19:00 до 22:00 (плюс минус час), наблюдаются непонятные мне проблемы на сервере (стоит IPFW и NAT):

Наблюдается следующее (errs доходит до ~4000, от трафика не зависит, т.е. может забарахлить и при 70Mbit и при 250Mbit)

 

#netstat -w1 -Ibce1
           input         (bce1)           output
  packets  errs idrops      bytes    packets  errs      bytes colls
    25938  1011     0   30064135      19783     0    5004140     0
    26340   379     0   30681837      19571     0    4877502     0
    26661   272     0   30914678      19537     0    5014774     0
    26508   484     0   30778055      19490     0    4773846     0
    26366   491     0   30656848      19823     0    4910134     0
    25020   822     0   28713001      18898     0    4914730     0
    25467   401     0   29245025      18948     0    4843918     0
    26633   250     0   30583988      20073     0    5702013     0
    26994   399     0   31188130      19531     0    4807081     0
    26285   553     0   30150479      19674     0    5325751     0
    26166   681     0   30248997      19082     0    5137898     0
    25376   341     0   28955230      18909     0    5047044     0
    24837   827     0   28453703      19012     0    5665288     0
    25105   386     0   29033980      18478     0    4918886     0

# top -SH
last pid: 99229;  load averages:  0.45,  0.52,  0.54 
118 processes: 6 running, 88 sleeping, 24 waiting
CPU:  0.5% user,  0.0% nice, 18.4% system, 26.6% interrupt, 54.6% idle
Mem: 29M Active, 21M Inact, 217M Wired, 72K Cache, 112M Buf, 3226M Free
Swap: 8192M Total, 8192M Free

 PID USERNAME  PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  11 root      171 ki31     0K    32K RUN     0 581:24 96.24% {idle: cpu0}
  12 root      -68    -     0K   200K CPU1    1 163:46 84.72% {irq258: bce1}
  11 root      171 ki31     0K    32K CPU3    3 734:41 81.40% {idle: cpu3}
   0 root      -68    0     0K    56K -       2 171:30 75.68% {dummynet}
  11 root      171 ki31     0K    32K CPU2    2 500:14 31.20% {idle: cpu2}
  12 root      -68    -     0K   200K WAIT    3  75:09 20.56% {irq260: bce3}
  11 root      171 ki31     0K    32K RUN     1 638:17 15.23% {idle: cpu1}
1454 root       44    0 20460K 13760K ucond   3   8:47  1.07% {fprobe}
  12 root      -68    -     0K   200K WAIT    0   0:37  0.10% {irq257: bce0}
  23 root       45    -     0K     8K flowcl  3   9:08  0.05% flowcleaner
1454 root       44    0 20460K 13760K bpf     0   4:02  0.05% {fprobe}
  12 root      -44    -     0K   200K WAIT    0 376:28  0.00% {swi1: netisr 0}
  12 root      -32    -     0K   200K WAIT    0   6:01  0.00% {swi4: clock}

 

Потери доходят до 10-15%, появляется большая задержка, практически не загружается онлайн-видео.

Проблема появляется также неожиданно, как и пропадает. Иногда бывают "выходные", пару дней работает нормально, а потом опять ****.

Прежде чем задавать этот вопрос, на протяжении пары месяцев, я беспощадно мучил доки и ддосил гугл, но ответа так и не нашел, возможно в силу своей не компетенции. Прошу подсказать мне в какую сторону копать, опыта работы у меня мало, прошу относиться с пониманием.

Спасибо.

 

PS Незнаю какую информацию показать, запрашивайте - выложу.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

roysbike   

roysbike
Опубликовано (изменено)

Покажите top -SHP . Да и попробуйте PF nat может не много поможет. И выкиньте свои сетевые карты. Купите Intel 1000 на чипе 82576 Dual port

 

vpn122# cat /etc/pf.conf 
ext_if="igb1"
int_if="igb0"

set limit states 1600000
set optimization aggressive
set skip on lo0 
set skip on em0 
#scrub in all
nat on $ext_if from 172.16.0.0/16 to any -> 87.245.203.Х
pass in on $int_if from 172.16.0.0/16 to any
pass out on $ext_if from $ext_if to any

Изменено пользователем roysbike

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано

vmstat -z для размышлений и поиск по форуму, уже неоднократно поднималось.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Hawk128   

Hawk128
Опубликовано

dummynet прибить к одному ядру.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Graffic   

Graffic
Опубликовано

Покажите top -SHP . Да и попробуйте PF nat может не много поможет. И выкиньте свои сетевые карты. Купите Intel 1000 на чипе 82576 Dual port

 

vpn122# cat /etc/pf.conf 
ext_if="igb1"
int_if="igb0"

set limit states 1600000
set optimization aggressive
set skip on lo0 
set skip on em0 
#scrub in all
nat on $ext_if from 172.16.0.0/16 to any -> 87.245.203.Х
pass in on $int_if from 172.16.0.0/16 to any
pass out on $ext_if from $ext_if to any

 

top -SHP

 

last pid: 63916;  load averages:  1.22,  1.32,  1.36                                                                                                     up 0+14:05:41  18:50:33
112 processes: 9 running, 84 sleeping, 19 waiting
CPU 0:  0.0% user,  0.0% nice,  0.5% system, 72.5% interrupt, 27.0% idle
CPU 1:  0.5% user,  0.0% nice,  0.5% system, 36.5% interrupt, 62.4% idle
CPU 2:  1.1% user,  0.0% nice,  6.9% system,  0.0% interrupt, 92.1% idle
CPU 3:  0.0% user,  0.0% nice, 65.1% system,  0.0% interrupt, 34.9% idle
Mem: 28M Active, 89M Inact, 279M Wired, 236K Cache, 416M Buf, 3536M Free
Swap: 4096M Total, 4096M Free

 PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  11 root     155 ki31     0K    64K RUN     2 789:52 95.56% idle{idle: cpu2}
  12 root     -92    -     0K   352K CPU1    0 346:12 87.35% intr{irq258: bce1}
  11 root     155 ki31     0K    64K RUN     3 644:49 74.37% idle{idle: cpu3}
  11 root     155 ki31     0K    64K RUN     1 720:57 71.48% idle{idle: cpu1}
   0 root     -92    0     0K   160K CPU3    3 241:51 40.97% kernel{dummynet}
  11 root     155 ki31     0K    64K RUN     0 493:36 24.76% idle{idle: cpu0}
  12 root     -92    -     0K   352K CPU0    0 108:54 17.87% intr{irq260: bce3}
  12 root     -60    -     0K   352K RUN     0   4:17  4.39% intr{swi4: clock}
   0 root     -16    0     0K   160K sched   0   2:52  0.00% kernel{swapper}

 

vmstat -z для размышлений и поиск по форуму, уже неоднократно поднималось.

 

 

# vmstat -z
ITEM                   SIZE  LIMIT     USED     FREE      REQ FAIL SLEEP

UMA Kegs:               208,      0,      86,      16,      86,   0,   0
UMA Zones:              896,      0,      86,       2,      86,   0,   0
UMA Slabs:              568,      0,    1519,       7,    4712,   0,   0
UMA RCntSlabs:          568,      0,    4490,       4,    4490,   0,   0
UMA Hash:               256,      0,       2,      13,       3,   0,   0
16 Bucket:              152,      0,     138,      12,     138,   0,   0
32 Bucket:              280,      0,     159,       9,     159,   1,   0
64 Bucket:              536,      0,     138,       2,     138,  58,   0
128 Bucket:            1048,      0,    1757,       1,    1757,3242,   0
VM OBJECT:              216,      0,    3653,   16183,12345485,   0,   0
MAP:                    232,      0,       7,      25,       7,   0,   0
KMAP ENTRY:             120, 150505,      51,     476,   12173,   0,   0
MAP ENTRY:              120,      0,    1008,    3115,22619494,   0,   0
fakepg:                 120,      0,       0,       0,       0,   0,   0
mt_zone:               4112,      0,     307,       4,     307,   0,   0
16:                      16,      0,    2157,     867, 1515428,   0,   0
32:                      32,      0,    2716,     819, 2079409,   0,   0
64:                      64,      0,    5657,   31359, 2850894,   0,   0
128:                    128,      0,  306592,    1852,46392769,   0,   0
256:                    256,      0,    4163,   20272,1326770220,   0,   0
512:                    512,      0,    5151,   12496,45153080,   0,   0
1024:                  1024,      0,      66,     230,  261146,   0,   0
2048:                  2048,      0,      87,     181,   36043,   0,   0
4096:                  4096,      0,     411,     377,  693065,   0,   0
Files:                   80,      0,      93,     447, 3292427,   0,   0
TURNSTILE:              136,      0,     373,      87,     373,   0,   0
umtx pi:                 96,      0,       0,       0,       0,   0,   0
MAC labels:              40,      0,       0,       0,       0,   0,   0
PROC:                  1160,      0,      52,     191,  663156,   0,   0
THREAD:                1112,      0,     301,      71,     377,   0,   0
SLEEPQUEUE:              80,      0,     373,     120,     373,   0,   0
VMSPACE:                392,      0,      34,     196,  665526,   0,   0
cpuset:                  72,      0,       2,      98,       2,   0,   0
audit_record:           960,      0,       0,       0,       0,   0,   0
mbuf_packet:            256,      0,    6500,    2076,2048977559,   0,   0
mbuf:                   256,      0,    1580,    2144,3961775327,   0,   0
mbuf_cluster:          2048,  25600,    8576,     134,   13779,   0,   0
mbuf_jumbo_page:       4096,  12800,       0,     135,   20284,   0,   0
mbuf_jumbo_9k:         9216,   6400,       0,       0,       0,   0,   0
mbuf_jumbo_16k:       16384,   3200,       0,       0,       0,   0,   0
mbuf_ext_refcnt:          4,      0,       0,       0,       0,   0,   0
g_bio:                  232,      0,       0,    3344, 1517680,   0,   0
ttyinq:                 160,      0,     180,     228,     855,   0,   0
ttyoutq:                256,      0,      95,     160,     450,   0,   0
ata_request:            328,      0,       0,       0,       0,   0,   0
ata_composite:          336,      0,       0,       0,       0,   0,   0
VNODE:                  480,      0,    4381,   16027,   56762,   0,   0
VNODEPOLL:              112,      0,       0,     132,       3,   0,   0
NAMEI:                 1024,      0,       0,     112, 7387787,   0,   0
S VFS Cache:            108,      0,    4541,   15853,  120796,   0,   0
L VFS Cache:            328,      0,      20,     652,    1258,   0,   0
DIRHASH:               1024,      0,     174,     178,     522,   0,   0
NCLNODE:                560,      0,       0,       0,       0,   0,   0
Mountpoints:            768,      0,       2,      13,       2,   0,   0
pipe:                   728,      0,       1,     124,  426228,   0,   0
ksiginfo:               112,      0,     232,     824,    5701,   0,   0
itimer:                 344,      0,       0,       0,       0,   0,   0
KNOTE:                  128,      0,       0,     319,   69056,   0,   0
socket:                 680,  25602,      30,     150,  299691,   0,   0
ipq:                     56,    819,       0,     315,    1149,   0,   0
udp_inpcb:              392,  25600,      10,     120,   51691,   0,   0
udpcb:                   16,  25704,      10,     662,   51691,   0,   0
tcp_inpcb:              392,  25600,     206,     144,  183544,   0,   0
tcpcb:                  976,  25600,       9,     103,  183544,   0,   0
tcptw:                   72,   5150,     197,     403,  162649,   0,   0
syncache:               152,  15375,       0,     175,  168167,   0,   0
hostcache:              136,  15372,       2,      82,      34,   0,   0
tcpreass:                40,   1680,       0,     504,    1078,   0,   0
sackhole:                32,      0,       0,     303,       5,   0,   0
sctp_ep:               1368,  25600,       0,       0,       0,   0,   0
sctp_asoc:             2280,  40000,       0,       0,       0,   0,   0
sctp_laddr:              48,  80064,       0,     216,      18,   0,   0
sctp_raddr:             704,  80000,       0,       0,       0,   0,   0
sctp_chunk:             136, 400008,       0,       0,       0,   0,   0
sctp_readq:             104, 400032,       0,       0,       0,   0,   0
sctp_stream_msg_out:    112, 400026,       0,       0,       0,   0,   0
sctp_asconf:             40, 400008,       0,       0,       0,   0,   0
sctp_asconf_ack:         48, 400032,       0,       0,       0,   0,   0
ripcb:                  392,  25600,       1,      49,    2640,   0,   0
unpcb:                  240,  25600,      10,     182,   61810,   0,   0
rtentry:                200,      0,      50,      26,      53,   0,   0
IPFW dynamic rule:      120,      0,    1467,     858, 6214643,   0,   0
divcb:                  392,  25600,       0,       0,       0,   0,   0
selfd:                   56,      0,     358,     776, 6041213,   0,   0
SWAPMETA:               288, 116519,       0,       0,       0,   0,   0
FFS inode:              168,      0,    4339,   15791,   56708,   0,   0
FFS1 dinode:            128,      0,       0,       0,       0,   0,   0
FFS2 dinode:            256,      0,    4339,   15941,   56708,   0,   0

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Graffic   

Graffic
Опубликовано

Вообщем больше года боролся с этой проблемой. Менял сетевые на Intel 1000 82576 Dual port, ставил второй процессор, ковырял виланы, настраивал sysctl... Много чего перепробывал, и безрезультатно, процессор переодически ложился без каких-либо видимых причин.

Реально помог только переход на pf nat. Трафик ~700 Мбит, проц нагружен под 70%. Уже пол года полет нормальный. Если у кого похожая проблема, первым делом меняйте нат.

 

Да и попробуйте PF nat может не много поможет. И выкиньте свои сетевые карты. Купите Intel 1000 на чипе 82576 Dual port

 

Нужно было сразу послушать. Всем спасибо за советы :)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

GrandPr1de   

GrandPr1de
Опубликовано

Что за бред? У Вас ошибки на инпут, каким боком там нат вылез?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

terrible   

terrible
Опубликовано

Как был организован IPFW NAT, что у вас ошибки вылезали? Как были тюнингованы сетевухи интел?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

GrandPr1de   

GrandPr1de
Опубликовано

Да похер на тюнинг - если "я понменял нат и на внутреннем интерфейсе пропали ошибки" (я не ошибаюсь, на том что в сеть смотрит?) - то тут с логикой что-то да не то.

Ну или я ооочень дурак, и не понимаю, каким боком тут нат...

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано

Да запросто, инпут еррорс могут означать что очереди переполнены на интерфейсе (то место где они из драйвера в стёк уходят).

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Подписчики 0
Перейти к списку тем Программное обеспечение, биллинг и *unix системы