Перейти к содержимому
Калькуляторы

FreeBSD Ошибки на интерфейсе X520-DA2 чего-то намудрил

Ответить

ex-transfer   

ex-transfer
Опубликовано · Жалоба

Всем доброго времени суток, ув. форумчане!

Давеча заменил две своих старых Intel 82572 на Intel 82599 (X520-DA2).

Пока (временно) 10Г - портов на коммутаторах нет, пришлось запускать через 1000Base-T SFP в связке с Cisco3750.

После замены при ~50-55 Kpps на интерфейсах сыпятся ошибки. Даже старые 82572 у меня прокачивали 80 кpps (и ~500 Mbut/s), только процы уже к 100% подгружались.

Система 

FreeBSD 8.1-RELEASE #13
CPU: Intel(R) Xeon(R) CPU           E5405  @ 2.00GHz (2010.98-MHz K8-class CPU)
FreeBSD/SMP: Multiprocessor System Detected: 8 CPUs
FreeBSD/SMP: 2 package(s) x 4 core(s)
ix0: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 2.4.4> port 0xe880-0xe89f mem 0xfffd80000-0xfffdfffff,0xfffe78000-0xfffe7bfff irq 16 at device 0.0 on pci3
ix0: Using MSIX interrupts with 9 vectors
ix0: RX Descriptors exceed system mbuf max, using default instead!
ix0: PCI Express Bus: Speed 2.5Gb/s Width x8
ix1: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 2.4.4> port 0xec00-0xec1f mem 0xfffe80000-0xfffefffff,0xfffe7c000-0xfffe7ffff irq 17 at device 0.1 on pci3
ix1: Using MSIX interrupts with 9 vectors
ix1: RX Descriptors exceed system mbuf max, using default instead!
ix1: PCI Express Bus: Speed 2.5Gb/s Width x8

 

Использую PF Nat + Dummynet (прибит к 0 корке)

 

Что делать? Как жить?

 

Вот sysctl.conf:

dev.ix.0.rx_processing_limit=2048
dev.ix.1.rx_processing_limit=2048

net.inet.ip.redirect=0
net.inet.ip.fastforwarding=1
net.inet.tcp.maxtcptw=40960
net.inet.tcp.blackhole=1
net.inet.udp.blackhole=1
net.inet.icmp.icmplim=500
net.inet.ip.fw.dyn_buckets=2048

# FLOWTABLE OFF
net.inet.flowtable.enable=0

# ISR
net.isr.direct=1
net.isr.direct_force=1

# DUMMYNET
net.inet.ip.dummynet.io_fast=1
net.inet.ip.fw.one_pass=1
net.inet.ip.dummynet.hash_size=1024
net.inet.ip.dummynet.io_fast=1

 

loader.conf:

 

ixgbe_load="YES"
kern.ipc.nmbclusters=262144
kern.ipc.nmbjumbop=262144
kern.ipc.nmbjumbo16=32000
kern.ipc.nmbjumbo9=64000

 

Вот графики с интерфейсов:

(ужас, который по-середине, это я пробовал LRO включить )))

 

b17308d79cf9.jpg

ef66a3b7d505.jpg

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

ex-transfer   

ex-transfer
Опубликовано · Жалоба

Гуру, хелп!

Сервер вообще завис. Поехал пока откатываться на старые платы. Вероятно на 1000Base-T совсем другая картина нежели чем на SFP+

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

ex-transfer   

ex-transfer
Опубликовано · Жалоба

Вот картина top -SHP во время зависания (сетевушка bge0 для управления таки работала)

last pid: 63745;  load averages:  4.05,  3.97,  3.86                                                                                                                                        up 0+05:43:42  20:28:43
154 processes: 19 running, 97 sleeping, 38 waiting
CPU 0:  0.0% user,  0.0% nice, 28.2% system, 61.7% interrupt, 10.1% idle
CPU 1:  0.0% user,  0.0% nice, 50.0% system,  4.8% interrupt, 45.2% idle
CPU 2:  0.0% user,  0.0% nice, 25.7% system, 56.1% interrupt, 18.2% idle
CPU 3:  0.0% user,  0.0% nice, 34.2% system, 28.3% interrupt, 37.4% idle
CPU 4:  0.0% user,  0.0% nice, 25.0% system, 59.0% interrupt, 16.0% idle
CPU 5:  0.0% user,  0.0% nice, 18.1% system, 66.5% interrupt, 15.4% idle
CPU 6:  0.0% user,  0.0% nice, 19.7% system, 57.4% interrupt, 22.9% idle
CPU 7:  0.0% user,  0.0% nice, 21.4% system, 52.9% interrupt, 25.7% idle
Mem: 25M Active, 12M Inact, 153M Wired, 1392K Cache, 32M Buf, 1783M Free
Swap: 4096M Total, 4096M Free

 PID USERNAME  PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  12 root      -68    -     0K   688K RUN     5  79:46 69.19% {irq270: ix1:que }
  12 root      -68    -     0K   688K RUN     0  68:00 62.55% {irq265: ix1:que }
  12 root      -68    -     0K   688K CPU7    7  71:24 59.67% {irq272: ix1:que }
  12 root      -68    -     0K   688K WAIT    6  68:39 58.59% {irq271: ix1:que }
  12 root      -68    -     0K   688K CPU4    4  70:01 55.96% {irq269: ix1:que }
  12 root      -68    -     0K   688K CPU2    2  66:05 52.39% {irq267: ix1:que }
  11 root      171 ki31     0K   128K RUN     1 232:52 45.51% {idle: cpu1}
  11 root      171 ki31     0K   128K RUN     3 234:07 41.06% {idle: cpu3}
   0 root      -68    0     0K   416K -       1  35:18 30.91% {ix1 que}
   0 root      -68    0     0K   416K RUN     3  37:21 30.81% {ix1 que}
   0 root      -68    0     0K   416K CPU0    4  35:00 30.76% {ix1 que}
   0 root      -68    0     0K   416K CPU6    3  33:33 30.18% {ix1 que}
   0 root      -68    0     0K   416K RUN     6  30:09 29.74% {ix1 que}
   0 root      -68    0     0K   416K RUN     5  33:49 29.69% {ix1 que}
  11 root      171 ki31     0K   128K RUN     7 221:25 23.10% {idle: cpu7}
  11 root      171 ki31     0K   128K RUN     6 221:14 22.85% {idle: cpu6}
  11 root      171 ki31     0K   128K RUN     2 219:13 20.41% {idle: cpu2}
  12 root      -68    -     0K   688K WAIT    3  39:40 19.29% {irq268: ix1:que }
  11 root      171 ki31     0K   128K RUN     5 210:02 17.72% {idle: cpu5}
   0 root      -68    0     0K   416K -       0  16:18 13.62% {ix1 que}
  11 root      171 ki31     0K   128K RUN     4 206:22 13.57% {idle: cpu4}
  11 root      171 ki31     0K   128K CPU0    0 120:18 10.21% {idle: cpu0}
  12 root      -32    -     0K   688K WAIT    2  13:09  4.59% {swi4: clock}
  12 root      -68    -     0K   688K WAIT    1  26:02  4.44% {irq266: ix1:que }
   0 root      -68    0     0K   416K -       2   5:38  3.47% {ix1 que}
  12 root      -68    -     0K   688K WAIT    6  25:20  0.59% {irq262: ix0:que }
  12 root      -68    -     0K   688K WAIT    0  21:34  0.59% {irq256: ix0:que }
  12 root      -68    -     0K   688K WAIT    4  27:17  0.29% {irq260: ix0:que }
   0 root      -68    0     0K   416K -       3   1:03  0.29% {bge0 taskq}
  12 root      -68    -     0K   688K WAIT    7  27:34  0.24% {irq263: ix0:que }
  12 root      -68    -     0K   688K WAIT    5  25:59  0.24% {irq261: ix0:que }
  12 root      -68    -     0K   688K WAIT    1  24:18  0.24% {irq257: ix0:que }
  12 root      -68    -     0K   688K WAIT    3  25:46  0.20% {irq259: ix0:que }
  12 root      -68    -     0K   688K WAIT    2  26:36  0.15% {irq258: ix0:que }
   0 root      -68    0     0K   416K -       0  98:43  0.00% {dummynet}
   0 root      -68    0     0K   416K -       5   2:43  0.00% {ix0 que}
   0 root      -68    0     0K   416K -       5   2:42  0.00% {ix0 que}

 

трафика нет совсем, но процы загружены!!!

 

systat -ifstat

               /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
    Load Average   |||||||||||||||||||

     Interface           Traffic               Peak                Total
           lo0  in      0.071 KB/s          0.071 KB/s          437.163 KB
                out     0.071 KB/s          0.071 KB/s          437.163 KB

       vlan190  in      1.947 KB/s          1.947 KB/s           56.355 MB
                out    85.225 KB/s         85.225 KB/s          934.835 MB

       vlan250  in      0.035 KB/s          0.035 KB/s          421.114 GB
                out     0.000 KB/s          0.000 KB/s          267.643 GB

       vlan700  in    152.644 KB/s        152.644 KB/s          271.049 GB
                out     2.001 KB/s          2.001 KB/s          414.784 GB

 

netstat -m

16881/12444/29325 mbufs in use (current/cache/total)
16880/11030/27910/262144 mbuf clusters in use (current/cache/total/max)
16880/11024 mbuf+clusters out of packet secondary zone in use (current/cache)
0/9/9/262144 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/64000 9k jumbo clusters in use (current/cache/total/max)
0/0/0/32000 16k jumbo clusters in use (current/cache/total/max)
37980K/25207K/63187K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines

 

vmstat -z

shapper# vmstat -z
ITEM                     SIZE     LIMIT      USED      FREE  REQUESTS  FAILURES

UMA Kegs:                 208,        0,      105,       14,      105,        0
UMA Zones:                448,        0,      105,        7,      105,        0
UMA Slabs:                568,        0,     1332,        5,     1876,        0
UMA RCntSlabs:            568,        0,    13964,        1,    13964,        0
UMA Hash:                 256,        0,        1,       14,        3,        0
16 Bucket:                152,        0,      176,       24,      176,        0
32 Bucket:                280,        0,      224,        0,      224,        1
64 Bucket:                536,        0,      201,        2,      201,      105
128 Bucket:              1048,        0,      474,        0,      474,      163
VM OBJECT:                216,        0,     1779,     1011,  1394462,        0
MAP:                      232,        0,        7,       25,        7,        0
KMAP ENTRY:               120,    87916,       43,      267,     1503,        0
MAP ENTRY:                120,        0,      911,     1135,  2955907,        0
DP fakepg:                120,        0,        0,        0,        0,        0
SG fakepg:                120,        0,        0,        0,        0,        0
mt_zone:                 2056,        0,      246,       25,      246,        0
16:                        16,        0,     2588,     1108,   352544,        0
32:                        32,        0,     4322,     1536,   229430,        0
64:                        64,        0,     2399,    10817, 1194842424,        0
128:                      128,        0,     7612,      827,    11784,        0
256:                      256,        0,     1425,     4260, 967350364,        0
512:                      512,        0,     1475,     1416,   718469,        0
1024:                    1024,        0,       90,      230,     3915,        0
2048:                    2048,        0,       50,       84,      281,        0
4096:                    4096,        0,      310,      588,    95104,        0
Files:                     80,        0,       96,      849,   384936,        0
TURNSTILE:                136,        0,      593,       87,      593,        0
umtx pi:                   96,        0,        0,        0,        0,        0
MAC labels:                40,        0,        0,        0,        0,        0
PROC:                    1120,        0,       47,      343,    64340,        0
THREAD:                   984,        0,      494,       98,      494,        0
SLEEPQUEUE:                80,        0,      593,      161,      593,        0
VMSPACE:                  392,        0,       28,      262,    64320,        0
cpuset:                    72,        0,       19,      131,       19,        0
audit_record:             952,        0,        0,        0,        0,        0
mbuf_packet:              256,        0,    16880,    11024, 992233220,        0
mbuf:                     256,        0,        1,     1420, 208605250,        0
mbuf_cluster:            2048,   262144,    27904,        6,    27904,        0
mbuf_jumbo_page:         4096,   262144,        0,        9,       10,        0
mbuf_jumbo_9k:           9216,    64000,        0,        0,        0,        0
mbuf_jumbo_16k:         16384,    32000,        0,        0,        0,        0
mbuf_ext_refcnt:            4,        0,        0,        0,        0,        0
g_bio:                    232,        0,        0,      592,    71136,        0
ttyinq:                   160,        0,      150,      186,      375,        0
ttyoutq:                  256,        0,       80,      130,      200,        0
ata_request:              320,        0,        0,      324,    17837,        0
ata_composite:            336,        0,        0,        0,        0,        0
VNODE:                    472,        0,     1021,      155,     1113,        0
VNODEPOLL:                112,        0,        0,        0,        0,        0
NAMEI:                   1024,        0,        0,      208,  1357126,        0
S VFS Cache:              108,        0,     1041,      312,     4375,        0
L VFS Cache:              328,        0,        0,        0,        0,        0
DIRHASH:                 1024,        0,      191,       57,      191,        0
NFSMOUNT:                 616,        0,        0,        0,        0,        0
NFSNODE:                  656,        0,        0,        0,        0,        0
pipe:                     728,        0,        2,      313,    49287,        0
ksiginfo:                 112,        0,      379,      677,     2657,        0
itimer:                   344,        0,        0,       22,        1,        0
KNOTE:                    128,        0,        0,      145,       22,        0
socket:                   680,    25602,       35,       97,     1058,        0
unpcb:                    240,    25600,       12,      164,      183,        0
ipq:                       56,     8253,        0,      567,      817,        0
udp_inpcb:                336,    25608,        1,      109,      450,        0
udpcb:                     16,    25704,        1,     1007,      450,        0
tcp_inpcb:                336,    25608,       19,      124,      195,        0
tcpcb:                    880,    25600,       19,       93,      195,        0
tcptw:                     72,    41000,        0,        0,        0,        0
syncache:                 144,    15366,        0,      156,       11,        0
hostcache:                136,    15372,        1,       55,        1,        0
tcpreass:                  40,    16464,        0,      336,        4,        0
sackhole:                  32,        0,        0,      303,        8,        0
sctp_ep:                 1272,    25602,        0,        0,        0,        0
sctp_asoc:               2232,    40000,        0,        0,        0,        0
sctp_laddr:                48,    80064,        0,      288,       31,        0
sctp_raddr:               616,    80004,        0,        0,        0,        0
sctp_chunk:               136,   400008,        0,        0,        0,        0
sctp_readq:               104,   400032,        0,        0,        0,        0
sctp_stream_msg_out:       96,   400026,        0,        0,        0,        0
sctp_asconf:               40,   400008,        0,        0,        0,        0
sctp_asconf_ack:           48,   400032,        0,        0,        0,        0
ripcb:                    336,    25608,        2,       86,      228,        0
rtentry:                  200,        0,      863,      334,     2636,        0
pfsrctrpl:                152,    10000,        0,        0,        0,        0
pfrulepl:                 912,        0,       28,        8,       28,        0
pfstatepl:                392,   300000,      747,     6153,   466291,        0
pfaltqpl:                 240,        0,        0,       32,        1,        0
pfpooladdrpl:              88,        0,       10,       74,       10,        0
pfrktable:               1296,     1002,        0,        0,        0,        0
pfrkentry:                216,     5004,        0,        0,        0,        0
pfrkentry2:               216,        0,        0,        0,        0,        0
pffrent:                   32,   600041,        0,        0,        0,        0
pffrag:                    80,        0,        0,        0,        0,        0
pffrcache:                 80,    10035,        0,        0,        0,        0
pffrcent:                  24,    50022,        0,        0,        0,        0
pfstatescrub:              40,        0,        0,        0,        0,        0
pfiaddrpl:                120,        0,        0,        0,        0,        0
pfospfen:                 112,        0,      696,       96,     1392,        0
pfosfp:                    40,        0,      407,       97,      814,        0
IPFW dynamic rule:        120,        0,        0,        0,        0,        0
selfd:                     56,        0,       68,     1696,  3986514,        0
SWAPMETA:                 288,   116519,        0,        0,        0,        0
ip4flow:                   56,   197694,        0,        0,        0,        0
ip6flow:                   80,   197640,        0,        0,        0,        0
Mountpoints:              752,        0,        2,        8,        2,        0
FFS inode:                168,        0,      990,      176,     1077,        0
FFS1 dinode:              128,        0,        0,        0,        0,        0
FFS2 dinode:              256,        0,      990,      150,     1077,        0

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано · Жалоба

Обновитесь, для начала.

Если не поможет - поиск по форуму.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

ex-transfer   

ex-transfer
Опубликовано · Жалоба

Поиск уже перерыл вдоль и поперёк! Тем, где настраивают 82599 не так уж и много. Обновиться до какого релиза?

Вчера до последнего пытался понять почему такое происходит - не понял. Почему-то при нагрузке в 100Kpps процессоры грузятся под 50% , а процесс dummynet jn;bhftn 90-100% 0-го ядра!!! Вытащил плату, поставил старые 82572EI. На тех же настройках 500-550 Мбит и 125kpps без потерь на интерфейсах, процессоры загружены под 60%, но процесс dummynet все равно пытается отожрать в пиках до 30% от 0-го ядра!

Может у меня в правилах ipfw какая -нибудь ошибка?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Hawk128   

Hawk128
Опубликовано · Жалоба

dummynet жестко прибит к ядру? Если нет, он так себя может вести. Попробуйте прибить.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

ex-transfer   

ex-transfer
Опубликовано · Жалоба

Я выше писАл:

Использую PF Nat + Dummynet (прибит к 0 корке)

не вариант. Что-то с правилами может?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

ex-transfer   

ex-transfer
Опубликовано · Жалоба

Правила такого вида:

### 10Mbit/s
ipfw pipe 84 config queue 87 bw 10485760bit/s mask dst-ip 0xffffffff gred 0.002/50/100/0.1
ipfw pipe 74 config queue 87 bw 10485760bit/s mask src-ip 0xffffffff gred 0.002/50/100/0.1

 

# === 10 Mbit
ipfw add 18100 pipe tablearg ip from any to "table(84)" out xmit vlan700
ipfw add 18100 pipe tablearg ip from "table(74)" to any in recv vlan700

 

ipfw table 84 add xx.xx.xx.xx/26 84 # !!! GLOBAL IPoE 10 Mbit !!!
ipfw table 74 add xx.xx.xx.xx/26 74 # !!! GLOBAL IPoE 10 Mbit !!!

 

Vlan700 в данной схеме - интерфейс к юзерским NAS.

Таких правил около 20 (примерно 20 скоростей для тарифов)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано · Жалоба
# ISRnet.isr.direct=1net.isr.direct_force=1

Отключите и прерывания начнут меньше жрать а иср потоки больше.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

ex-transfer   

ex-transfer
Опубликовано (изменено) · Жалоба

Пробовал, резултата 0 (т.е. zero)

Ошибки как были, так и остались. Процессоры не разгружались и думминет всё равно жрал 0й проц!

Сервер работал так: шли ошибки, но сервер худо-бедно молотил трафик. Потом он начинал генерировать какой-то сумасшедший трафик, и сетевушки переставали работать, на любой ping отвечал

network is down

Вот что в этот момент было на графике pps интерфейса:

336348483758.jpg

Изменено пользователем ex-transfer

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

dagtkrus   

dagtkrus
Опубликовано · Жалоба

Так же наблюдаю подобную проблему на сервере после замены карты 1G на карту с 10G портами. Модули стоят интеловские на 10G.

Подскажите как её решить. А то уже пора перейти на нее, но из за проблемы никак не можем :(

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Подписчики 0
Перейти к списку тем Программное обеспечение, биллинг и *unix системы