Перейти к содержимому
Калькуляторы

FreeBSD ixgbe Interrupts помогите разобраться

Всем доброй ночи.

Имеется 10.3-STABLE FreeBSD с карточкой 82599ES

ix0 в сторону мира

ix1 смотрит в сторону локалки, десяток вланов, терминация PPPoE

не могу разобраться почему на ix0 прерываний намного выше, чем на ix1

 

    3 users    Load  2,66  2,84  3,12                  27 апр 23:42

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
       Tot   Share      Tot    Share    Free           in   out     in   out
Act 1857696   15928  7354732    19900 5705292  count
All 1870136   20136  7458792    89876          pages
Proc:                                                            Interrupts
 r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        ioflt  150k total
 1         259      317k  35k  42k 115k 8152   47        cow         acpi0 9
                                                      47 zfod     14 ehci0 ehci
23,1%Sys  32,9%Intr  4,5%User  0,0%Nice 39,5%Idle         ozfod     8 xhci0 19
|    |    |    |    |    |    |    |    |    |           %ozfod  5429 cpu0:timer
============++++++++++++++++>>                            daefr 19912 ix0:q0 264
                                       22 dtbuf       21 prcfr 21548 ix0:q1 265
Namei     Name-cache   Dir-cache    347910 desvn      232 totfr 14772 ix0:q2 266
  Calls    hits   %    hits   %    185129 numvn          react 24678 ix0:q3 267
    307     307 100                  2678 frevn          pdwak       ix0:link
                                                     242 pdpgs 13747 ix1:q0 269
Disks  ada0  ada1 pass0 pass1 pass2 pass3                 intrn  6201 ix1:q1 270
KB/t  41,54 41,51  0,00  0,00  0,00  0,00         1583648 wire   6918 ix1:q2 271
tps     270   271     0     0     0     0          592028 act    6672 ix1:q3 272
MB/s  10,97 11,00  0,00  0,00  0,00  0,00         8282032 inact       ix1:link
%busy    14    15     0     0     0     0                 cache   613 ahci1 285
                                                 5705264 free  11139 cpu1:timer
                                                 1675616 buf    8327 cpu3:timer
                                                               10410 cpu2:timer

почему так? ведь по идее in_ix1/out_ix0 и наоборот кол-во пакетов равно

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Стройте графики нагрузки каждой карты, по кол-ву бит в секунду, кол-ву юникаст и мультикаст пакетов.

Навскидку, у вас внутри сети, много паразитного траффика.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

внутри сети? нагрузка то на внешнюю карту

И да, по графикам кол-во бит, кол-во юникаста совпадает, в том и дело (

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Показывайте графики, особенно мультикаст.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

настройки карт

ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
       options=e100bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWFILTER,RXCSUM_IPV6,TXCSUM_IPV6>
       ether 90:e2:ba:a1:a0:94
       media: Ethernet autoselect (10Gbase-Twinax <full-duplex,rxpause,txpause>)
       status: active
       plugged: SFP/SFP+/SFP28 Unknown (Copper pigtail)
       vendor: Amphenol PN: 603830003 SN: APF15010030JN5 DATE: 2014-12-31
ix1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
       options=e100bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWFILTER,RXCSUM_IPV6,TXCSUM_IPV6>
       ether 90:e2:ba:a1:a0:95
       media: Ethernet autoselect (10Gbase-Twinax <full-duplex,rxpause,txpause>)
       status: active
       plugged: SFP/SFP+/SFP28 Unknown (Copper pigtail)
       vendor: Amphenol PN: 603830003 SN: APF15010030JRE DATE: 2014-12-31

 

на внутренней ix1 крутится mpd5.8, pfnat, ipfw, pipe нет

 

 netstat -m
32785/22880/55665 mbufs in use (current/cache/total)
32782/6188/38970/1048576 mbuf clusters in use (current/cache/total/max)
32782/6180 mbuf+clusters out of packet secondary zone in use (current/cache)
0/72/72/524288 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/149657 9k jumbo clusters in use (current/cache/total/max)
0/0/0/84182 16k jumbo clusters in use (current/cache/total/max)
73760K/18384K/92144K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile

 

 

ЗЫ ограничения в 3 сообщения :(

post-131770-083398000 1461853314_thumb.jpg

post-131770-042577900 1461853320_thumb.jpg

Изменено пользователем sk011

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Памяти маловато на сеть выделено.

Гипертрейдинг включен?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ОК может памяти мало, HT выключен

почему такая разница в intr на сетевых картах я этого не могу понять

от нагрузки на сеть никакой зависимости нет

Изменено пользователем sk011

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ОК может памяти мало, HT выключен

почему такая разница в intr на сетевых картах я этого не могу понять

от нагрузки на сеть никакой зависимости нет

 

Ну нужно еще посмотреть /boot/loader.conf и sysctl.conf

 

hw.ix.num_queues

hw.ix.enable_msix

net.isr.defaultqlimit

net.isr.bindthreads

net.isr.maxthreads

 

sysctl -a | grep dispatch

net.isr.dispatch: direct

 

vmstat -z

vmstat -z|grep -v "0, 0$"

netstat -Q

Изменено пользователем hsvt

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 ~]# sysctl net.isr
net.isr.numthreads: 4
net.isr.maxprot: 16
net.isr.defaultqlimit: 4096
net.isr.maxqlimit: 10240
net.isr.bindthreads: 1
net.isr.maxthreads: 4
net.isr.dispatch: deferred

 

~]# sysctl hw.ix.num_queues
hw.ix.num_queues: 4
~]# sysctl hw.ix.enable_msix
hw.ix.enable_msix: 1

 

~]# vmstat -z
ITEM                   SIZE  LIMIT     USED     FREE      REQ FAIL SLEEP

UMA Kegs:               384,      0,     118,       2,     118,   0,   0
UMA Zones:             1152,      0,     118,       2,     118,   0,   0
UMA Slabs:               80,      0,    7051,      49,    7699,   0,   0
UMA RCntSlabs:           88,      0,   18195,      30,   18195,   0,   0
UMA Hash:               256,      0,       2,      13,       8,   0,   0
4 Bucket:                32,      0,     231,    1644,  338597,   0,   0
6 Bucket:                48,      0,       0,    1826,   92021,   0,   0
8 Bucket:                64,      0,      58,    1740,  550460,  11,   0
12 Bucket:               96,      0,     767,     709, 5476632,   0,   0
16 Bucket:              128,      0,     557,     776,   67762,   0,   0
32 Bucket:              256,      0,     347,    2053,  254363,  50,   0
64 Bucket:              512,      0,     580,     324,  544339, 446,   0
128 Bucket:            1024,      0,     861,     527,  803606,   0,   0
256 Bucket:            2048,      0,     242,      64,100413482,  10,   0
vmem btag:               56,      0,   15130,    4040,   27021, 136,   0
VM OBJECT:              256,      0,    6092,    1903, 6287481,   0,   0
RADIX NODE:             144,      0,   57019,    1031,19871016,   0,   0
MAP:                    240,      0,       3,      61,       3,   0,   0
KMAP ENTRY:             128,      0,      20,     383,      20,   0,   0
MAP ENTRY:              128,      0,    7348,   21420,22438481,   0,   0
VMSPACE:                448,      0,     178,     263,  125610,   0,   0
fakepg:                 104,      0,       0,       0,       0,   0,   0
mt_zone:               4112,      0,     383,       0,     383,   0,   0
16:                      16,      0,    4901,    1625,50686083,   0,   0
32:                      32,      0,   34832,    2668,1194720124,   0,   0
64:                      64,      0,   28370,    2010,49143346,   0,   0
128:                    128,      0,   44510,     998, 8192712,   0,   0
256:                    256,      0,   18115,    1535,60203404,   0,   0
512:                    512,      0,    6449,     199, 6395970,   0,   0
1024:                  1024,      0,     142,     302, 2146987,   0,   0
2048:                  2048,      0,    2222,     314,10220377,   0,   0
4096:                  4096,      0,    1678,     189, 1983895,   0,   0
8192:                  8192,      0,      51,       4,    1396,   0,   0
16384:                16384,      0,    1837,       8,    4967,   0,   0
32768:                32768,      0,      30,       8,    2772,   0,   0
65536:                65536,      0,      30,       2,     581,   0,   0
SLEEPQUEUE:              80,      0,     712,     187,     712,   0,   0
64 pcpu:                  8,      0,   24759,     329,   24759,   0,   0
Files:                   80,      0,    8411,    6339,15542795,   0,   0
TURNSTILE:              136,      0,     712,      88,     712,   0,   0
rl_entry:                40,      0,     533,     567,     533,   0,   0
umtx pi:                 96,      0,       0,       0,       0,   0,   0
MAC labels:              40,      0,       0,       0,       0,   0,   0
PROC:                  1264,      0,     197,     217,  125629,   0,   0
THREAD:                1192,      0,     614,      97,  709438,   0,   0
cpuset:                  72,      0,     114,     271,     135,   0,   0
audit_record:          1248,      0,       0,       0,       0,   0,   0
mbuf_packet:            256, 6465195,   32811,    3368,2421359949,   0,   0
mbuf:                   256, 6465195,      26,    7565,3366417658,   0,   0
mbuf_cluster:          2048, 1048576,   36179,       7,   36179,   0,   0
mbuf_jumbo_page:       4096, 524288,       8,      94,  995390,   0,   0
mbuf_jumbo_9k:         9216, 149657,       0,       0,       0,   0,   0
mbuf_jumbo_16k:       16384,  84182,       0,       0,       0,   0,   0
mbuf_ext_refcnt:          4,      0,       0,       0,       0,   0,   0
NetGraph items:          72,  65565,       3,     772, 7602117,   0,   0
NetGraph data items:     72,  65565,       1,     898,3872701252,   0,   0
ttyinq:                 160,      0,     180,     195,     720,   0,   0
g_bio:                  248,      0,       0,    1648,28283802,   0,   0
ttyoutq:                256,      0,      95,     220,     380,   0,   0
DMAR_MAP_ENTRY:         120,      0,       0,       0,       0,   0,   0
nvme_request:           128,      0,       0,       0,       0,   0,   0
vtnet_tx_hdr:            24,      0,       0,       0,       0,   0,   0
FPU_save_area:          832,      0,       0,       0,       0,   0,   0
VNODE:                  472,      0,    2971,     133,   22430,   0,   0
VNODEPOLL:              112,      0,       1,     139,       1,   0,   0
BUF TRIE:               144,      0,    2836,  101870,  879168,   0,   0
S VFS Cache:            108,      0,    2642,     508,19516408,   0,   0
STS VFS Cache:          148,      0,       0,       0,       0,   0,   0
L VFS Cache:            328,      0,     421,      83,     440,   0,   0
LTS VFS Cache:          368,      0,       0,       0,       0,   0,   0
NAMEI:                 1024,      0,       0,      80,44462397,   0,   0
DIRHASH:               1024,      0,     112,      32,     118,   0,   0
NCLNODE:                528,      0,       0,       0,       0,   0,   0
Mountpoints:            816,      0,       8,      22,       8,   0,   0
pipe:                   744,      0,      11,      84,  248616,   0,   0
procdesc:               128,      0,       0,       0,       0,   0,   0
ksiginfo:               112,      0,     405,     750,   91391,   0,   0
itimer:                 352,      0,       0,       0,       0,   0,   0
pf mtags:                48,      0,       0,     830,     200,   0,   0
pf states:              296, 360009,  101563,   22392,29919705,   0,   0
pf state keys:           88,      0,  203132,   44908,59841392,   0,   0
pf source nodes:        136,  10005,       0,       0,       0,   0,   0
pf table entries:       160, 200000,       0,       0,       0,   0,   0
pf table counters:       64,      0,       0,       0,       0,   0,   0
pf frags:               120,      0,       0,       0,       0,   0,   0
pf frag entries:         40,   5000,       0,       0,       0,   0,   0
pf state scrubs:         40,      0,       0,       0,       0,   0,   0
KNOTE:                  128,      0,      37,     738,  472083,   0,   0
socket:                 696, 520115,    8509,    6211, 7343738,   0,   0
ipq:                     56,  32802,       0,    1065,   18691,   0,   0
udp_inpcb:              392, 520120,      45,     275, 5895409,   0,   0
udpcb:                   24, 520205,      45,    1625, 5895409,   0,   0
tcp_inpcb:              392, 520120,    9633,    7767, 1289585,   0,   0
tcpcb:                 1032, 520116,    8270,    6175, 1289585,   0,   0
tcptw:                   88,  27810,    1363,   10427,  723409,   0,   0
syncache:               160,  15375,       1,     449, 1286231,   0,   0
hostcache:              136,  15370,     305,     507,    1209,   0,   0
sackhole:                32,      0,       0,     875,    1501,   0,   0
tcpreass:                40,  65600,       3,     597,     429,   0,   0
sctp_ep:               1416, 520116,       0,       0,       0,   0,   0
sctp_asoc:             2408,  40000,       0,       0,       0,   0,   0
sctp_laddr:              48,  80012,       0,     830,      54,   0,   0
sctp_raddr:             720,  80000,       0,       0,       0,   0,   0
sctp_chunk:             136, 400026,       0,       0,       0,   0,   0
sctp_readq:             104, 400026,       0,       0,       0,   0,   0
sctp_stream_msg_out:    104, 400026,       0,       0,       0,   0,   0
sctp_asconf:             40, 400000,       0,       0,       0,   0,   0
sctp_asconf_ack:         48, 400060,       0,       0,       0,   0,   0
udplite_inpcb:          392, 520120,       0,       0,       0,   0,   0
ripcb:                  392, 520120,       5,     115,    1228,   0,   0
unpcb:                  240, 520128,     135,     361,  157446,   0,   0
rtentry:                200,      0,   24116,     284,   29515,   0,   0
IPFW dynamic rule:      120,  16401,     630,    1515, 1017273,   0,   0
divcb:                  392, 520120,       0,       0,       0,   0,   0
selfd:                   56,      0,    2200,   13278,30271641941,   0,   0
SWAPMETA:               288, 2020382,       0,       0,       0,   0,   0
FFS inode:              176,      0,    2916,     274,   22370,   0,   0
FFS1 dinode:            128,      0,       0,       0,       0,   0,   0
FFS2 dinode:            256,      0,    2916,     264,   22360,   0,   0
NetFlow IPv4 cache:      88, 1048606,  132336,    6916,58344147,   0,   0


 

 

 

~]# netstat -Q
Configuration:
Setting                        Current        Limit
Thread count                         4            4
Default queue limit               4096        10240
Dispatch policy               deferred          n/a
Threads bound to CPUs          enabled          n/a

Protocols:
Name   Proto QLimit Policy Dispatch Flags
ip         1  10240   flow  default   ---
igmp       2   4096 source  default   ---
rtsock     3   4096 source  default   ---
arp        7   4096 source  default   ---
ether      9   4096 source   direct   ---

Workstreams:
WSID CPU   Name     Len WMark   Disp'd  HDisp'd   QDrops   Queued  Handled
  0   0   ip         0  6504        0        0        0 766120712 766120712
  0   0   igmp       0     0        0        0        0        0        0
  0   0   rtsock     0   511        0        0        0    58729    58729
  0   0   arp        0    57        0        0        0    31955    31955
  0   0   ether      0     0 2135055448        0        0        0 2135055448
  1   1   ip         0   192        0        0        0  7173667  7173667
  1   1   igmp       0     0        0        0        0        0        0
  1   1   rtsock     0     0        0        0        0        0        0
  1   1   arp        0     4        0        0        0    22737    22737
  1   1   ether      0     0 608680522        0        0        0 608680522
  2   2   ip         0    81        0        0        0  3171521  3171521
  2   2   igmp       0     0        0        0        0        0        0
  2   2   rtsock     0     0        0        0        0        0        0
  2   2   arp        0     2        0        0        0    13512    13512
  2   2   ether      0     0 610545138        0        0        0 610545138
  3   3   ip         0   130        0        0        0  3148492  3148492
  3   3   igmp       0     0        0        0        0        0        0
  3   3   rtsock     0     0        0        0        0        0        0
  3   3   arp        0     3        0        0        0    32624    32624
  3   3   ether      0     0 674651868        0        0        0 674651868

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всем доброй ночи.

Имеется 10.3-STABLE FreeBSD с карточкой 82599ES

ix0 в сторону мира

ix1 смотрит в сторону локалки, десяток вланов, терминация PPPoE

не могу разобраться почему на ix0 прерываний намного выше, чем на ix1

 

почему так? ведь по идее in_ix1/out_ix0 и наоборот кол-во пакетов равно

 

Приветствую sk011, удалось выяснить причину с прерываниями? Проблема аналогичная, на такой же карте с такой же версией ОС: прерывания на внешней сетевухе ix1 более чем в два раза больше чем на внутренней ix0, картина при 1Г ната такая:

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
       Tot   Share      Tot    Share    Free           in   out     in   out
Act  340968    7356   923116     8756 7247772  count
All  341788    8128   931976    17568          pages
Proc:                                                            Interrupts
 r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        ioflt  133k total
            31      257k 1998  14k 124k   55             cow         ehci0 ehci
                                                         zfod        xhci0 uhci
1.4%Sys  13.2%Intr  0.4%User  0.0%Nice 85.1%Idle         ozfod  1120 cpu0:timer
|    |    |    |    |    |    |    |    |    |           %ozfod       ciss0 264
=++++++                                                   daefr  9101 ix0:q0 283
                                       12 dtbuf          prcfr  8852 ix0:q1 284
Namei     Name-cache   Dir-cache    211870 desvn          totfr  9361 ix0:q2 285
  Calls    hits   %    hits   %       668 numvn          react  8464 ix0:q3 286
      3       3 100                    63 frevn          pdwak       ix0:link
                                                      65 pdpgs 22447 ix1:q0 288
Disks   da0                                               intrn 21140 ix1:q1 289
KB/t   0.00                                        389080 wire  21213 ix1:q2 290
tps       0                                        160092 act   24085 ix1:q3 291
MB/s   0.00                                        183724 inact       ix1:link
%busy     0                                               cache  1120 cpu2:timer
                                                 7247772 free   1120 cpu7:timer
                                                  106432 buf    1120 cpu4:timer
                                                                1120 cpu6:timer
                                                                1120 cpu3:timer
                                                                1120 cpu1:timer
                                                                1120 cpu5:timer

FreeBSD 10.3-STABLE

сетевуха двухголовая - 82599ES 10-Gigabit

ix0 - локалка, ix1 - нат

hw.ix.tx_process_limit=512

hw.ix.rx_process_limit=512

hw.ix.num_queues=4 - очереди раскидал так - по 4 ядра на одну сетевуху, HT выключен, проц 8-ми ядерный.

hw.ix.max_interrupt_rate: 31250

vmstat -i
interrupt                          total       rate
irq18: ehci0 ehci1                201627          3
irq19: xhci0 uhci0                 42119          0
cpu0:timer                      64734831       1125
irq264: ciss0                      43752          0
irq283: ix0:q0                 483900190       8416
irq284: ix0:q1                 445171646       7742
irq285: ix0:q2                 453806756       7892
irq286: ix0:q3                 453087079       7880
irq287: ix0:link                       3          0
irq288: ix1:q0                 906885929      15773
irq289: ix1:q1                 846800889      14728
irq290: ix1:q2                 818373896      14233
irq291: ix1:q3                 833404038      14495
irq292: ix1:link                       5          0

 

всю голову сломал, выручайте братцы...

Изменено пользователем alexapu

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Может трабл ната?

Какой нат используется?

ipfw nat

ipfw nat sh
nat 5: icmp=452, udp=2629, tcp=46482, sctp=0, pptp=1, proto=0, frag_id=1 frag_ptr=0 / tot=49565
nat 4: icmp=13, udp=3571, tcp=75478, sctp=0, pptp=0, proto=0, frag_id=0 frag_ptr=0 / tot=79062
nat 3: icmp=19, udp=12725, tcp=140454, sctp=0, pptp=2, proto=0, frag_id=1 frag_ptr=0 / tot=153201
nat 2: icmp=113, udp=21389, tcp=301638, sctp=0, pptp=0, proto=0, frag_id=2 frag_ptr=0 / tot=323142
nat 1: icmp=15, udp=5386, tcp=22093, sctp=0, pptp=0, proto=0, frag_id=2 frag_ptr=0 / tot=27496

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сделайте инстансов поболее, я обычно натил /25 в один ип, лучше \26 в один ип натить.

ipfw nat параллелится только количеством инстансов.

Темболее страшные цифры по 300к трансляций.

Стараюсь избегать такого.

Проверил на одном хосте перекос вообще троекратный, но на работу никак не влияет.

На локальном интерфейсе в три раза меньше прерываний... но там роутинг конченый, так что я не удивлен что по ix1 прерываний в три раза больше.

Изменено пользователем GrandPr1de

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сделайте инстансов поболее, я обычно натил /25 в один ип, лучше \26 в один ип натить.

ipfw nat параллелится только количеством инстансов.

Темболее страшные цифры по 300к трансляций.

Стараюсь избегать такого.

Проверил на одном хосте перекос вообще троекратный, но на работу никак не влияет.

На локальном интерфейсе в три раза меньше прерываний... но там роутинг конченый, так что я не удивлен что по ix1 прерываний в три раза больше.

согласен полностью, что с трансляциями перебор в одном инстансе, но не в этом дело,

выравнивал трансляции и пулы нарезал поразному - на разницу по прерываниям ix0/ix1 не влияет. Походу драйвер ixgbe (ix) в 10-ке не допиленный, тк на igb всё ровненько.

У кого ещё FreeBSD10 + ix двухпортовый и два порта в работе, подвтвердите мои суждения, покажите vmstat -i под нагрузкой. Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если на той карте где прерываний больше исходящего трафика тоже больше чем входящего то вот и ответ.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У кого ещё FreeBSD10 + ix двухпортовый и два порта в работе, подвтвердите мои суждения, покажите vmstat -i под нагрузкой. Спасибо.

Как я уже сказал, у меня там веселый роутинг, так что мои цифры ничего не покажут.

Юзаю стоковый драйвер с 10.3 х64.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На сервере только шейпер - ipfw dummynet. Карточка intel x520-da2. ix1 в сторону мира, а ix0 в сторону локалки.

ix0: <Intel® PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k> port 0xb020-0xb03f mem 0xd0080000-0xd00fffff,0xd0104000-0xd0107fff irq 40 at device 0.0 on pci7

ix0: Using MSIX interrupts with 5 vectors

ix0: Advertised speed can only be set on copper or multispeed fiber media types.

ix0: PCI Express Bus: Speed 5.0GT/s Width x4

ix1: <Intel® PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k> port 0xb000-0xb01f mem 0xd0000000-0xd007ffff,0xd0100000-0xd0103fff irq 41 at device 0.1 on pci7

ix1: Using MSIX interrupts with 5 vectors

ix1: Advertised speed can only be set on copper or multispeed fiber media types.

ix1: PCI Express Bus: Speed 5.0GT/s Width x4

 

# uname -a

FreeBSD test 10.3-RELEASE-p7 FreeBSD 10.3-RELEASE-p7 #2: Fri Aug 19 10:41:18 EEST 2016 xxx@test:/usr/obj/usr/src/sys/SHAPER amd64

 

# vmstat -i

interrupt total rate

irq1: atkbd0 169 0

irq16: hdac1 116 0

irq18: ohci0 ohci2 4 0

irq19: ahci2 538616793 28

irq20: ohci1 2 0

irq22: ohci3 2 0

cpu0:timer 21425790067 1125

irq259: hdac0 7 0

irq263: ix0:q0 156607829760 8226

irq264: ix0:q1 150711228442 7916

irq265: ix0:q2 150476791437 7904

irq266: ix0:q3 150991689623 7931

irq267: ix0:link 21 0

irq268: ix1:q0 361890452071 19009

irq269: ix1:q1 339587395949 17837

irq270: ix1:q2 338747315565 17793

irq271: ix1:q3 339074743925 17810

irq272: ix1:link 73 0

irq273: re0 1617423865 84

cpu1:timer 21206225360 1113

cpu2:timer 21208332394 1114

cpu7:timer 21014463314 1103

cpu3:timer 21195087987 1113

cpu5:timer 21042766794 1105

cpu6:timer 21023673333 1104

cpu4:timer 21148221005 1110

Total 2159508048078 113432

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если на той карте где прерываний больше исходящего трафика тоже больше чем входящего то вот и ответ.

Логично же. На одной карте больше входящего, на другой исходящего.

С чего бы прерываний должно быть одинаково?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если на той карте где прерываний больше исходящего трафика тоже больше чем входящего то вот и ответ.

 

это проверял изначально, ix0 in/out ~ ix1 in/out:

 

netstat -ni

Name Mtu Network Address Ipkts Ierrs Idrop Opkts Oerrs Coll

ix0 1500 <Link#3> 673201248 23200 0 1041563102 0 0

ix1 1500 <Link#4> 1071950422 0 0 667396218 0 0

 

небольшая дельта (24Mpkts) - это пакеты от/для самой тачки (named кэширующий) + с наружи мусор прилетает, да и не пропорциональна эта дельта больше чем х2 прерываниям с наружи ix1.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если на той карте где прерываний больше исходящего трафика тоже больше чем входящего то вот и ответ.

Логично же. На одной карте больше входящего, на другой исходящего.

С чего бы прерываний должно быть одинаково?

ну как логично то, если по пакетам in+out ix0 = in+out ix1 при примитивной схеме ната - ix0 локалка, ix1 - мир.

К примеру на igb и FreeBSD 9.3-STABLE всё ровно в этом плане, igb0 - локалка, igb1 - мир:

vmstat -i
interrupt                          total       rate
irq18: ehci0 ehci1              64719845          2
irq19: xhci0 uhci0                   756          0
cpu0:timer                   28651144214       1117
irq264: ciss0                   17694454          0
irq265: igb0:que 0           73914279928       2882
irq266: igb0:que 1           71138755023       2774
irq267: igb0:que 2           71747181095       2798
irq268: igb0:que 3           71899069478       2804
irq269: igb0:que 4           73680637478       2873
irq270: igb0:que 5           76709782701       2991
irq271: igb0:que 6           71339011747       2782
irq272: igb0:que 7           71591749536       2792
irq273: igb0:link                      2          0
irq274: igb1:que 0           70895439058       2764
irq275: igb1:que 1           69615684808       2714
irq276: igb1:que 2           70301070639       2741
irq277: igb1:que 3           70502114261       2749
irq278: igb1:que 4           72494761027       2827
irq279: igb1:que 5           74876458529       2920
irq280: igb1:que 6           69825738259       2723
irq281: igb1:que 7           70200202715       2737
irq282: igb1:link                      2          0

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На сервере только шейпер - ipfw dummynet. Карточка intel x520-da2. ix1 в сторону мира, а ix0 в сторону локалки.

ix0: <Intel® PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k> port 0xb020-0xb03f mem 0xd0080000-0xd00fffff,0xd0104000-0xd0107fff irq 40 at device 0.0 on pci7

ix0: Using MSIX interrupts with 5 vectors

ix0: Advertised speed can only be set on copper or multispeed fiber media types.

ix0: PCI Express Bus: Speed 5.0GT/s Width x4

ix1: <Intel® PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k> port 0xb000-0xb01f mem 0xd0000000-0xd007ffff,0xd0100000-0xd0103fff irq 41 at device 0.1 on pci7

ix1: Using MSIX interrupts with 5 vectors

ix1: Advertised speed can only be set on copper or multispeed fiber media types.

ix1: PCI Express Bus: Speed 5.0GT/s Width x4

 

# uname -a

FreeBSD test 10.3-RELEASE-p7 FreeBSD 10.3-RELEASE-p7 #2: Fri Aug 19 10:41:18 EEST 2016 xxx@test:/usr/obj/usr/src/sys/SHAPER amd64

 

# vmstat -i

interrupt total rate

irq1: atkbd0 169 0

irq16: hdac1 116 0

irq18: ohci0 ohci2 4 0

irq19: ahci2 538616793 28

irq20: ohci1 2 0

irq22: ohci3 2 0

cpu0:timer 21425790067 1125

irq259: hdac0 7 0

irq263: ix0:q0 156607829760 8226

irq264: ix0:q1 150711228442 7916

irq265: ix0:q2 150476791437 7904

irq266: ix0:q3 150991689623 7931

irq267: ix0:link 21 0

irq268: ix1:q0 361890452071 19009

irq269: ix1:q1 339587395949 17837

irq270: ix1:q2 338747315565 17793

irq271: ix1:q3 339074743925 17810

irq272: ix1:link 73 0

irq273: re0 1617423865 84

cpu1:timer 21206225360 1113

cpu2:timer 21208332394 1114

cpu7:timer 21014463314 1103

cpu3:timer 21195087987 1113

cpu5:timer 21042766794 1105

cpu6:timer 21023673333 1104

cpu4:timer 21148221005 1110

Total 2159508048078 113432

 

воо, идентичная картина маслом...

а я уже на шину грешить хотел и слоты менять.

что делать бум, драйвер 3.1.14-k накатить может?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Почитайте - Limelight Networks ixgbe(4) tuning

И проверьте, включено ли PCI-IOV или нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Почитайте - Limelight Networks ixgbe(4) tuning

И проверьте, включено ли PCI-IOV или нет.

iovctl только с 11 версии вроде пошло,

в ядре вся виртуализация выкинута:

# VirtIO support
#device         virtio                  # Generic VirtIO bus (required)
#device         virtio_pci              # VirtIO PCI device
#device         vtnet                   # VirtIO Ethernet device
#device         virtio_blk              # VirtIO Block device
#device         virtio_scsi             # VirtIO SCSI device
#device         virtio_balloon          # VirtIO Memory Balloon device

# HyperV drivers and enchancement support
#options        HYPERV                  # Hyper-V kernel infrastructure
#device         hyperv                  # HyperV drivers 

на сетевухах:

pciconf -lc ix0

ix0@pci0:6:0:0: class=0x020000 card=0x00038086 chip=0x10fb8086 rev=0x01 hdr=0x00

cap 01[40] = powerspec 3 supports D0 D3 current D0

cap 05[50] = MSI supports 1 message, 64 bit, vector masks

cap 11[70] = MSI-X supports 64 messages, enabled

Table in map 0x20[0x0], PBA in map 0x20[0x2000]

cap 10[a0] = PCI-Express 2 endpoint max data 256(512) FLR RO NS link x8(x8)

speed 5.0(5.0) ASPM disabled(L0s)

ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected

ecap 0003[140] = Serial 1 90e2baffff7ea7ac

ecap 000e[150] = ARI 1

ecap 0010[160] = SRIOV 1

 

куда дальше копать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если на сетёвке где больше прерываний больше и исходящего трафика - то скорее всего драйвер так устроен что не копит пакеты на отправку, либо нужно искать крутилки для этого.

Для входящего давно есть задержка прерывания чтобы пакеты успели накопится, а для исходящего этим должна заниматься ос/драйвер.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если на сетёвке где больше прерываний больше и исходящего трафика - то скорее всего драйвер так устроен что не копит пакеты на отправку, либо нужно искать крутилки для этого.

Для входящего давно есть задержка прерывания чтобы пакеты успели накопится, а для исходящего этим должна заниматься ос/драйвер.

в том то и дело, что исходящего трафика на ней на порядок меньше, тк это сетевуха в мир (ix1).

Name    Mtu Network       Address              Ipkts Ierrs Idrop    Opkts Oerrs  Coll
ix0    1500 <Link#3>       3558791092 71938     0 5076707423     0     0
ix1    1500 <Link#4>       5198571061     0     0 3529574161     0     0

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.