Перейти к содержимому
Калькуляторы

FreeBSD ixgbe Interrupts помогите разобраться

Ответить

vlad11   

vlad11
Опубликовано · Жалоба

Что с этими параметрами в системе?

 

hw.ix.tx_process_limit: 256 (512?)
hw.ix.rx_process_limit: 256 (512?)
hw.ix.rxd: 2048 (4096?) - In the past we've found 2048 gives the best perf, but with different cards
hw.ix.txd: 2048 (4096?)
net.inet.tcp.tso=0
hw.ix.enable_aim: 1

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

alexapu   

alexapu
Опубликовано · Жалоба

Что с этими параметрами в системе?

 

hw.ix.tx_process_limit: 256 (512?)
hw.ix.rx_process_limit: 256 (512?)
hw.ix.rxd: 2048 (4096?) - In the past we've found 2048 gives the best perf, but with different cards
hw.ix.txd: 2048 (4096?)
net.inet.tcp.tso=0
hw.ix.enable_aim: 1

 

всё норм:

hw.ix.tx_process_limit: 512
hw.ix.rx_process_limit: 512
hw.ix.rxd: 4096
hw.ix.txd: 4096
net.inet.tcp.tso: 1 (сейчас 1, но делал 0 и выключал tso на картах - изменений абсолютно никаких не было. Насколько я помню со времён 7ки выключение tso помогало на сыром драйвере igb)
hw.ix.enable_aim: 1

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

alexapu   

alexapu
Опубликовано (изменено) · Жалоба

трафика чуть больше гига, разница по прерываниям x2:

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
       Tot   Share      Tot    Share    Free           in   out     in   out
Act  380020    7616  1197864     9020 6475340  count
All  381688    9188  1215584    26644          pages
Proc:                                                            Interrupts
 r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        ioflt  187k total
            37      345k 1764  12k 178k   55             cow         ehci0 ehci
                                                         zfod        xhci0 uhci
1.4%Sys  12.1%Intr  0.2%User  0.0%Nice 86.3%Idle         ozfod  1132 cpu0:timer
|    |    |    |    |    |    |    |    |    |           %ozfod       ciss0 264
=++++++                                                   daefr  7116 ix0:q0 283
                                       25 dtbuf          prcfr  7955 ix0:q1 284
Namei     Name-cache   Dir-cache    211870 desvn          totfr  7979 ix0:q2 285
  Calls    hits   %    hits   %    107076 numvn          react  8449 ix0:q3 286
      3       3 100                 52961 frevn          pdwak  7042 ix0:q4 287
                                                      62 pdpgs  8066 ix0:q5 288
Disks   da0                                               intrn  8071 ix0:q6 289
KB/t   0.00                                        811920 wire   8191 ix0:q7 290
tps       0                                        149828 act         ix0:link
MB/s   0.00                                        543580 inact 15662 ix1:q0 292
%busy     0                                               cache 16058 ix1:q1 293
                                                 6475340 free  13656 ix1:q2 294
                                                  856544 buf   13622 ix1:q3 295
                                                               15182 ix1:q4 296
                                                               12114 ix1:q5 297
                                                               11055 ix1:q6 298
                                                               18329 ix1:q7 299
                                                                     ix1:link



netstat -w1 -dbh -I ix1
           input            ix1           output
  packets  errs idrops      bytes    packets  errs      bytes colls drops
     104k     0     0       122M        69k     0        22M     0     0 
     102k     0     0       118M        68k     0        22M     0     0 
     112k     0     0       132M        76k     0        22M     0     0 
     108k     0     0       127M        71k     0        21M     0     0 
     113k     0     0       134M        75k     0        23M     0     0 
     116k     0     0       138M        78k     0        24M     0     0 
     121k     0     0       144M        82k     0        23M     0     0

Изменено пользователем alexapu

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

vlad11   

vlad11
Опубликовано · Жалоба

Покажите 

uname -a
netstat -m
netstat -Q
netstat -s
top -b -n 20
vmstat -s
vmstat -m

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

alexapu   

alexapu
Опубликовано (изменено) · Жалоба

Покажите 

uname -a
netstat -m
netstat -Q
netstat -s
top -b -n 20
vmstat -s
vmstat -m

 

uname -a
FreeBSD bras_m3 10.3-STABLE FreeBSD 10.3-STABLE #1 r307667: Thu Oct 20 17:27:44 2016     root@bras_m3:/usr/obj/usr/src/sys/M3_BRAS  amd64

netstat -m
65937/6933/72870 mbufs in use (current/cache/total)
65911/3425/69336/997584 mbuf clusters in use (current/cache/total/max)
65911/3411 mbuf+clusters out of packet secondary zone in use (current/cache)
0/117/117/498792 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/73895 9k jumbo clusters in use (current/cache/total/max)
0/0/0/41566 16k jumbo clusters in use (current/cache/total/max)
148405K/9051K/157457K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile

netstat -Q
Configuration:
Setting                        Current        Limit
Thread count                         1            1
Default queue limit                256        10240
Dispatch policy                 direct          n/a
Threads bound to CPUs         disabled          n/a

Protocols:
Name   Proto QLimit Policy Dispatch Flags
ip         1    256   flow  default   ---
igmp       2    256 source  default   ---
rtsock     3    256 source  default   ---
arp        7    256 source  default   ---
ether      9    256 source   direct   ---

Workstreams:
WSID CPU   Name     Len WMark   Disp'd  HDisp'd   QDrops   Queued  Handled
  0   0   ip         0     6 7983153516        0        0    15870 7983169373
  0   0   igmp       0     0        0        0        0        0        0
  0   0   rtsock     0     1        0        0        0        1        1
  0   0   arp        0     0  9974612        0        0        0  9974612
  0   0   ether      0     0 4123896316        0        0        0 4123896316

netstat -s
tcp:
350115 packets sent
	214684 data packets (127740028 bytes)
	3389 data packets (14790156 bytes) retransmitted
	756 data packets unnecessarily retransmitted
	0 resends initiated by MTU discovery
	123412 ack-only packets (22478 delayed)
	0 URG only packets
	0 window probe packets
	1 window update packet
	10210 control packets
1094361 packets received
	190483 acks (for 127766092 bytes)
	10858 duplicate acks
	0 acks for unsent data
	282966 packets (230453801 bytes) received in-sequence
	219 completely duplicate packets (11957 bytes)
	0 old duplicate packets
	8 packets with some dup. data (1388 bytes duped)
	18 out-of-order packets (5144 bytes)
	0 packets (0 bytes) of data after window
	0 window probes
	1095 window update packets
	156 packets received after close
	0 discarded for bad checksums
	0 discarded for bad header offset fields
	0 discarded because packet too short
	0 discarded due to memory problems
354 connection requests
9529 connection accepts
7 bad connection attempts
0 listen queue overflows
56 ignored RSTs in the windows
9864 connections established (including accepts)
9883 connections closed (including 9 drops)
	7349 connections updated cached RTT on close
	7356 connections updated cached RTT variance on close
	6132 connections updated cached ssthresh on close
0 embryonic connections dropped
185299 segments updated rtt (of 149858 attempts)
1579 retransmit timeouts
	0 connections dropped by rexmit timeout
0 persist timeouts
	0 connections dropped by persist timeout
0 Connections (fin_wait_2) dropped because of timeout
0 keepalive timeouts
	0 keepalive probes sent
	0 connections dropped by keepalive
45020 correct ACK header predictions
193220 correct data packet header predictions
9896 syncache entries added
	220 retransmitted
	107 dupsyn
	9 dropped
	9529 completed
	0 bucket overflow
	0 cache overflow
	315 reset
	52 stale
	0 aborted
	0 badack
	0 unreach
	0 zone failures
9905 cookies sent
0 cookies received
99 hostcache entries added
	0 bucket overflow
28 SACK recovery episodes
54 segment rexmits in SACK recovery episodes
44908 byte rexmits in SACK recovery episodes
1125 SACK options (SACK blocks) received
15 SACK options (SACK blocks) sent
0 SACK scoreboard overflow
0 packets with ECN CE bit set
23 packets with ECN ECT(0) bit set
0 packets with ECN ECT(1) bit set
24 successful ECN handshakes
0 times ECN reduced the congestion window
0 packets with valid tcp-md5 signature received
0 packets with invalid tcp-md5 signature received
0 packets with tcp-md5 signature mismatch
0 packets with unexpected tcp-md5 signature received
0 packets without expected tcp-md5 signature received
udp:
36206008 datagrams received
0 with incomplete header
2 with bad data length field
171 with bad checksum
55852 with no checksum
1059774 dropped due to no socket
402772 broadcast/multicast datagrams undelivered
0 dropped due to full socket buffers
0 not for hashed pcb
34743289 delivered
34472524 datagrams output
0 times multicast source filter matched
sctp:
0 input packets
	0 datagrams
	0 packets that had data
	0 input SACK chunks
	0 input DATA chunks
	0 duplicate DATA chunks
	0 input HB chunks
	0 HB-ACK chunks
	0 input ECNE chunks
	0 input AUTH chunks
	0 chunks missing AUTH
	0 invalid HMAC ids received
	0 invalid secret ids received
	0 auth failed
	0 fast path receives all one chunk
	0 fast path multi-part data
0 output packets
	0 output SACKs
	0 output DATA chunks
	0 retransmitted DATA chunks
	0 fast retransmitted DATA chunks
	0 FR's that happened more than once to same chunk
	0 output HB chunks
	0 output ECNE chunks
	0 output AUTH chunks
	0 ip_output error counter
Packet drop statistics:
	0 from middle box
	0 from end host
	0 with data
	0 non-data, non-endhost
	0 non-endhost, bandwidth rep only
	0 not enough for chunk header
	0 not enough data to confirm
	0 where process_chunk_drop said break
	0 failed to find TSN
	0 attempt reverse TSN lookup
	0 e-host confirms zero-rwnd
	0 midbox confirms no space
	0 data did not match TSN
	0 TSN's marked for Fast Retran
Timeouts:
	0 iterator timers fired
	0 T3 data time outs
	0 window probe (T3) timers fired
	0 INIT timers fired
	0 sack timers fired
	0 shutdown timers fired
	0 heartbeat timers fired
	0 a cookie timeout fired
	0 an endpoint changed its cookiesecret
	0 PMTU timers fired
	0 shutdown ack timers fired
	0 shutdown guard timers fired
	0 stream reset timers fired
	0 early FR timers fired
	0 an asconf timer fired
	0 auto close timer fired
	0 asoc free timers expired
	0 inp free timers expired
0 packet shorter than header
0 checksum error
0 no endpoint for port
0 bad v-tag
0 bad SID
0 no memory
0 number of multiple FR in a RTT window
0 RFC813 allowed sending
0 RFC813 does not allow sending
0 times max burst prohibited sending
0 look ahead tells us no memory in interface
0 numbers of window probes sent
0 times an output error to clamp down on next user send
0 times sctp_senderrors were caused from a user
0 number of in data drops due to chunk limit reached
0 number of in data drops due to rwnd limit reached
0 times a ECN reduced the cwnd
0 used express lookup via vtag
0 collision in express lookup
0 times the sender ran dry of user data on primary
0 same for above
0 sacks the slow way
0 window update only sacks sent
0 sends with sinfo_flags !=0
0 unordered sends
0 sends with EOF flag set
0 sends with ABORT flag set
0 times protocol drain called
0 times we did a protocol drain
0 times recv was called with peek
0 cached chunks used
0 cached stream oq's used
0 unread messages abandonded by close
0 send burst avoidance, already max burst inflight to net
0 send cwnd full avoidance, already max burst inflight to net
0 number of map array over-runs via fwd-tsn's
ip:
30705654358 total packets received
30 bad header checksums
0 with size smaller than minimum
144 with data size < data length
0 with ip length > max ip packet size
0 with header length < data size
0 with data length < header length
0 with bad options
1 with incorrect version number
7731 fragments received
0 fragments dropped (dup or out of space)
1540 fragments dropped after timeout
2721 packets reassembled ok
37652002 packets for this host
312332 packets for unknown/unsupported protocol
22531600702 packets forwarded (8602492557 packets fast forwarded)
257095 packets not forwardable
0 packets received for unknown multicast group
0 redirects sent
35016818 packets sent from this host
37 packets sent with fabricated ip header
29451 output packets dropped due to no bufs, etc.
0 output packets discarded due to no route
0 output datagrams fragmented
0 fragments created
0 datagrams that can't be fragmented
0 tunneling packets that can't find gif
31 datagrams with bad address in header
icmp:
140560 calls to icmp_error
36 errors not generated in response to an icmp message
Output histogram:
	echo reply: 51521
	destination unreachable: 57023
	time exceeded: 83501
0 messages with bad code fields
0 messages less than the minimum length
8 messages with bad checksum
0 messages with bad length
0 multicast echo requests ignored
0 multicast timestamp requests ignored
Input histogram:
	destination unreachable: 179296
	echo: 351501
	time exceeded: 2962
51521 message responses generated
0 invalid return addresses
0 no return routes
ICMP address mask responses are disabled
igmp:
123669 messages received
0 messages received with too few bytes
0 messages received with wrong TTL
0 messages received with bad checksum
123382 V1/V2 membership queries received
4 V3 membership queries received
0 membership queries received with invalid field(s)
27161 general queries received
96225 group queries received
0 group-source queries received
0 group-source queries dropped
227 membership reports received
2 membership reports received with invalid field(s)
0 membership reports received for groups to which we belong
67 V3 reports received without Router Alert
0 membership reports sent
arp:
154909 ARP requests sent
5877425 ARP replies sent
9958194 ARP requests received
18030 ARP replies received
9976224 ARP packets received
212825 total packets dropped due to no ARP entry
57738 ARP entrys timed out
0 Duplicate IPs seen

top -b -n 20
last pid: 18373;  load averages:  0.73,  0.64,  0.66  up 2+19:14:09    00:36:14
32 processes:  2 running, 30 sleeping

Mem: 145M Active, 501M Inact, 890M Wired, 821M Buf, 6258M Free
Swap: 8192M Total, 8192M Free


 PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
 119 root          1  52    0 24784K  4140K wait    6   0:02  11.67% perl5.18.4
1099 bind         11  20    0   390M   352M kqread  4  91:17   0.00% named
1206 root          1  22    0 61328K  6624K select  1   0:03   0.00% sshd
84745 r        1  20    0 86596K  7376K select  3   0:01   0.00% sshd
1017 root          1  20    0 14528K  2152K select  1   0:01   0.00% syslogd
1209 root          1  20    0 16620K  2268K nanslp  2   0:01   0.00% cron
71027 r        1  20    0 86596K  7424K select  7   0:00   0.00% sshd
88931 root          1  20    0 23596K  4028K pause   4   0:00   0.00% csh
71074 root          1  20    0 23596K  4080K pause   2   0:00   0.00% csh
 903 root          1  20    0 13664K  4888K select  7   0:00   0.00% devd
71024 root          1  20    0 86596K  7300K select  6   0:00   0.00% sshd
81046 root          1  21    0 86596K  7328K select  3   0:00   0.00% sshd
96818 root          1  20    0 23480K  5916K ttyin   3   0:00   0.00% vi
85085 r        1  20    0 23596K  3788K pause   3   0:00   0.00% csh
71030 r        1  20    0 23596K  3436K pause   1   0:00   0.00% csh
71072 root          1  21    0 50392K  3436K select  5   0:00   0.00% sudo
88922 root          1  21    0 50392K  3436K select  3   0:00   0.00% sudo
71073 root          1  21    0 47736K  2744K wait    5   0:00   0.00% su
88927 root          1  21    0 47736K  2744K wait    6   0:00   0.00% su
1809 root          1  52    0 14516K  2008K ttyin   1   0:00   0.00% getty

vmstat -s
3989702104 cpu context switches
83400802 device interrupts
13398085 software interrupts
630201881 traps
2017780492 system calls
      15 kernel threads created
38363850  fork() calls
    8754 vfork() calls
       0 rfork() calls
       0 swap pager pageins
       0 swap pager pages paged in
       0 swap pager pageouts
       0 swap pager pages paged out
    1409 vnode pager pageins
   12649 vnode pager pages paged in
       0 vnode pager pageouts
       0 vnode pager pages paged out
       0 page daemon wakeups
14578107 pages examined by the page daemon
       0 pages reactivated
1923022464 copy-on-write faults
    1267 copy-on-write optimized faults
2112354206 zero fill pages zeroed
       0 zero fill pages prezeroed
      21 intransit blocking page faults
143922923 total VM faults taken
    1260 page faults requiring I/O
       0 pages affected by kernel thread creation
1266984230 pages affected by  fork()
  304041 pages affected by vfork()
       0 pages affected by rfork()
       0 pages cached
1416377492 pages freed
       0 pages freed by daemon
2959891344 pages freed by exiting processes
   36901 pages active
  128139 pages inactive
       0 pages in VM cache
  227705 pages wired down
 1602422 pages free
    4096 bytes per page
1241533977 total name lookups
         cache hits (93% pos + 6% neg) system 0% per-directory
         deletions 0%, falsehits 0%, toolong 0%

vmstat -m
        Type InUse MemUse HighUse Requests  Size(s)
    mtx_pool     2    16K       -        2  8192
         osd     3     1K       -        9  16,32,64,128,256
   ciss_data    10    16K       -       12  16,512,1024,4096,8192
    pmchooks     1     1K       -        1  128
     acpidev    36     3K       -       36  64
    CAM path     2     1K       -      524  32
  CAM periph     3     1K       -      136  16,32,64,256
        pgrp    26     4K       -    19969  128
     session    20     3K       -    18640  128
        proc     2    32K       -        2  16384
     subproc   190   253K       - 38391617  512,4096
        cred    82    13K       - 157009984  64,256
   CAM queue     4     5K       -      776  16,32,64,128,256,512,1024,2048,4096
      plimit    17     5K       -    19432  256
     uidinfo     4     5K       -    38464  128,4096
CAM dev queue     2     1K       -        2  64
     entropy  1027    65K       -     3561  32,64,4096
   raid_data     0     0K       -      216  32,128,256
     CAM SIM     3     1K       -        3  256
     scsi_da     0     0K       -       88  32,64
    acpiintr     1     1K       -        1  64
      sysctl     0     0K       - 38495204  16,32,64
   sysctloid  6579   329K       -     6872  16,32,64,128,256
   sysctltmp     0     0K       -   114325  16,32,64,128,2048
     tidhash     1    32K       -        1  32768
     callout     9  3208K       -        9  
        umtx   594    75K       -      594  128
    p1003.1b     1     1K       -        1  16
        SWAP     2  1097K       -        2  64
         bus   914    97K       -    31366  16,32,64,128,256,1024,2048
      bus-sc    84  1961K       -     4844  16,32,64,128,256,512,1024,2048,4096,8192,16384,65536
      acpica  3742   378K       -   180892  16,32,64,128,256,512,1024,2048
     devstat    10    21K       -       10  32,4096
eventhandler    84     7K       -       84  64,128
     CAM XPT    14     2K       -      756  16,32,64,128,256,512,1024,2048,65536
     CAM DEV     2     4K       -      259  2048
        kobj   146   584K       -      491  4096
    pci_link    16     2K       -       16  64,128
     Per-cpu     1     1K       -        1  32
        rman   345    37K       -      763  16,32,128
        sbuf     1     1K       -    18602  16,32,64,128,256,512,1024,2048,4096,8192,16384,32768,65536
    acpitask     1    16K       -        1  16384
       stack     0     0K       -        1  256
   taskqueue    85    12K       -       85  16,32,256
      Unitno    29     2K       -    13165  32,64
        vmem     3   296K       -       11  1024,2048,4096,8192,16384,32768,65536
    ioctlops     0     0K       -      149  256,512,1024
      select   121    16K       -      121  128
         iov     0     0K       - 362040972  16,64,128,256,512
         msg     4    30K       -        4  2048,4096,8192,16384
         sem     4   106K       -        4  2048,4096
         shm     1    32K       -        1  32768
         tty    19    19K       -      159  1024,2048
         pts     2     1K       -       14  256
    mbuf_tag   385    97K       - 23515617294  32,256
       shmfd     1     8K       -        1  8192
      soname     4     1K       - 76540998  16,32,128
         pcb    21  1175K       -  7051951  16,32,128,1024,2048,8192
         acl     0     0K       -     3948  4096
    vfscache     1  2048K       -        1  
  cl_savebuf     0     0K       -     3604  64
    vfs_hash     1  1024K       -        1  
      vnodes     1     1K       -        1  256
      kbdmux     7    22K       -        7  16,512,1024,2048,16384
       mount    61     3K       -      131  16,32,64,128,256
         LED     4     1K       -        4  16,128
 vnodemarker     0     0K       -    62541  512
     fadvise     0     0K       -        2  64
         BPF    13     2K       -     1998  16,32,128,512,4096
       ifnet    14    27K       -       14  128,2048
      ifaddr    79    28K       -       81  32,512,4096
 ether_multi    52     3K       -       62  16,64
       clone     7     1K       -        7  128
      arpcom    12     1K       -       12  16
     lltable  1406   355K       -    59285  256,512
        vlan    18     2K       -       18  64,128
     acpisem    37     5K       -       37  128
    routetbl   127    21K       -    23278  32,128,256,512
        igmp    13     4K       -       13  256
    in_multi    11     3K       -       11  256
         USB    59    87K       -       66  16,32,128,256,512,1024,4096,8192,32768
   sctp_a_it     0     0K       -       21  16
    sctp_vrf     1     1K       -        1  64
    sctp_ifa    32     4K       -       32  128
    sctp_ifn    11     2K       -       11  128
   sctp_iter     0     0K       -       21  256
   hostcache     1    32K       -        1  32768
    syncache     1    64K       -        1  65536
    libalias 738250 92793K       - 266035416  128,65536
     sctpnat    24   320K       -       24  8192,16384
    dummynet   121   124K       -      124  512,1024,2048,4096
    dummynet  1148   515K       - 67918790  256,512
 IpFw/IpAcct    29    21K       -      101  16,32,64,128,1024,2048,16384
    ipfw_tbl 19436  4859K       - 76636167  256
     pagedep     4  1024K       -      611  256
    inodedep     6  4097K       -    12051  512
   bmsafemap     5    33K       -     7985  256,8192
      newblk     8  8193K       -    28016  256
    indirdep     0     0K       -      207  128,32768
    freefrag     0     0K       -    10282  128
    freeblks     1     1K       -     3553  256
    freefile     0     0K       -      804  64
      diradd     0     0K       -     3929  128
       mkdir     0     0K       -       12  128
      dirrem     0     0K       -     3903  128
   newdirblk     0     0K       -        6  64
    freework     8     1K       -    12415  16,128
     freedep     0     0K       -       20  64
     jaddref     0     0K       -     3940  128
     jremref     0     0K       -     3914  128
     jnewblk     0     0K       -    28006  128
   jfreefrag     0     0K       -    10282  128
        jseg     1     1K       -     8852  128
     jsegdep     4     1K       -    46142  64
       sbdep     0     0K       -     6330  64
    savedino     0     0K       -      911  256
     jblocks     6     2K       -        6  128,256
     softdep     4     2K       -        4  512
 ufs_dirhash  2697   613K       -     2697  16,32,64,128,256,512,1024,2048,4096,8192,16384
   ufs_quota     1  1024K       -        1  
   ufs_mount    12    50K       -       12  512,4096,8192
   vm_pgdata     2  1025K       -        2  128
     UMAHash     6    52K       -       20  512,1024,2048,4096,8192,16384,32768
      DEVFS3   119    30K       -      177  256
      DEVFS1    96    48K       -      132  512
      isadev     8     1K       -        8  128
  DEVFS_RULE    55    26K       -       55  64,512
       DEVFS    19     1K       -       20  16,128
     memdesc     1     4K       -        1  4096
      DEVFSP     1     1K       -      542  64
    atkbddev     2     1K       -        2  64
        cdev     4     1K       -        4  256
    filedesc    47   155K       - 38391474  128,2048,65536
       sigio     1     1K       -        1  64
    filecaps     0     0K       -       29  16,64
        kenv   104    12K       -      108  16,32,64,128,8192
      kqueue     2     9K       -    21902  256,2048,8192
   proc-args    30     2K       - 38431195  16,32,64,128,256
   pfs_nodes    21     6K       -       21  256
       hhook     2     1K       -        2  256
      apmdev     1     1K       -        1  128
  madt_table     0     0K       -        1  4096
     ithread   224    37K       -      224  32,128,256
      KTRACE   100    13K       -      100  128
        GEOM    79    13K       -     2089  16,32,64,128,256,512,1024,2048,8192,16384
      USBdev    46    10K       -       46  32,64,128,256,512,4096
     io_apic     2     4K       -        2  2048
      linker   204    79K       -      320  16,32,64,128,256,512,1024,2048,4096,8192,32768
         MCA    22     3K       -       22  128
       lockf    17     2K       -     3989  64,128
  loginclass     3     1K       -    11406  64
         msi    45     6K       -       45  128
    nexusdev     3     1K       -        3  16
      devbuf  2864 12722K       -     3693  16,32,64,128,256,512,1024,2048,4096,8192,32768,65536
        temp    66     2K       - 76882610  16,32,64,128,256,512,1024,2048,4096,65536
     CAM CCB     0     0K       -   264178  2048
      module   255    32K       -      255  128

Изменено пользователем alexapu

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

vlad11   

vlad11
Опубликовано · Жалоба

В /boot/loader.conf добавьте:

 

net.isr.defaultqlimit=4096

# Если есть lagg
net.link.ifqmaxlen=10240

# New Congestion Control for FreeBSD
cc_htcp_load="YES"

 

В /etc/sysctl.conf добавьте:

kern.ipc.nmbclusters=2000000

 

Еще покажите:

sysctl net.isr.dispatch  net.route.netisr_maxqlen net.inet.tcp.sendspace net.inet.tcp.recvspace
sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

alexapu   

alexapu
Опубликовано (изменено) · Жалоба

net.isr.defaultqlimit=4096

я ж сетевухами разгребаю (Dispatch policy -direct), чем мне эта очередь поможет?

 

net.link.ifqmaxlen=10240

lagg-а нет, но оно вроде и не для lagg-а полезно:

http://svn.freebsd.org/viewvc/base?view=revision&revision=207554

 

cc_htcp_load="YES"

а это чем помочь сможет?

 

kern.ipc.nmbclusters=2000000

буферов с запасом у меня: 65738/3598/69336/997584 mbuf clusters in use (current/cache/total/max)

 

sysctl net.isr.dispatch  net.route.netisr_maxqlen net.inet.tcp.sendspace net.inet.tcp.recvspace

это тоже для netisr, но тем не менее:

net.isr.dispatch: direct
net.route.netisr_maxqlen: 256
net.inet.tcp.sendspace: 32768
net.inet.tcp.recvspace: 65536

 

sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters

graph не использую, про буфера писал ранее:

sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters
sysctl: unknown oid 'net.graph.maxdgram'
sysctl: unknown oid 'net.graph.recvspace'
kern.ipc.nmbclusters: 997584

Изменено пользователем alexapu

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

vlad11   

vlad11
Опубликовано · Жалоба

net.isr.defaultqlimit=4096

я ж сетевухами разгребаю (Dispatch policy -direct), чем мне эта очередь поможет?

Только ether и не факт что только сетевухами, у вас 1/6 софт прерываний.

Если очередь пакетов для сетевух позволяет, то почему системе за такт больше пакетов не закидывать?

 

net.link.ifqmaxlen=10240

lagg-а нет, но оно вроде и не для lagg-а полезно:

http://svn.freebsd.org/viewvc/base?view=revision&revision=207554

При множестве тонких интерфейсов может быть лишний расход памяти. Смотрите сами.

 

cc_htcp_load="YES"

а это чем помочь сможет?

Возможно снизит кол-во tcp пакетов и увеличит ускорение пакетов.

Посмотрите тесты с cc_htcp.

 

kern.ipc.nmbclusters=2000000

буферов с запасом у меня: 65738/3598/69336/997584 mbuf clusters in use (current/cache/total/max)

Памяти все равно на 10G сеть мало выделено

 

sysctl net.isr.dispatch  net.route.netisr_maxqlen net.inet.tcp.sendspace net.inet.tcp.recvspace

это тоже для netisr, но тем не менее:

net.isr.dispatch: direct
net.route.netisr_maxqlen: 256
net.inet.tcp.sendspace: 32768
net.inet.tcp.recvspace: 65536

Увеличивайте до

net.inet.tcp.sendspace: 3217968
net.inet.tcp.recvspace: 3217968

 

sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters

graph не использую, про буфера писал ранее:

А вы все равно посмотрите список используемых объектов:

ngctl list

 

Ну, и для 10G желательно использовать Jumbo-frame.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано · Жалоба
net.inet.tcp.tso: 1 (сейчас 1, но делал 0 и выключал tso на картах - изменений абсолютно никаких не было. Насколько я помню со времён 7ки выключение tso помогало на сыром драйвере igb)

Хоть обвключайся.

Это для раздающего контент, а роутеру пофик, он в tcp не смотрит. И уж тем более не шлёт сам ничего, ну кроме админок всяких для родного админа.

 

netstat -Q Configuration: Setting Current Limit Thread count 1 1 Default queue limit 256 10240 Dispatch policy direct n/a Threads bound to CPUs disabled n/a Protocols: Name Proto QLimit Policy Dispatch Flags ip 1 256 flow default --- igmp 2 256 source default --- rtsock 3 256 source default --- arp 7 256 source default --- ether 9 256 source direct ---

У меня на десктопе больше :)))

 

это тоже для netisr, но тем не менее: net.isr.dispatch: direct net.route.netisr_maxqlen: 256 net.inet.tcp.sendspace: 32768 net.inet.tcp.recvspace: 65536

Значится так.

Всё что inet.tcp, inet.udp, inet.icmp, inet.igmp и вероятно куча прочего - роутера не касается.

Пакеты тупо не доходят до того места где эти крутилки применяются, он улетает в другой интерфейс, дальше ip ничего не разбирается.

Маленькая очередь в isr - это плохо. Вот у тебя в сетевухе поди 2к пакетов, как оно их в 256 переложит потом?

 

 

Ещё обычно у сетевух есть своя аппаратная стата:

sysctl dev.ix

вот кусок у меня:

dev.igb.0.interrupts.rx_overrun: 0

dev.igb.0.interrupts.rx_desc_min_thresh: 0

dev.igb.0.interrupts.tx_queue_min_thresh: 26986950

dev.igb.0.interrupts.tx_queue_empty: 16006906

dev.igb.0.interrupts.tx_abs_timer: 0

dev.igb.0.interrupts.tx_pkt_timer: 0

dev.igb.0.interrupts.rx_abs_timer: 0

dev.igb.0.interrupts.rx_pkt_timer: 26985807

dev.igb.0.interrupts.asserts: 14489160

 

Те для tx тупо больше прерываний в принципе нужно чтобы нормально работать.

 

 

# New Congestion Control for FreeBSD cc_htcp_load="YES"

Ну загрузил, а включать то кто будет? Опять Пушкин?)

net.inet.tcp.cc.algorithm=htcp # TCP cognestion algoritm

И опять же, у него роутер, ему оно фиолетово, разве что ссш ускорится :)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

vlad11   

vlad11
Опубликовано · Жалоба

 

Всё что inet.tcp, inet.udp, inet.icmp, inet.igmp и вероятно куча прочего - роутера не касается.

Не согласен, у ТС куча сервисов на этом "роутере" запущено, я пока не стал выяснять их тип.

 

 

# New Congestion Control for FreeBSD cc_htcp_load="YES"

Ну загрузил, а включать то кто будет? Опять Пушкин?)

net.inet.tcp.cc.algorithm=htcp # TCP cognestion algoritm

И опять же, у него роутер, ему оно фиолетово, разве что ссш ускорится :)

 

Главное подгрузить, а потом применим нужные опции, вдруг там ядро без этого модуля/опции собрано.

Это "роутер", если будет недостаточно быстро размер окна поднимать, то и все остальные транзитные tcp сессии будут так же медленно повышаться.

 

P.S. И вообще, на сервере куча свободной памяти, тебе ее жалко?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

NiTr0   

NiTr0
Опубликовано · Жалоба

а зачем крутить congestion control для роутера, который пакеты из интерфейса в интерфейс перекладывает и слыхом не слыхивал о window size? он же вроде как используется исключительно на стороне сервера/клиента, не?

 

а вообще - пляски с бубном вокруг congestion control в попытках как-то повлиять на кол-во генерируемых сетевухой прерываний, как по мне, как-то бредово смотрятся...

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

alexapu   

alexapu
Опубликовано · Жалоба

net.isr.defaultqlimit=4096

я ж сетевухами разгребаю (Dispatch policy -direct), чем мне эта очередь поможет?

Только ether и не факт что только сетевухами, у вас 1/6 софт прерываний.

Если очередь пакетов для сетевух позволяет, то почему системе за такт больше пакетов не закидывать?

 

согласен, софт irq мы уменьшим в целом для системы, но на разницу по прерываниям ix0/ix1 это не повлияет.

позже выложу скрины.

 

 

kern.ipc.nmbclusters=2000000

буферов с запасом у меня: 65738/3598/69336/997584 mbuf clusters in use (current/cache/total/max)

Памяти все равно на 10G сеть мало выделено

 

пока не актуально, нагрузки мало, но тем не менее увеличивать буду.

 

Увеличивайте до

net.inet.tcp.sendspace: 3217968
net.inet.tcp.recvspace: 3217968

 

разве что для named поможет

 

 

sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters

graph не использую, про буфера писал ранее:

А вы все равно посмотрите список используемых объектов:

ngctl list

 

пусто

ngctl list
There are 1 total nodes:
 Name: ngctl74282      Type: socket          ID: 00000003   Num hooks: 0

 

Ну, и для 10G желательно использовать Jumbo-frame.

 

в процессе

 

Не согласен, у ТС куча сервисов на этом "роутере" запущено, я пока не стал выяснять их тип.

 

если "ТС" - это ко мне, то вся "куча сервисов" состоит из named-а (ранее писал про него), не считая sshd ест-но.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

alexapu   

alexapu
Опубликовано · Жалоба

Маленькая очередь в isr - это плохо. Вот у тебя в сетевухе поди 2к пакетов, как оно их в 256 переложит потом?

писал ранее, что софт irq мы уменьшим в целом для системы, но на разницу по прерываниям ix0/ix1 это не повлияет.

позже выложу скрины.

 

Ещё обычно у сетевух есть своя аппаратная стата:

sysctl dev.ix

вот кусок у меня:

dev.igb.0.interrupts.rx_overrun: 0

dev.igb.0.interrupts.rx_desc_min_thresh: 0

dev.igb.0.interrupts.tx_queue_min_thresh: 26986950

dev.igb.0.interrupts.tx_queue_empty: 16006906

dev.igb.0.interrupts.tx_abs_timer: 0

dev.igb.0.interrupts.tx_pkt_timer: 0

dev.igb.0.interrupts.rx_abs_timer: 0

dev.igb.0.interrupts.rx_pkt_timer: 26985807

dev.igb.0.interrupts.asserts: 14489160

Те для tx тупо больше прерываний в принципе нужно чтобы нормально работать.

в первую очередь в стату и гляделось, только нет там нихрена причины сего действа:

sysctl dev.ix.0
dev.ix.0.mac_stats.tx_frames_1024_1522: 12974912556
dev.ix.0.mac_stats.tx_frames_512_1023: 288376133
dev.ix.0.mac_stats.tx_frames_256_511: 238363289
dev.ix.0.mac_stats.tx_frames_128_255: 386235967
dev.ix.0.mac_stats.tx_frames_65_127: 1624470114
dev.ix.0.mac_stats.tx_frames_64: 372723681
dev.ix.0.mac_stats.management_pkts_txd: 0
dev.ix.0.mac_stats.mcast_pkts_txd: 0
dev.ix.0.mac_stats.bcast_pkts_txd: 183340
dev.ix.0.mac_stats.good_pkts_txd: 15885081731
dev.ix.0.mac_stats.total_pkts_txd: 15885081738
dev.ix.0.mac_stats.good_octets_txd: 19817047011678
dev.ix.0.mac_stats.checksum_errs: 124179891
dev.ix.0.mac_stats.management_pkts_drpd: 0
dev.ix.0.mac_stats.management_pkts_rcvd: 0
dev.ix.0.mac_stats.recv_jabberd: 0
dev.ix.0.mac_stats.recv_oversized: 0
dev.ix.0.mac_stats.recv_fragmented: 0
dev.ix.0.mac_stats.recv_undersized: 0
dev.ix.0.mac_stats.rx_frames_1024_1522: 2156810535
dev.ix.0.mac_stats.rx_frames_512_1023: 181284949
dev.ix.0.mac_stats.rx_frames_256_511: 109109216
dev.ix.0.mac_stats.rx_frames_128_255: 410497556
dev.ix.0.mac_stats.rx_frames_65_127: 7863147712
dev.ix.0.mac_stats.rx_frames_64: 3267628
dev.ix.0.mac_stats.bcast_pkts_rcvd: 10450933
dev.ix.0.mac_stats.mcast_pkts_rcvd: 185136
dev.ix.0.mac_stats.good_pkts_rcvd: 10724117595
dev.ix.0.mac_stats.total_pkts_rcvd: 10731941306
dev.ix.0.mac_stats.good_octets_rcvd: 3941334079225
dev.ix.0.mac_stats.total_octets_rcvd: 3942128838135
dev.ix.0.mac_stats.xoff_recvd: 0
dev.ix.0.mac_stats.xoff_txd: 0
dev.ix.0.mac_stats.xon_recvd: 0
dev.ix.0.mac_stats.xon_txd: 0
dev.ix.0.mac_stats.rec_len_errs: 293167
dev.ix.0.mac_stats.remote_faults: 3
dev.ix.0.mac_stats.local_faults: 8
dev.ix.0.mac_stats.short_discards: 0
dev.ix.0.mac_stats.byte_errs: 0
dev.ix.0.mac_stats.ill_errs: 0
dev.ix.0.mac_stats.crc_errs: 0
dev.ix.0.queue7.lro_flushed: 0
dev.ix.0.queue7.lro_queued: 0
dev.ix.0.queue7.rx_copies: 110457605
dev.ix.0.queue7.rx_bytes: 35547545476
dev.ix.0.queue7.rx_packets: 1347803992
dev.ix.0.queue7.rxd_tail: 560
dev.ix.0.queue7.rxd_head: 561
dev.ix.0.queue7.br_drops: 0
dev.ix.0.queue7.tx_packets: 1933482175
dev.ix.0.queue7.no_desc_avail: 0
dev.ix.0.queue7.no_tx_dma_setup: 0
dev.ix.0.queue7.tso_tx: 6
dev.ix.0.queue7.txd_tail: 211
dev.ix.0.queue7.txd_head: 211
dev.ix.0.queue7.irqs: 1533582082
dev.ix.0.queue7.interrupt_rate: 5208
dev.ix.0.queue6.lro_flushed: 0
dev.ix.0.queue6.lro_queued: 0
dev.ix.0.queue6.rx_copies: 112289219
dev.ix.0.queue6.rx_bytes: 39548730720
dev.ix.0.queue6.rx_packets: 1294472225
dev.ix.0.queue6.rxd_tail: 1598
dev.ix.0.queue6.rxd_head: 1599
dev.ix.0.queue6.br_drops: 0
dev.ix.0.queue6.tx_packets: 2011668649
dev.ix.0.queue6.no_desc_avail: 0
dev.ix.0.queue6.no_tx_dma_setup: 0
dev.ix.0.queue6.tso_tx: 10
dev.ix.0.queue6.txd_tail: 3537
dev.ix.0.queue6.txd_head: 3537
dev.ix.0.queue6.irqs: 1509732015
dev.ix.0.queue6.interrupt_rate: 500000
dev.ix.0.queue5.lro_flushed: 0
dev.ix.0.queue5.lro_queued: 0
dev.ix.0.queue5.rx_copies: 123593223
dev.ix.0.queue5.rx_bytes: 40388617235
dev.ix.0.queue5.rx_packets: 1386340499
dev.ix.0.queue5.rxd_tail: 1571
dev.ix.0.queue5.rxd_head: 1573
dev.ix.0.queue5.br_drops: 0
dev.ix.0.queue5.tx_packets: 1993921267
dev.ix.0.queue5.no_desc_avail: 0
dev.ix.0.queue5.no_tx_dma_setup: 0
dev.ix.0.queue5.tso_tx: 12
dev.ix.0.queue5.txd_tail: 794
dev.ix.0.queue5.txd_head: 796
dev.ix.0.queue5.irqs: 1546191027
dev.ix.0.queue5.interrupt_rate: 5319
dev.ix.0.queue4.lro_flushed: 0
dev.ix.0.queue4.lro_queued: 0
dev.ix.0.queue4.rx_copies: 112925899
dev.ix.0.queue4.rx_bytes: 40525088097
dev.ix.0.queue4.rx_packets: 1381607930
dev.ix.0.queue4.rxd_tail: 1834
dev.ix.0.queue4.rxd_head: 1835
dev.ix.0.queue4.br_drops: 0
dev.ix.0.queue4.tx_packets: 2012663022
dev.ix.0.queue4.no_desc_avail: 0
dev.ix.0.queue4.no_tx_dma_setup: 0
dev.ix.0.queue4.tso_tx: 5
dev.ix.0.queue4.txd_tail: 1240
dev.ix.0.queue4.txd_head: 1240
dev.ix.0.queue4.irqs: 1556622178
dev.ix.0.queue4.interrupt_rate: 5681
dev.ix.0.queue3.lro_flushed: 0
dev.ix.0.queue3.lro_queued: 0
dev.ix.0.queue3.rx_copies: 97201497
dev.ix.0.queue3.rx_bytes: 42091565524
dev.ix.0.queue3.rx_packets: 1300704141
dev.ix.0.queue3.rxd_tail: 1380
dev.ix.0.queue3.rxd_head: 1381
dev.ix.0.queue3.br_drops: 0
dev.ix.0.queue3.tx_packets: 1986864988
dev.ix.0.queue3.no_desc_avail: 0
dev.ix.0.queue3.no_tx_dma_setup: 0
dev.ix.0.queue3.tso_tx: 10
dev.ix.0.queue3.txd_tail: 3830
dev.ix.0.queue3.txd_head: 3830
dev.ix.0.queue3.irqs: 1502747683
dev.ix.0.queue3.interrupt_rate: 5208
dev.ix.0.queue2.lro_flushed: 0
dev.ix.0.queue2.lro_queued: 0
dev.ix.0.queue2.rx_copies: 110029433
dev.ix.0.queue2.rx_bytes: 36774382208
dev.ix.0.queue2.rx_packets: 1356704654
dev.ix.0.queue2.rxd_tail: 797
dev.ix.0.queue2.rxd_head: 798
dev.ix.0.queue2.br_drops: 0
dev.ix.0.queue2.tx_packets: 2019325542
dev.ix.0.queue2.no_desc_avail: 0
dev.ix.0.queue2.no_tx_dma_setup: 0
dev.ix.0.queue2.tso_tx: 7
dev.ix.0.queue2.txd_tail: 3069
dev.ix.0.queue2.txd_head: 3069
dev.ix.0.queue2.irqs: 1560437507
dev.ix.0.queue2.interrupt_rate: 500000
dev.ix.0.queue1.lro_flushed: 0
dev.ix.0.queue1.lro_queued: 0
dev.ix.0.queue1.rx_copies: 109616918
dev.ix.0.queue1.rx_bytes: 36178088263
dev.ix.0.queue1.rx_packets: 1311385260
dev.ix.0.queue1.rxd_tail: 1780
dev.ix.0.queue1.rxd_head: 1781
dev.ix.0.queue1.br_drops: 0
dev.ix.0.queue1.tx_packets: 1961545448
dev.ix.0.queue1.no_desc_avail: 0
dev.ix.0.queue1.no_tx_dma_setup: 0
dev.ix.0.queue1.tso_tx: 11
dev.ix.0.queue1.txd_tail: 3600
dev.ix.0.queue1.txd_head: 3600
dev.ix.0.queue1.irqs: 1501706038
dev.ix.0.queue1.interrupt_rate: 15151
dev.ix.0.queue0.lro_flushed: 0
dev.ix.0.queue0.lro_queued: 0
dev.ix.0.queue0.rx_copies: 109115972
dev.ix.0.queue0.rx_bytes: 38247218823
dev.ix.0.queue0.rx_packets: 1345174426
dev.ix.0.queue0.rxd_tail: 3225
dev.ix.0.queue0.rxd_head: 3227
dev.ix.0.queue0.br_drops: 0
dev.ix.0.queue0.tx_packets: 1965730874
dev.ix.0.queue0.no_desc_avail: 0
dev.ix.0.queue0.no_tx_dma_setup: 0
dev.ix.0.queue0.tso_tx: 7
dev.ix.0.queue0.txd_tail: 4051
dev.ix.0.queue0.txd_head: 4051
dev.ix.0.queue0.irqs: 1593030233
dev.ix.0.queue0.interrupt_rate: 500000
dev.ix.0.link_irq: 9
dev.ix.0.watchdog_events: 0
dev.ix.0.mbuf_defrag_failed: 0
dev.ix.0.dropped: 0
dev.ix.0.thermal_test: 0
dev.ix.0.advertise_speed: 0
dev.ix.0.enable_aim: 1
dev.ix.0.fc: 3
dev.ix.0.tx_processing_limit: 512
dev.ix.0.rx_processing_limit: 512
dev.ix.0.%parent: pci6
dev.ix.0.%pnpinfo: vendor=0x8086 device=0x10fb subvendor=0x8086 subdevice=0x0003 class=0x020000
dev.ix.0.%location: slot=0 function=0 dbsf=pci0:6:0:0 handle=\_SB_.PCI0.BR07.SLT0
dev.ix.0.%driver: ix
dev.ix.0.%desc: Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k


sysctl dev.ix.1
dev.ix.1.mac_stats.tx_frames_1024_1522: 2152657635
dev.ix.1.mac_stats.tx_frames_512_1023: 180997694
dev.ix.1.mac_stats.tx_frames_256_511: 107453071
dev.ix.1.mac_stats.tx_frames_128_255: 372452503
dev.ix.1.mac_stats.tx_frames_65_127: 5569975350
dev.ix.1.mac_stats.tx_frames_64: 2249773861
dev.ix.1.mac_stats.management_pkts_txd: 0
dev.ix.1.mac_stats.mcast_pkts_txd: 0
dev.ix.1.mac_stats.bcast_pkts_txd: 453
dev.ix.1.mac_stats.good_pkts_txd: 10633310114
dev.ix.1.mac_stats.total_pkts_txd: 10633310114
dev.ix.1.mac_stats.good_octets_txd: 3886287640607
dev.ix.1.mac_stats.checksum_errs: 39212180
dev.ix.1.mac_stats.management_pkts_drpd: 0
dev.ix.1.mac_stats.management_pkts_rcvd: 0
dev.ix.1.mac_stats.recv_jabberd: 0
dev.ix.1.mac_stats.recv_oversized: 0
dev.ix.1.mac_stats.recv_fragmented: 0
dev.ix.1.mac_stats.recv_undersized: 0
dev.ix.1.mac_stats.rx_frames_1024_1522: 13168703827
dev.ix.1.mac_stats.rx_frames_512_1023: 286781819
dev.ix.1.mac_stats.rx_frames_256_511: 225076816
dev.ix.1.mac_stats.rx_frames_128_255: 378827050
dev.ix.1.mac_stats.rx_frames_65_127: 1868908559
dev.ix.1.mac_stats.rx_frames_64: 380038442
dev.ix.1.mac_stats.bcast_pkts_rcvd: 20271
dev.ix.1.mac_stats.mcast_pkts_rcvd: 13
dev.ix.1.mac_stats.good_pkts_rcvd: 16308336512
dev.ix.1.mac_stats.total_pkts_rcvd: 16308511906
dev.ix.1.mac_stats.good_octets_rcvd: 20061359397453
dev.ix.1.mac_stats.total_octets_rcvd: 20061371214765
dev.ix.1.mac_stats.xoff_recvd: 0
dev.ix.1.mac_stats.xoff_txd: 0
dev.ix.1.mac_stats.xon_recvd: 0
dev.ix.1.mac_stats.xon_txd: 0
dev.ix.1.mac_stats.rec_len_errs: 0
dev.ix.1.mac_stats.remote_faults: 6
dev.ix.1.mac_stats.local_faults: 10
dev.ix.1.mac_stats.short_discards: 0
dev.ix.1.mac_stats.byte_errs: 0
dev.ix.1.mac_stats.ill_errs: 0
dev.ix.1.mac_stats.crc_errs: 0
dev.ix.1.queue7.lro_flushed: 0
dev.ix.1.queue7.lro_queued: 0
dev.ix.1.queue7.rx_copies: 23428150
dev.ix.1.queue7.rx_bytes: 277815897478
dev.ix.1.queue7.rx_packets: 1987514400
dev.ix.1.queue7.rxd_tail: 956
dev.ix.1.queue7.rxd_head: 957
dev.ix.1.queue7.br_drops: 0
dev.ix.1.queue7.tx_packets: 1337959022
dev.ix.1.queue7.no_desc_avail: 0
dev.ix.1.queue7.no_tx_dma_setup: 0
dev.ix.1.queue7.tso_tx: 77
dev.ix.1.queue7.txd_tail: 3824
dev.ix.1.queue7.txd_head: 3824
dev.ix.1.queue7.irqs: 2101218394
dev.ix.1.queue7.interrupt_rate: 45454
dev.ix.1.queue6.lro_flushed: 0
dev.ix.1.queue6.lro_queued: 0
dev.ix.1.queue6.rx_copies: 28019485
dev.ix.1.queue6.rx_bytes: 245527325314
dev.ix.1.queue6.rx_packets: 2064886031
dev.ix.1.queue6.rxd_tail: 1764
dev.ix.1.queue6.rxd_head: 1765
dev.ix.1.queue6.br_drops: 0
dev.ix.1.queue6.tx_packets: 1285599931
dev.ix.1.queue6.no_desc_avail: 0
dev.ix.1.queue6.no_tx_dma_setup: 0
dev.ix.1.queue6.tso_tx: 90
dev.ix.1.queue6.txd_tail: 918
dev.ix.1.queue6.txd_head: 918
dev.ix.1.queue6.irqs: 2153042260
dev.ix.1.queue6.interrupt_rate: 500000
dev.ix.1.queue5.lro_flushed: 0
dev.ix.1.queue5.lro_queued: 0
dev.ix.1.queue5.rx_copies: 27107153
dev.ix.1.queue5.rx_bytes: 253665940676
dev.ix.1.queue5.rx_packets: 2047288443
dev.ix.1.queue5.rxd_tail: 739
dev.ix.1.queue5.rxd_head: 740
dev.ix.1.queue5.br_drops: 0
dev.ix.1.queue5.tx_packets: 1373994335
dev.ix.1.queue5.no_desc_avail: 0
dev.ix.1.queue5.no_tx_dma_setup: 0
dev.ix.1.queue5.tso_tx: 72
dev.ix.1.queue5.txd_tail: 3952
dev.ix.1.queue5.txd_head: 3952
dev.ix.1.queue5.irqs: 2156863914
dev.ix.1.queue5.interrupt_rate: 500000
dev.ix.1.queue4.lro_flushed: 0
dev.ix.1.queue4.lro_queued: 0
dev.ix.1.queue4.rx_copies: 26618946
dev.ix.1.queue4.rx_bytes: 297248173219
dev.ix.1.queue4.rx_packets: 2067817645
dev.ix.1.queue4.rxd_tail: 3779
dev.ix.1.queue4.rxd_head: 3780
dev.ix.1.queue4.br_drops: 0
dev.ix.1.queue4.tx_packets: 1372431538
dev.ix.1.queue4.no_desc_avail: 0
dev.ix.1.queue4.no_tx_dma_setup: 0
dev.ix.1.queue4.tso_tx: 119
dev.ix.1.queue4.txd_tail: 1486
dev.ix.1.queue4.txd_head: 1486
dev.ix.1.queue4.irqs: 2161340702
dev.ix.1.queue4.interrupt_rate: 125000
dev.ix.1.queue3.lro_flushed: 0
dev.ix.1.queue3.lro_queued: 0
dev.ix.1.queue3.rx_copies: 28465866
dev.ix.1.queue3.rx_bytes: 286015522105
dev.ix.1.queue3.rx_packets: 2039986225
dev.ix.1.queue3.rxd_tail: 3367
dev.ix.1.queue3.rxd_head: 3368
dev.ix.1.queue3.br_drops: 0
dev.ix.1.queue3.tx_packets: 1290177020
dev.ix.1.queue3.no_desc_avail: 0
dev.ix.1.queue3.no_tx_dma_setup: 0
dev.ix.1.queue3.tso_tx: 121
dev.ix.1.queue3.txd_tail: 425
dev.ix.1.queue3.txd_head: 425
dev.ix.1.queue3.irqs: 2134145362
dev.ix.1.queue3.interrupt_rate: 83333
dev.ix.1.queue2.lro_flushed: 0
dev.ix.1.queue2.lro_queued: 0
dev.ix.1.queue2.rx_copies: 29668502
dev.ix.1.queue2.rx_bytes: 274422477366
dev.ix.1.queue2.rx_packets: 2073356561
dev.ix.1.queue2.rxd_tail: 3674
dev.ix.1.queue2.rxd_head: 3675
dev.ix.1.queue2.br_drops: 0
dev.ix.1.queue2.tx_packets: 1346835331
dev.ix.1.queue2.no_desc_avail: 0
dev.ix.1.queue2.no_tx_dma_setup: 0
dev.ix.1.queue2.tso_tx: 100
dev.ix.1.queue2.txd_tail: 2254
dev.ix.1.queue2.txd_head: 2254
dev.ix.1.queue2.irqs: 2174464530
dev.ix.1.queue2.interrupt_rate: 500000
dev.ix.1.queue1.lro_flushed: 0
dev.ix.1.queue1.lro_queued: 0
dev.ix.1.queue1.rx_copies: 28686068
dev.ix.1.queue1.rx_bytes: 242798161523
dev.ix.1.queue1.rx_packets: 2015556947
dev.ix.1.queue1.rxd_tail: 1209
dev.ix.1.queue1.rxd_head: 1210
dev.ix.1.queue1.br_drops: 0
dev.ix.1.queue1.tx_packets: 1302788820
dev.ix.1.queue1.no_desc_avail: 0
dev.ix.1.queue1.no_tx_dma_setup: 0
dev.ix.1.queue1.tso_tx: 88
dev.ix.1.queue1.txd_tail: 309
dev.ix.1.queue1.txd_head: 309
dev.ix.1.queue1.irqs: 2111272912
dev.ix.1.queue1.interrupt_rate: 100000
dev.ix.1.queue0.lro_flushed: 0
dev.ix.1.queue0.lro_queued: 0
dev.ix.1.queue0.rx_copies: 31492873
dev.ix.1.queue0.rx_bytes: 300892017721
dev.ix.1.queue0.rx_packets: 2012100455
dev.ix.1.queue0.rxd_tail: 388
dev.ix.1.queue0.rxd_head: 389
dev.ix.1.queue0.br_drops: 0
dev.ix.1.queue0.tx_packets: 1323620673
dev.ix.1.queue0.no_desc_avail: 0
dev.ix.1.queue0.no_tx_dma_setup: 0
dev.ix.1.queue0.tso_tx: 63
dev.ix.1.queue0.txd_tail: 1511
dev.ix.1.queue0.txd_head: 1511
dev.ix.1.queue0.irqs: 2373215233
dev.ix.1.queue0.interrupt_rate: 500000
dev.ix.1.link_irq: 16
dev.ix.1.watchdog_events: 0
dev.ix.1.mbuf_defrag_failed: 0
dev.ix.1.dropped: 0
dev.ix.1.thermal_test: 0
dev.ix.1.advertise_speed: 0
dev.ix.1.enable_aim: 1
dev.ix.1.fc: 3
dev.ix.1.tx_processing_limit: 512
dev.ix.1.rx_processing_limit: 512
dev.ix.1.%parent: pci6
dev.ix.1.%pnpinfo: vendor=0x8086 device=0x10fb subvendor=0x8086 subdevice=0x0003 class=0x020000
dev.ix.1.%location: slot=0 function=1 dbsf=pci0:6:0:1 handle=\_SB_.PCI0.BR07.SLT1
dev.ix.1.%driver: ix
dev.ix.1.%desc: Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано · Жалоба
Главное подгрузить, а потом применим нужные опции, вдруг там ядро без этого модуля/опции собрано. Это "роутер", если будет недостаточно быстро размер окна поднимать, то и все остальные транзитные tcp сессии будут так же медленно повышаться.

1. Если ты попытаешься сменить сс на тот который не загружен - система выругается и продолжит работать.

2. Роутер не смотрит в L4. НАТ смотрит, но размер окна не трогает, и вообще ничего не трогает и ничего из sysctl net.tcp не приняет, потому что это всё касается только трафика от/к самому хосту.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

s.lobanov   

s.lobanov
Опубликовано · Жалоба

2. Роутер не смотрит в L4. НАТ смотрит, но размер окна не трогает, и вообще ничего не трогает и ничего из sysctl net.tcp не приняет, потому что это всё касается только трафика от/к самому хосту.

 

Да очевидно что этот персонаж копипастит "тюнинги" из howto-шек из инета по оптимизации веб-севера, а не роутера

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано · Жалоба
Да очевидно что этот персонаж копипастит "тюнинги" из howto-шек из инета по оптимизации веб-севера, а не роутера

htcp это чисто моя рекомендация, она хуже не делает, но и лучше в данном случае тоже.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

vlad11   

vlad11
Опубликовано · Жалоба

Можешь не комментировать сообщения персонажа s.lobanov. Он давно и прочно находится в списке игнор-листа.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

vlad11   

vlad11
Опубликовано · Жалоба

ТС, еще пробуйте так:

 

dev.ix.0.enable_lro=0
dev.ix.1.enable_lro=0
dev.ix.0.enable_aim=0
dev.ix.1.enable_aim=0
dev.ix.0.rx_processing_limit=4096
dev.ix.0.flow_control=0
dev.ix.1.rx_processing_limit=4096
dev.ix.1.flow_control=0

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

GrandPr1de   

GrandPr1de
Опубликовано · Жалоба

Ну да... куда уж s.lobanov до достопочтенного vlad11.

Куда там Ivan_83, куда там всем остальным.

Я уж лучше буду s.lobanov слушать. В отличии от Вас у него нет репутации дурачка, выдаваемого выдуманные вещи за действительные.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

alexapu   

alexapu
Опубликовано · Жалоба

братцы не цепляйтесь друг за друга - оно вряд ли делу поможет.

а может время мы теряем, кто-нибудь может показать нормальное распределение прерываний у драйвера ix (ixgbe) под FreeBSD10.x с использованием двухголовой сетевухи с нагрузкой на обоих... vmstat -i

 

п/с а то как минимум 4 человека в данной теме с перекосом по ix0/ix1.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

GrandPr1de   

GrandPr1de
Опубликовано · Жалоба

Я собсно не вижу никакого криминала. Ну приходит больше трафика на внешнюю сетевку, ну и что такого?

Есть реально проблемы какие-то или будем решать несуществующие проблемы?

Это может быть ipfw nat ибо в топе он вообще не фигурирует, а нагрузка от него показывается как прерывания.

Это может быть из-за dummynet потому что данных приходит больше, чем доходит до абонента, ибо обрезает трубу.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

alexapu   

alexapu
Опубликовано · Жалоба

Я собсно не вижу никакого криминала. Ну приходит больше трафика на внешнюю сетевку, ну и что такого?

не приходит больше трафика на внешнюю сетевуху, если бы приходило темы бы не было - внимательно читайте тему с самого начала.

 

Есть реально проблемы какие-то или будем решать несуществующие проблемы?

ну для кого-то и дропы на интерфейсах - не проблема.

 

dummynet исключено - выключал,

 

нагрузка от него показывается как прерывания.

- бред, ядро на msix вектора прерывания от ната накидывает? да и вначале темы был товарищ только c шейперами (без nat) с аналогичной разницей по прерываниям.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

alexapu   

alexapu
Опубликовано (изменено) · Жалоба

совсем забыл, что адаптивные прерывания на лету не выключаются (цтл применяется при этом), только ребут, выставил статически и всё, молотит как надо:

hw.ix.max_interrupt_rate=10000
hw.ix.enable_aim=0
hw.ix.rx_process_limit=-1
hw.ix.tx_process_limit=-1

process_limit на карте заодно сделал unlimited - тоже прерывания с карт уменьшило значительно.

 

sysctl -a | grep interrupt_rate
hw.ix.max_interrupt_rate: 10000
dev.ix.1.queue3.interrupt_rate: 10000
dev.ix.1.queue2.interrupt_rate: 10000
dev.ix.1.queue1.interrupt_rate: 10000
dev.ix.1.queue0.interrupt_rate: 10000
dev.ix.0.queue3.interrupt_rate: 10000
dev.ix.0.queue2.interrupt_rate: 10000
dev.ix.0.queue1.interrupt_rate: 10000
dev.ix.0.queue0.interrupt_rate: 10000


vmstat -i
interrupt                          total       rate
irq283: ix0:q0                 272261475       6395
irq284: ix0:q1                 274701616       6452
irq285: ix0:q2                 269846288       6338
irq286: ix0:q3                 271755990       6383
irq287: ix0:link                       3          0
irq288: ix1:q0                 285950035       6716
irq289: ix1:q1                 286330851       6725
irq290: ix1:q2                 283115543       6649
irq291: ix1:q3                 285339859       6702
irq292: ix1:link                       3          0


vmstat -s
417575904 cpu context switches
2235975250 device interrupts
 2389726 software interrupts

софт прерывания тоже закончились после увеличения очереди isr, как собственно и ожидалось. Спасибо vlad11, Ivan_83 за проявленное внимание.

Изменено пользователем alexapu

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Ivan_83   

Ivan_83
Опубликовано · Жалоба
совсем забыл, что адаптивные прерывания на лету не выключаются (цтл применяется при этом), только ребут

Либо ifconfig IFNAME down up

либо оно должно тюнится через лоадер, а сисцтл должен ругаться что оно только для чтения.

 

hw.ix.max_interrupt_rate=10000

А это разве не поднимает лимит количество прерываний в секунду до более высокого значения?

Те логичнее было бы 1000 сделать... и наверное получить дропы.

Либо задрать и пофик, лишь бы не дропало.

 

hw.ix.rx_process_limit=-1

Это как правило преобразуется в 2^31.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

phantom_vk   

phantom_vk
Опубликовано · Жалоба

Доброго времени суток!

 

Решил не создавать новую тему.

Прошу помощи.

 

И так имеется:

11.0-RELEASE-p1 FreeBSD 11.0-RELEASE-p1

чистая только установленная

 

Сетевая карта:

Intel(R) Ethernet Connection XL710/X722
Driver, Version - 1.7.12
w 5.0.40043 api 1.5 nvm 5.05 etid 80002892 oem 1.262.0

 

Создаем 100 вланов и даем команду ifconfig, листинг на экран или в файл занимает примерно 8-10 секунд, скажите это нормально для этой карты, у всех такая картина?

С предыдущими 1Г Интеловыми картами такой проблемы никогда не наблюдал, листинг на экран или в файл даже при наличии 400-а вланов занимает на больше 1-2 секунд.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Перейти к списку тем Программное обеспечение, биллинг и *unix системы