vlad11 Опубликовано 10 апреля, 2017 · Жалоба Что с этими параметрами в системе? hw.ix.tx_process_limit: 256 (512?) hw.ix.rx_process_limit: 256 (512?) hw.ix.rxd: 2048 (4096?) - In the past we've found 2048 gives the best perf, but with different cards hw.ix.txd: 2048 (4096?) net.inet.tcp.tso=0 hw.ix.enable_aim: 1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 10 апреля, 2017 · Жалоба Что с этими параметрами в системе? hw.ix.tx_process_limit: 256 (512?) hw.ix.rx_process_limit: 256 (512?) hw.ix.rxd: 2048 (4096?) - In the past we've found 2048 gives the best perf, but with different cards hw.ix.txd: 2048 (4096?) net.inet.tcp.tso=0 hw.ix.enable_aim: 1 всё норм: hw.ix.tx_process_limit: 512 hw.ix.rx_process_limit: 512 hw.ix.rxd: 4096 hw.ix.txd: 4096 net.inet.tcp.tso: 1 (сейчас 1, но делал 0 и выключал tso на картах - изменений абсолютно никаких не было. Насколько я помню со времён 7ки выключение tso помогало на сыром драйвере igb) hw.ix.enable_aim: 1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 10 апреля, 2017 (изменено) · Жалоба трафика чуть больше гига, разница по прерываниям x2: Mem:KB REAL VIRTUAL VN PAGER SWAP PAGER Tot Share Tot Share Free in out in out Act 380020 7616 1197864 9020 6475340 count All 381688 9188 1215584 26644 pages Proc: Interrupts r p d s w Csw Trp Sys Int Sof Flt ioflt 187k total 37 345k 1764 12k 178k 55 cow ehci0 ehci zfod xhci0 uhci 1.4%Sys 12.1%Intr 0.2%User 0.0%Nice 86.3%Idle ozfod 1132 cpu0:timer | | | | | | | | | | %ozfod ciss0 264 =++++++ daefr 7116 ix0:q0 283 25 dtbuf prcfr 7955 ix0:q1 284 Namei Name-cache Dir-cache 211870 desvn totfr 7979 ix0:q2 285 Calls hits % hits % 107076 numvn react 8449 ix0:q3 286 3 3 100 52961 frevn pdwak 7042 ix0:q4 287 62 pdpgs 8066 ix0:q5 288 Disks da0 intrn 8071 ix0:q6 289 KB/t 0.00 811920 wire 8191 ix0:q7 290 tps 0 149828 act ix0:link MB/s 0.00 543580 inact 15662 ix1:q0 292 %busy 0 cache 16058 ix1:q1 293 6475340 free 13656 ix1:q2 294 856544 buf 13622 ix1:q3 295 15182 ix1:q4 296 12114 ix1:q5 297 11055 ix1:q6 298 18329 ix1:q7 299 ix1:link netstat -w1 -dbh -I ix1 input ix1 output packets errs idrops bytes packets errs bytes colls drops 104k 0 0 122M 69k 0 22M 0 0 102k 0 0 118M 68k 0 22M 0 0 112k 0 0 132M 76k 0 22M 0 0 108k 0 0 127M 71k 0 21M 0 0 113k 0 0 134M 75k 0 23M 0 0 116k 0 0 138M 78k 0 24M 0 0 121k 0 0 144M 82k 0 23M 0 0 Изменено 10 апреля, 2017 пользователем alexapu Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 11 апреля, 2017 · Жалоба Покажите uname -a netstat -m netstat -Q netstat -s top -b -n 20 vmstat -s vmstat -m Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 11 апреля, 2017 (изменено) · Жалоба Покажите uname -a netstat -m netstat -Q netstat -s top -b -n 20 vmstat -s vmstat -m uname -a FreeBSD bras_m3 10.3-STABLE FreeBSD 10.3-STABLE #1 r307667: Thu Oct 20 17:27:44 2016 root@bras_m3:/usr/obj/usr/src/sys/M3_BRAS amd64 netstat -m 65937/6933/72870 mbufs in use (current/cache/total) 65911/3425/69336/997584 mbuf clusters in use (current/cache/total/max) 65911/3411 mbuf+clusters out of packet secondary zone in use (current/cache) 0/117/117/498792 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/73895 9k jumbo clusters in use (current/cache/total/max) 0/0/0/41566 16k jumbo clusters in use (current/cache/total/max) 148405K/9051K/157457K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters delayed (4k/9k/16k) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0 requests for sfbufs denied 0 requests for sfbufs delayed 0 requests for I/O initiated by sendfile netstat -Q Configuration: Setting Current Limit Thread count 1 1 Default queue limit 256 10240 Dispatch policy direct n/a Threads bound to CPUs disabled n/a Protocols: Name Proto QLimit Policy Dispatch Flags ip 1 256 flow default --- igmp 2 256 source default --- rtsock 3 256 source default --- arp 7 256 source default --- ether 9 256 source direct --- Workstreams: WSID CPU Name Len WMark Disp'd HDisp'd QDrops Queued Handled 0 0 ip 0 6 7983153516 0 0 15870 7983169373 0 0 igmp 0 0 0 0 0 0 0 0 0 rtsock 0 1 0 0 0 1 1 0 0 arp 0 0 9974612 0 0 0 9974612 0 0 ether 0 0 4123896316 0 0 0 4123896316 netstat -s tcp: 350115 packets sent 214684 data packets (127740028 bytes) 3389 data packets (14790156 bytes) retransmitted 756 data packets unnecessarily retransmitted 0 resends initiated by MTU discovery 123412 ack-only packets (22478 delayed) 0 URG only packets 0 window probe packets 1 window update packet 10210 control packets 1094361 packets received 190483 acks (for 127766092 bytes) 10858 duplicate acks 0 acks for unsent data 282966 packets (230453801 bytes) received in-sequence 219 completely duplicate packets (11957 bytes) 0 old duplicate packets 8 packets with some dup. data (1388 bytes duped) 18 out-of-order packets (5144 bytes) 0 packets (0 bytes) of data after window 0 window probes 1095 window update packets 156 packets received after close 0 discarded for bad checksums 0 discarded for bad header offset fields 0 discarded because packet too short 0 discarded due to memory problems 354 connection requests 9529 connection accepts 7 bad connection attempts 0 listen queue overflows 56 ignored RSTs in the windows 9864 connections established (including accepts) 9883 connections closed (including 9 drops) 7349 connections updated cached RTT on close 7356 connections updated cached RTT variance on close 6132 connections updated cached ssthresh on close 0 embryonic connections dropped 185299 segments updated rtt (of 149858 attempts) 1579 retransmit timeouts 0 connections dropped by rexmit timeout 0 persist timeouts 0 connections dropped by persist timeout 0 Connections (fin_wait_2) dropped because of timeout 0 keepalive timeouts 0 keepalive probes sent 0 connections dropped by keepalive 45020 correct ACK header predictions 193220 correct data packet header predictions 9896 syncache entries added 220 retransmitted 107 dupsyn 9 dropped 9529 completed 0 bucket overflow 0 cache overflow 315 reset 52 stale 0 aborted 0 badack 0 unreach 0 zone failures 9905 cookies sent 0 cookies received 99 hostcache entries added 0 bucket overflow 28 SACK recovery episodes 54 segment rexmits in SACK recovery episodes 44908 byte rexmits in SACK recovery episodes 1125 SACK options (SACK blocks) received 15 SACK options (SACK blocks) sent 0 SACK scoreboard overflow 0 packets with ECN CE bit set 23 packets with ECN ECT(0) bit set 0 packets with ECN ECT(1) bit set 24 successful ECN handshakes 0 times ECN reduced the congestion window 0 packets with valid tcp-md5 signature received 0 packets with invalid tcp-md5 signature received 0 packets with tcp-md5 signature mismatch 0 packets with unexpected tcp-md5 signature received 0 packets without expected tcp-md5 signature received udp: 36206008 datagrams received 0 with incomplete header 2 with bad data length field 171 with bad checksum 55852 with no checksum 1059774 dropped due to no socket 402772 broadcast/multicast datagrams undelivered 0 dropped due to full socket buffers 0 not for hashed pcb 34743289 delivered 34472524 datagrams output 0 times multicast source filter matched sctp: 0 input packets 0 datagrams 0 packets that had data 0 input SACK chunks 0 input DATA chunks 0 duplicate DATA chunks 0 input HB chunks 0 HB-ACK chunks 0 input ECNE chunks 0 input AUTH chunks 0 chunks missing AUTH 0 invalid HMAC ids received 0 invalid secret ids received 0 auth failed 0 fast path receives all one chunk 0 fast path multi-part data 0 output packets 0 output SACKs 0 output DATA chunks 0 retransmitted DATA chunks 0 fast retransmitted DATA chunks 0 FR's that happened more than once to same chunk 0 output HB chunks 0 output ECNE chunks 0 output AUTH chunks 0 ip_output error counter Packet drop statistics: 0 from middle box 0 from end host 0 with data 0 non-data, non-endhost 0 non-endhost, bandwidth rep only 0 not enough for chunk header 0 not enough data to confirm 0 where process_chunk_drop said break 0 failed to find TSN 0 attempt reverse TSN lookup 0 e-host confirms zero-rwnd 0 midbox confirms no space 0 data did not match TSN 0 TSN's marked for Fast Retran Timeouts: 0 iterator timers fired 0 T3 data time outs 0 window probe (T3) timers fired 0 INIT timers fired 0 sack timers fired 0 shutdown timers fired 0 heartbeat timers fired 0 a cookie timeout fired 0 an endpoint changed its cookiesecret 0 PMTU timers fired 0 shutdown ack timers fired 0 shutdown guard timers fired 0 stream reset timers fired 0 early FR timers fired 0 an asconf timer fired 0 auto close timer fired 0 asoc free timers expired 0 inp free timers expired 0 packet shorter than header 0 checksum error 0 no endpoint for port 0 bad v-tag 0 bad SID 0 no memory 0 number of multiple FR in a RTT window 0 RFC813 allowed sending 0 RFC813 does not allow sending 0 times max burst prohibited sending 0 look ahead tells us no memory in interface 0 numbers of window probes sent 0 times an output error to clamp down on next user send 0 times sctp_senderrors were caused from a user 0 number of in data drops due to chunk limit reached 0 number of in data drops due to rwnd limit reached 0 times a ECN reduced the cwnd 0 used express lookup via vtag 0 collision in express lookup 0 times the sender ran dry of user data on primary 0 same for above 0 sacks the slow way 0 window update only sacks sent 0 sends with sinfo_flags !=0 0 unordered sends 0 sends with EOF flag set 0 sends with ABORT flag set 0 times protocol drain called 0 times we did a protocol drain 0 times recv was called with peek 0 cached chunks used 0 cached stream oq's used 0 unread messages abandonded by close 0 send burst avoidance, already max burst inflight to net 0 send cwnd full avoidance, already max burst inflight to net 0 number of map array over-runs via fwd-tsn's ip: 30705654358 total packets received 30 bad header checksums 0 with size smaller than minimum 144 with data size < data length 0 with ip length > max ip packet size 0 with header length < data size 0 with data length < header length 0 with bad options 1 with incorrect version number 7731 fragments received 0 fragments dropped (dup or out of space) 1540 fragments dropped after timeout 2721 packets reassembled ok 37652002 packets for this host 312332 packets for unknown/unsupported protocol 22531600702 packets forwarded (8602492557 packets fast forwarded) 257095 packets not forwardable 0 packets received for unknown multicast group 0 redirects sent 35016818 packets sent from this host 37 packets sent with fabricated ip header 29451 output packets dropped due to no bufs, etc. 0 output packets discarded due to no route 0 output datagrams fragmented 0 fragments created 0 datagrams that can't be fragmented 0 tunneling packets that can't find gif 31 datagrams with bad address in header icmp: 140560 calls to icmp_error 36 errors not generated in response to an icmp message Output histogram: echo reply: 51521 destination unreachable: 57023 time exceeded: 83501 0 messages with bad code fields 0 messages less than the minimum length 8 messages with bad checksum 0 messages with bad length 0 multicast echo requests ignored 0 multicast timestamp requests ignored Input histogram: destination unreachable: 179296 echo: 351501 time exceeded: 2962 51521 message responses generated 0 invalid return addresses 0 no return routes ICMP address mask responses are disabled igmp: 123669 messages received 0 messages received with too few bytes 0 messages received with wrong TTL 0 messages received with bad checksum 123382 V1/V2 membership queries received 4 V3 membership queries received 0 membership queries received with invalid field(s) 27161 general queries received 96225 group queries received 0 group-source queries received 0 group-source queries dropped 227 membership reports received 2 membership reports received with invalid field(s) 0 membership reports received for groups to which we belong 67 V3 reports received without Router Alert 0 membership reports sent arp: 154909 ARP requests sent 5877425 ARP replies sent 9958194 ARP requests received 18030 ARP replies received 9976224 ARP packets received 212825 total packets dropped due to no ARP entry 57738 ARP entrys timed out 0 Duplicate IPs seen top -b -n 20 last pid: 18373; load averages: 0.73, 0.64, 0.66 up 2+19:14:09 00:36:14 32 processes: 2 running, 30 sleeping Mem: 145M Active, 501M Inact, 890M Wired, 821M Buf, 6258M Free Swap: 8192M Total, 8192M Free PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 119 root 1 52 0 24784K 4140K wait 6 0:02 11.67% perl5.18.4 1099 bind 11 20 0 390M 352M kqread 4 91:17 0.00% named 1206 root 1 22 0 61328K 6624K select 1 0:03 0.00% sshd 84745 r 1 20 0 86596K 7376K select 3 0:01 0.00% sshd 1017 root 1 20 0 14528K 2152K select 1 0:01 0.00% syslogd 1209 root 1 20 0 16620K 2268K nanslp 2 0:01 0.00% cron 71027 r 1 20 0 86596K 7424K select 7 0:00 0.00% sshd 88931 root 1 20 0 23596K 4028K pause 4 0:00 0.00% csh 71074 root 1 20 0 23596K 4080K pause 2 0:00 0.00% csh 903 root 1 20 0 13664K 4888K select 7 0:00 0.00% devd 71024 root 1 20 0 86596K 7300K select 6 0:00 0.00% sshd 81046 root 1 21 0 86596K 7328K select 3 0:00 0.00% sshd 96818 root 1 20 0 23480K 5916K ttyin 3 0:00 0.00% vi 85085 r 1 20 0 23596K 3788K pause 3 0:00 0.00% csh 71030 r 1 20 0 23596K 3436K pause 1 0:00 0.00% csh 71072 root 1 21 0 50392K 3436K select 5 0:00 0.00% sudo 88922 root 1 21 0 50392K 3436K select 3 0:00 0.00% sudo 71073 root 1 21 0 47736K 2744K wait 5 0:00 0.00% su 88927 root 1 21 0 47736K 2744K wait 6 0:00 0.00% su 1809 root 1 52 0 14516K 2008K ttyin 1 0:00 0.00% getty vmstat -s 3989702104 cpu context switches 83400802 device interrupts 13398085 software interrupts 630201881 traps 2017780492 system calls 15 kernel threads created 38363850 fork() calls 8754 vfork() calls 0 rfork() calls 0 swap pager pageins 0 swap pager pages paged in 0 swap pager pageouts 0 swap pager pages paged out 1409 vnode pager pageins 12649 vnode pager pages paged in 0 vnode pager pageouts 0 vnode pager pages paged out 0 page daemon wakeups 14578107 pages examined by the page daemon 0 pages reactivated 1923022464 copy-on-write faults 1267 copy-on-write optimized faults 2112354206 zero fill pages zeroed 0 zero fill pages prezeroed 21 intransit blocking page faults 143922923 total VM faults taken 1260 page faults requiring I/O 0 pages affected by kernel thread creation 1266984230 pages affected by fork() 304041 pages affected by vfork() 0 pages affected by rfork() 0 pages cached 1416377492 pages freed 0 pages freed by daemon 2959891344 pages freed by exiting processes 36901 pages active 128139 pages inactive 0 pages in VM cache 227705 pages wired down 1602422 pages free 4096 bytes per page 1241533977 total name lookups cache hits (93% pos + 6% neg) system 0% per-directory deletions 0%, falsehits 0%, toolong 0% vmstat -m Type InUse MemUse HighUse Requests Size(s) mtx_pool 2 16K - 2 8192 osd 3 1K - 9 16,32,64,128,256 ciss_data 10 16K - 12 16,512,1024,4096,8192 pmchooks 1 1K - 1 128 acpidev 36 3K - 36 64 CAM path 2 1K - 524 32 CAM periph 3 1K - 136 16,32,64,256 pgrp 26 4K - 19969 128 session 20 3K - 18640 128 proc 2 32K - 2 16384 subproc 190 253K - 38391617 512,4096 cred 82 13K - 157009984 64,256 CAM queue 4 5K - 776 16,32,64,128,256,512,1024,2048,4096 plimit 17 5K - 19432 256 uidinfo 4 5K - 38464 128,4096 CAM dev queue 2 1K - 2 64 entropy 1027 65K - 3561 32,64,4096 raid_data 0 0K - 216 32,128,256 CAM SIM 3 1K - 3 256 scsi_da 0 0K - 88 32,64 acpiintr 1 1K - 1 64 sysctl 0 0K - 38495204 16,32,64 sysctloid 6579 329K - 6872 16,32,64,128,256 sysctltmp 0 0K - 114325 16,32,64,128,2048 tidhash 1 32K - 1 32768 callout 9 3208K - 9 umtx 594 75K - 594 128 p1003.1b 1 1K - 1 16 SWAP 2 1097K - 2 64 bus 914 97K - 31366 16,32,64,128,256,1024,2048 bus-sc 84 1961K - 4844 16,32,64,128,256,512,1024,2048,4096,8192,16384,65536 acpica 3742 378K - 180892 16,32,64,128,256,512,1024,2048 devstat 10 21K - 10 32,4096 eventhandler 84 7K - 84 64,128 CAM XPT 14 2K - 756 16,32,64,128,256,512,1024,2048,65536 CAM DEV 2 4K - 259 2048 kobj 146 584K - 491 4096 pci_link 16 2K - 16 64,128 Per-cpu 1 1K - 1 32 rman 345 37K - 763 16,32,128 sbuf 1 1K - 18602 16,32,64,128,256,512,1024,2048,4096,8192,16384,32768,65536 acpitask 1 16K - 1 16384 stack 0 0K - 1 256 taskqueue 85 12K - 85 16,32,256 Unitno 29 2K - 13165 32,64 vmem 3 296K - 11 1024,2048,4096,8192,16384,32768,65536 ioctlops 0 0K - 149 256,512,1024 select 121 16K - 121 128 iov 0 0K - 362040972 16,64,128,256,512 msg 4 30K - 4 2048,4096,8192,16384 sem 4 106K - 4 2048,4096 shm 1 32K - 1 32768 tty 19 19K - 159 1024,2048 pts 2 1K - 14 256 mbuf_tag 385 97K - 23515617294 32,256 shmfd 1 8K - 1 8192 soname 4 1K - 76540998 16,32,128 pcb 21 1175K - 7051951 16,32,128,1024,2048,8192 acl 0 0K - 3948 4096 vfscache 1 2048K - 1 cl_savebuf 0 0K - 3604 64 vfs_hash 1 1024K - 1 vnodes 1 1K - 1 256 kbdmux 7 22K - 7 16,512,1024,2048,16384 mount 61 3K - 131 16,32,64,128,256 LED 4 1K - 4 16,128 vnodemarker 0 0K - 62541 512 fadvise 0 0K - 2 64 BPF 13 2K - 1998 16,32,128,512,4096 ifnet 14 27K - 14 128,2048 ifaddr 79 28K - 81 32,512,4096 ether_multi 52 3K - 62 16,64 clone 7 1K - 7 128 arpcom 12 1K - 12 16 lltable 1406 355K - 59285 256,512 vlan 18 2K - 18 64,128 acpisem 37 5K - 37 128 routetbl 127 21K - 23278 32,128,256,512 igmp 13 4K - 13 256 in_multi 11 3K - 11 256 USB 59 87K - 66 16,32,128,256,512,1024,4096,8192,32768 sctp_a_it 0 0K - 21 16 sctp_vrf 1 1K - 1 64 sctp_ifa 32 4K - 32 128 sctp_ifn 11 2K - 11 128 sctp_iter 0 0K - 21 256 hostcache 1 32K - 1 32768 syncache 1 64K - 1 65536 libalias 738250 92793K - 266035416 128,65536 sctpnat 24 320K - 24 8192,16384 dummynet 121 124K - 124 512,1024,2048,4096 dummynet 1148 515K - 67918790 256,512 IpFw/IpAcct 29 21K - 101 16,32,64,128,1024,2048,16384 ipfw_tbl 19436 4859K - 76636167 256 pagedep 4 1024K - 611 256 inodedep 6 4097K - 12051 512 bmsafemap 5 33K - 7985 256,8192 newblk 8 8193K - 28016 256 indirdep 0 0K - 207 128,32768 freefrag 0 0K - 10282 128 freeblks 1 1K - 3553 256 freefile 0 0K - 804 64 diradd 0 0K - 3929 128 mkdir 0 0K - 12 128 dirrem 0 0K - 3903 128 newdirblk 0 0K - 6 64 freework 8 1K - 12415 16,128 freedep 0 0K - 20 64 jaddref 0 0K - 3940 128 jremref 0 0K - 3914 128 jnewblk 0 0K - 28006 128 jfreefrag 0 0K - 10282 128 jseg 1 1K - 8852 128 jsegdep 4 1K - 46142 64 sbdep 0 0K - 6330 64 savedino 0 0K - 911 256 jblocks 6 2K - 6 128,256 softdep 4 2K - 4 512 ufs_dirhash 2697 613K - 2697 16,32,64,128,256,512,1024,2048,4096,8192,16384 ufs_quota 1 1024K - 1 ufs_mount 12 50K - 12 512,4096,8192 vm_pgdata 2 1025K - 2 128 UMAHash 6 52K - 20 512,1024,2048,4096,8192,16384,32768 DEVFS3 119 30K - 177 256 DEVFS1 96 48K - 132 512 isadev 8 1K - 8 128 DEVFS_RULE 55 26K - 55 64,512 DEVFS 19 1K - 20 16,128 memdesc 1 4K - 1 4096 DEVFSP 1 1K - 542 64 atkbddev 2 1K - 2 64 cdev 4 1K - 4 256 filedesc 47 155K - 38391474 128,2048,65536 sigio 1 1K - 1 64 filecaps 0 0K - 29 16,64 kenv 104 12K - 108 16,32,64,128,8192 kqueue 2 9K - 21902 256,2048,8192 proc-args 30 2K - 38431195 16,32,64,128,256 pfs_nodes 21 6K - 21 256 hhook 2 1K - 2 256 apmdev 1 1K - 1 128 madt_table 0 0K - 1 4096 ithread 224 37K - 224 32,128,256 KTRACE 100 13K - 100 128 GEOM 79 13K - 2089 16,32,64,128,256,512,1024,2048,8192,16384 USBdev 46 10K - 46 32,64,128,256,512,4096 io_apic 2 4K - 2 2048 linker 204 79K - 320 16,32,64,128,256,512,1024,2048,4096,8192,32768 MCA 22 3K - 22 128 lockf 17 2K - 3989 64,128 loginclass 3 1K - 11406 64 msi 45 6K - 45 128 nexusdev 3 1K - 3 16 devbuf 2864 12722K - 3693 16,32,64,128,256,512,1024,2048,4096,8192,32768,65536 temp 66 2K - 76882610 16,32,64,128,256,512,1024,2048,4096,65536 CAM CCB 0 0K - 264178 2048 module 255 32K - 255 128 Изменено 11 апреля, 2017 пользователем alexapu Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 11 апреля, 2017 · Жалоба В /boot/loader.conf добавьте: net.isr.defaultqlimit=4096 # Если есть lagg net.link.ifqmaxlen=10240 # New Congestion Control for FreeBSD cc_htcp_load="YES" В /etc/sysctl.conf добавьте: kern.ipc.nmbclusters=2000000 Еще покажите: sysctl net.isr.dispatch net.route.netisr_maxqlen net.inet.tcp.sendspace net.inet.tcp.recvspace sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 11 апреля, 2017 (изменено) · Жалоба net.isr.defaultqlimit=4096 я ж сетевухами разгребаю (Dispatch policy -direct), чем мне эта очередь поможет? net.link.ifqmaxlen=10240 lagg-а нет, но оно вроде и не для lagg-а полезно: http://svn.freebsd.org/viewvc/base?view=revision&revision=207554 cc_htcp_load="YES" а это чем помочь сможет? kern.ipc.nmbclusters=2000000 буферов с запасом у меня: 65738/3598/69336/997584 mbuf clusters in use (current/cache/total/max) sysctl net.isr.dispatch net.route.netisr_maxqlen net.inet.tcp.sendspace net.inet.tcp.recvspace это тоже для netisr, но тем не менее: net.isr.dispatch: direct net.route.netisr_maxqlen: 256 net.inet.tcp.sendspace: 32768 net.inet.tcp.recvspace: 65536 sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters graph не использую, про буфера писал ранее: sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters sysctl: unknown oid 'net.graph.maxdgram' sysctl: unknown oid 'net.graph.recvspace' kern.ipc.nmbclusters: 997584 Изменено 11 апреля, 2017 пользователем alexapu Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 12 апреля, 2017 · Жалоба net.isr.defaultqlimit=4096 я ж сетевухами разгребаю (Dispatch policy -direct), чем мне эта очередь поможет? Только ether и не факт что только сетевухами, у вас 1/6 софт прерываний. Если очередь пакетов для сетевух позволяет, то почему системе за такт больше пакетов не закидывать? net.link.ifqmaxlen=10240 lagg-а нет, но оно вроде и не для lagg-а полезно: http://svn.freebsd.org/viewvc/base?view=revision&revision=207554 При множестве тонких интерфейсов может быть лишний расход памяти. Смотрите сами. cc_htcp_load="YES" а это чем помочь сможет? Возможно снизит кол-во tcp пакетов и увеличит ускорение пакетов. Посмотрите тесты с cc_htcp. kern.ipc.nmbclusters=2000000 буферов с запасом у меня: 65738/3598/69336/997584 mbuf clusters in use (current/cache/total/max) Памяти все равно на 10G сеть мало выделено sysctl net.isr.dispatch net.route.netisr_maxqlen net.inet.tcp.sendspace net.inet.tcp.recvspace это тоже для netisr, но тем не менее: net.isr.dispatch: direct net.route.netisr_maxqlen: 256 net.inet.tcp.sendspace: 32768 net.inet.tcp.recvspace: 65536 Увеличивайте до net.inet.tcp.sendspace: 3217968 net.inet.tcp.recvspace: 3217968 sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters graph не использую, про буфера писал ранее: А вы все равно посмотрите список используемых объектов: ngctl list Ну, и для 10G желательно использовать Jumbo-frame. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 12 апреля, 2017 · Жалоба net.inet.tcp.tso: 1 (сейчас 1, но делал 0 и выключал tso на картах - изменений абсолютно никаких не было. Насколько я помню со времён 7ки выключение tso помогало на сыром драйвере igb) Хоть обвключайся. Это для раздающего контент, а роутеру пофик, он в tcp не смотрит. И уж тем более не шлёт сам ничего, ну кроме админок всяких для родного админа. netstat -Q Configuration: Setting Current Limit Thread count 1 1 Default queue limit 256 10240 Dispatch policy direct n/a Threads bound to CPUs disabled n/a Protocols: Name Proto QLimit Policy Dispatch Flags ip 1 256 flow default --- igmp 2 256 source default --- rtsock 3 256 source default --- arp 7 256 source default --- ether 9 256 source direct --- У меня на десктопе больше :))) это тоже для netisr, но тем не менее: net.isr.dispatch: direct net.route.netisr_maxqlen: 256 net.inet.tcp.sendspace: 32768 net.inet.tcp.recvspace: 65536 Значится так. Всё что inet.tcp, inet.udp, inet.icmp, inet.igmp и вероятно куча прочего - роутера не касается. Пакеты тупо не доходят до того места где эти крутилки применяются, он улетает в другой интерфейс, дальше ip ничего не разбирается. Маленькая очередь в isr - это плохо. Вот у тебя в сетевухе поди 2к пакетов, как оно их в 256 переложит потом? Ещё обычно у сетевух есть своя аппаратная стата: sysctl dev.ix вот кусок у меня: dev.igb.0.interrupts.rx_overrun: 0 dev.igb.0.interrupts.rx_desc_min_thresh: 0 dev.igb.0.interrupts.tx_queue_min_thresh: 26986950 dev.igb.0.interrupts.tx_queue_empty: 16006906 dev.igb.0.interrupts.tx_abs_timer: 0 dev.igb.0.interrupts.tx_pkt_timer: 0 dev.igb.0.interrupts.rx_abs_timer: 0 dev.igb.0.interrupts.rx_pkt_timer: 26985807 dev.igb.0.interrupts.asserts: 14489160 Те для tx тупо больше прерываний в принципе нужно чтобы нормально работать. # New Congestion Control for FreeBSD cc_htcp_load="YES" Ну загрузил, а включать то кто будет? Опять Пушкин?) net.inet.tcp.cc.algorithm=htcp # TCP cognestion algoritm И опять же, у него роутер, ему оно фиолетово, разве что ссш ускорится :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 12 апреля, 2017 · Жалоба Всё что inet.tcp, inet.udp, inet.icmp, inet.igmp и вероятно куча прочего - роутера не касается. Не согласен, у ТС куча сервисов на этом "роутере" запущено, я пока не стал выяснять их тип. # New Congestion Control for FreeBSD cc_htcp_load="YES" Ну загрузил, а включать то кто будет? Опять Пушкин?) net.inet.tcp.cc.algorithm=htcp # TCP cognestion algoritm И опять же, у него роутер, ему оно фиолетово, разве что ссш ускорится :) Главное подгрузить, а потом применим нужные опции, вдруг там ядро без этого модуля/опции собрано. Это "роутер", если будет недостаточно быстро размер окна поднимать, то и все остальные транзитные tcp сессии будут так же медленно повышаться. P.S. И вообще, на сервере куча свободной памяти, тебе ее жалко? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 12 апреля, 2017 · Жалоба а зачем крутить congestion control для роутера, который пакеты из интерфейса в интерфейс перекладывает и слыхом не слыхивал о window size? он же вроде как используется исключительно на стороне сервера/клиента, не? а вообще - пляски с бубном вокруг congestion control в попытках как-то повлиять на кол-во генерируемых сетевухой прерываний, как по мне, как-то бредово смотрятся... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 12 апреля, 2017 · Жалоба net.isr.defaultqlimit=4096 я ж сетевухами разгребаю (Dispatch policy -direct), чем мне эта очередь поможет? Только ether и не факт что только сетевухами, у вас 1/6 софт прерываний. Если очередь пакетов для сетевух позволяет, то почему системе за такт больше пакетов не закидывать? согласен, софт irq мы уменьшим в целом для системы, но на разницу по прерываниям ix0/ix1 это не повлияет. позже выложу скрины. kern.ipc.nmbclusters=2000000 буферов с запасом у меня: 65738/3598/69336/997584 mbuf clusters in use (current/cache/total/max) Памяти все равно на 10G сеть мало выделено пока не актуально, нагрузки мало, но тем не менее увеличивать буду. Увеличивайте до net.inet.tcp.sendspace: 3217968 net.inet.tcp.recvspace: 3217968 разве что для named поможет sysctl net.graph.maxdgram net.graph.recvspace kern.ipc.nmbclusters graph не использую, про буфера писал ранее: А вы все равно посмотрите список используемых объектов: ngctl list пусто ngctl list There are 1 total nodes: Name: ngctl74282 Type: socket ID: 00000003 Num hooks: 0 Ну, и для 10G желательно использовать Jumbo-frame. в процессе Не согласен, у ТС куча сервисов на этом "роутере" запущено, я пока не стал выяснять их тип. если "ТС" - это ко мне, то вся "куча сервисов" состоит из named-а (ранее писал про него), не считая sshd ест-но. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 12 апреля, 2017 · Жалоба Маленькая очередь в isr - это плохо. Вот у тебя в сетевухе поди 2к пакетов, как оно их в 256 переложит потом? писал ранее, что софт irq мы уменьшим в целом для системы, но на разницу по прерываниям ix0/ix1 это не повлияет. позже выложу скрины. Ещё обычно у сетевух есть своя аппаратная стата: sysctl dev.ix вот кусок у меня: dev.igb.0.interrupts.rx_overrun: 0 dev.igb.0.interrupts.rx_desc_min_thresh: 0 dev.igb.0.interrupts.tx_queue_min_thresh: 26986950 dev.igb.0.interrupts.tx_queue_empty: 16006906 dev.igb.0.interrupts.tx_abs_timer: 0 dev.igb.0.interrupts.tx_pkt_timer: 0 dev.igb.0.interrupts.rx_abs_timer: 0 dev.igb.0.interrupts.rx_pkt_timer: 26985807 dev.igb.0.interrupts.asserts: 14489160 Те для tx тупо больше прерываний в принципе нужно чтобы нормально работать. в первую очередь в стату и гляделось, только нет там нихрена причины сего действа: sysctl dev.ix.0 dev.ix.0.mac_stats.tx_frames_1024_1522: 12974912556 dev.ix.0.mac_stats.tx_frames_512_1023: 288376133 dev.ix.0.mac_stats.tx_frames_256_511: 238363289 dev.ix.0.mac_stats.tx_frames_128_255: 386235967 dev.ix.0.mac_stats.tx_frames_65_127: 1624470114 dev.ix.0.mac_stats.tx_frames_64: 372723681 dev.ix.0.mac_stats.management_pkts_txd: 0 dev.ix.0.mac_stats.mcast_pkts_txd: 0 dev.ix.0.mac_stats.bcast_pkts_txd: 183340 dev.ix.0.mac_stats.good_pkts_txd: 15885081731 dev.ix.0.mac_stats.total_pkts_txd: 15885081738 dev.ix.0.mac_stats.good_octets_txd: 19817047011678 dev.ix.0.mac_stats.checksum_errs: 124179891 dev.ix.0.mac_stats.management_pkts_drpd: 0 dev.ix.0.mac_stats.management_pkts_rcvd: 0 dev.ix.0.mac_stats.recv_jabberd: 0 dev.ix.0.mac_stats.recv_oversized: 0 dev.ix.0.mac_stats.recv_fragmented: 0 dev.ix.0.mac_stats.recv_undersized: 0 dev.ix.0.mac_stats.rx_frames_1024_1522: 2156810535 dev.ix.0.mac_stats.rx_frames_512_1023: 181284949 dev.ix.0.mac_stats.rx_frames_256_511: 109109216 dev.ix.0.mac_stats.rx_frames_128_255: 410497556 dev.ix.0.mac_stats.rx_frames_65_127: 7863147712 dev.ix.0.mac_stats.rx_frames_64: 3267628 dev.ix.0.mac_stats.bcast_pkts_rcvd: 10450933 dev.ix.0.mac_stats.mcast_pkts_rcvd: 185136 dev.ix.0.mac_stats.good_pkts_rcvd: 10724117595 dev.ix.0.mac_stats.total_pkts_rcvd: 10731941306 dev.ix.0.mac_stats.good_octets_rcvd: 3941334079225 dev.ix.0.mac_stats.total_octets_rcvd: 3942128838135 dev.ix.0.mac_stats.xoff_recvd: 0 dev.ix.0.mac_stats.xoff_txd: 0 dev.ix.0.mac_stats.xon_recvd: 0 dev.ix.0.mac_stats.xon_txd: 0 dev.ix.0.mac_stats.rec_len_errs: 293167 dev.ix.0.mac_stats.remote_faults: 3 dev.ix.0.mac_stats.local_faults: 8 dev.ix.0.mac_stats.short_discards: 0 dev.ix.0.mac_stats.byte_errs: 0 dev.ix.0.mac_stats.ill_errs: 0 dev.ix.0.mac_stats.crc_errs: 0 dev.ix.0.queue7.lro_flushed: 0 dev.ix.0.queue7.lro_queued: 0 dev.ix.0.queue7.rx_copies: 110457605 dev.ix.0.queue7.rx_bytes: 35547545476 dev.ix.0.queue7.rx_packets: 1347803992 dev.ix.0.queue7.rxd_tail: 560 dev.ix.0.queue7.rxd_head: 561 dev.ix.0.queue7.br_drops: 0 dev.ix.0.queue7.tx_packets: 1933482175 dev.ix.0.queue7.no_desc_avail: 0 dev.ix.0.queue7.no_tx_dma_setup: 0 dev.ix.0.queue7.tso_tx: 6 dev.ix.0.queue7.txd_tail: 211 dev.ix.0.queue7.txd_head: 211 dev.ix.0.queue7.irqs: 1533582082 dev.ix.0.queue7.interrupt_rate: 5208 dev.ix.0.queue6.lro_flushed: 0 dev.ix.0.queue6.lro_queued: 0 dev.ix.0.queue6.rx_copies: 112289219 dev.ix.0.queue6.rx_bytes: 39548730720 dev.ix.0.queue6.rx_packets: 1294472225 dev.ix.0.queue6.rxd_tail: 1598 dev.ix.0.queue6.rxd_head: 1599 dev.ix.0.queue6.br_drops: 0 dev.ix.0.queue6.tx_packets: 2011668649 dev.ix.0.queue6.no_desc_avail: 0 dev.ix.0.queue6.no_tx_dma_setup: 0 dev.ix.0.queue6.tso_tx: 10 dev.ix.0.queue6.txd_tail: 3537 dev.ix.0.queue6.txd_head: 3537 dev.ix.0.queue6.irqs: 1509732015 dev.ix.0.queue6.interrupt_rate: 500000 dev.ix.0.queue5.lro_flushed: 0 dev.ix.0.queue5.lro_queued: 0 dev.ix.0.queue5.rx_copies: 123593223 dev.ix.0.queue5.rx_bytes: 40388617235 dev.ix.0.queue5.rx_packets: 1386340499 dev.ix.0.queue5.rxd_tail: 1571 dev.ix.0.queue5.rxd_head: 1573 dev.ix.0.queue5.br_drops: 0 dev.ix.0.queue5.tx_packets: 1993921267 dev.ix.0.queue5.no_desc_avail: 0 dev.ix.0.queue5.no_tx_dma_setup: 0 dev.ix.0.queue5.tso_tx: 12 dev.ix.0.queue5.txd_tail: 794 dev.ix.0.queue5.txd_head: 796 dev.ix.0.queue5.irqs: 1546191027 dev.ix.0.queue5.interrupt_rate: 5319 dev.ix.0.queue4.lro_flushed: 0 dev.ix.0.queue4.lro_queued: 0 dev.ix.0.queue4.rx_copies: 112925899 dev.ix.0.queue4.rx_bytes: 40525088097 dev.ix.0.queue4.rx_packets: 1381607930 dev.ix.0.queue4.rxd_tail: 1834 dev.ix.0.queue4.rxd_head: 1835 dev.ix.0.queue4.br_drops: 0 dev.ix.0.queue4.tx_packets: 2012663022 dev.ix.0.queue4.no_desc_avail: 0 dev.ix.0.queue4.no_tx_dma_setup: 0 dev.ix.0.queue4.tso_tx: 5 dev.ix.0.queue4.txd_tail: 1240 dev.ix.0.queue4.txd_head: 1240 dev.ix.0.queue4.irqs: 1556622178 dev.ix.0.queue4.interrupt_rate: 5681 dev.ix.0.queue3.lro_flushed: 0 dev.ix.0.queue3.lro_queued: 0 dev.ix.0.queue3.rx_copies: 97201497 dev.ix.0.queue3.rx_bytes: 42091565524 dev.ix.0.queue3.rx_packets: 1300704141 dev.ix.0.queue3.rxd_tail: 1380 dev.ix.0.queue3.rxd_head: 1381 dev.ix.0.queue3.br_drops: 0 dev.ix.0.queue3.tx_packets: 1986864988 dev.ix.0.queue3.no_desc_avail: 0 dev.ix.0.queue3.no_tx_dma_setup: 0 dev.ix.0.queue3.tso_tx: 10 dev.ix.0.queue3.txd_tail: 3830 dev.ix.0.queue3.txd_head: 3830 dev.ix.0.queue3.irqs: 1502747683 dev.ix.0.queue3.interrupt_rate: 5208 dev.ix.0.queue2.lro_flushed: 0 dev.ix.0.queue2.lro_queued: 0 dev.ix.0.queue2.rx_copies: 110029433 dev.ix.0.queue2.rx_bytes: 36774382208 dev.ix.0.queue2.rx_packets: 1356704654 dev.ix.0.queue2.rxd_tail: 797 dev.ix.0.queue2.rxd_head: 798 dev.ix.0.queue2.br_drops: 0 dev.ix.0.queue2.tx_packets: 2019325542 dev.ix.0.queue2.no_desc_avail: 0 dev.ix.0.queue2.no_tx_dma_setup: 0 dev.ix.0.queue2.tso_tx: 7 dev.ix.0.queue2.txd_tail: 3069 dev.ix.0.queue2.txd_head: 3069 dev.ix.0.queue2.irqs: 1560437507 dev.ix.0.queue2.interrupt_rate: 500000 dev.ix.0.queue1.lro_flushed: 0 dev.ix.0.queue1.lro_queued: 0 dev.ix.0.queue1.rx_copies: 109616918 dev.ix.0.queue1.rx_bytes: 36178088263 dev.ix.0.queue1.rx_packets: 1311385260 dev.ix.0.queue1.rxd_tail: 1780 dev.ix.0.queue1.rxd_head: 1781 dev.ix.0.queue1.br_drops: 0 dev.ix.0.queue1.tx_packets: 1961545448 dev.ix.0.queue1.no_desc_avail: 0 dev.ix.0.queue1.no_tx_dma_setup: 0 dev.ix.0.queue1.tso_tx: 11 dev.ix.0.queue1.txd_tail: 3600 dev.ix.0.queue1.txd_head: 3600 dev.ix.0.queue1.irqs: 1501706038 dev.ix.0.queue1.interrupt_rate: 15151 dev.ix.0.queue0.lro_flushed: 0 dev.ix.0.queue0.lro_queued: 0 dev.ix.0.queue0.rx_copies: 109115972 dev.ix.0.queue0.rx_bytes: 38247218823 dev.ix.0.queue0.rx_packets: 1345174426 dev.ix.0.queue0.rxd_tail: 3225 dev.ix.0.queue0.rxd_head: 3227 dev.ix.0.queue0.br_drops: 0 dev.ix.0.queue0.tx_packets: 1965730874 dev.ix.0.queue0.no_desc_avail: 0 dev.ix.0.queue0.no_tx_dma_setup: 0 dev.ix.0.queue0.tso_tx: 7 dev.ix.0.queue0.txd_tail: 4051 dev.ix.0.queue0.txd_head: 4051 dev.ix.0.queue0.irqs: 1593030233 dev.ix.0.queue0.interrupt_rate: 500000 dev.ix.0.link_irq: 9 dev.ix.0.watchdog_events: 0 dev.ix.0.mbuf_defrag_failed: 0 dev.ix.0.dropped: 0 dev.ix.0.thermal_test: 0 dev.ix.0.advertise_speed: 0 dev.ix.0.enable_aim: 1 dev.ix.0.fc: 3 dev.ix.0.tx_processing_limit: 512 dev.ix.0.rx_processing_limit: 512 dev.ix.0.%parent: pci6 dev.ix.0.%pnpinfo: vendor=0x8086 device=0x10fb subvendor=0x8086 subdevice=0x0003 class=0x020000 dev.ix.0.%location: slot=0 function=0 dbsf=pci0:6:0:0 handle=\_SB_.PCI0.BR07.SLT0 dev.ix.0.%driver: ix dev.ix.0.%desc: Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k sysctl dev.ix.1 dev.ix.1.mac_stats.tx_frames_1024_1522: 2152657635 dev.ix.1.mac_stats.tx_frames_512_1023: 180997694 dev.ix.1.mac_stats.tx_frames_256_511: 107453071 dev.ix.1.mac_stats.tx_frames_128_255: 372452503 dev.ix.1.mac_stats.tx_frames_65_127: 5569975350 dev.ix.1.mac_stats.tx_frames_64: 2249773861 dev.ix.1.mac_stats.management_pkts_txd: 0 dev.ix.1.mac_stats.mcast_pkts_txd: 0 dev.ix.1.mac_stats.bcast_pkts_txd: 453 dev.ix.1.mac_stats.good_pkts_txd: 10633310114 dev.ix.1.mac_stats.total_pkts_txd: 10633310114 dev.ix.1.mac_stats.good_octets_txd: 3886287640607 dev.ix.1.mac_stats.checksum_errs: 39212180 dev.ix.1.mac_stats.management_pkts_drpd: 0 dev.ix.1.mac_stats.management_pkts_rcvd: 0 dev.ix.1.mac_stats.recv_jabberd: 0 dev.ix.1.mac_stats.recv_oversized: 0 dev.ix.1.mac_stats.recv_fragmented: 0 dev.ix.1.mac_stats.recv_undersized: 0 dev.ix.1.mac_stats.rx_frames_1024_1522: 13168703827 dev.ix.1.mac_stats.rx_frames_512_1023: 286781819 dev.ix.1.mac_stats.rx_frames_256_511: 225076816 dev.ix.1.mac_stats.rx_frames_128_255: 378827050 dev.ix.1.mac_stats.rx_frames_65_127: 1868908559 dev.ix.1.mac_stats.rx_frames_64: 380038442 dev.ix.1.mac_stats.bcast_pkts_rcvd: 20271 dev.ix.1.mac_stats.mcast_pkts_rcvd: 13 dev.ix.1.mac_stats.good_pkts_rcvd: 16308336512 dev.ix.1.mac_stats.total_pkts_rcvd: 16308511906 dev.ix.1.mac_stats.good_octets_rcvd: 20061359397453 dev.ix.1.mac_stats.total_octets_rcvd: 20061371214765 dev.ix.1.mac_stats.xoff_recvd: 0 dev.ix.1.mac_stats.xoff_txd: 0 dev.ix.1.mac_stats.xon_recvd: 0 dev.ix.1.mac_stats.xon_txd: 0 dev.ix.1.mac_stats.rec_len_errs: 0 dev.ix.1.mac_stats.remote_faults: 6 dev.ix.1.mac_stats.local_faults: 10 dev.ix.1.mac_stats.short_discards: 0 dev.ix.1.mac_stats.byte_errs: 0 dev.ix.1.mac_stats.ill_errs: 0 dev.ix.1.mac_stats.crc_errs: 0 dev.ix.1.queue7.lro_flushed: 0 dev.ix.1.queue7.lro_queued: 0 dev.ix.1.queue7.rx_copies: 23428150 dev.ix.1.queue7.rx_bytes: 277815897478 dev.ix.1.queue7.rx_packets: 1987514400 dev.ix.1.queue7.rxd_tail: 956 dev.ix.1.queue7.rxd_head: 957 dev.ix.1.queue7.br_drops: 0 dev.ix.1.queue7.tx_packets: 1337959022 dev.ix.1.queue7.no_desc_avail: 0 dev.ix.1.queue7.no_tx_dma_setup: 0 dev.ix.1.queue7.tso_tx: 77 dev.ix.1.queue7.txd_tail: 3824 dev.ix.1.queue7.txd_head: 3824 dev.ix.1.queue7.irqs: 2101218394 dev.ix.1.queue7.interrupt_rate: 45454 dev.ix.1.queue6.lro_flushed: 0 dev.ix.1.queue6.lro_queued: 0 dev.ix.1.queue6.rx_copies: 28019485 dev.ix.1.queue6.rx_bytes: 245527325314 dev.ix.1.queue6.rx_packets: 2064886031 dev.ix.1.queue6.rxd_tail: 1764 dev.ix.1.queue6.rxd_head: 1765 dev.ix.1.queue6.br_drops: 0 dev.ix.1.queue6.tx_packets: 1285599931 dev.ix.1.queue6.no_desc_avail: 0 dev.ix.1.queue6.no_tx_dma_setup: 0 dev.ix.1.queue6.tso_tx: 90 dev.ix.1.queue6.txd_tail: 918 dev.ix.1.queue6.txd_head: 918 dev.ix.1.queue6.irqs: 2153042260 dev.ix.1.queue6.interrupt_rate: 500000 dev.ix.1.queue5.lro_flushed: 0 dev.ix.1.queue5.lro_queued: 0 dev.ix.1.queue5.rx_copies: 27107153 dev.ix.1.queue5.rx_bytes: 253665940676 dev.ix.1.queue5.rx_packets: 2047288443 dev.ix.1.queue5.rxd_tail: 739 dev.ix.1.queue5.rxd_head: 740 dev.ix.1.queue5.br_drops: 0 dev.ix.1.queue5.tx_packets: 1373994335 dev.ix.1.queue5.no_desc_avail: 0 dev.ix.1.queue5.no_tx_dma_setup: 0 dev.ix.1.queue5.tso_tx: 72 dev.ix.1.queue5.txd_tail: 3952 dev.ix.1.queue5.txd_head: 3952 dev.ix.1.queue5.irqs: 2156863914 dev.ix.1.queue5.interrupt_rate: 500000 dev.ix.1.queue4.lro_flushed: 0 dev.ix.1.queue4.lro_queued: 0 dev.ix.1.queue4.rx_copies: 26618946 dev.ix.1.queue4.rx_bytes: 297248173219 dev.ix.1.queue4.rx_packets: 2067817645 dev.ix.1.queue4.rxd_tail: 3779 dev.ix.1.queue4.rxd_head: 3780 dev.ix.1.queue4.br_drops: 0 dev.ix.1.queue4.tx_packets: 1372431538 dev.ix.1.queue4.no_desc_avail: 0 dev.ix.1.queue4.no_tx_dma_setup: 0 dev.ix.1.queue4.tso_tx: 119 dev.ix.1.queue4.txd_tail: 1486 dev.ix.1.queue4.txd_head: 1486 dev.ix.1.queue4.irqs: 2161340702 dev.ix.1.queue4.interrupt_rate: 125000 dev.ix.1.queue3.lro_flushed: 0 dev.ix.1.queue3.lro_queued: 0 dev.ix.1.queue3.rx_copies: 28465866 dev.ix.1.queue3.rx_bytes: 286015522105 dev.ix.1.queue3.rx_packets: 2039986225 dev.ix.1.queue3.rxd_tail: 3367 dev.ix.1.queue3.rxd_head: 3368 dev.ix.1.queue3.br_drops: 0 dev.ix.1.queue3.tx_packets: 1290177020 dev.ix.1.queue3.no_desc_avail: 0 dev.ix.1.queue3.no_tx_dma_setup: 0 dev.ix.1.queue3.tso_tx: 121 dev.ix.1.queue3.txd_tail: 425 dev.ix.1.queue3.txd_head: 425 dev.ix.1.queue3.irqs: 2134145362 dev.ix.1.queue3.interrupt_rate: 83333 dev.ix.1.queue2.lro_flushed: 0 dev.ix.1.queue2.lro_queued: 0 dev.ix.1.queue2.rx_copies: 29668502 dev.ix.1.queue2.rx_bytes: 274422477366 dev.ix.1.queue2.rx_packets: 2073356561 dev.ix.1.queue2.rxd_tail: 3674 dev.ix.1.queue2.rxd_head: 3675 dev.ix.1.queue2.br_drops: 0 dev.ix.1.queue2.tx_packets: 1346835331 dev.ix.1.queue2.no_desc_avail: 0 dev.ix.1.queue2.no_tx_dma_setup: 0 dev.ix.1.queue2.tso_tx: 100 dev.ix.1.queue2.txd_tail: 2254 dev.ix.1.queue2.txd_head: 2254 dev.ix.1.queue2.irqs: 2174464530 dev.ix.1.queue2.interrupt_rate: 500000 dev.ix.1.queue1.lro_flushed: 0 dev.ix.1.queue1.lro_queued: 0 dev.ix.1.queue1.rx_copies: 28686068 dev.ix.1.queue1.rx_bytes: 242798161523 dev.ix.1.queue1.rx_packets: 2015556947 dev.ix.1.queue1.rxd_tail: 1209 dev.ix.1.queue1.rxd_head: 1210 dev.ix.1.queue1.br_drops: 0 dev.ix.1.queue1.tx_packets: 1302788820 dev.ix.1.queue1.no_desc_avail: 0 dev.ix.1.queue1.no_tx_dma_setup: 0 dev.ix.1.queue1.tso_tx: 88 dev.ix.1.queue1.txd_tail: 309 dev.ix.1.queue1.txd_head: 309 dev.ix.1.queue1.irqs: 2111272912 dev.ix.1.queue1.interrupt_rate: 100000 dev.ix.1.queue0.lro_flushed: 0 dev.ix.1.queue0.lro_queued: 0 dev.ix.1.queue0.rx_copies: 31492873 dev.ix.1.queue0.rx_bytes: 300892017721 dev.ix.1.queue0.rx_packets: 2012100455 dev.ix.1.queue0.rxd_tail: 388 dev.ix.1.queue0.rxd_head: 389 dev.ix.1.queue0.br_drops: 0 dev.ix.1.queue0.tx_packets: 1323620673 dev.ix.1.queue0.no_desc_avail: 0 dev.ix.1.queue0.no_tx_dma_setup: 0 dev.ix.1.queue0.tso_tx: 63 dev.ix.1.queue0.txd_tail: 1511 dev.ix.1.queue0.txd_head: 1511 dev.ix.1.queue0.irqs: 2373215233 dev.ix.1.queue0.interrupt_rate: 500000 dev.ix.1.link_irq: 16 dev.ix.1.watchdog_events: 0 dev.ix.1.mbuf_defrag_failed: 0 dev.ix.1.dropped: 0 dev.ix.1.thermal_test: 0 dev.ix.1.advertise_speed: 0 dev.ix.1.enable_aim: 1 dev.ix.1.fc: 3 dev.ix.1.tx_processing_limit: 512 dev.ix.1.rx_processing_limit: 512 dev.ix.1.%parent: pci6 dev.ix.1.%pnpinfo: vendor=0x8086 device=0x10fb subvendor=0x8086 subdevice=0x0003 class=0x020000 dev.ix.1.%location: slot=0 function=1 dbsf=pci0:6:0:1 handle=\_SB_.PCI0.BR07.SLT1 dev.ix.1.%driver: ix dev.ix.1.%desc: Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 13 апреля, 2017 · Жалоба Главное подгрузить, а потом применим нужные опции, вдруг там ядро без этого модуля/опции собрано. Это "роутер", если будет недостаточно быстро размер окна поднимать, то и все остальные транзитные tcp сессии будут так же медленно повышаться. 1. Если ты попытаешься сменить сс на тот который не загружен - система выругается и продолжит работать. 2. Роутер не смотрит в L4. НАТ смотрит, но размер окна не трогает, и вообще ничего не трогает и ничего из sysctl net.tcp не приняет, потому что это всё касается только трафика от/к самому хосту. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 13 апреля, 2017 · Жалоба 2. Роутер не смотрит в L4. НАТ смотрит, но размер окна не трогает, и вообще ничего не трогает и ничего из sysctl net.tcp не приняет, потому что это всё касается только трафика от/к самому хосту. Да очевидно что этот персонаж копипастит "тюнинги" из howto-шек из инета по оптимизации веб-севера, а не роутера Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 13 апреля, 2017 · Жалоба Да очевидно что этот персонаж копипастит "тюнинги" из howto-шек из инета по оптимизации веб-севера, а не роутера htcp это чисто моя рекомендация, она хуже не делает, но и лучше в данном случае тоже. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 14 апреля, 2017 · Жалоба Можешь не комментировать сообщения персонажа s.lobanov. Он давно и прочно находится в списке игнор-листа. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 14 апреля, 2017 · Жалоба ТС, еще пробуйте так: dev.ix.0.enable_lro=0 dev.ix.1.enable_lro=0 dev.ix.0.enable_aim=0 dev.ix.1.enable_aim=0 dev.ix.0.rx_processing_limit=4096 dev.ix.0.flow_control=0 dev.ix.1.rx_processing_limit=4096 dev.ix.1.flow_control=0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 14 апреля, 2017 · Жалоба Ну да... куда уж s.lobanov до достопочтенного vlad11. Куда там Ivan_83, куда там всем остальным. Я уж лучше буду s.lobanov слушать. В отличии от Вас у него нет репутации дурачка, выдаваемого выдуманные вещи за действительные. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 15 апреля, 2017 · Жалоба братцы не цепляйтесь друг за друга - оно вряд ли делу поможет. а может время мы теряем, кто-нибудь может показать нормальное распределение прерываний у драйвера ix (ixgbe) под FreeBSD10.x с использованием двухголовой сетевухи с нагрузкой на обоих... vmstat -i п/с а то как минимум 4 человека в данной теме с перекосом по ix0/ix1. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 15 апреля, 2017 · Жалоба Я собсно не вижу никакого криминала. Ну приходит больше трафика на внешнюю сетевку, ну и что такого? Есть реально проблемы какие-то или будем решать несуществующие проблемы? Это может быть ipfw nat ибо в топе он вообще не фигурирует, а нагрузка от него показывается как прерывания. Это может быть из-за dummynet потому что данных приходит больше, чем доходит до абонента, ибо обрезает трубу. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 16 апреля, 2017 · Жалоба Я собсно не вижу никакого криминала. Ну приходит больше трафика на внешнюю сетевку, ну и что такого? не приходит больше трафика на внешнюю сетевуху, если бы приходило темы бы не было - внимательно читайте тему с самого начала. Есть реально проблемы какие-то или будем решать несуществующие проблемы? ну для кого-то и дропы на интерфейсах - не проблема. dummynet исключено - выключал, нагрузка от него показывается как прерывания. - бред, ядро на msix вектора прерывания от ната накидывает? да и вначале темы был товарищ только c шейперами (без nat) с аналогичной разницей по прерываниям. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 18 апреля, 2017 (изменено) · Жалоба совсем забыл, что адаптивные прерывания на лету не выключаются (цтл применяется при этом), только ребут, выставил статически и всё, молотит как надо: hw.ix.max_interrupt_rate=10000 hw.ix.enable_aim=0 hw.ix.rx_process_limit=-1 hw.ix.tx_process_limit=-1 process_limit на карте заодно сделал unlimited - тоже прерывания с карт уменьшило значительно. sysctl -a | grep interrupt_rate hw.ix.max_interrupt_rate: 10000 dev.ix.1.queue3.interrupt_rate: 10000 dev.ix.1.queue2.interrupt_rate: 10000 dev.ix.1.queue1.interrupt_rate: 10000 dev.ix.1.queue0.interrupt_rate: 10000 dev.ix.0.queue3.interrupt_rate: 10000 dev.ix.0.queue2.interrupt_rate: 10000 dev.ix.0.queue1.interrupt_rate: 10000 dev.ix.0.queue0.interrupt_rate: 10000 vmstat -i interrupt total rate irq283: ix0:q0 272261475 6395 irq284: ix0:q1 274701616 6452 irq285: ix0:q2 269846288 6338 irq286: ix0:q3 271755990 6383 irq287: ix0:link 3 0 irq288: ix1:q0 285950035 6716 irq289: ix1:q1 286330851 6725 irq290: ix1:q2 283115543 6649 irq291: ix1:q3 285339859 6702 irq292: ix1:link 3 0 vmstat -s 417575904 cpu context switches 2235975250 device interrupts 2389726 software interrupts софт прерывания тоже закончились после увеличения очереди isr, как собственно и ожидалось. Спасибо vlad11, Ivan_83 за проявленное внимание. Изменено 18 апреля, 2017 пользователем alexapu Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 19 апреля, 2017 · Жалоба совсем забыл, что адаптивные прерывания на лету не выключаются (цтл применяется при этом), только ребут Либо ifconfig IFNAME down up либо оно должно тюнится через лоадер, а сисцтл должен ругаться что оно только для чтения. hw.ix.max_interrupt_rate=10000 А это разве не поднимает лимит количество прерываний в секунду до более высокого значения? Те логичнее было бы 1000 сделать... и наверное получить дропы. Либо задрать и пофик, лишь бы не дропало. hw.ix.rx_process_limit=-1 Это как правило преобразуется в 2^31. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
phantom_vk Опубликовано 24 июля, 2017 · Жалоба Доброго времени суток! Решил не создавать новую тему. Прошу помощи. И так имеется: 11.0-RELEASE-p1 FreeBSD 11.0-RELEASE-p1 чистая только установленная Сетевая карта: Intel(R) Ethernet Connection XL710/X722 Driver, Version - 1.7.12 w 5.0.40043 api 1.5 nvm 5.05 etid 80002892 oem 1.262.0 Создаем 100 вланов и даем команду ifconfig, листинг на экран или в файл занимает примерно 8-10 секунд, скажите это нормально для этой карты, у всех такая картина? С предыдущими 1Г Интеловыми картами такой проблемы никогда не наблюдал, листинг на экран или в файл даже при наличии 400-а вланов занимает на больше 1-2 секунд. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...