sk011 Опубликовано 27 апреля, 2016 · Жалоба Всем доброй ночи. Имеется 10.3-STABLE FreeBSD с карточкой 82599ES ix0 в сторону мира ix1 смотрит в сторону локалки, десяток вланов, терминация PPPoE не могу разобраться почему на ix0 прерываний намного выше, чем на ix1 3 users Load 2,66 2,84 3,12 27 апр 23:42 Mem:KB REAL VIRTUAL VN PAGER SWAP PAGER Tot Share Tot Share Free in out in out Act 1857696 15928 7354732 19900 5705292 count All 1870136 20136 7458792 89876 pages Proc: Interrupts r p d s w Csw Trp Sys Int Sof Flt ioflt 150k total 1 259 317k 35k 42k 115k 8152 47 cow acpi0 9 47 zfod 14 ehci0 ehci 23,1%Sys 32,9%Intr 4,5%User 0,0%Nice 39,5%Idle ozfod 8 xhci0 19 | | | | | | | | | | %ozfod 5429 cpu0:timer ============++++++++++++++++>> daefr 19912 ix0:q0 264 22 dtbuf 21 prcfr 21548 ix0:q1 265 Namei Name-cache Dir-cache 347910 desvn 232 totfr 14772 ix0:q2 266 Calls hits % hits % 185129 numvn react 24678 ix0:q3 267 307 307 100 2678 frevn pdwak ix0:link 242 pdpgs 13747 ix1:q0 269 Disks ada0 ada1 pass0 pass1 pass2 pass3 intrn 6201 ix1:q1 270 KB/t 41,54 41,51 0,00 0,00 0,00 0,00 1583648 wire 6918 ix1:q2 271 tps 270 271 0 0 0 0 592028 act 6672 ix1:q3 272 MB/s 10,97 11,00 0,00 0,00 0,00 0,00 8282032 inact ix1:link %busy 14 15 0 0 0 0 cache 613 ahci1 285 5705264 free 11139 cpu1:timer 1675616 buf 8327 cpu3:timer 10410 cpu2:timer почему так? ведь по идее in_ix1/out_ix0 и наоборот кол-во пакетов равно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 28 апреля, 2016 · Жалоба Стройте графики нагрузки каждой карты, по кол-ву бит в секунду, кол-ву юникаст и мультикаст пакетов. Навскидку, у вас внутри сети, много паразитного траффика. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sk011 Опубликовано 28 апреля, 2016 · Жалоба внутри сети? нагрузка то на внешнюю карту И да, по графикам кол-во бит, кол-во юникаста совпадает, в том и дело ( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 28 апреля, 2016 · Жалоба Показывайте графики, особенно мультикаст. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sk011 Опубликовано 28 апреля, 2016 (изменено) · Жалоба настройки карт ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=e100bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWFILTER,RXCSUM_IPV6,TXCSUM_IPV6> ether 90:e2:ba:a1:a0:94 media: Ethernet autoselect (10Gbase-Twinax <full-duplex,rxpause,txpause>) status: active plugged: SFP/SFP+/SFP28 Unknown (Copper pigtail) vendor: Amphenol PN: 603830003 SN: APF15010030JN5 DATE: 2014-12-31 ix1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=e100bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWFILTER,RXCSUM_IPV6,TXCSUM_IPV6> ether 90:e2:ba:a1:a0:95 media: Ethernet autoselect (10Gbase-Twinax <full-duplex,rxpause,txpause>) status: active plugged: SFP/SFP+/SFP28 Unknown (Copper pigtail) vendor: Amphenol PN: 603830003 SN: APF15010030JRE DATE: 2014-12-31 на внутренней ix1 крутится mpd5.8, pfnat, ipfw, pipe нет netstat -m 32785/22880/55665 mbufs in use (current/cache/total) 32782/6188/38970/1048576 mbuf clusters in use (current/cache/total/max) 32782/6180 mbuf+clusters out of packet secondary zone in use (current/cache) 0/72/72/524288 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/149657 9k jumbo clusters in use (current/cache/total/max) 0/0/0/84182 16k jumbo clusters in use (current/cache/total/max) 73760K/18384K/92144K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters delayed (4k/9k/16k) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0 requests for sfbufs denied 0 requests for sfbufs delayed 0 requests for I/O initiated by sendfile ЗЫ ограничения в 3 сообщения :( Изменено 28 апреля, 2016 пользователем sk011 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 28 апреля, 2016 · Жалоба Памяти маловато на сеть выделено. Гипертрейдинг включен? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sk011 Опубликовано 29 апреля, 2016 (изменено) · Жалоба ОК может памяти мало, HT выключен почему такая разница в intr на сетевых картах я этого не могу понять от нагрузки на сеть никакой зависимости нет Изменено 29 апреля, 2016 пользователем sk011 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 29 апреля, 2016 (изменено) · Жалоба ОК может памяти мало, HT выключен почему такая разница в intr на сетевых картах я этого не могу понять от нагрузки на сеть никакой зависимости нет Ну нужно еще посмотреть /boot/loader.conf и sysctl.conf hw.ix.num_queues hw.ix.enable_msix net.isr.defaultqlimit net.isr.bindthreads net.isr.maxthreads sysctl -a | grep dispatch net.isr.dispatch: direct vmstat -z vmstat -z|grep -v "0, 0$" netstat -Q Изменено 29 апреля, 2016 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sk011 Опубликовано 29 апреля, 2016 · Жалоба ~]# sysctl net.isr net.isr.numthreads: 4 net.isr.maxprot: 16 net.isr.defaultqlimit: 4096 net.isr.maxqlimit: 10240 net.isr.bindthreads: 1 net.isr.maxthreads: 4 net.isr.dispatch: deferred ~]# sysctl hw.ix.num_queues hw.ix.num_queues: 4 ~]# sysctl hw.ix.enable_msix hw.ix.enable_msix: 1 ~]# vmstat -z ITEM SIZE LIMIT USED FREE REQ FAIL SLEEP UMA Kegs: 384, 0, 118, 2, 118, 0, 0 UMA Zones: 1152, 0, 118, 2, 118, 0, 0 UMA Slabs: 80, 0, 7051, 49, 7699, 0, 0 UMA RCntSlabs: 88, 0, 18195, 30, 18195, 0, 0 UMA Hash: 256, 0, 2, 13, 8, 0, 0 4 Bucket: 32, 0, 231, 1644, 338597, 0, 0 6 Bucket: 48, 0, 0, 1826, 92021, 0, 0 8 Bucket: 64, 0, 58, 1740, 550460, 11, 0 12 Bucket: 96, 0, 767, 709, 5476632, 0, 0 16 Bucket: 128, 0, 557, 776, 67762, 0, 0 32 Bucket: 256, 0, 347, 2053, 254363, 50, 0 64 Bucket: 512, 0, 580, 324, 544339, 446, 0 128 Bucket: 1024, 0, 861, 527, 803606, 0, 0 256 Bucket: 2048, 0, 242, 64,100413482, 10, 0 vmem btag: 56, 0, 15130, 4040, 27021, 136, 0 VM OBJECT: 256, 0, 6092, 1903, 6287481, 0, 0 RADIX NODE: 144, 0, 57019, 1031,19871016, 0, 0 MAP: 240, 0, 3, 61, 3, 0, 0 KMAP ENTRY: 128, 0, 20, 383, 20, 0, 0 MAP ENTRY: 128, 0, 7348, 21420,22438481, 0, 0 VMSPACE: 448, 0, 178, 263, 125610, 0, 0 fakepg: 104, 0, 0, 0, 0, 0, 0 mt_zone: 4112, 0, 383, 0, 383, 0, 0 16: 16, 0, 4901, 1625,50686083, 0, 0 32: 32, 0, 34832, 2668,1194720124, 0, 0 64: 64, 0, 28370, 2010,49143346, 0, 0 128: 128, 0, 44510, 998, 8192712, 0, 0 256: 256, 0, 18115, 1535,60203404, 0, 0 512: 512, 0, 6449, 199, 6395970, 0, 0 1024: 1024, 0, 142, 302, 2146987, 0, 0 2048: 2048, 0, 2222, 314,10220377, 0, 0 4096: 4096, 0, 1678, 189, 1983895, 0, 0 8192: 8192, 0, 51, 4, 1396, 0, 0 16384: 16384, 0, 1837, 8, 4967, 0, 0 32768: 32768, 0, 30, 8, 2772, 0, 0 65536: 65536, 0, 30, 2, 581, 0, 0 SLEEPQUEUE: 80, 0, 712, 187, 712, 0, 0 64 pcpu: 8, 0, 24759, 329, 24759, 0, 0 Files: 80, 0, 8411, 6339,15542795, 0, 0 TURNSTILE: 136, 0, 712, 88, 712, 0, 0 rl_entry: 40, 0, 533, 567, 533, 0, 0 umtx pi: 96, 0, 0, 0, 0, 0, 0 MAC labels: 40, 0, 0, 0, 0, 0, 0 PROC: 1264, 0, 197, 217, 125629, 0, 0 THREAD: 1192, 0, 614, 97, 709438, 0, 0 cpuset: 72, 0, 114, 271, 135, 0, 0 audit_record: 1248, 0, 0, 0, 0, 0, 0 mbuf_packet: 256, 6465195, 32811, 3368,2421359949, 0, 0 mbuf: 256, 6465195, 26, 7565,3366417658, 0, 0 mbuf_cluster: 2048, 1048576, 36179, 7, 36179, 0, 0 mbuf_jumbo_page: 4096, 524288, 8, 94, 995390, 0, 0 mbuf_jumbo_9k: 9216, 149657, 0, 0, 0, 0, 0 mbuf_jumbo_16k: 16384, 84182, 0, 0, 0, 0, 0 mbuf_ext_refcnt: 4, 0, 0, 0, 0, 0, 0 NetGraph items: 72, 65565, 3, 772, 7602117, 0, 0 NetGraph data items: 72, 65565, 1, 898,3872701252, 0, 0 ttyinq: 160, 0, 180, 195, 720, 0, 0 g_bio: 248, 0, 0, 1648,28283802, 0, 0 ttyoutq: 256, 0, 95, 220, 380, 0, 0 DMAR_MAP_ENTRY: 120, 0, 0, 0, 0, 0, 0 nvme_request: 128, 0, 0, 0, 0, 0, 0 vtnet_tx_hdr: 24, 0, 0, 0, 0, 0, 0 FPU_save_area: 832, 0, 0, 0, 0, 0, 0 VNODE: 472, 0, 2971, 133, 22430, 0, 0 VNODEPOLL: 112, 0, 1, 139, 1, 0, 0 BUF TRIE: 144, 0, 2836, 101870, 879168, 0, 0 S VFS Cache: 108, 0, 2642, 508,19516408, 0, 0 STS VFS Cache: 148, 0, 0, 0, 0, 0, 0 L VFS Cache: 328, 0, 421, 83, 440, 0, 0 LTS VFS Cache: 368, 0, 0, 0, 0, 0, 0 NAMEI: 1024, 0, 0, 80,44462397, 0, 0 DIRHASH: 1024, 0, 112, 32, 118, 0, 0 NCLNODE: 528, 0, 0, 0, 0, 0, 0 Mountpoints: 816, 0, 8, 22, 8, 0, 0 pipe: 744, 0, 11, 84, 248616, 0, 0 procdesc: 128, 0, 0, 0, 0, 0, 0 ksiginfo: 112, 0, 405, 750, 91391, 0, 0 itimer: 352, 0, 0, 0, 0, 0, 0 pf mtags: 48, 0, 0, 830, 200, 0, 0 pf states: 296, 360009, 101563, 22392,29919705, 0, 0 pf state keys: 88, 0, 203132, 44908,59841392, 0, 0 pf source nodes: 136, 10005, 0, 0, 0, 0, 0 pf table entries: 160, 200000, 0, 0, 0, 0, 0 pf table counters: 64, 0, 0, 0, 0, 0, 0 pf frags: 120, 0, 0, 0, 0, 0, 0 pf frag entries: 40, 5000, 0, 0, 0, 0, 0 pf state scrubs: 40, 0, 0, 0, 0, 0, 0 KNOTE: 128, 0, 37, 738, 472083, 0, 0 socket: 696, 520115, 8509, 6211, 7343738, 0, 0 ipq: 56, 32802, 0, 1065, 18691, 0, 0 udp_inpcb: 392, 520120, 45, 275, 5895409, 0, 0 udpcb: 24, 520205, 45, 1625, 5895409, 0, 0 tcp_inpcb: 392, 520120, 9633, 7767, 1289585, 0, 0 tcpcb: 1032, 520116, 8270, 6175, 1289585, 0, 0 tcptw: 88, 27810, 1363, 10427, 723409, 0, 0 syncache: 160, 15375, 1, 449, 1286231, 0, 0 hostcache: 136, 15370, 305, 507, 1209, 0, 0 sackhole: 32, 0, 0, 875, 1501, 0, 0 tcpreass: 40, 65600, 3, 597, 429, 0, 0 sctp_ep: 1416, 520116, 0, 0, 0, 0, 0 sctp_asoc: 2408, 40000, 0, 0, 0, 0, 0 sctp_laddr: 48, 80012, 0, 830, 54, 0, 0 sctp_raddr: 720, 80000, 0, 0, 0, 0, 0 sctp_chunk: 136, 400026, 0, 0, 0, 0, 0 sctp_readq: 104, 400026, 0, 0, 0, 0, 0 sctp_stream_msg_out: 104, 400026, 0, 0, 0, 0, 0 sctp_asconf: 40, 400000, 0, 0, 0, 0, 0 sctp_asconf_ack: 48, 400060, 0, 0, 0, 0, 0 udplite_inpcb: 392, 520120, 0, 0, 0, 0, 0 ripcb: 392, 520120, 5, 115, 1228, 0, 0 unpcb: 240, 520128, 135, 361, 157446, 0, 0 rtentry: 200, 0, 24116, 284, 29515, 0, 0 IPFW dynamic rule: 120, 16401, 630, 1515, 1017273, 0, 0 divcb: 392, 520120, 0, 0, 0, 0, 0 selfd: 56, 0, 2200, 13278,30271641941, 0, 0 SWAPMETA: 288, 2020382, 0, 0, 0, 0, 0 FFS inode: 176, 0, 2916, 274, 22370, 0, 0 FFS1 dinode: 128, 0, 0, 0, 0, 0, 0 FFS2 dinode: 256, 0, 2916, 264, 22360, 0, 0 NetFlow IPv4 cache: 88, 1048606, 132336, 6916,58344147, 0, 0 ~]# netstat -Q Configuration: Setting Current Limit Thread count 4 4 Default queue limit 4096 10240 Dispatch policy deferred n/a Threads bound to CPUs enabled n/a Protocols: Name Proto QLimit Policy Dispatch Flags ip 1 10240 flow default --- igmp 2 4096 source default --- rtsock 3 4096 source default --- arp 7 4096 source default --- ether 9 4096 source direct --- Workstreams: WSID CPU Name Len WMark Disp'd HDisp'd QDrops Queued Handled 0 0 ip 0 6504 0 0 0 766120712 766120712 0 0 igmp 0 0 0 0 0 0 0 0 0 rtsock 0 511 0 0 0 58729 58729 0 0 arp 0 57 0 0 0 31955 31955 0 0 ether 0 0 2135055448 0 0 0 2135055448 1 1 ip 0 192 0 0 0 7173667 7173667 1 1 igmp 0 0 0 0 0 0 0 1 1 rtsock 0 0 0 0 0 0 0 1 1 arp 0 4 0 0 0 22737 22737 1 1 ether 0 0 608680522 0 0 0 608680522 2 2 ip 0 81 0 0 0 3171521 3171521 2 2 igmp 0 0 0 0 0 0 0 2 2 rtsock 0 0 0 0 0 0 0 2 2 arp 0 2 0 0 0 13512 13512 2 2 ether 0 0 610545138 0 0 0 610545138 3 3 ip 0 130 0 0 0 3148492 3148492 3 3 igmp 0 0 0 0 0 0 0 3 3 rtsock 0 0 0 0 0 0 0 3 3 arp 0 3 0 0 0 32624 32624 3 3 ether 0 0 674651868 0 0 0 674651868 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 8 апреля, 2017 (изменено) · Жалоба Всем доброй ночи. Имеется 10.3-STABLE FreeBSD с карточкой 82599ES ix0 в сторону мира ix1 смотрит в сторону локалки, десяток вланов, терминация PPPoE не могу разобраться почему на ix0 прерываний намного выше, чем на ix1 почему так? ведь по идее in_ix1/out_ix0 и наоборот кол-во пакетов равно Приветствую sk011, удалось выяснить причину с прерываниями? Проблема аналогичная, на такой же карте с такой же версией ОС: прерывания на внешней сетевухе ix1 более чем в два раза больше чем на внутренней ix0, картина при 1Г ната такая: Mem:KB REAL VIRTUAL VN PAGER SWAP PAGER Tot Share Tot Share Free in out in out Act 340968 7356 923116 8756 7247772 count All 341788 8128 931976 17568 pages Proc: Interrupts r p d s w Csw Trp Sys Int Sof Flt ioflt 133k total 31 257k 1998 14k 124k 55 cow ehci0 ehci zfod xhci0 uhci 1.4%Sys 13.2%Intr 0.4%User 0.0%Nice 85.1%Idle ozfod 1120 cpu0:timer | | | | | | | | | | %ozfod ciss0 264 =++++++ daefr 9101 ix0:q0 283 12 dtbuf prcfr 8852 ix0:q1 284 Namei Name-cache Dir-cache 211870 desvn totfr 9361 ix0:q2 285 Calls hits % hits % 668 numvn react 8464 ix0:q3 286 3 3 100 63 frevn pdwak ix0:link 65 pdpgs 22447 ix1:q0 288 Disks da0 intrn 21140 ix1:q1 289 KB/t 0.00 389080 wire 21213 ix1:q2 290 tps 0 160092 act 24085 ix1:q3 291 MB/s 0.00 183724 inact ix1:link %busy 0 cache 1120 cpu2:timer 7247772 free 1120 cpu7:timer 106432 buf 1120 cpu4:timer 1120 cpu6:timer 1120 cpu3:timer 1120 cpu1:timer 1120 cpu5:timer FreeBSD 10.3-STABLE сетевуха двухголовая - 82599ES 10-Gigabit ix0 - локалка, ix1 - нат hw.ix.tx_process_limit=512 hw.ix.rx_process_limit=512 hw.ix.num_queues=4 - очереди раскидал так - по 4 ядра на одну сетевуху, HT выключен, проц 8-ми ядерный. hw.ix.max_interrupt_rate: 31250 vmstat -i interrupt total rate irq18: ehci0 ehci1 201627 3 irq19: xhci0 uhci0 42119 0 cpu0:timer 64734831 1125 irq264: ciss0 43752 0 irq283: ix0:q0 483900190 8416 irq284: ix0:q1 445171646 7742 irq285: ix0:q2 453806756 7892 irq286: ix0:q3 453087079 7880 irq287: ix0:link 3 0 irq288: ix1:q0 906885929 15773 irq289: ix1:q1 846800889 14728 irq290: ix1:q2 818373896 14233 irq291: ix1:q3 833404038 14495 irq292: ix1:link 5 0 всю голову сломал, выручайте братцы... Изменено 8 апреля, 2017 пользователем alexapu Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 8 апреля, 2017 · Жалоба Может трабл ната? Какой нат используется? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 8 апреля, 2017 · Жалоба Может трабл ната? Какой нат используется? ipfw nat ipfw nat sh nat 5: icmp=452, udp=2629, tcp=46482, sctp=0, pptp=1, proto=0, frag_id=1 frag_ptr=0 / tot=49565 nat 4: icmp=13, udp=3571, tcp=75478, sctp=0, pptp=0, proto=0, frag_id=0 frag_ptr=0 / tot=79062 nat 3: icmp=19, udp=12725, tcp=140454, sctp=0, pptp=2, proto=0, frag_id=1 frag_ptr=0 / tot=153201 nat 2: icmp=113, udp=21389, tcp=301638, sctp=0, pptp=0, proto=0, frag_id=2 frag_ptr=0 / tot=323142 nat 1: icmp=15, udp=5386, tcp=22093, sctp=0, pptp=0, proto=0, frag_id=2 frag_ptr=0 / tot=27496 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 8 апреля, 2017 (изменено) · Жалоба Сделайте инстансов поболее, я обычно натил /25 в один ип, лучше \26 в один ип натить. ipfw nat параллелится только количеством инстансов. Темболее страшные цифры по 300к трансляций. Стараюсь избегать такого. Проверил на одном хосте перекос вообще троекратный, но на работу никак не влияет. На локальном интерфейсе в три раза меньше прерываний... но там роутинг конченый, так что я не удивлен что по ix1 прерываний в три раза больше. Изменено 8 апреля, 2017 пользователем GrandPr1de Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 8 апреля, 2017 · Жалоба Сделайте инстансов поболее, я обычно натил /25 в один ип, лучше \26 в один ип натить. ipfw nat параллелится только количеством инстансов. Темболее страшные цифры по 300к трансляций. Стараюсь избегать такого. Проверил на одном хосте перекос вообще троекратный, но на работу никак не влияет. На локальном интерфейсе в три раза меньше прерываний... но там роутинг конченый, так что я не удивлен что по ix1 прерываний в три раза больше. согласен полностью, что с трансляциями перебор в одном инстансе, но не в этом дело, выравнивал трансляции и пулы нарезал поразному - на разницу по прерываниям ix0/ix1 не влияет. Походу драйвер ixgbe (ix) в 10-ке не допиленный, тк на igb всё ровненько. У кого ещё FreeBSD10 + ix двухпортовый и два порта в работе, подвтвердите мои суждения, покажите vmstat -i под нагрузкой. Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 8 апреля, 2017 · Жалоба Если на той карте где прерываний больше исходящего трафика тоже больше чем входящего то вот и ответ. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 8 апреля, 2017 · Жалоба У кого ещё FreeBSD10 + ix двухпортовый и два порта в работе, подвтвердите мои суждения, покажите vmstat -i под нагрузкой. Спасибо. Как я уже сказал, у меня там веселый роутинг, так что мои цифры ничего не покажут. Юзаю стоковый драйвер с 10.3 х64. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
magamel Опубликовано 8 апреля, 2017 · Жалоба На сервере только шейпер - ipfw dummynet. Карточка intel x520-da2. ix1 в сторону мира, а ix0 в сторону локалки. ix0: <Intel® PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k> port 0xb020-0xb03f mem 0xd0080000-0xd00fffff,0xd0104000-0xd0107fff irq 40 at device 0.0 on pci7 ix0: Using MSIX interrupts with 5 vectors ix0: Advertised speed can only be set on copper or multispeed fiber media types. ix0: PCI Express Bus: Speed 5.0GT/s Width x4 ix1: <Intel® PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k> port 0xb000-0xb01f mem 0xd0000000-0xd007ffff,0xd0100000-0xd0103fff irq 41 at device 0.1 on pci7 ix1: Using MSIX interrupts with 5 vectors ix1: Advertised speed can only be set on copper or multispeed fiber media types. ix1: PCI Express Bus: Speed 5.0GT/s Width x4 # uname -a FreeBSD test 10.3-RELEASE-p7 FreeBSD 10.3-RELEASE-p7 #2: Fri Aug 19 10:41:18 EEST 2016 xxx@test:/usr/obj/usr/src/sys/SHAPER amd64 # vmstat -i interrupt total rate irq1: atkbd0 169 0 irq16: hdac1 116 0 irq18: ohci0 ohci2 4 0 irq19: ahci2 538616793 28 irq20: ohci1 2 0 irq22: ohci3 2 0 cpu0:timer 21425790067 1125 irq259: hdac0 7 0 irq263: ix0:q0 156607829760 8226 irq264: ix0:q1 150711228442 7916 irq265: ix0:q2 150476791437 7904 irq266: ix0:q3 150991689623 7931 irq267: ix0:link 21 0 irq268: ix1:q0 361890452071 19009 irq269: ix1:q1 339587395949 17837 irq270: ix1:q2 338747315565 17793 irq271: ix1:q3 339074743925 17810 irq272: ix1:link 73 0 irq273: re0 1617423865 84 cpu1:timer 21206225360 1113 cpu2:timer 21208332394 1114 cpu7:timer 21014463314 1103 cpu3:timer 21195087987 1113 cpu5:timer 21042766794 1105 cpu6:timer 21023673333 1104 cpu4:timer 21148221005 1110 Total 2159508048078 113432 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 9 апреля, 2017 · Жалоба Если на той карте где прерываний больше исходящего трафика тоже больше чем входящего то вот и ответ. Логично же. На одной карте больше входящего, на другой исходящего. С чего бы прерываний должно быть одинаково? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 9 апреля, 2017 · Жалоба Если на той карте где прерываний больше исходящего трафика тоже больше чем входящего то вот и ответ. это проверял изначально, ix0 in/out ~ ix1 in/out: netstat -ni Name Mtu Network Address Ipkts Ierrs Idrop Opkts Oerrs Coll ix0 1500 <Link#3> 673201248 23200 0 1041563102 0 0 ix1 1500 <Link#4> 1071950422 0 0 667396218 0 0 небольшая дельта (24Mpkts) - это пакеты от/для самой тачки (named кэширующий) + с наружи мусор прилетает, да и не пропорциональна эта дельта больше чем х2 прерываниям с наружи ix1. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 9 апреля, 2017 · Жалоба Если на той карте где прерываний больше исходящего трафика тоже больше чем входящего то вот и ответ. Логично же. На одной карте больше входящего, на другой исходящего. С чего бы прерываний должно быть одинаково? ну как логично то, если по пакетам in+out ix0 = in+out ix1 при примитивной схеме ната - ix0 локалка, ix1 - мир. К примеру на igb и FreeBSD 9.3-STABLE всё ровно в этом плане, igb0 - локалка, igb1 - мир: vmstat -i interrupt total rate irq18: ehci0 ehci1 64719845 2 irq19: xhci0 uhci0 756 0 cpu0:timer 28651144214 1117 irq264: ciss0 17694454 0 irq265: igb0:que 0 73914279928 2882 irq266: igb0:que 1 71138755023 2774 irq267: igb0:que 2 71747181095 2798 irq268: igb0:que 3 71899069478 2804 irq269: igb0:que 4 73680637478 2873 irq270: igb0:que 5 76709782701 2991 irq271: igb0:que 6 71339011747 2782 irq272: igb0:que 7 71591749536 2792 irq273: igb0:link 2 0 irq274: igb1:que 0 70895439058 2764 irq275: igb1:que 1 69615684808 2714 irq276: igb1:que 2 70301070639 2741 irq277: igb1:que 3 70502114261 2749 irq278: igb1:que 4 72494761027 2827 irq279: igb1:que 5 74876458529 2920 irq280: igb1:que 6 69825738259 2723 irq281: igb1:que 7 70200202715 2737 irq282: igb1:link 2 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 9 апреля, 2017 · Жалоба На сервере только шейпер - ipfw dummynet. Карточка intel x520-da2. ix1 в сторону мира, а ix0 в сторону локалки. ix0: <Intel® PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k> port 0xb020-0xb03f mem 0xd0080000-0xd00fffff,0xd0104000-0xd0107fff irq 40 at device 0.0 on pci7 ix0: Using MSIX interrupts with 5 vectors ix0: Advertised speed can only be set on copper or multispeed fiber media types. ix0: PCI Express Bus: Speed 5.0GT/s Width x4 ix1: <Intel® PRO/10GbE PCI-Express Network Driver, Version - 3.1.13-k> port 0xb000-0xb01f mem 0xd0000000-0xd007ffff,0xd0100000-0xd0103fff irq 41 at device 0.1 on pci7 ix1: Using MSIX interrupts with 5 vectors ix1: Advertised speed can only be set on copper or multispeed fiber media types. ix1: PCI Express Bus: Speed 5.0GT/s Width x4 # uname -a FreeBSD test 10.3-RELEASE-p7 FreeBSD 10.3-RELEASE-p7 #2: Fri Aug 19 10:41:18 EEST 2016 xxx@test:/usr/obj/usr/src/sys/SHAPER amd64 # vmstat -i interrupt total rate irq1: atkbd0 169 0 irq16: hdac1 116 0 irq18: ohci0 ohci2 4 0 irq19: ahci2 538616793 28 irq20: ohci1 2 0 irq22: ohci3 2 0 cpu0:timer 21425790067 1125 irq259: hdac0 7 0 irq263: ix0:q0 156607829760 8226 irq264: ix0:q1 150711228442 7916 irq265: ix0:q2 150476791437 7904 irq266: ix0:q3 150991689623 7931 irq267: ix0:link 21 0 irq268: ix1:q0 361890452071 19009 irq269: ix1:q1 339587395949 17837 irq270: ix1:q2 338747315565 17793 irq271: ix1:q3 339074743925 17810 irq272: ix1:link 73 0 irq273: re0 1617423865 84 cpu1:timer 21206225360 1113 cpu2:timer 21208332394 1114 cpu7:timer 21014463314 1103 cpu3:timer 21195087987 1113 cpu5:timer 21042766794 1105 cpu6:timer 21023673333 1104 cpu4:timer 21148221005 1110 Total 2159508048078 113432 воо, идентичная картина маслом... а я уже на шину грешить хотел и слоты менять. что делать бум, драйвер 3.1.14-k накатить может? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 9 апреля, 2017 · Жалоба Почитайте - Limelight Networks ixgbe(4) tuning И проверьте, включено ли PCI-IOV или нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 9 апреля, 2017 · Жалоба Почитайте - Limelight Networks ixgbe(4) tuning И проверьте, включено ли PCI-IOV или нет. iovctl только с 11 версии вроде пошло, в ядре вся виртуализация выкинута: # VirtIO support #device virtio # Generic VirtIO bus (required) #device virtio_pci # VirtIO PCI device #device vtnet # VirtIO Ethernet device #device virtio_blk # VirtIO Block device #device virtio_scsi # VirtIO SCSI device #device virtio_balloon # VirtIO Memory Balloon device # HyperV drivers and enchancement support #options HYPERV # Hyper-V kernel infrastructure #device hyperv # HyperV drivers на сетевухах: pciconf -lc ix0 ix0@pci0:6:0:0: class=0x020000 card=0x00038086 chip=0x10fb8086 rev=0x01 hdr=0x00 cap 01[40] = powerspec 3 supports D0 D3 current D0 cap 05[50] = MSI supports 1 message, 64 bit, vector masks cap 11[70] = MSI-X supports 64 messages, enabled Table in map 0x20[0x0], PBA in map 0x20[0x2000] cap 10[a0] = PCI-Express 2 endpoint max data 256(512) FLR RO NS link x8(x8) speed 5.0(5.0) ASPM disabled(L0s) ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected ecap 0003[140] = Serial 1 90e2baffff7ea7ac ecap 000e[150] = ARI 1 ecap 0010[160] = SRIOV 1 куда дальше копать? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 9 апреля, 2017 · Жалоба Если на сетёвке где больше прерываний больше и исходящего трафика - то скорее всего драйвер так устроен что не копит пакеты на отправку, либо нужно искать крутилки для этого. Для входящего давно есть задержка прерывания чтобы пакеты успели накопится, а для исходящего этим должна заниматься ос/драйвер. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexapu Опубликовано 9 апреля, 2017 · Жалоба Если на сетёвке где больше прерываний больше и исходящего трафика - то скорее всего драйвер так устроен что не копит пакеты на отправку, либо нужно искать крутилки для этого. Для входящего давно есть задержка прерывания чтобы пакеты успели накопится, а для исходящего этим должна заниматься ос/драйвер. в том то и дело, что исходящего трафика на ней на порядок меньше, тк это сетевуха в мир (ix1). Name Mtu Network Address Ipkts Ierrs Idrop Opkts Oerrs Coll ix0 1500 <Link#3> 3558791092 71938 0 5076707423 0 0 ix1 1500 <Link#4> 5198571061 0 0 3529574161 0 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...