breusovok Posted September 20, 2012 Posted September 20, 2012 Есть сервер под управление FreeBSD c0# uname -a FreeBSD c0.eurasiastar.kz 8.2-STABLE-201105 FreeBSD 8.2-STABLE-201105 #0: Fri Jul 22 13:28:32 ALMT 2011 c 18:00 до 24:00 имеет такую петрушку: c0# top -aSCHIP last pid: 4796; load averages: 8.81, 7.86, 5.32 up 0+06:51:55 18:16:57 118 processes: 14 running, 73 sleeping, 31 waiting CPU 0: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 1: 0.0% user, 0.0% nice, 87.9% system, 2.1% interrupt, 9.9% idle CPU 2: 0.0% user, 0.0% nice, 90.1% system, 0.7% interrupt, 9.2% idle CPU 3: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle Mem: 413M Active, 13M Inact, 316M Wired, 88K Cache, 63M Buf, 1214M Free Swap: 4025M Total, 4025M Free PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND 0 root -68 0 0K 384K CPU2 2 15:51 98.14% {igb3 que} 0 root -68 0 0K 384K CPU0 0 15:58 95.12% {igb3 que} 0 root -68 0 0K 384K - 3 15:55 90.87% {igb3 que} 0 root -68 0 0K 384K RUN 1 15:10 81.69% {igb3 que} 11 root 171 ki31 0K 64K RUN 1 368:46 9.03% {idle: cpu1} 11 root 171 ki31 0K 64K RUN 0 368:30 7.76% {idle: cpu0} 11 root 171 ki31 0K 64K RUN 2 370:18 7.47% {idle: cpu2} 11 root 171 ki31 0K 64K RUN 3 372:55 7.37% {idle: cpu3} 0 root -68 0 0K 384K - 1 1:27 1.22% {igb2 que} 0 root -68 0 0K 384K - 1 1:28 1.12% {igb2 que} 0 root -68 0 0K 384K - 1 1:27 1.12% {igb2 que} 0 root -68 0 0K 384K CPU1 3 1:27 0.83% {igb2 que} 12 root -68 - 0K 576K RUN 0 12:03 0.49% {irq266: igb2:que 12 root -68 - 0K 576K WAIT 3 11:33 0.49% {irq269: igb2:que 12 root -68 - 0K 576K RUN 2 12:07 0.44% {irq268: igb2:que 12 root -68 - 0K 576K RUN 1 12:19 0.39% {irq267: igb2:que соответственно у людей лагает интернет. Интерфейс igb3 смотрит на шейпер, остальные в мир. c0# vmstat -i interrupt total rate irq20: atapci1 8398 0 irq23: ehci0 ehci1 62133 2 cpu0: timer 49835766 1999 irq261: igb1:que 0 1798316 72 irq262: igb1:que 1 1005980 40 irq263: igb1:que 2 1410148 56 irq264: igb1:que 3 1471862 59 irq265: igb1:link 2 0 irq266: igb2:que 0 209826778 8420 irq267: igb2:que 1 212835784 8541 irq268: igb2:que 2 211722125 8496 irq269: igb2:que 3 209561907 8410 irq270: igb2:link 2 0 irq271: igb3:que 0 209033136 8388 irq272: igb3:que 1 208383214 8362 irq273: igb3:que 2 207672087 8334 irq274: igb3:que 3 205888459 8262 irq275: igb3:link 2 0 irq276: re0 48939 1 cpu3: timer 49835653 1999 cpu1: timer 49835654 1999 cpu2: timer 49835654 1999 Total 1880071999 75450 c0# netstat -w1 -i igb3 input (Total) output packets errs idrops bytes packets errs bytes colls 91161 0 0 54145144 87580 0 55120697 0 94313 0 0 57339454 92424 0 58726545 0 93183 0 0 56893475 88471 0 58589499 0 92358 0 0 55801508 89498 0 57925661 0 Что я не так наконфигурил? в другое время проблем нет. Вставить ник Quote
xsintez Posted September 20, 2012 Posted September 20, 2012 (edited) "Час пик" :), а вообще покажите что у вас в sysctl накручено и что за шейпер Edited September 20, 2012 by xsintez Вставить ник Quote
st_re Posted September 20, 2012 Posted September 20, 2012 И что такого интересного в фаерволе со стороны igb3 делается ? Вставить ник Quote
breusovok Posted September 20, 2012 Author Posted September 20, 2012 Самый большой юмор в том что шейпера на этой машине нет, в файрволле одна строка - allow any to any, машина занимается тем, что принимает фуллвью от двух операторов связи, анонсит наши сети и т.п. Т.е. сос стороны маршрутизации-тупой форфардинг пакетов по табличке, больше ничего dev.igb.0.%desc: Intel(R) PRO/1000 Network Connection version - 2.2.3 dev.igb.0.%driver: igb dev.igb.0.%location: slot=0 function=0 dev.igb.0.%pnpinfo: vendor=0x8086 device=0x1526 subvendor=0x8086 subdevice=0xa06c class=0x020000 dev.igb.0.%parent: pci4 dev.igb.0.nvm: -1 dev.igb.0.enable_aim: 1 dev.igb.0.flow_control: 3 dev.igb.0.rx_processing_limit: 100 dev.igb.0.link_irq: 0 dev.igb.0.dropped: 0 dev.igb.0.tx_dma_fail: 0 dev.igb.0.rx_overruns: 0 dev.igb.0.watchdog_timeouts: 0 dev.igb.0.device_control: 12583489 dev.igb.0.rx_control: 0 dev.igb.0.interrupt_mask: 0 dev.igb.0.extended_int_mask: 2147483648 dev.igb.0.tx_buf_alloc: 0 dev.igb.0.rx_buf_alloc: 0 dev.igb.0.fc_high_water: 58976 dev.igb.0.fc_low_water: 58960 dev.igb.0.queue0.interrupt_rate: 0 dev.igb.0.queue0.txd_head: 0 dev.igb.0.queue0.txd_tail: 0 dev.igb.0.queue0.no_desc_avail: 0 dev.igb.0.queue0.tx_packets: 0 dev.igb.0.queue0.rxd_head: 0 dev.igb.0.queue0.rxd_tail: 0 dev.igb.0.queue0.rx_packets: 0 dev.igb.0.queue0.rx_bytes: 0 dev.igb.0.queue0.lro_queued: 0 dev.igb.0.queue0.lro_flushed: 0 dev.igb.0.queue1.interrupt_rate: 0 dev.igb.0.queue1.txd_head: 0 dev.igb.0.queue1.txd_tail: 0 dev.igb.0.queue1.no_desc_avail: 0 dev.igb.0.queue1.tx_packets: 0 dev.igb.0.queue1.rxd_head: 0 dev.igb.0.queue1.rxd_tail: 0 dev.igb.0.queue1.rx_packets: 0 dev.igb.0.queue1.rx_bytes: 0 dev.igb.0.queue1.lro_queued: 0 dev.igb.0.queue1.lro_flushed: 0 dev.igb.0.queue2.interrupt_rate: 0 dev.igb.0.queue2.txd_head: 0 dev.igb.0.queue2.txd_tail: 0 dev.igb.0.queue2.no_desc_avail: 0 dev.igb.0.queue2.tx_packets: 0 dev.igb.0.queue2.rxd_head: 0 dev.igb.0.queue2.rxd_tail: 0 dev.igb.0.queue2.rx_packets: 0 dev.igb.0.queue2.rx_bytes: 0 dev.igb.0.queue2.lro_queued: 0 dev.igb.0.queue2.lro_flushed: 0 dev.igb.0.queue3.interrupt_rate: 0 dev.igb.0.queue3.txd_head: 0 dev.igb.0.queue3.txd_tail: 0 dev.igb.0.queue3.no_desc_avail: 0 dev.igb.0.queue3.tx_packets: 0 dev.igb.0.queue3.rxd_head: 0 dev.igb.0.queue3.rxd_tail: 0 dev.igb.0.queue3.rx_packets: 0 dev.igb.0.queue3.rx_bytes: 0 dev.igb.0.queue3.lro_queued: 0 dev.igb.0.queue3.lro_flushed: 0 dev.igb.0.mac_stats.excess_coll: 0 dev.igb.0.mac_stats.single_coll: 0 dev.igb.0.mac_stats.multiple_coll: 0 dev.igb.0.mac_stats.late_coll: 0 dev.igb.0.mac_stats.collision_count: 0 dev.igb.0.mac_stats.symbol_errors: 0 dev.igb.0.mac_stats.sequence_errors: 0 dev.igb.0.mac_stats.defer_count: 0 dev.igb.0.mac_stats.missed_packets: 0 dev.igb.0.mac_stats.recv_no_buff: 0 dev.igb.0.mac_stats.recv_undersize: 0 dev.igb.0.mac_stats.recv_fragmented: 0 dev.igb.0.mac_stats.recv_oversize: 0 dev.igb.0.mac_stats.recv_jabber: 0 dev.igb.0.mac_stats.recv_errs: 0 dev.igb.0.mac_stats.crc_errs: 0 dev.igb.0.mac_stats.alignment_errs: 0 dev.igb.0.mac_stats.coll_ext_errs: 0 dev.igb.0.mac_stats.xon_recvd: 0 dev.igb.0.mac_stats.xon_txd: 0 dev.igb.0.mac_stats.xoff_recvd: 0 dev.igb.0.mac_stats.xoff_txd: 0 dev.igb.0.mac_stats.total_pkts_recvd: 0 dev.igb.0.mac_stats.good_pkts_recvd: 0 dev.igb.0.mac_stats.bcast_pkts_recvd: 0 dev.igb.0.mac_stats.mcast_pkts_recvd: 0 dev.igb.0.mac_stats.rx_frames_64: 0 dev.igb.0.mac_stats.rx_frames_65_127: 0 dev.igb.0.mac_stats.rx_frames_128_255: 0 dev.igb.0.mac_stats.rx_frames_256_511: 0 dev.igb.0.mac_stats.rx_frames_512_1023: 0 dev.igb.0.mac_stats.rx_frames_1024_1522: 0 dev.igb.0.mac_stats.good_octets_recvd: 0 dev.igb.0.mac_stats.good_octets_txd: 0 dev.igb.0.mac_stats.total_pkts_txd: 0 dev.igb.0.mac_stats.good_pkts_txd: 0 dev.igb.0.mac_stats.bcast_pkts_txd: 0 dev.igb.0.mac_stats.mcast_pkts_txd: 0 dev.igb.0.mac_stats.tx_frames_64: 0 dev.igb.0.mac_stats.tx_frames_65_127: 0 dev.igb.0.mac_stats.tx_frames_128_255: 0 dev.igb.0.mac_stats.tx_frames_256_511: 0 dev.igb.0.mac_stats.tx_frames_512_1023: 0 dev.igb.0.mac_stats.tx_frames_1024_1522: 0 dev.igb.0.mac_stats.tso_txd: 0 dev.igb.0.mac_stats.tso_ctx_fail: 0 dev.igb.0.interrupts.asserts: 0 dev.igb.0.interrupts.rx_pkt_timer: 0 dev.igb.0.interrupts.rx_abs_timer: 0 dev.igb.0.interrupts.tx_pkt_timer: 0 dev.igb.0.interrupts.tx_abs_timer: 0 dev.igb.0.interrupts.tx_queue_empty: 0 dev.igb.0.interrupts.tx_queue_min_thresh: 0 dev.igb.0.interrupts.rx_desc_min_thresh: 0 dev.igb.0.interrupts.rx_overrun: 0 dev.igb.0.host.breaker_tx_pkt: 0 dev.igb.0.host.host_tx_pkt_discard: 0 dev.igb.0.host.rx_pkt: 0 dev.igb.0.host.breaker_rx_pkts: 0 dev.igb.0.host.breaker_rx_pkt_drop: 0 dev.igb.0.host.tx_good_pkt: 0 dev.igb.0.host.breaker_tx_pkt_drop: 0 dev.igb.0.host.rx_good_bytes: 0 dev.igb.0.host.tx_good_bytes: 0 dev.igb.0.host.length_errors: 0 dev.igb.0.host.serdes_violation_pkt: 0 dev.igb.0.host.header_redir_missed: 0 dev.igb.1.%desc: Intel(R) PRO/1000 Network Connection version - 2.2.3 dev.igb.1.%driver: igb dev.igb.1.%location: slot=0 function=1 dev.igb.1.%pnpinfo: vendor=0x8086 device=0x1526 subvendor=0x8086 subdevice=0xa06c class=0x020000 dev.igb.1.%parent: pci4 dev.igb.1.nvm: -1 dev.igb.1.enable_aim: 1 dev.igb.1.flow_control: 3 dev.igb.1.rx_processing_limit: 100 dev.igb.1.link_irq: 2 dev.igb.1.dropped: 0 dev.igb.1.tx_dma_fail: 0 dev.igb.1.rx_overruns: 0 dev.igb.1.watchdog_timeouts: 0 dev.igb.1.device_control: 1488978497 dev.igb.1.rx_control: 67141634 dev.igb.1.interrupt_mask: 4 dev.igb.1.extended_int_mask: 2147483679 dev.igb.1.tx_buf_alloc: 0 dev.igb.1.rx_buf_alloc: 0 dev.igb.1.fc_high_water: 58976 dev.igb.1.fc_low_water: 58960 dev.igb.1.queue0.interrupt_rate: 18181 dev.igb.1.queue0.txd_head: 3058 dev.igb.1.queue0.txd_tail: 3058 dev.igb.1.queue0.no_desc_avail: 0 dev.igb.1.queue0.tx_packets: 2318658 dev.igb.1.queue0.rxd_head: 3775 dev.igb.1.queue0.rxd_tail: 3774 dev.igb.1.queue0.rx_packets: 40639 dev.igb.1.queue0.rx_bytes: 16117177 dev.igb.1.queue0.lro_queued: 0 dev.igb.1.queue0.lro_flushed: 0 dev.igb.1.queue1.interrupt_rate: 5494 dev.igb.1.queue1.txd_head: 3866 dev.igb.1.queue1.txd_tail: 3866 dev.igb.1.queue1.no_desc_avail: 0 dev.igb.1.queue1.tx_packets: 1767960 dev.igb.1.queue1.rxd_head: 2101 dev.igb.1.queue1.rxd_tail: 2100 dev.igb.1.queue1.rx_packets: 2101 dev.igb.1.queue1.rx_bytes: 173324 dev.igb.1.queue1.lro_queued: 0 dev.igb.1.queue1.lro_flushed: 0 dev.igb.1.queue2.interrupt_rate: 62500 dev.igb.1.queue2.txd_head: 3331 dev.igb.1.queue2.txd_tail: 3331 dev.igb.1.queue2.no_desc_avail: 0 dev.igb.1.queue2.tx_packets: 2088195 dev.igb.1.queue2.rxd_head: 826 dev.igb.1.queue2.rxd_tail: 825 dev.igb.1.queue2.rx_packets: 826 dev.igb.1.queue2.rx_bytes: 87226 dev.igb.1.queue2.lro_queued: 0 dev.igb.1.queue2.lro_flushed: 0 dev.igb.1.queue3.interrupt_rate: 111111 dev.igb.1.queue3.txd_head: 1262 dev.igb.1.queue3.txd_tail: 1262 dev.igb.1.queue3.no_desc_avail: 0 dev.igb.1.queue3.tx_packets: 2372828 dev.igb.1.queue3.rxd_head: 900 dev.igb.1.queue3.rxd_tail: 899 dev.igb.1.queue3.rx_packets: 900 dev.igb.1.queue3.rx_bytes: 91905 dev.igb.1.queue3.lro_queued: 0 dev.igb.1.queue3.lro_flushed: 0 dev.igb.1.mac_stats.excess_coll: 0 dev.igb.1.mac_stats.single_coll: 0 dev.igb.1.mac_stats.multiple_coll: 0 dev.igb.1.mac_stats.late_coll: 0 dev.igb.1.mac_stats.collision_count: 0 dev.igb.1.mac_stats.symbol_errors: 0 dev.igb.1.mac_stats.sequence_errors: 0 dev.igb.1.mac_stats.defer_count: 0 dev.igb.1.mac_stats.missed_packets: 0 dev.igb.1.mac_stats.recv_no_buff: 0 dev.igb.1.mac_stats.recv_undersize: 0 dev.igb.1.mac_stats.recv_fragmented: 0 dev.igb.1.mac_stats.recv_oversize: 0 dev.igb.1.mac_stats.recv_jabber: 0 dev.igb.1.mac_stats.recv_errs: 0 dev.igb.1.mac_stats.crc_errs: 0 dev.igb.1.mac_stats.alignment_errs: 0 dev.igb.1.mac_stats.coll_ext_errs: 0 dev.igb.1.mac_stats.xon_recvd: 1494 dev.igb.1.mac_stats.xon_txd: 0 dev.igb.1.mac_stats.xoff_recvd: 1494 dev.igb.1.mac_stats.xoff_txd: 0 dev.igb.1.mac_stats.total_pkts_recvd: 44476 dev.igb.1.mac_stats.good_pkts_recvd: 41477 dev.igb.1.mac_stats.bcast_pkts_recvd: 0 dev.igb.1.mac_stats.mcast_pkts_recvd: 0 dev.igb.1.mac_stats.rx_frames_64: 697 dev.igb.1.mac_stats.rx_frames_65_127: 6678 dev.igb.1.mac_stats.rx_frames_128_255: 21560 dev.igb.1.mac_stats.rx_frames_256_511: 4053 dev.igb.1.mac_stats.rx_frames_512_1023: 2417 dev.igb.1.mac_stats.rx_frames_1024_1522: 6072 dev.igb.1.mac_stats.good_octets_recvd: 16456112 dev.igb.1.mac_stats.good_octets_txd: 4806700701 dev.igb.1.mac_stats.total_pkts_txd: 8547009 dev.igb.1.mac_stats.good_pkts_txd: 8547009 dev.igb.1.mac_stats.bcast_pkts_txd: 32 dev.igb.1.mac_stats.mcast_pkts_txd: 0 dev.igb.1.mac_stats.tx_frames_64: 1713901 dev.igb.1.mac_stats.tx_frames_65_127: 3233987 dev.igb.1.mac_stats.tx_frames_128_255: 356576 dev.igb.1.mac_stats.tx_frames_256_511: 148912 dev.igb.1.mac_stats.tx_frames_512_1023: 195555 dev.igb.1.mac_stats.tx_frames_1024_1522: 2898078 dev.igb.1.mac_stats.tso_txd: 36 dev.igb.1.mac_stats.tso_ctx_fail: 0 dev.igb.1.interrupts.asserts: 7175982 dev.igb.1.interrupts.rx_pkt_timer: 44463 dev.igb.1.interrupts.rx_abs_timer: 0 dev.igb.1.interrupts.tx_pkt_timer: 0 dev.igb.1.interrupts.tx_abs_timer: 44465 dev.igb.1.interrupts.tx_queue_empty: 8546831 dev.igb.1.interrupts.tx_queue_min_thresh: 0 dev.igb.1.interrupts.rx_desc_min_thresh: 0 dev.igb.1.interrupts.rx_overrun: 0 dev.igb.1.host.breaker_tx_pkt: 0 dev.igb.1.host.host_tx_pkt_discard: 0 dev.igb.1.host.rx_pkt: 2 dev.igb.1.host.breaker_rx_pkts: 0 dev.igb.1.host.breaker_rx_pkt_drop: 0 dev.igb.1.host.tx_good_pkt: 178 dev.igb.1.host.breaker_tx_pkt_drop: 0 dev.igb.1.host.rx_good_bytes: 16647344 dev.igb.1.host.tx_good_bytes: 4806700701 dev.igb.1.host.length_errors: 0 dev.igb.1.host.serdes_violation_pkt: 0 dev.igb.1.host.header_redir_missed: 0 dev.igb.2.%desc: Intel(R) PRO/1000 Network Connection version - 2.2.3 dev.igb.2.%driver: igb dev.igb.2.%location: slot=0 function=0 dev.igb.2.%pnpinfo: vendor=0x8086 device=0x1526 subvendor=0x8086 subdevice=0xa06c class=0x020000 dev.igb.2.%parent: pci5 dev.igb.2.nvm: -1 dev.igb.2.enable_aim: 1 dev.igb.2.flow_control: 3 dev.igb.2.rx_processing_limit: 100 dev.igb.2.link_irq: 2 dev.igb.2.dropped: 0 dev.igb.2.tx_dma_fail: 0 dev.igb.2.rx_overruns: 0 dev.igb.2.watchdog_timeouts: 0 dev.igb.2.device_control: 1488978497 dev.igb.2.rx_control: 67141634 dev.igb.2.interrupt_mask: 4 dev.igb.2.extended_int_mask: 2147483668 dev.igb.2.tx_buf_alloc: 0 dev.igb.2.rx_buf_alloc: 0 dev.igb.2.fc_high_water: 58976 dev.igb.2.fc_low_water: 58960 dev.igb.2.queue0.interrupt_rate: 15873 dev.igb.2.queue0.txd_head: 2912 dev.igb.2.queue0.txd_tail: 2912 dev.igb.2.queue0.no_desc_avail: 0 dev.igb.2.queue0.tx_packets: 325381004 dev.igb.2.queue0.rxd_head: 681 dev.igb.2.queue0.rxd_tail: 641 dev.igb.2.queue0.rx_packets: 406815362 dev.igb.2.queue0.rx_bytes: 351281822188 dev.igb.2.queue0.lro_queued: 0 dev.igb.2.queue0.lro_flushed: 0 dev.igb.2.queue1.interrupt_rate: 16666 dev.igb.2.queue1.txd_head: 1885 dev.igb.2.queue1.txd_tail: 1885 dev.igb.2.queue1.no_desc_avail: 0 dev.igb.2.queue1.tx_packets: 331249906 dev.igb.2.queue1.rxd_head: 3673 dev.igb.2.queue1.rxd_tail: 3205 dev.igb.2.queue1.rx_packets: 408329350 dev.igb.2.queue1.rx_bytes: 350190635641 dev.igb.2.queue1.lro_queued: 0 dev.igb.2.queue1.lro_flushed: 0 dev.igb.2.queue2.interrupt_rate: 16666 dev.igb.2.queue2.txd_head: 948 dev.igb.2.queue2.txd_tail: 948 dev.igb.2.queue2.no_desc_avail: 0 dev.igb.2.queue2.tx_packets: 332904404 dev.igb.2.queue2.rxd_head: 447 dev.igb.2.queue2.rxd_tail: 434 dev.igb.2.queue2.rx_packets: 404586931 dev.igb.2.queue2.rx_bytes: 348782605591 dev.igb.2.queue2.lro_queued: 0 dev.igb.2.queue2.lro_flushed: 0 dev.igb.2.queue3.interrupt_rate: 5586 dev.igb.2.queue3.txd_head: 3621 dev.igb.2.queue3.txd_tail: 3621 dev.igb.2.queue3.no_desc_avail: 0 dev.igb.2.queue3.tx_packets: 324329288 dev.igb.2.queue3.rxd_head: 3693 dev.igb.2.queue3.rxd_tail: 3691 dev.igb.2.queue3.rx_packets: 394374764 dev.igb.2.queue3.rx_bytes: 341014496777 dev.igb.2.queue3.lro_queued: 0 dev.igb.2.queue3.lro_flushed: 0 dev.igb.2.mac_stats.excess_coll: 0 dev.igb.2.mac_stats.single_coll: 0 dev.igb.2.mac_stats.multiple_coll: 0 dev.igb.2.mac_stats.late_coll: 0 dev.igb.2.mac_stats.collision_count: 0 dev.igb.2.mac_stats.symbol_errors: 0 dev.igb.2.mac_stats.sequence_errors: 0 dev.igb.2.mac_stats.defer_count: 36308 dev.igb.2.mac_stats.missed_packets: 847461 dev.igb.2.mac_stats.recv_no_buff: 638 dev.igb.2.mac_stats.recv_undersize: 0 dev.igb.2.mac_stats.recv_fragmented: 0 dev.igb.2.mac_stats.recv_oversize: 0 dev.igb.2.mac_stats.recv_jabber: 0 dev.igb.2.mac_stats.recv_errs: 0 dev.igb.2.mac_stats.crc_errs: 0 dev.igb.2.mac_stats.alignment_errs: 0 dev.igb.2.mac_stats.coll_ext_errs: 0 dev.igb.2.mac_stats.xon_recvd: 721595 dev.igb.2.mac_stats.xon_txd: 0 dev.igb.2.mac_stats.xoff_recvd: 721595 dev.igb.2.mac_stats.xoff_txd: 0 dev.igb.2.mac_stats.total_pkts_recvd: 1614951280 dev.igb.2.mac_stats.good_pkts_recvd: 1612660908 dev.igb.2.mac_stats.bcast_pkts_recvd: 0 dev.igb.2.mac_stats.mcast_pkts_recvd: 0 dev.igb.2.mac_stats.rx_frames_64: 156352064 dev.igb.2.mac_stats.rx_frames_65_127: 336505244 dev.igb.2.mac_stats.rx_frames_128_255: 109487666 dev.igb.2.mac_stats.rx_frames_256_511: 53627880 dev.igb.2.mac_stats.rx_frames_512_1023: 43979689 dev.igb.2.mac_stats.rx_frames_1024_1522: 912708364 dev.igb.2.mac_stats.good_octets_recvd: 1397631556649 dev.igb.2.mac_stats.good_octets_txd: 485266669884 dev.igb.2.mac_stats.total_pkts_txd: 1313862140 dev.igb.2.mac_stats.good_pkts_txd: 1313862140 dev.igb.2.mac_stats.bcast_pkts_txd: 37 dev.igb.2.mac_stats.mcast_pkts_txd: 0 dev.igb.2.mac_stats.tx_frames_64: 461570481 dev.igb.2.mac_stats.tx_frames_65_127: 434944211 dev.igb.2.mac_stats.tx_frames_128_255: 82754807 dev.igb.2.mac_stats.tx_frames_256_511: 42641675 dev.igb.2.mac_stats.tx_frames_512_1023: 28598240 dev.igb.2.mac_stats.tx_frames_1024_1522: 263352726 dev.igb.2.mac_stats.tso_txd: 0 dev.igb.2.mac_stats.tso_ctx_fail: 0 dev.igb.2.interrupts.asserts: 904473678 dev.igb.2.interrupts.rx_pkt_timer: 1614056936 dev.igb.2.interrupts.rx_abs_timer: 0 dev.igb.2.interrupts.tx_pkt_timer: 0 dev.igb.2.interrupts.tx_abs_timer: 1614102712 dev.igb.2.interrupts.tx_queue_empty: 1313835117 dev.igb.2.interrupts.tx_queue_min_thresh: 0 dev.igb.2.interrupts.rx_desc_min_thresh: 0 dev.igb.2.interrupts.rx_overrun: 0 dev.igb.2.host.breaker_tx_pkt: 0 dev.igb.2.host.host_tx_pkt_discard: 0 dev.igb.2.host.rx_pkt: 46872 dev.igb.2.host.breaker_rx_pkts: 0 dev.igb.2.host.breaker_rx_pkt_drop: 0 dev.igb.2.host.tx_good_pkt: 27028 dev.igb.2.host.breaker_tx_pkt_drop: 0 dev.igb.2.host.rx_good_bytes: 1397724022043 dev.igb.2.host.tx_good_bytes: 485266670479 dev.igb.2.host.length_errors: 0 dev.igb.2.host.serdes_violation_pkt: 0 dev.igb.2.host.header_redir_missed: 0 dev.igb.3.%desc: Intel(R) PRO/1000 Network Connection version - 2.2.3 dev.igb.3.%driver: igb dev.igb.3.%location: slot=0 function=1 dev.igb.3.%pnpinfo: vendor=0x8086 device=0x1526 subvendor=0x8086 subdevice=0xa06c class=0x020000 dev.igb.3.%parent: pci5 dev.igb.3.nvm: -1 dev.igb.3.enable_aim: 1 dev.igb.3.flow_control: 3 dev.igb.3.rx_processing_limit: 100 dev.igb.3.link_irq: 2 dev.igb.3.dropped: 0 dev.igb.3.tx_dma_fail: 0 dev.igb.3.rx_overruns: 0 dev.igb.3.watchdog_timeouts: 0 dev.igb.3.device_control: 1488978497 dev.igb.3.rx_control: 67141634 dev.igb.3.interrupt_mask: 4 dev.igb.3.extended_int_mask: 2147483664 dev.igb.3.tx_buf_alloc: 0 dev.igb.3.rx_buf_alloc: 0 dev.igb.3.fc_high_water: 58976 dev.igb.3.fc_low_water: 58960 dev.igb.3.queue0.interrupt_rate: 12987 dev.igb.3.queue0.txd_head: 918 dev.igb.3.queue0.txd_tail: 987 dev.igb.3.queue0.no_desc_avail: 34818 dev.igb.3.queue0.tx_packets: 405607554 dev.igb.3.queue0.rxd_head: 3568 dev.igb.3.queue0.rxd_tail: 3567 dev.igb.3.queue0.rx_packets: 385945072 dev.igb.3.queue0.rx_bytes: 124695654987 dev.igb.3.queue0.lro_queued: 0 dev.igb.3.queue0.lro_flushed: 0 dev.igb.3.queue1.interrupt_rate: 16129 dev.igb.3.queue1.txd_head: 1088 dev.igb.3.queue1.txd_tail: 1088 dev.igb.3.queue1.no_desc_avail: 9805 dev.igb.3.queue1.tx_packets: 408372264 dev.igb.3.queue1.rxd_head: 3729 dev.igb.3.queue1.rxd_tail: 3727 dev.igb.3.queue1.rx_packets: 333123216 dev.igb.3.queue1.rx_bytes: 120984517063 dev.igb.3.queue1.lro_queued: 0 dev.igb.3.queue1.lro_flushed: 0 dev.igb.3.queue2.interrupt_rate: 100000 dev.igb.3.queue2.txd_head: 2611 dev.igb.3.queue2.txd_tail: 2957 dev.igb.3.queue2.no_desc_avail: 8 dev.igb.3.queue2.tx_packets: 404602839 dev.igb.3.queue2.rxd_head: 467 dev.igb.3.queue2.rxd_tail: 437 dev.igb.3.queue2.rx_packets: 335159734 dev.igb.3.queue2.rx_bytes: 120823353481 dev.igb.3.queue2.lro_queued: 0 dev.igb.3.queue2.lro_flushed: 0 dev.igb.3.queue3.interrupt_rate: 13888 dev.igb.3.queue3.txd_head: 2886 dev.igb.3.queue3.txd_tail: 2904 dev.igb.3.queue3.no_desc_avail: 115236 dev.igb.3.queue3.tx_packets: 394399983 dev.igb.3.queue3.rxd_head: 3709 dev.igb.3.queue3.rxd_tail: 3708 dev.igb.3.queue3.rx_packets: 326794877 dev.igb.3.queue3.rx_bytes: 121904845448 dev.igb.3.queue3.lro_queued: 0 dev.igb.3.queue3.lro_flushed: 0 dev.igb.3.mac_stats.excess_coll: 0 dev.igb.3.mac_stats.single_coll: 0 dev.igb.3.mac_stats.multiple_coll: 0 dev.igb.3.mac_stats.late_coll: 0 dev.igb.3.mac_stats.collision_count: 0 dev.igb.3.mac_stats.symbol_errors: 0 dev.igb.3.mac_stats.sequence_errors: 0 dev.igb.3.mac_stats.defer_count: 613906 dev.igb.3.mac_stats.missed_packets: 968271 dev.igb.3.mac_stats.recv_no_buff: 530 dev.igb.3.mac_stats.recv_undersize: 0 dev.igb.3.mac_stats.recv_fragmented: 0 dev.igb.3.mac_stats.recv_oversize: 0 dev.igb.3.mac_stats.recv_jabber: 0 dev.igb.3.mac_stats.recv_errs: 0 dev.igb.3.mac_stats.crc_errs: 0 dev.igb.3.mac_stats.alignment_errs: 0 dev.igb.3.mac_stats.coll_ext_errs: 0 dev.igb.3.mac_stats.xon_recvd: 29126148 dev.igb.3.mac_stats.xon_txd: 0 dev.igb.3.mac_stats.xoff_recvd: 29126149 dev.igb.3.mac_stats.xoff_txd: 0 dev.igb.3.mac_stats.total_pkts_recvd: 1381949319 dev.igb.3.mac_stats.good_pkts_recvd: 1322800309 dev.igb.3.mac_stats.bcast_pkts_recvd: 1525 dev.igb.3.mac_stats.mcast_pkts_recvd: 3 dev.igb.3.mac_stats.rx_frames_64: 463344840 dev.igb.3.mac_stats.rx_frames_65_127: 438360169 dev.igb.3.mac_stats.rx_frames_128_255: 83193750 dev.igb.3.mac_stats.rx_frames_256_511: 42791980 dev.igb.3.mac_stats.rx_frames_512_1023: 28792805 dev.igb.3.mac_stats.rx_frames_1024_1522: 266316765 dev.igb.3.mac_stats.good_octets_recvd: 490196767861 dev.igb.3.mac_stats.good_octets_txd: 1397815165902 dev.igb.3.mac_stats.total_pkts_txd: 1612957876 dev.igb.3.mac_stats.good_pkts_txd: 1612957874 dev.igb.3.mac_stats.bcast_pkts_txd: 8403 dev.igb.3.mac_stats.mcast_pkts_txd: 0 dev.igb.3.mac_stats.tx_frames_64: 156366735 dev.igb.3.mac_stats.tx_frames_65_127: 336678657 dev.igb.3.mac_stats.tx_frames_128_255: 109483742 dev.igb.3.mac_stats.tx_frames_256_511: 53622749 dev.igb.3.mac_stats.tx_frames_512_1023: 43978452 dev.igb.3.mac_stats.tx_frames_1024_1522: 912827542 dev.igb.3.mac_stats.tso_txd: 22138 dev.igb.3.mac_stats.tso_ctx_fail: 0 dev.igb.3.interrupts.asserts: 853342016 dev.igb.3.interrupts.rx_pkt_timer: 1380921641 dev.igb.3.interrupts.rx_abs_timer: 0 dev.igb.3.interrupts.tx_pkt_timer: 0 dev.igb.3.interrupts.tx_abs_timer: 1380950983 dev.igb.3.interrupts.tx_queue_empty: 1612913748 dev.igb.3.interrupts.tx_queue_min_thresh: 0 dev.igb.3.interrupts.rx_desc_min_thresh: 0 dev.igb.3.interrupts.rx_overrun: 0 dev.igb.3.host.breaker_tx_pkt: 0 dev.igb.3.host.host_tx_pkt_discard: 0 dev.igb.3.host.rx_pkt: 51830 dev.igb.3.host.breaker_rx_pkts: 0 dev.igb.3.host.breaker_rx_pkt_drop: 0 dev.igb.3.host.tx_good_pkt: 44140 dev.igb.3.host.breaker_tx_pkt_drop: 0 dev.igb.3.host.rx_good_bytes: 493919888886 dev.igb.3.host.tx_good_bytes: 1397815173100 dev.igb.3.host.length_errors: 0 dev.igb.3.host.serdes_violation_pkt: 0 dev.igb.3.host.header_redir_missed: 0 Вставить ник Quote
AntonS Posted September 20, 2012 Posted September 20, 2012 проблема в кривых драйверах igb сетевая карта как не работала так и не работает меняй freebsd на 7.4 сетевуху на em и драйвера от yandex и будет тебе счастье Вставить ник Quote
st_re Posted September 20, 2012 Posted September 20, 2012 странно. У меня работает. и 8.2 и 9.0.... ЧЯДН ? нетграфов нет ? фаервол какой ? всякая фигня что показывает: hw.igb.rxd hw.igb.txd kern.ipc.nmbclusters net.isr.* net.inet.ip.fastforwarding net.route.netisr_maxqlen ну и вообще, что тюнилось ? Вставить ник Quote
breusovok Posted September 21, 2012 Author Posted September 21, 2012 (edited) файрволл стоит ipfw. у него одно правило - allow any to any. Нетграфа нет. Система скорее всего вообще не тюнилась, но утверждать не могу потому как ставил и настраивал систему не я, мне лишь разгребать проблемы. c0# sysctl hw.igb.rxd sysctl: unknown oid 'hw.igb.rxd' c0# sysctl hw.igb.txd sysctl: unknown oid 'hw.igb.txd' c0# sysctl kern.ipc.nmbclusters kern.ipc.nmbclusters: 204800 c0# sysctl net.isr net.isr.numthreads: 1 net.isr.maxprot: 16 net.isr.defaultqlimit: 256 net.isr.maxqlimit: 10240 net.isr.bindthreads: 0 net.isr.maxthreads: 1 net.isr.direct: 1 net.isr.direct_force: 1 c0# sysctl net.inet.ip.fastforwarding net.inet.ip.fastforwarding: 0 c0# sysctl net.route.netisr_maxqlen net.route.netisr_maxqlen: 256 P.S. Включил сейчас net.inet.ip.fastforwarding, посмотрим как себя система поведет P.P.S. Есть 6509 с sup720-3b. Может туда утащить BGP? У меня 2 аплинка, но один по сути не используется. остается один, порезать FV до /24? Циска сейчас занимается машрутизацией локального трафика, гигабита 2 всего. Создать vrf, вынести туда маршрутизатор с bgp? Edited September 21, 2012 by breusovok Вставить ник Quote
mr.Scamp Posted September 21, 2012 Posted September 21, 2012 Попробуйте hw.igb.max_interrupt_rate=128000 hw.igb.rx_process_limit=4096 в /boot/locader.conf. isr.direct и fastforwarding лучше не выключать :) Вставить ник Quote
Ivan_83 Posted September 21, 2012 Posted September 21, 2012 Самый большой юмор в том что шейпера на этой машине нет, в файрволле одна строка - allow any to any, машина занимается тем, что принимает фуллвью от двух операторов связи, анонсит наши сети и т.п. Т.е. сос стороны маршрутизации-тупой форфардинг пакетов по табличке, больше ничего Да уж, ну и юмор. Выкиньте тогда вообще фаерволы, будет ещё меньше нагрузки на проц. Нужно чтобы ядро было собрано без ipfw и pf, руками/через rc.d скрипты фары не запускать. Вставить ник Quote
breusovok Posted September 21, 2012 Author Posted September 21, 2012 (edited) Нет, это временно, потом файер будет. а hw.igb.max_interrupt_rate=128000 и hw.igb.rx_process_limit=4096 можно просто через sysctl изменить? а то боевую железяку не хочу ребутить пока. А какие проблемы будут с fastforwarding=1, если на машине нет и не будет ната, и почти нет файрволла? Edited September 21, 2012 by breusovok Вставить ник Quote
mr.Scamp Posted September 21, 2012 Posted September 21, 2012 Нет, это временно, потом файер будет. а hw.igb.max_interrupt_rate=128000 и hw.igb.rx_process_limit=4096 можно просто через sysctl изменить? а то боевую железяку не хочу ребутить пока. А какие проблемы будут с fastforwarding=1, если на машине нет и не будет ната, и почти нет файрволла? hw.* к сожалению в рантайме не изменяются. проблем не будет никаких, netisr thread вообще станет незаметен :) Вставить ник Quote
Ivan_83 Posted September 21, 2012 Posted September 21, 2012 Чтобы разгрузить потоки прерываний можно: net.isr.direct_force: 0 net.isr.direct: 0 net.inet.ip.fastforwarding: 0 сделать. Вставить ник Quote
breusovok Posted September 21, 2012 Author Posted September 21, 2012 Пока что стоит net.isr.direct_force: 1 net.isr.direct: 1 net.inet.ip.fastforwarding: 1 Два часа, полет нормальный. 73 Kpps, 300 Mbit, LA на уровне 0,2 - 0,3, CPU занято на уровне 10%. больше всего dummynet кушает. Жду 18:00 чтобы посмотреть наргрузку в час пик, при возникновении проблем повырубаю все из списка. Вставить ник Quote
breusovok Posted September 21, 2012 Author Posted September 21, 2012 (edited) Чтобы разгрузить потоки прерываний можно: net.isr.direct_force: 0 net.isr.direct: 0 net.inet.ip.fastforwarding: 0 сделать. сделал. ноль эмоций. сейчас LA 5.5, cpu загрузка 55% на каждое ядро. Количество пакетов/объем трафика увеличился максимум на 5-10 процентов. такое ощущение, что где-то стоит таймер, который включает что-то... 119 processes: 13 running, 75 sleeping, 31 waiting CPU 0: 0.0% user, 0.0% nice, 57.1% system, 6.0% interrupt, 36.8% idle CPU 1: 0.0% user, 0.0% nice, 59.4% system, 4.5% interrupt, 36.1% idle CPU 2: 0.0% user, 0.0% nice, 61.7% system, 7.9% interrupt, 30.5% idle CPU 3: 0.0% user, 0.0% nice, 51.5% system, 6.4% interrupt, 42.1% idle Mem: 415M Active, 13M Inact, 302M Wired, 72K Cache, 17M Buf, 1225M Free Swap: 4025M Total, 4025M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 0 root -68 0 0K 384K CPU2 0 11:14 58.50% {igb3 que} 0 root -68 0 0K 384K CPU1 3 11:16 57.86% {igb3 que} 0 root -68 0 0K 384K CPU3 2 11:15 56.64% {igb3 que} 0 root -68 0 0K 384K - 2 11:38 55.08% {igb3 que} 11 root 171 ki31 0K 64K RUN 3 726:19 42.92% {idle: cpu3} 11 root 171 ki31 0K 64K RUN 2 721:33 41.16% {idle: cpu2} 11 root 171 ki31 0K 64K RUN 1 719:49 40.38% {idle: cpu1} 11 root 171 ki31 0K 64K RUN 0 718:02 37.99% {idle: cpu0} 12 root -44 - 0K 576K WAIT 0 1:04 14.79% {swi1: netisr 0} 12 root -32 - 0K 576K WAIT 0 3:26 0.59% {swi4: clock} 12 root -68 - 0K 576K RUN 2 15:04 0.49% {irq268: igb2:que 12 root -68 - 0K 576K RUN 1 14:55 0.44% {irq267: igb2:que 12 root -68 - 0K 576K RUN 3 14:12 0.39% {irq269: igb2:que 0 root -68 0 0K 384K - 0 1:57 0.34% {dummynet} 12 root -68 - 0K 576K WAIT 0 14:30 0.29% {irq266: igb2:que 12 root -68 - 0K 576K WAIT 0 14:21 0.10% {irq271: igb3:que 0 root -68 0 0K 384K - 0 1:56 0.10% {igb2 que} 0 root -68 0 0K 384K - 0 1:47 0.10% {igb2 que} 0 root -68 0 0K 384K - 0 1:48 0.05% {igb2 que} 0 root -68 0 0K 384K - 0 1:45 0.05% {igb2 que} Edited September 21, 2012 by breusovok Вставить ник Quote
Graffic Posted September 21, 2012 Posted September 21, 2012 сделал. ноль эмоций. сейчас LA 5.5, cpu загрузка 55% на каждое ядро. Количество пакетов/объем трафика увеличился максимум на 5-10 процентов. такое ощущение, что где-то стоит таймер, который включает что-то... Такая же беда, каждый вечер без изменений трафика и pps, штормит пару часов, а потом "что-то" пропадает также резко, как и появилось. Вставить ник Quote
breusovok Posted September 23, 2012 Author Posted September 23, 2012 сделал. ноль эмоций. сейчас LA 5.5, cpu загрузка 55% на каждое ядро. Количество пакетов/объем трафика увеличился максимум на 5-10 процентов. такое ощущение, что где-то стоит таймер, который включает что-то... Такая же беда, каждый вечер без изменений трафика и pps, штормит пару часов, а потом "что-то" пропадает также резко, как и появилось. А давно началось? у меня середина августа, но не так явно, не было деградации сервиса. Все же подумываю о переходе на циску. Вставить ник Quote
andriko Posted September 24, 2012 Posted September 24, 2012 а на карточках TSO случайно не включен? Вставить ник Quote
mr.Scamp Posted September 25, 2012 Posted September 25, 2012 Кстати столкнулся с такими же перегрузками по вечерам. hw.igb.max_interrupt_rate=128000 помогло, думаю, что при хорошей шине можно и повыше поднять. выключать fastforwarding и isr.direct есть смысл только при условии, если у netisr тредов > 1, в противном случае очередь сядет на одно из ядер, чем серьезно ограничится производительность. Причина перегрузок до сих пор не совсем понятна, заметил, что есть корелляция с количеством PPS (1,5х увеличение), и исходящим от клиентов траффиком (практически до всей доступной полосы). Есть мнение, что виновато P2P онлайн-ТВ (parom.tv, sopcast), час пик приходится на спортивные события (футбол, бокс). Западная Украина, если что. Вставить ник Quote
breusovok Posted September 25, 2012 Author Posted September 25, 2012 У меня нет роста не по ППС, не по объемам, что странно. В общем, уже на циске BGP, думаю забуду про это все... Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.