breusovok Опубликовано 20 сентября, 2012 · Жалоба Есть сервер под управление FreeBSD c0# uname -a FreeBSD c0.eurasiastar.kz 8.2-STABLE-201105 FreeBSD 8.2-STABLE-201105 #0: Fri Jul 22 13:28:32 ALMT 2011 c 18:00 до 24:00 имеет такую петрушку: c0# top -aSCHIP last pid: 4796; load averages: 8.81, 7.86, 5.32 up 0+06:51:55 18:16:57 118 processes: 14 running, 73 sleeping, 31 waiting CPU 0: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle CPU 1: 0.0% user, 0.0% nice, 87.9% system, 2.1% interrupt, 9.9% idle CPU 2: 0.0% user, 0.0% nice, 90.1% system, 0.7% interrupt, 9.2% idle CPU 3: 0.0% user, 0.0% nice, 100% system, 0.0% interrupt, 0.0% idle Mem: 413M Active, 13M Inact, 316M Wired, 88K Cache, 63M Buf, 1214M Free Swap: 4025M Total, 4025M Free PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND 0 root -68 0 0K 384K CPU2 2 15:51 98.14% {igb3 que} 0 root -68 0 0K 384K CPU0 0 15:58 95.12% {igb3 que} 0 root -68 0 0K 384K - 3 15:55 90.87% {igb3 que} 0 root -68 0 0K 384K RUN 1 15:10 81.69% {igb3 que} 11 root 171 ki31 0K 64K RUN 1 368:46 9.03% {idle: cpu1} 11 root 171 ki31 0K 64K RUN 0 368:30 7.76% {idle: cpu0} 11 root 171 ki31 0K 64K RUN 2 370:18 7.47% {idle: cpu2} 11 root 171 ki31 0K 64K RUN 3 372:55 7.37% {idle: cpu3} 0 root -68 0 0K 384K - 1 1:27 1.22% {igb2 que} 0 root -68 0 0K 384K - 1 1:28 1.12% {igb2 que} 0 root -68 0 0K 384K - 1 1:27 1.12% {igb2 que} 0 root -68 0 0K 384K CPU1 3 1:27 0.83% {igb2 que} 12 root -68 - 0K 576K RUN 0 12:03 0.49% {irq266: igb2:que 12 root -68 - 0K 576K WAIT 3 11:33 0.49% {irq269: igb2:que 12 root -68 - 0K 576K RUN 2 12:07 0.44% {irq268: igb2:que 12 root -68 - 0K 576K RUN 1 12:19 0.39% {irq267: igb2:que соответственно у людей лагает интернет. Интерфейс igb3 смотрит на шейпер, остальные в мир. c0# vmstat -i interrupt total rate irq20: atapci1 8398 0 irq23: ehci0 ehci1 62133 2 cpu0: timer 49835766 1999 irq261: igb1:que 0 1798316 72 irq262: igb1:que 1 1005980 40 irq263: igb1:que 2 1410148 56 irq264: igb1:que 3 1471862 59 irq265: igb1:link 2 0 irq266: igb2:que 0 209826778 8420 irq267: igb2:que 1 212835784 8541 irq268: igb2:que 2 211722125 8496 irq269: igb2:que 3 209561907 8410 irq270: igb2:link 2 0 irq271: igb3:que 0 209033136 8388 irq272: igb3:que 1 208383214 8362 irq273: igb3:que 2 207672087 8334 irq274: igb3:que 3 205888459 8262 irq275: igb3:link 2 0 irq276: re0 48939 1 cpu3: timer 49835653 1999 cpu1: timer 49835654 1999 cpu2: timer 49835654 1999 Total 1880071999 75450 c0# netstat -w1 -i igb3 input (Total) output packets errs idrops bytes packets errs bytes colls 91161 0 0 54145144 87580 0 55120697 0 94313 0 0 57339454 92424 0 58726545 0 93183 0 0 56893475 88471 0 58589499 0 92358 0 0 55801508 89498 0 57925661 0 Что я не так наконфигурил? в другое время проблем нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xsintez Опубликовано 20 сентября, 2012 (изменено) · Жалоба "Час пик" :), а вообще покажите что у вас в sysctl накручено и что за шейпер Изменено 20 сентября, 2012 пользователем xsintez Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 20 сентября, 2012 · Жалоба И что такого интересного в фаерволе со стороны igb3 делается ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
breusovok Опубликовано 20 сентября, 2012 · Жалоба Самый большой юмор в том что шейпера на этой машине нет, в файрволле одна строка - allow any to any, машина занимается тем, что принимает фуллвью от двух операторов связи, анонсит наши сети и т.п. Т.е. сос стороны маршрутизации-тупой форфардинг пакетов по табличке, больше ничего dev.igb.0.%desc: Intel(R) PRO/1000 Network Connection version - 2.2.3 dev.igb.0.%driver: igb dev.igb.0.%location: slot=0 function=0 dev.igb.0.%pnpinfo: vendor=0x8086 device=0x1526 subvendor=0x8086 subdevice=0xa06c class=0x020000 dev.igb.0.%parent: pci4 dev.igb.0.nvm: -1 dev.igb.0.enable_aim: 1 dev.igb.0.flow_control: 3 dev.igb.0.rx_processing_limit: 100 dev.igb.0.link_irq: 0 dev.igb.0.dropped: 0 dev.igb.0.tx_dma_fail: 0 dev.igb.0.rx_overruns: 0 dev.igb.0.watchdog_timeouts: 0 dev.igb.0.device_control: 12583489 dev.igb.0.rx_control: 0 dev.igb.0.interrupt_mask: 0 dev.igb.0.extended_int_mask: 2147483648 dev.igb.0.tx_buf_alloc: 0 dev.igb.0.rx_buf_alloc: 0 dev.igb.0.fc_high_water: 58976 dev.igb.0.fc_low_water: 58960 dev.igb.0.queue0.interrupt_rate: 0 dev.igb.0.queue0.txd_head: 0 dev.igb.0.queue0.txd_tail: 0 dev.igb.0.queue0.no_desc_avail: 0 dev.igb.0.queue0.tx_packets: 0 dev.igb.0.queue0.rxd_head: 0 dev.igb.0.queue0.rxd_tail: 0 dev.igb.0.queue0.rx_packets: 0 dev.igb.0.queue0.rx_bytes: 0 dev.igb.0.queue0.lro_queued: 0 dev.igb.0.queue0.lro_flushed: 0 dev.igb.0.queue1.interrupt_rate: 0 dev.igb.0.queue1.txd_head: 0 dev.igb.0.queue1.txd_tail: 0 dev.igb.0.queue1.no_desc_avail: 0 dev.igb.0.queue1.tx_packets: 0 dev.igb.0.queue1.rxd_head: 0 dev.igb.0.queue1.rxd_tail: 0 dev.igb.0.queue1.rx_packets: 0 dev.igb.0.queue1.rx_bytes: 0 dev.igb.0.queue1.lro_queued: 0 dev.igb.0.queue1.lro_flushed: 0 dev.igb.0.queue2.interrupt_rate: 0 dev.igb.0.queue2.txd_head: 0 dev.igb.0.queue2.txd_tail: 0 dev.igb.0.queue2.no_desc_avail: 0 dev.igb.0.queue2.tx_packets: 0 dev.igb.0.queue2.rxd_head: 0 dev.igb.0.queue2.rxd_tail: 0 dev.igb.0.queue2.rx_packets: 0 dev.igb.0.queue2.rx_bytes: 0 dev.igb.0.queue2.lro_queued: 0 dev.igb.0.queue2.lro_flushed: 0 dev.igb.0.queue3.interrupt_rate: 0 dev.igb.0.queue3.txd_head: 0 dev.igb.0.queue3.txd_tail: 0 dev.igb.0.queue3.no_desc_avail: 0 dev.igb.0.queue3.tx_packets: 0 dev.igb.0.queue3.rxd_head: 0 dev.igb.0.queue3.rxd_tail: 0 dev.igb.0.queue3.rx_packets: 0 dev.igb.0.queue3.rx_bytes: 0 dev.igb.0.queue3.lro_queued: 0 dev.igb.0.queue3.lro_flushed: 0 dev.igb.0.mac_stats.excess_coll: 0 dev.igb.0.mac_stats.single_coll: 0 dev.igb.0.mac_stats.multiple_coll: 0 dev.igb.0.mac_stats.late_coll: 0 dev.igb.0.mac_stats.collision_count: 0 dev.igb.0.mac_stats.symbol_errors: 0 dev.igb.0.mac_stats.sequence_errors: 0 dev.igb.0.mac_stats.defer_count: 0 dev.igb.0.mac_stats.missed_packets: 0 dev.igb.0.mac_stats.recv_no_buff: 0 dev.igb.0.mac_stats.recv_undersize: 0 dev.igb.0.mac_stats.recv_fragmented: 0 dev.igb.0.mac_stats.recv_oversize: 0 dev.igb.0.mac_stats.recv_jabber: 0 dev.igb.0.mac_stats.recv_errs: 0 dev.igb.0.mac_stats.crc_errs: 0 dev.igb.0.mac_stats.alignment_errs: 0 dev.igb.0.mac_stats.coll_ext_errs: 0 dev.igb.0.mac_stats.xon_recvd: 0 dev.igb.0.mac_stats.xon_txd: 0 dev.igb.0.mac_stats.xoff_recvd: 0 dev.igb.0.mac_stats.xoff_txd: 0 dev.igb.0.mac_stats.total_pkts_recvd: 0 dev.igb.0.mac_stats.good_pkts_recvd: 0 dev.igb.0.mac_stats.bcast_pkts_recvd: 0 dev.igb.0.mac_stats.mcast_pkts_recvd: 0 dev.igb.0.mac_stats.rx_frames_64: 0 dev.igb.0.mac_stats.rx_frames_65_127: 0 dev.igb.0.mac_stats.rx_frames_128_255: 0 dev.igb.0.mac_stats.rx_frames_256_511: 0 dev.igb.0.mac_stats.rx_frames_512_1023: 0 dev.igb.0.mac_stats.rx_frames_1024_1522: 0 dev.igb.0.mac_stats.good_octets_recvd: 0 dev.igb.0.mac_stats.good_octets_txd: 0 dev.igb.0.mac_stats.total_pkts_txd: 0 dev.igb.0.mac_stats.good_pkts_txd: 0 dev.igb.0.mac_stats.bcast_pkts_txd: 0 dev.igb.0.mac_stats.mcast_pkts_txd: 0 dev.igb.0.mac_stats.tx_frames_64: 0 dev.igb.0.mac_stats.tx_frames_65_127: 0 dev.igb.0.mac_stats.tx_frames_128_255: 0 dev.igb.0.mac_stats.tx_frames_256_511: 0 dev.igb.0.mac_stats.tx_frames_512_1023: 0 dev.igb.0.mac_stats.tx_frames_1024_1522: 0 dev.igb.0.mac_stats.tso_txd: 0 dev.igb.0.mac_stats.tso_ctx_fail: 0 dev.igb.0.interrupts.asserts: 0 dev.igb.0.interrupts.rx_pkt_timer: 0 dev.igb.0.interrupts.rx_abs_timer: 0 dev.igb.0.interrupts.tx_pkt_timer: 0 dev.igb.0.interrupts.tx_abs_timer: 0 dev.igb.0.interrupts.tx_queue_empty: 0 dev.igb.0.interrupts.tx_queue_min_thresh: 0 dev.igb.0.interrupts.rx_desc_min_thresh: 0 dev.igb.0.interrupts.rx_overrun: 0 dev.igb.0.host.breaker_tx_pkt: 0 dev.igb.0.host.host_tx_pkt_discard: 0 dev.igb.0.host.rx_pkt: 0 dev.igb.0.host.breaker_rx_pkts: 0 dev.igb.0.host.breaker_rx_pkt_drop: 0 dev.igb.0.host.tx_good_pkt: 0 dev.igb.0.host.breaker_tx_pkt_drop: 0 dev.igb.0.host.rx_good_bytes: 0 dev.igb.0.host.tx_good_bytes: 0 dev.igb.0.host.length_errors: 0 dev.igb.0.host.serdes_violation_pkt: 0 dev.igb.0.host.header_redir_missed: 0 dev.igb.1.%desc: Intel(R) PRO/1000 Network Connection version - 2.2.3 dev.igb.1.%driver: igb dev.igb.1.%location: slot=0 function=1 dev.igb.1.%pnpinfo: vendor=0x8086 device=0x1526 subvendor=0x8086 subdevice=0xa06c class=0x020000 dev.igb.1.%parent: pci4 dev.igb.1.nvm: -1 dev.igb.1.enable_aim: 1 dev.igb.1.flow_control: 3 dev.igb.1.rx_processing_limit: 100 dev.igb.1.link_irq: 2 dev.igb.1.dropped: 0 dev.igb.1.tx_dma_fail: 0 dev.igb.1.rx_overruns: 0 dev.igb.1.watchdog_timeouts: 0 dev.igb.1.device_control: 1488978497 dev.igb.1.rx_control: 67141634 dev.igb.1.interrupt_mask: 4 dev.igb.1.extended_int_mask: 2147483679 dev.igb.1.tx_buf_alloc: 0 dev.igb.1.rx_buf_alloc: 0 dev.igb.1.fc_high_water: 58976 dev.igb.1.fc_low_water: 58960 dev.igb.1.queue0.interrupt_rate: 18181 dev.igb.1.queue0.txd_head: 3058 dev.igb.1.queue0.txd_tail: 3058 dev.igb.1.queue0.no_desc_avail: 0 dev.igb.1.queue0.tx_packets: 2318658 dev.igb.1.queue0.rxd_head: 3775 dev.igb.1.queue0.rxd_tail: 3774 dev.igb.1.queue0.rx_packets: 40639 dev.igb.1.queue0.rx_bytes: 16117177 dev.igb.1.queue0.lro_queued: 0 dev.igb.1.queue0.lro_flushed: 0 dev.igb.1.queue1.interrupt_rate: 5494 dev.igb.1.queue1.txd_head: 3866 dev.igb.1.queue1.txd_tail: 3866 dev.igb.1.queue1.no_desc_avail: 0 dev.igb.1.queue1.tx_packets: 1767960 dev.igb.1.queue1.rxd_head: 2101 dev.igb.1.queue1.rxd_tail: 2100 dev.igb.1.queue1.rx_packets: 2101 dev.igb.1.queue1.rx_bytes: 173324 dev.igb.1.queue1.lro_queued: 0 dev.igb.1.queue1.lro_flushed: 0 dev.igb.1.queue2.interrupt_rate: 62500 dev.igb.1.queue2.txd_head: 3331 dev.igb.1.queue2.txd_tail: 3331 dev.igb.1.queue2.no_desc_avail: 0 dev.igb.1.queue2.tx_packets: 2088195 dev.igb.1.queue2.rxd_head: 826 dev.igb.1.queue2.rxd_tail: 825 dev.igb.1.queue2.rx_packets: 826 dev.igb.1.queue2.rx_bytes: 87226 dev.igb.1.queue2.lro_queued: 0 dev.igb.1.queue2.lro_flushed: 0 dev.igb.1.queue3.interrupt_rate: 111111 dev.igb.1.queue3.txd_head: 1262 dev.igb.1.queue3.txd_tail: 1262 dev.igb.1.queue3.no_desc_avail: 0 dev.igb.1.queue3.tx_packets: 2372828 dev.igb.1.queue3.rxd_head: 900 dev.igb.1.queue3.rxd_tail: 899 dev.igb.1.queue3.rx_packets: 900 dev.igb.1.queue3.rx_bytes: 91905 dev.igb.1.queue3.lro_queued: 0 dev.igb.1.queue3.lro_flushed: 0 dev.igb.1.mac_stats.excess_coll: 0 dev.igb.1.mac_stats.single_coll: 0 dev.igb.1.mac_stats.multiple_coll: 0 dev.igb.1.mac_stats.late_coll: 0 dev.igb.1.mac_stats.collision_count: 0 dev.igb.1.mac_stats.symbol_errors: 0 dev.igb.1.mac_stats.sequence_errors: 0 dev.igb.1.mac_stats.defer_count: 0 dev.igb.1.mac_stats.missed_packets: 0 dev.igb.1.mac_stats.recv_no_buff: 0 dev.igb.1.mac_stats.recv_undersize: 0 dev.igb.1.mac_stats.recv_fragmented: 0 dev.igb.1.mac_stats.recv_oversize: 0 dev.igb.1.mac_stats.recv_jabber: 0 dev.igb.1.mac_stats.recv_errs: 0 dev.igb.1.mac_stats.crc_errs: 0 dev.igb.1.mac_stats.alignment_errs: 0 dev.igb.1.mac_stats.coll_ext_errs: 0 dev.igb.1.mac_stats.xon_recvd: 1494 dev.igb.1.mac_stats.xon_txd: 0 dev.igb.1.mac_stats.xoff_recvd: 1494 dev.igb.1.mac_stats.xoff_txd: 0 dev.igb.1.mac_stats.total_pkts_recvd: 44476 dev.igb.1.mac_stats.good_pkts_recvd: 41477 dev.igb.1.mac_stats.bcast_pkts_recvd: 0 dev.igb.1.mac_stats.mcast_pkts_recvd: 0 dev.igb.1.mac_stats.rx_frames_64: 697 dev.igb.1.mac_stats.rx_frames_65_127: 6678 dev.igb.1.mac_stats.rx_frames_128_255: 21560 dev.igb.1.mac_stats.rx_frames_256_511: 4053 dev.igb.1.mac_stats.rx_frames_512_1023: 2417 dev.igb.1.mac_stats.rx_frames_1024_1522: 6072 dev.igb.1.mac_stats.good_octets_recvd: 16456112 dev.igb.1.mac_stats.good_octets_txd: 4806700701 dev.igb.1.mac_stats.total_pkts_txd: 8547009 dev.igb.1.mac_stats.good_pkts_txd: 8547009 dev.igb.1.mac_stats.bcast_pkts_txd: 32 dev.igb.1.mac_stats.mcast_pkts_txd: 0 dev.igb.1.mac_stats.tx_frames_64: 1713901 dev.igb.1.mac_stats.tx_frames_65_127: 3233987 dev.igb.1.mac_stats.tx_frames_128_255: 356576 dev.igb.1.mac_stats.tx_frames_256_511: 148912 dev.igb.1.mac_stats.tx_frames_512_1023: 195555 dev.igb.1.mac_stats.tx_frames_1024_1522: 2898078 dev.igb.1.mac_stats.tso_txd: 36 dev.igb.1.mac_stats.tso_ctx_fail: 0 dev.igb.1.interrupts.asserts: 7175982 dev.igb.1.interrupts.rx_pkt_timer: 44463 dev.igb.1.interrupts.rx_abs_timer: 0 dev.igb.1.interrupts.tx_pkt_timer: 0 dev.igb.1.interrupts.tx_abs_timer: 44465 dev.igb.1.interrupts.tx_queue_empty: 8546831 dev.igb.1.interrupts.tx_queue_min_thresh: 0 dev.igb.1.interrupts.rx_desc_min_thresh: 0 dev.igb.1.interrupts.rx_overrun: 0 dev.igb.1.host.breaker_tx_pkt: 0 dev.igb.1.host.host_tx_pkt_discard: 0 dev.igb.1.host.rx_pkt: 2 dev.igb.1.host.breaker_rx_pkts: 0 dev.igb.1.host.breaker_rx_pkt_drop: 0 dev.igb.1.host.tx_good_pkt: 178 dev.igb.1.host.breaker_tx_pkt_drop: 0 dev.igb.1.host.rx_good_bytes: 16647344 dev.igb.1.host.tx_good_bytes: 4806700701 dev.igb.1.host.length_errors: 0 dev.igb.1.host.serdes_violation_pkt: 0 dev.igb.1.host.header_redir_missed: 0 dev.igb.2.%desc: Intel(R) PRO/1000 Network Connection version - 2.2.3 dev.igb.2.%driver: igb dev.igb.2.%location: slot=0 function=0 dev.igb.2.%pnpinfo: vendor=0x8086 device=0x1526 subvendor=0x8086 subdevice=0xa06c class=0x020000 dev.igb.2.%parent: pci5 dev.igb.2.nvm: -1 dev.igb.2.enable_aim: 1 dev.igb.2.flow_control: 3 dev.igb.2.rx_processing_limit: 100 dev.igb.2.link_irq: 2 dev.igb.2.dropped: 0 dev.igb.2.tx_dma_fail: 0 dev.igb.2.rx_overruns: 0 dev.igb.2.watchdog_timeouts: 0 dev.igb.2.device_control: 1488978497 dev.igb.2.rx_control: 67141634 dev.igb.2.interrupt_mask: 4 dev.igb.2.extended_int_mask: 2147483668 dev.igb.2.tx_buf_alloc: 0 dev.igb.2.rx_buf_alloc: 0 dev.igb.2.fc_high_water: 58976 dev.igb.2.fc_low_water: 58960 dev.igb.2.queue0.interrupt_rate: 15873 dev.igb.2.queue0.txd_head: 2912 dev.igb.2.queue0.txd_tail: 2912 dev.igb.2.queue0.no_desc_avail: 0 dev.igb.2.queue0.tx_packets: 325381004 dev.igb.2.queue0.rxd_head: 681 dev.igb.2.queue0.rxd_tail: 641 dev.igb.2.queue0.rx_packets: 406815362 dev.igb.2.queue0.rx_bytes: 351281822188 dev.igb.2.queue0.lro_queued: 0 dev.igb.2.queue0.lro_flushed: 0 dev.igb.2.queue1.interrupt_rate: 16666 dev.igb.2.queue1.txd_head: 1885 dev.igb.2.queue1.txd_tail: 1885 dev.igb.2.queue1.no_desc_avail: 0 dev.igb.2.queue1.tx_packets: 331249906 dev.igb.2.queue1.rxd_head: 3673 dev.igb.2.queue1.rxd_tail: 3205 dev.igb.2.queue1.rx_packets: 408329350 dev.igb.2.queue1.rx_bytes: 350190635641 dev.igb.2.queue1.lro_queued: 0 dev.igb.2.queue1.lro_flushed: 0 dev.igb.2.queue2.interrupt_rate: 16666 dev.igb.2.queue2.txd_head: 948 dev.igb.2.queue2.txd_tail: 948 dev.igb.2.queue2.no_desc_avail: 0 dev.igb.2.queue2.tx_packets: 332904404 dev.igb.2.queue2.rxd_head: 447 dev.igb.2.queue2.rxd_tail: 434 dev.igb.2.queue2.rx_packets: 404586931 dev.igb.2.queue2.rx_bytes: 348782605591 dev.igb.2.queue2.lro_queued: 0 dev.igb.2.queue2.lro_flushed: 0 dev.igb.2.queue3.interrupt_rate: 5586 dev.igb.2.queue3.txd_head: 3621 dev.igb.2.queue3.txd_tail: 3621 dev.igb.2.queue3.no_desc_avail: 0 dev.igb.2.queue3.tx_packets: 324329288 dev.igb.2.queue3.rxd_head: 3693 dev.igb.2.queue3.rxd_tail: 3691 dev.igb.2.queue3.rx_packets: 394374764 dev.igb.2.queue3.rx_bytes: 341014496777 dev.igb.2.queue3.lro_queued: 0 dev.igb.2.queue3.lro_flushed: 0 dev.igb.2.mac_stats.excess_coll: 0 dev.igb.2.mac_stats.single_coll: 0 dev.igb.2.mac_stats.multiple_coll: 0 dev.igb.2.mac_stats.late_coll: 0 dev.igb.2.mac_stats.collision_count: 0 dev.igb.2.mac_stats.symbol_errors: 0 dev.igb.2.mac_stats.sequence_errors: 0 dev.igb.2.mac_stats.defer_count: 36308 dev.igb.2.mac_stats.missed_packets: 847461 dev.igb.2.mac_stats.recv_no_buff: 638 dev.igb.2.mac_stats.recv_undersize: 0 dev.igb.2.mac_stats.recv_fragmented: 0 dev.igb.2.mac_stats.recv_oversize: 0 dev.igb.2.mac_stats.recv_jabber: 0 dev.igb.2.mac_stats.recv_errs: 0 dev.igb.2.mac_stats.crc_errs: 0 dev.igb.2.mac_stats.alignment_errs: 0 dev.igb.2.mac_stats.coll_ext_errs: 0 dev.igb.2.mac_stats.xon_recvd: 721595 dev.igb.2.mac_stats.xon_txd: 0 dev.igb.2.mac_stats.xoff_recvd: 721595 dev.igb.2.mac_stats.xoff_txd: 0 dev.igb.2.mac_stats.total_pkts_recvd: 1614951280 dev.igb.2.mac_stats.good_pkts_recvd: 1612660908 dev.igb.2.mac_stats.bcast_pkts_recvd: 0 dev.igb.2.mac_stats.mcast_pkts_recvd: 0 dev.igb.2.mac_stats.rx_frames_64: 156352064 dev.igb.2.mac_stats.rx_frames_65_127: 336505244 dev.igb.2.mac_stats.rx_frames_128_255: 109487666 dev.igb.2.mac_stats.rx_frames_256_511: 53627880 dev.igb.2.mac_stats.rx_frames_512_1023: 43979689 dev.igb.2.mac_stats.rx_frames_1024_1522: 912708364 dev.igb.2.mac_stats.good_octets_recvd: 1397631556649 dev.igb.2.mac_stats.good_octets_txd: 485266669884 dev.igb.2.mac_stats.total_pkts_txd: 1313862140 dev.igb.2.mac_stats.good_pkts_txd: 1313862140 dev.igb.2.mac_stats.bcast_pkts_txd: 37 dev.igb.2.mac_stats.mcast_pkts_txd: 0 dev.igb.2.mac_stats.tx_frames_64: 461570481 dev.igb.2.mac_stats.tx_frames_65_127: 434944211 dev.igb.2.mac_stats.tx_frames_128_255: 82754807 dev.igb.2.mac_stats.tx_frames_256_511: 42641675 dev.igb.2.mac_stats.tx_frames_512_1023: 28598240 dev.igb.2.mac_stats.tx_frames_1024_1522: 263352726 dev.igb.2.mac_stats.tso_txd: 0 dev.igb.2.mac_stats.tso_ctx_fail: 0 dev.igb.2.interrupts.asserts: 904473678 dev.igb.2.interrupts.rx_pkt_timer: 1614056936 dev.igb.2.interrupts.rx_abs_timer: 0 dev.igb.2.interrupts.tx_pkt_timer: 0 dev.igb.2.interrupts.tx_abs_timer: 1614102712 dev.igb.2.interrupts.tx_queue_empty: 1313835117 dev.igb.2.interrupts.tx_queue_min_thresh: 0 dev.igb.2.interrupts.rx_desc_min_thresh: 0 dev.igb.2.interrupts.rx_overrun: 0 dev.igb.2.host.breaker_tx_pkt: 0 dev.igb.2.host.host_tx_pkt_discard: 0 dev.igb.2.host.rx_pkt: 46872 dev.igb.2.host.breaker_rx_pkts: 0 dev.igb.2.host.breaker_rx_pkt_drop: 0 dev.igb.2.host.tx_good_pkt: 27028 dev.igb.2.host.breaker_tx_pkt_drop: 0 dev.igb.2.host.rx_good_bytes: 1397724022043 dev.igb.2.host.tx_good_bytes: 485266670479 dev.igb.2.host.length_errors: 0 dev.igb.2.host.serdes_violation_pkt: 0 dev.igb.2.host.header_redir_missed: 0 dev.igb.3.%desc: Intel(R) PRO/1000 Network Connection version - 2.2.3 dev.igb.3.%driver: igb dev.igb.3.%location: slot=0 function=1 dev.igb.3.%pnpinfo: vendor=0x8086 device=0x1526 subvendor=0x8086 subdevice=0xa06c class=0x020000 dev.igb.3.%parent: pci5 dev.igb.3.nvm: -1 dev.igb.3.enable_aim: 1 dev.igb.3.flow_control: 3 dev.igb.3.rx_processing_limit: 100 dev.igb.3.link_irq: 2 dev.igb.3.dropped: 0 dev.igb.3.tx_dma_fail: 0 dev.igb.3.rx_overruns: 0 dev.igb.3.watchdog_timeouts: 0 dev.igb.3.device_control: 1488978497 dev.igb.3.rx_control: 67141634 dev.igb.3.interrupt_mask: 4 dev.igb.3.extended_int_mask: 2147483664 dev.igb.3.tx_buf_alloc: 0 dev.igb.3.rx_buf_alloc: 0 dev.igb.3.fc_high_water: 58976 dev.igb.3.fc_low_water: 58960 dev.igb.3.queue0.interrupt_rate: 12987 dev.igb.3.queue0.txd_head: 918 dev.igb.3.queue0.txd_tail: 987 dev.igb.3.queue0.no_desc_avail: 34818 dev.igb.3.queue0.tx_packets: 405607554 dev.igb.3.queue0.rxd_head: 3568 dev.igb.3.queue0.rxd_tail: 3567 dev.igb.3.queue0.rx_packets: 385945072 dev.igb.3.queue0.rx_bytes: 124695654987 dev.igb.3.queue0.lro_queued: 0 dev.igb.3.queue0.lro_flushed: 0 dev.igb.3.queue1.interrupt_rate: 16129 dev.igb.3.queue1.txd_head: 1088 dev.igb.3.queue1.txd_tail: 1088 dev.igb.3.queue1.no_desc_avail: 9805 dev.igb.3.queue1.tx_packets: 408372264 dev.igb.3.queue1.rxd_head: 3729 dev.igb.3.queue1.rxd_tail: 3727 dev.igb.3.queue1.rx_packets: 333123216 dev.igb.3.queue1.rx_bytes: 120984517063 dev.igb.3.queue1.lro_queued: 0 dev.igb.3.queue1.lro_flushed: 0 dev.igb.3.queue2.interrupt_rate: 100000 dev.igb.3.queue2.txd_head: 2611 dev.igb.3.queue2.txd_tail: 2957 dev.igb.3.queue2.no_desc_avail: 8 dev.igb.3.queue2.tx_packets: 404602839 dev.igb.3.queue2.rxd_head: 467 dev.igb.3.queue2.rxd_tail: 437 dev.igb.3.queue2.rx_packets: 335159734 dev.igb.3.queue2.rx_bytes: 120823353481 dev.igb.3.queue2.lro_queued: 0 dev.igb.3.queue2.lro_flushed: 0 dev.igb.3.queue3.interrupt_rate: 13888 dev.igb.3.queue3.txd_head: 2886 dev.igb.3.queue3.txd_tail: 2904 dev.igb.3.queue3.no_desc_avail: 115236 dev.igb.3.queue3.tx_packets: 394399983 dev.igb.3.queue3.rxd_head: 3709 dev.igb.3.queue3.rxd_tail: 3708 dev.igb.3.queue3.rx_packets: 326794877 dev.igb.3.queue3.rx_bytes: 121904845448 dev.igb.3.queue3.lro_queued: 0 dev.igb.3.queue3.lro_flushed: 0 dev.igb.3.mac_stats.excess_coll: 0 dev.igb.3.mac_stats.single_coll: 0 dev.igb.3.mac_stats.multiple_coll: 0 dev.igb.3.mac_stats.late_coll: 0 dev.igb.3.mac_stats.collision_count: 0 dev.igb.3.mac_stats.symbol_errors: 0 dev.igb.3.mac_stats.sequence_errors: 0 dev.igb.3.mac_stats.defer_count: 613906 dev.igb.3.mac_stats.missed_packets: 968271 dev.igb.3.mac_stats.recv_no_buff: 530 dev.igb.3.mac_stats.recv_undersize: 0 dev.igb.3.mac_stats.recv_fragmented: 0 dev.igb.3.mac_stats.recv_oversize: 0 dev.igb.3.mac_stats.recv_jabber: 0 dev.igb.3.mac_stats.recv_errs: 0 dev.igb.3.mac_stats.crc_errs: 0 dev.igb.3.mac_stats.alignment_errs: 0 dev.igb.3.mac_stats.coll_ext_errs: 0 dev.igb.3.mac_stats.xon_recvd: 29126148 dev.igb.3.mac_stats.xon_txd: 0 dev.igb.3.mac_stats.xoff_recvd: 29126149 dev.igb.3.mac_stats.xoff_txd: 0 dev.igb.3.mac_stats.total_pkts_recvd: 1381949319 dev.igb.3.mac_stats.good_pkts_recvd: 1322800309 dev.igb.3.mac_stats.bcast_pkts_recvd: 1525 dev.igb.3.mac_stats.mcast_pkts_recvd: 3 dev.igb.3.mac_stats.rx_frames_64: 463344840 dev.igb.3.mac_stats.rx_frames_65_127: 438360169 dev.igb.3.mac_stats.rx_frames_128_255: 83193750 dev.igb.3.mac_stats.rx_frames_256_511: 42791980 dev.igb.3.mac_stats.rx_frames_512_1023: 28792805 dev.igb.3.mac_stats.rx_frames_1024_1522: 266316765 dev.igb.3.mac_stats.good_octets_recvd: 490196767861 dev.igb.3.mac_stats.good_octets_txd: 1397815165902 dev.igb.3.mac_stats.total_pkts_txd: 1612957876 dev.igb.3.mac_stats.good_pkts_txd: 1612957874 dev.igb.3.mac_stats.bcast_pkts_txd: 8403 dev.igb.3.mac_stats.mcast_pkts_txd: 0 dev.igb.3.mac_stats.tx_frames_64: 156366735 dev.igb.3.mac_stats.tx_frames_65_127: 336678657 dev.igb.3.mac_stats.tx_frames_128_255: 109483742 dev.igb.3.mac_stats.tx_frames_256_511: 53622749 dev.igb.3.mac_stats.tx_frames_512_1023: 43978452 dev.igb.3.mac_stats.tx_frames_1024_1522: 912827542 dev.igb.3.mac_stats.tso_txd: 22138 dev.igb.3.mac_stats.tso_ctx_fail: 0 dev.igb.3.interrupts.asserts: 853342016 dev.igb.3.interrupts.rx_pkt_timer: 1380921641 dev.igb.3.interrupts.rx_abs_timer: 0 dev.igb.3.interrupts.tx_pkt_timer: 0 dev.igb.3.interrupts.tx_abs_timer: 1380950983 dev.igb.3.interrupts.tx_queue_empty: 1612913748 dev.igb.3.interrupts.tx_queue_min_thresh: 0 dev.igb.3.interrupts.rx_desc_min_thresh: 0 dev.igb.3.interrupts.rx_overrun: 0 dev.igb.3.host.breaker_tx_pkt: 0 dev.igb.3.host.host_tx_pkt_discard: 0 dev.igb.3.host.rx_pkt: 51830 dev.igb.3.host.breaker_rx_pkts: 0 dev.igb.3.host.breaker_rx_pkt_drop: 0 dev.igb.3.host.tx_good_pkt: 44140 dev.igb.3.host.breaker_tx_pkt_drop: 0 dev.igb.3.host.rx_good_bytes: 493919888886 dev.igb.3.host.tx_good_bytes: 1397815173100 dev.igb.3.host.length_errors: 0 dev.igb.3.host.serdes_violation_pkt: 0 dev.igb.3.host.header_redir_missed: 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AntonS Опубликовано 20 сентября, 2012 · Жалоба проблема в кривых драйверах igb сетевая карта как не работала так и не работает меняй freebsd на 7.4 сетевуху на em и драйвера от yandex и будет тебе счастье Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 20 сентября, 2012 · Жалоба странно. У меня работает. и 8.2 и 9.0.... ЧЯДН ? нетграфов нет ? фаервол какой ? всякая фигня что показывает: hw.igb.rxd hw.igb.txd kern.ipc.nmbclusters net.isr.* net.inet.ip.fastforwarding net.route.netisr_maxqlen ну и вообще, что тюнилось ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
breusovok Опубликовано 21 сентября, 2012 (изменено) · Жалоба файрволл стоит ipfw. у него одно правило - allow any to any. Нетграфа нет. Система скорее всего вообще не тюнилась, но утверждать не могу потому как ставил и настраивал систему не я, мне лишь разгребать проблемы. c0# sysctl hw.igb.rxd sysctl: unknown oid 'hw.igb.rxd' c0# sysctl hw.igb.txd sysctl: unknown oid 'hw.igb.txd' c0# sysctl kern.ipc.nmbclusters kern.ipc.nmbclusters: 204800 c0# sysctl net.isr net.isr.numthreads: 1 net.isr.maxprot: 16 net.isr.defaultqlimit: 256 net.isr.maxqlimit: 10240 net.isr.bindthreads: 0 net.isr.maxthreads: 1 net.isr.direct: 1 net.isr.direct_force: 1 c0# sysctl net.inet.ip.fastforwarding net.inet.ip.fastforwarding: 0 c0# sysctl net.route.netisr_maxqlen net.route.netisr_maxqlen: 256 P.S. Включил сейчас net.inet.ip.fastforwarding, посмотрим как себя система поведет P.P.S. Есть 6509 с sup720-3b. Может туда утащить BGP? У меня 2 аплинка, но один по сути не используется. остается один, порезать FV до /24? Циска сейчас занимается машрутизацией локального трафика, гигабита 2 всего. Создать vrf, вынести туда маршрутизатор с bgp? Изменено 21 сентября, 2012 пользователем breusovok Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mr.Scamp Опубликовано 21 сентября, 2012 · Жалоба Попробуйте hw.igb.max_interrupt_rate=128000 hw.igb.rx_process_limit=4096 в /boot/locader.conf. isr.direct и fastforwarding лучше не выключать :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 21 сентября, 2012 · Жалоба Самый большой юмор в том что шейпера на этой машине нет, в файрволле одна строка - allow any to any, машина занимается тем, что принимает фуллвью от двух операторов связи, анонсит наши сети и т.п. Т.е. сос стороны маршрутизации-тупой форфардинг пакетов по табличке, больше ничего Да уж, ну и юмор. Выкиньте тогда вообще фаерволы, будет ещё меньше нагрузки на проц. Нужно чтобы ядро было собрано без ipfw и pf, руками/через rc.d скрипты фары не запускать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
breusovok Опубликовано 21 сентября, 2012 (изменено) · Жалоба Нет, это временно, потом файер будет. а hw.igb.max_interrupt_rate=128000 и hw.igb.rx_process_limit=4096 можно просто через sysctl изменить? а то боевую железяку не хочу ребутить пока. А какие проблемы будут с fastforwarding=1, если на машине нет и не будет ната, и почти нет файрволла? Изменено 21 сентября, 2012 пользователем breusovok Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mr.Scamp Опубликовано 21 сентября, 2012 · Жалоба Нет, это временно, потом файер будет. а hw.igb.max_interrupt_rate=128000 и hw.igb.rx_process_limit=4096 можно просто через sysctl изменить? а то боевую железяку не хочу ребутить пока. А какие проблемы будут с fastforwarding=1, если на машине нет и не будет ната, и почти нет файрволла? hw.* к сожалению в рантайме не изменяются. проблем не будет никаких, netisr thread вообще станет незаметен :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 21 сентября, 2012 · Жалоба Чтобы разгрузить потоки прерываний можно: net.isr.direct_force: 0 net.isr.direct: 0 net.inet.ip.fastforwarding: 0 сделать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
breusovok Опубликовано 21 сентября, 2012 · Жалоба Пока что стоит net.isr.direct_force: 1 net.isr.direct: 1 net.inet.ip.fastforwarding: 1 Два часа, полет нормальный. 73 Kpps, 300 Mbit, LA на уровне 0,2 - 0,3, CPU занято на уровне 10%. больше всего dummynet кушает. Жду 18:00 чтобы посмотреть наргрузку в час пик, при возникновении проблем повырубаю все из списка. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
breusovok Опубликовано 21 сентября, 2012 (изменено) · Жалоба Чтобы разгрузить потоки прерываний можно: net.isr.direct_force: 0 net.isr.direct: 0 net.inet.ip.fastforwarding: 0 сделать. сделал. ноль эмоций. сейчас LA 5.5, cpu загрузка 55% на каждое ядро. Количество пакетов/объем трафика увеличился максимум на 5-10 процентов. такое ощущение, что где-то стоит таймер, который включает что-то... 119 processes: 13 running, 75 sleeping, 31 waiting CPU 0: 0.0% user, 0.0% nice, 57.1% system, 6.0% interrupt, 36.8% idle CPU 1: 0.0% user, 0.0% nice, 59.4% system, 4.5% interrupt, 36.1% idle CPU 2: 0.0% user, 0.0% nice, 61.7% system, 7.9% interrupt, 30.5% idle CPU 3: 0.0% user, 0.0% nice, 51.5% system, 6.4% interrupt, 42.1% idle Mem: 415M Active, 13M Inact, 302M Wired, 72K Cache, 17M Buf, 1225M Free Swap: 4025M Total, 4025M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 0 root -68 0 0K 384K CPU2 0 11:14 58.50% {igb3 que} 0 root -68 0 0K 384K CPU1 3 11:16 57.86% {igb3 que} 0 root -68 0 0K 384K CPU3 2 11:15 56.64% {igb3 que} 0 root -68 0 0K 384K - 2 11:38 55.08% {igb3 que} 11 root 171 ki31 0K 64K RUN 3 726:19 42.92% {idle: cpu3} 11 root 171 ki31 0K 64K RUN 2 721:33 41.16% {idle: cpu2} 11 root 171 ki31 0K 64K RUN 1 719:49 40.38% {idle: cpu1} 11 root 171 ki31 0K 64K RUN 0 718:02 37.99% {idle: cpu0} 12 root -44 - 0K 576K WAIT 0 1:04 14.79% {swi1: netisr 0} 12 root -32 - 0K 576K WAIT 0 3:26 0.59% {swi4: clock} 12 root -68 - 0K 576K RUN 2 15:04 0.49% {irq268: igb2:que 12 root -68 - 0K 576K RUN 1 14:55 0.44% {irq267: igb2:que 12 root -68 - 0K 576K RUN 3 14:12 0.39% {irq269: igb2:que 0 root -68 0 0K 384K - 0 1:57 0.34% {dummynet} 12 root -68 - 0K 576K WAIT 0 14:30 0.29% {irq266: igb2:que 12 root -68 - 0K 576K WAIT 0 14:21 0.10% {irq271: igb3:que 0 root -68 0 0K 384K - 0 1:56 0.10% {igb2 que} 0 root -68 0 0K 384K - 0 1:47 0.10% {igb2 que} 0 root -68 0 0K 384K - 0 1:48 0.05% {igb2 que} 0 root -68 0 0K 384K - 0 1:45 0.05% {igb2 que} Изменено 21 сентября, 2012 пользователем breusovok Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Graffic Опубликовано 21 сентября, 2012 · Жалоба сделал. ноль эмоций. сейчас LA 5.5, cpu загрузка 55% на каждое ядро. Количество пакетов/объем трафика увеличился максимум на 5-10 процентов. такое ощущение, что где-то стоит таймер, который включает что-то... Такая же беда, каждый вечер без изменений трафика и pps, штормит пару часов, а потом "что-то" пропадает также резко, как и появилось. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
breusovok Опубликовано 23 сентября, 2012 · Жалоба сделал. ноль эмоций. сейчас LA 5.5, cpu загрузка 55% на каждое ядро. Количество пакетов/объем трафика увеличился максимум на 5-10 процентов. такое ощущение, что где-то стоит таймер, который включает что-то... Такая же беда, каждый вечер без изменений трафика и pps, штормит пару часов, а потом "что-то" пропадает также резко, как и появилось. А давно началось? у меня середина августа, но не так явно, не было деградации сервиса. Все же подумываю о переходе на циску. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
andriko Опубликовано 24 сентября, 2012 · Жалоба а на карточках TSO случайно не включен? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mr.Scamp Опубликовано 25 сентября, 2012 · Жалоба Кстати столкнулся с такими же перегрузками по вечерам. hw.igb.max_interrupt_rate=128000 помогло, думаю, что при хорошей шине можно и повыше поднять. выключать fastforwarding и isr.direct есть смысл только при условии, если у netisr тредов > 1, в противном случае очередь сядет на одно из ядер, чем серьезно ограничится производительность. Причина перегрузок до сих пор не совсем понятна, заметил, что есть корелляция с количеством PPS (1,5х увеличение), и исходящим от клиентов траффиком (практически до всей доступной полосы). Есть мнение, что виновато P2P онлайн-ТВ (parom.tv, sopcast), час пик приходится на спортивные события (футбол, бокс). Западная Украина, если что. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
breusovok Опубликовано 25 сентября, 2012 · Жалоба У меня нет роста не по ППС, не по объемам, что странно. В общем, уже на циске BGP, думаю забуду про это все... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
