shvlad1 Posted October 20, 2013 Posted October 20, 2013 Всем привет, это я опять со своей переподписанной 6708. При входящем трафике свыше 6 гигабит/c на порту Te3/1 7609 наблюдаю резкое увеличение времени отклика от соседней 6506: Это при том, что они в одном помещении стоят, и при меньшей загрузке отклик составляет 1мс. Ошибок на порту нет. #ping d.d.d.33 rep 10 Type escape sequence to abort. Sending 10, 100-byte ICMP Echos to d.d.d.33, timeout is 2 seconds: !!!!!!!!!! Success rate is 100 percent (10/10), round-trip min/avg/max = 28/32/36 ms Заметил, что растут input queue drops на интерфейсе Full-duplex, 10Gb/s Transport mode LAN (10GBASE-R, 10.3125Gb/s) input flow-control is off, output flow-control is off ARP type: ARPA, ARP Timeout 04:00:00 Last input 00:00:32, output 00:00:02, output hang never Last clearing of "show interface" counters 00:43:08 Input queue: 0/2000/210871/0 (size/max/drops/flushes); Total output drops: 0 Queueing strategy: fifo Output queue: 0/40 (size/max) 5 minute input rate 6316508000 bits/sec, 1033553 packets/sec 5 minute output rate 3876159000 bits/sec, 671645 packets/sec 2623642376 packets input, 2008580003807 bytes, 0 no buffer Received 5098 broadcasts (4472 multicasts) 0 runts, 0 giants, 0 throttles 0 input errors, 0 CRC, 0 frame, 210871 overrun, 0 ignored 0 watchdog, 0 multicast, 0 pause input 0 input packets with dribble condition detected 1701115406 packets output, 1215099888105 bytes, 0 underruns 0 output errors, 0 collisions, 0 interface resets 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 pause output 0 output buffer failures, 0 output buffers swapped out Конфигурация интерфейса нехитрая: interface TenGigabitEthernet3/1 switchport switchport trunk encapsulation dot1q switchport trunk allowed vlan 1036,4001 switchport mode trunk mtu 9216 wrr-queue bandwidth 5 25 20 20 20 5 5 wrr-queue queue-limit 5 25 10 10 10 5 5 wrr-queue random-detect min-threshold 1 80 100 100 100 100 100 100 100 wrr-queue random-detect min-threshold 2 80 100 100 100 100 100 100 100 wrr-queue random-detect min-threshold 3 80 100 100 100 100 100 100 100 wrr-queue random-detect min-threshold 4 80 100 100 100 100 100 100 100 wrr-queue random-detect min-threshold 5 80 100 100 100 100 100 100 100 wrr-queue random-detect min-threshold 6 80 100 100 100 100 100 100 100 wrr-queue random-detect min-threshold 7 80 100 100 100 100 100 100 100 wrr-queue random-detect max-threshold 1 100 100 100 100 100 100 100 100 wrr-queue random-detect max-threshold 2 100 100 100 100 100 100 100 100 wrr-queue random-detect 4 wrr-queue random-detect 5 wrr-queue random-detect 6 wrr-queue random-detect 7 wrr-queue cos-map 1 1 1 wrr-queue cos-map 2 1 0 wrr-queue cos-map 3 1 4 wrr-queue cos-map 4 1 2 wrr-queue cos-map 5 1 3 wrr-queue cos-map 6 1 6 wrr-queue cos-map 7 1 7 mls qos vlan-based mls qos trust cos storm-control broadcast level 0.50 storm-control multicast level 0.50 Сосед по FPGA, 4 порт, нагружен так, что суммарный трафик портов 3/1 и 3/4 выходит порядка 15.5 гигабит: Это может быть причиной дропов? 5 minute input rate 3070618000 bits/sec, 400891 packets/sec 5 minute output rate 1815583000 bits/sec, 363423 packets/sec Все порты на модуле 6708 в сервисе, можно только поменять местами. Вопросы: кто виноват и что делать? Как я понимаю, виновата архитектура, а что делать - искать наименее загруженный порт и включиться в пару (так, чтобы он стал парным по FPGA) к нему? Вставить ник Quote
zi_rus Posted October 20, 2013 Posted October 20, 2013 кто-то где-то сказал The 6708 has an odd port layout. Pairs of ports connect up to an FPGA which has 16GB of bandwidth to the fabric asic. The port pairs are 1,4;5,7;2,3; and 6,8 These pairs of ports can only send or receive 16GB in total. The fabric asic has 20G and these combine two pairs: 1,4,5,7 and 2,4,6,8 Traffic between ports in these groups does not go over the fabric and is not counted against that BW. Вставить ник Quote
zstas Posted October 21, 2013 Posted October 21, 2013 а я думал уже все наизусть знают схему переподписки 6708 Вставить ник Quote
dignity Posted October 21, 2013 Posted October 21, 2013 Вот блин из-за этой чумовой архитектуры и не хочится на 65 десятки поднимать... Вставить ник Quote
shvlad1 Posted October 21, 2013 Author Posted October 21, 2013 посоветуйте, как лучше распределить след. нагрузку по парам портов: (1,4)(5,7)(2,3)(6,8) (7/4,3/2)(6/6,6/6)(1/3,6/6)(6/6,5/4) Линки с трафиком 6/6 - агрегат. Вставить ник Quote
NikAlexAn Posted October 21, 2013 Posted October 21, 2013 (edited) Сумма по портам 40/37 при максимуме 40 -> не пора ли задуматься о второй карте. PS: Возможно установка DFC позволит немного снизить остроту проблемы. Edited October 21, 2013 by NikAlexAn Вставить ник Quote
NikAlexAn Posted October 21, 2013 Posted October 21, 2013 (edited) а что sh platform hardware capacity fabric показывает? PS: а лучше sh platform hardware capacity полностью Edited October 21, 2013 by NikAlexAn Вставить ник Quote
shvlad1 Posted October 21, 2013 Author Posted October 21, 2013 show platform hardware capacity fabric Switch Fabric Resources Bus utilization: current: 3%, peak was 26% at 07:28:29 MSK Thu Mar 22 2012 Fabric utilization: Ingress Egress Module Chanl Speed rate peak rate peak 2 0 20G 5% 31% @19:13 25Aug13 13% 50% @16:34 24Aug13 2 1 20G 8% 24% @21:57 31Jul13 15% 47% @01:02 22Jul13 3 0 20G 33% 82% @20:34 19Oct13 32% 69% @19:22 19Oct13 3 1 20G 45% 89% @19:22 19Oct13 29% 61% @19:04 20Oct13 5 0 20G 1% 11% @11:08 30Apr13 1% 20% @09:57 01Aug13 9 0 20G 8% 22% @20:12 01Apr12 7% 30% @20:34 19Oct13 9 1 20G 4% 20% @21:15 05Feb12 10% 31% @19:52 10Aug13 Switching mode: Module Switching mode 2 compact 3 compact 5 compact 9 compact show platform hardware capacity System Resources PFC operating mode: PFC3BXL Supervisor redundancy mode: administratively sso, operationally sso Switching resources: Module Part number Series CEF mode 2 WS-X6748-SFP CEF720 dCEF 3 WS-X6708-10GE CEF720 dCEF 5 RSP720-3CXL-GE supervisor CEF 9 WS-X6748-GE-TX CEF720 CEF Power Resources Power supply redundancy mode: administratively redundant operationally redundant System power: 3795W, 0W (0%) inline, 2346W (62%) total allocated Powered devices: 0 total, 0 Class3, 0 Class2, 0 Class1, 0 Class0, 0 Cisco Flash/NVRAM Resources Usage: Module Device Bytes: Total Used %Used 2 dfc#2-bootflash: 15990784 975252 6% 3 dfc#3-bootflash: 15990784 0 0% 5 SP sup-bootdisk: 518791168 467795968 90% 5 SP const_nvram: 127212 2896 2% 5 SP hidden-nvram: 4059328 374117 9% 5 RP nvram: 4059328 374117 9% 5 RP bootdisk: 518791168 0 0% 9 dfc#9-bootflash: 15990784 0 0% CPU Resources CPU utilization: Module 5 seconds 1 minute 5 minutes 2 35% / 1% 35% 36% 3 6% / 0% 6% 6% 5 RP 9% / 2% 10% 10% 5 SP 8% / 0% 7% 7% 9 1% / 0% 0% 0% Processor memory: Module Bytes: Total Used %Used 2 1003143248 355046136 35% 3 1003143248 346926400 35% 5 RP 1696577760 813281984 48% 5 SP 670652756 337862928 50% 9 197837008 48524140 25% I/O memory: Module Bytes: Total Used %Used 5 RP 134217728 44179240 33% 5 SP 67108864 37527656 56% EOBC Resources Module Packets/sec Total packets Dropped packets 2 Rx: 62 2795875950 0 Tx: 58 679518878 0 3 Rx: 31 63581170 0 Tx: 28 7650686 0 5 RP Rx: 86 4600974769 0 Tx: 83 4471034487 0 5 SP Rx: 38 2687404010 0 Tx: 44 2931425548 0 9 Rx: 32 11970151199 0 Tx: 26 1583238892 0 VLAN Resources VLANs: 4094 total, 44 VTP, 32 extended, 105 internal, 3913 free L2 Forwarding Resources MAC Table usage: Module Collisions Total Used %Used 2 0 65536 907 1% 3 0 98304 878 1% 5 0 98304 1049 1% VPN CAM usage: Total Used %Used 512 0 0% L3 Forwarding Resources Module FIB TCAM usage: Total Used %Used 2 72 bits (IPv4, MPLS, EoM) 524288 484594 92% 144 bits (IP mcast, IPv6) 262144 15300 6% detail: Protocol Used %Used IPv4 484521 92% MPLS 72 1% EoM 1 1% IPv6 15020 6% IPv4 mcast 277 1% IPv6 mcast 3 1% Adjacency usage: Total Used %Used 1048576 26466 3% L3 Forwarding Resources Module FIB TCAM usage: Total Used %Used 3 72 bits (IPv4, MPLS, EoM) 524288 484594 92% 144 bits (IP mcast, IPv6) 262144 15301 6% detail: Protocol Used %Used IPv4 484521 92% MPLS 72 1% EoM 1 1% IPv6 15020 6% IPv4 mcast 278 1% IPv6 mcast 3 1% Adjacency usage: Total Used %Used 1048576 26466 3% L3 Forwarding Resources Module FIB TCAM usage: Total Used %Used 5 72 bits (IPv4, MPLS, EoM) 524288 484594 92% 144 bits (IP mcast, IPv6) 262144 15301 6% detail: Protocol Used %Used IPv4 484521 92% MPLS 72 1% EoM 1 1% IPv6 15020 6% IPv4 mcast 278 1% IPv6 mcast 3 1% Adjacency usage: Total Used %Used 1048576 26473 3% Forwarding engine load: Module pps peak-pps peak-time 2 620494 1798098 21:11:00 MSK Sun Sep 1 2013 3 3590742 6124900 21:43:16 MSK Fri Oct 18 2013 5 595184 1188413 22:05:48 MSK Sat Feb 25 2012 Netflow Resources TCAM utilization: Module Created Failed %Used 2 4 0 0% 3 4 0 0% 5 3 0 0% ICAM utilization: Module Created Failed %Used 2 0 0 0% 3 0 0 0% 5 0 0 0% Flowmasks: Mask# Type Features IPv4: 0 reserved none IPv4: 1 Null IPv4: 2 unused none IPv4: 3 reserved none IPv6: 0 reserved none IPv6: 1 unused none IPv6: 2 unused none IPv6: 3 reserved none CPU Rate Limiters Resources Rate limiters: Total Used Reserved %Used Layer 3 9 8 1 89% Layer 2 4 4 2 100% ACL/QoS TCAM Resources Key: ACLent - ACL TCAM entries, ACLmsk - ACL TCAM masks, AND - ANDOR, QoSent - QoS TCAM entries, QOSmsk - QoS TCAM masks, OR - ORAND, Lbl-in - ingress label, Lbl-eg - egress label, LOUsrc - LOU source, LOUdst - LOU destination, ADJ - ACL adjacency Module ACLent ACLmsk QoSent QoSmsk Lbl-in Lbl-eg LOUsrc LOUdst AND OR ADJ 2 1% 1% 1% 1% 1% 1% 0% 0% 0% 0% 1% 3 1% 1% 1% 1% 1% 1% 0% 0% 0% 0% 1% 5 1% 1% 1% 1% 1% 1% 0% 0% 0% 0% 1% L3 Multicast Resources IPv4 replication mode: egress IPv6 replication mode: egress Bi-directional PIM Designated Forwarder Table usage: 4 total, 0 (0%) used Replication capability: Module IPv4 IPv6 2 egress egress 3 egress egress 5 egress egress 9 egress egress MET table Entries: Module Total Used %Used 2 65526 56 1% 3 65526 18 1% 5 65526 138 1% QoS Policer Resources Aggregate policers: Module Total Used %Used 2 1024 33 3% 3 1024 22 2% 5 1024 24 2% Microflow policer configurations: Module Total Used %Used 2 64 1 1% 3 64 1 1% 5 64 1 1% Switch Fabric Resources Bus utilization: current: 3%, peak was 26% at 07:28:29 MSK Thu Mar 22 2012 Fabric utilization: Ingress Egress Module Chanl Speed rate peak rate peak 2 0 20G 6% 31% @19:13 25Aug13 13% 50% @16:34 24Aug13 2 1 20G 7% 24% @21:57 31Jul13 15% 47% @01:02 22Jul13 3 0 20G 32% 82% @20:34 19Oct13 34% 69% @19:22 19Oct13 3 1 20G 47% 89% @19:22 19Oct13 28% 61% @19:04 20Oct13 5 0 20G 1% 11% @11:08 30Apr13 1% 20% @09:57 01Aug13 9 0 20G 11% 22% @20:12 01Apr12 7% 30% @20:34 19Oct13 9 1 20G 4% 20% @21:15 05Feb12 9% 31% @19:52 10Aug13 Switching mode: Module Switching mode 2 compact 3 compact 5 compact 9 compact Interface Resources Interface drops: Module Total drops: Tx Rx Highest drop port: Tx Rx 2 13480537156 8797630 5 18 3 491602 502821 4 4 5 14969935 41834 1 1 9 1676339362 160445095 3 29 Interface buffer sizes: Module Bytes: Tx buffer Rx buffer 2 1221120 174016 3 91889024 109296640 9 1221056 173504 SPAN Resources Source sessions: 18 maximum, 0 used Type Used Local 0 RSPAN source (max 2) 0 ERSPAN source 0 Service module 0 Destination sessions: 62 maximum, 0 used Type Used RSPAN destination 0 ERSPAN destination (max 24) 0 Вставить ник Quote
NikAlexAn Posted October 21, 2013 Posted October 21, 2013 А из этих 8 10ок есть порты с транзитным трафиком? Вставить ник Quote
shvlad1 Posted October 21, 2013 Author Posted October 21, 2013 транзитным куда? часть трафика ходит между портами этой карты, часть уходит на фабрику. но задержки клиенты видят даже при свитчинге между портами. Вставить ник Quote
NikAlexAn Posted October 21, 2013 Posted October 21, 2013 транзитным куда? часть трафика ходит между портами этой карты, часть уходит на фабрику. но задержки клиенты видят даже при свитчинге между портами. Смотря между какими портами :) Вроде уже все ограничения карты озвучены ... Вставить ник Quote
shvlad1 Posted October 21, 2013 Author Posted October 21, 2013 These pairs of ports can only send or receive 16GB in total. in total - это как понимать, в сумме in+out, или 16 прием/16 передача? Вставить ник Quote
zi_rus Posted October 21, 2013 Posted October 21, 2013 на 6708 dfc ставится изначально и в данном случае он не поможет 16 я полагаю это в дуплексе, халф это слишком мало получается давно пора вторую карту покупать и не заниматься херней, не сейчас так через полгода будет трафик который по портам уже не раскидать, и что тогда Вставить ник Quote
NikAlexAn Posted October 22, 2013 Posted October 22, 2013 in total - это как понимать, в сумме in+out, или 16 прием/16 передача? Конечно второе, иначе работа без переподписки 4х портов была бы не возможна. Насколько я понимаю судя по Вашим данным: (1,4)(5,7)(2,3)(6,8) (7/4,3/2)(6/6,6/6)(1/3,6/6)(6/6,5/4) и 3 0 20G 32% 82% @20:34 19Oct13 34% 69% @19:22 19Oct13 3 1 20G 47% 89% @19:22 19Oct13 28% 61% @19:04 20Oct13 Трафик частично ходит у вас внутри карты. А вот можно ли ещё чего то улучшить перегруппировкой портов - для ответа на этот вопрос не хватает данных. Да и, действительно, при такой загрузке шины уже пора задуматься о второй карте. Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.