secandr Posted October 12, 2012 (edited) Здравствуйте, на карточке WS-X6704-10GE в cisco 7600 наблюдаем потери порядка 0,1%, при этом растут счётчики overrun TenGigabitEthernet3/2 is up, line protocol is up (connected) Hardware is C7600 10Gb 802.3, address is 001c.0f5d.e300 (bia 001c.0f5d.e300) MTU 1532 bytes, BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 53/255, rxload 18/255 Encapsulation 802.1Q Virtual LAN, Vlan ID 1., loopback not set Keepalive set (10 sec) Full-duplex, 10Gb/s Transport mode LAN (10GBASE-R, 10.3125Gb/s) input flow-control is off, output flow-control is off ARP type: ARPA, ARP Timeout 04:00:00 Last input 00:00:00, output 00:00:00, output hang never Last clearing of "show interface" counters never Input queue: 0/75/65/53 (size/max/drops/flushes); Total output drops: 0 Queueing strategy: fifo Output queue: 0/40 (size/max) 5 minute input rate 741084000 bits/sec, 189875 packets/sec 5 minute output rate 2113458000 bits/sec, 255513 packets/sec L2 Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes L3 in Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes mcast L3 out Switched: ucast: 0 pkt, 0 bytes mcast: 0 pkt, 0 bytes 2557849150550 packets input, 1455234777299239 bytes, 0 no buffer Received 154151652 broadcasts (0 IP multicasts) 0 runts, 0 giants, 5 throttles 0 input errors, 0 CRC, 0 frame, 266305706 overrun, 0 ignored 0 watchdog, 0 multicast, 0 pause input 0 input packets with dribble condition detected 2816902033194 packets output, 2582114297348675 bytes, 0 underruns 0 output errors, 0 collisions, 1 interface resets 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 pause output 0 output buffer failures, 0 output buffers swapped out Как с этим бороться? Edited October 12, 2012 by secandr Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
config Posted October 12, 2012 (edited) Размеры очередей , 75 и 40 это еще от царя гороха осталось. Ставьте по 2000 смело. Hold-queue 2000 in Hold-queue 2000 out А лучше по 4096 , у вас ведь 10G Edited October 12, 2012 by config Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
secandr Posted October 15, 2012 config спасибо. Попробовал, поставил. Помогло частично: потери несколько уменьшились, но overrun остались и картинка сыпется. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
config Posted October 15, 2012 (edited) Show int counters error module 3 И Show platform hardware capacity fabric И кто сосед на этом порту ? Edited October 15, 2012 by config Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
secandr Posted October 15, 2012 (edited) Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards Te3/1 0 0 0 0 0 0 Te3/2 0 0 0 0 0 0 Te3/3 0 0 0 0 0 0 Te3/4 0 0 0 0 0 788 Port Single-Col Multi-Col Late-Col Excess-Col Carri-Sen Runts Giants Te3/1 0 0 0 0 0 0 0 Te3/2 0 0 0 0 0 0 0 Te3/3 0 0 0 0 0 0 0 Te3/4 0 0 0 0 0 0 0 Port SQETest-Err Deferred-Tx IntMacTx-Err IntMacRx-Err Symbol-Err Te3/1 0 0 0 0 0 Te3/2 0 0 0 0 0 Te3/3 0 0 0 0 0 Te3/4 0 0 0 0 0 но сейчас нет перегрузки. Потери при прохождении трафика с интерфейса 3/1 на 3/2. Edited October 15, 2012 by secandr Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Tosha Posted October 16, 2012 Потери при прохождении трафика с интерфейса 3/1 на 3/2. Но у Вас потери на входе интерфейса 3/2 - значит теряются пакеты наоборот с 3/2 на 3/1 Я так полагаю надо выложить статистику (счетчики) по обоим интерфейсам... CPU то как, не напрягается? Может трафик в обход PFC пошел? Не может быть такое из-за настроек QOS и полисеров? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
secandr Posted October 16, 2012 (edited) Tosha Как ни странно трафик теряется именно при прохождение с 3/1 на 3/2, наоборот всё идёт нормально. Ситуация по интерфейсам схожая. Через интерфейсы ходит MPLS+multicast. Соседи - такие же 7600 с такими же картами и такими же настройками. На соседях проблем нет. Эта 7600 отличается от соседей тем, что к ней подключен бордер и на него уходит порядка 30 Гбит, если считать в дупликсе. QoS на интерфейсах 3/1 и 3/2 не был настроен, ибо загрузка интерфейсов не превышает 60%. Полисеров нет. Загрузка CPU ~15%, пики под 100% только при сохранении или просмотре конфига. Фабрика не перегружена: Show platform hardware capacity fabric Switch Fabric Resources Bus utilization: current: 10%, peak was 25% at 22:58:30 MSK Thu Oct 11 2012 Fabric utilization: Ingress Egress Module Chanl Speed rate peak rate peak 1 0 20G 2% 9% @21:56 12Oct12 3% 12% @18:55 23Sep12 2 0 20G 0% 8% @11:43 21Aug12 0% 3% @20:22 09Jul12 2 1 20G 1% 2% @18:40 26Jun12 0% 6% @11:57 21Aug12 3 0 20G 25% 66% @21:13 06Oct12 27% 65% @15:28 04Aug12 3 1 20G 8% 26% @20:41 06Oct12 14% 44% @21:04 11Oct12 4 0 20G 11% 33% @21:19 21Aug12 6% 19% @21:05 10Sep12 4 1 20G 6% 44% @08:29 13Jul12 3% 44% @07:03 26Aug12 5 0 20G 0% 2% @11:28 12Sep12 28% 67% @15:28 04Aug12 Switching mode: Module Switching mode 1 compact 2 compact 3 compact 4 compact 5 compact Интерфейсы: TenGigabitEthernet3/1 is up, line protocol is up (connected) Hardware is C7600 10Gb 802.3, address is 001c.0f5d.e300 (bia 001c.0f5d.e300) MTU 1532 bytes, BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 27/255, rxload 25/255 Encapsulation 802.1Q Virtual LAN, Vlan ID 1., loopback not set Keepalive set (10 sec) Full-duplex, 10Gb/s Transport mode LAN (10GBASE-R, 10.3125Gb/s) input flow-control is off, output flow-control is off ARP type: ARPA, ARP Timeout 04:00:00 Last input 00:00:00, output 00:00:00, output hang never Last clearing of "show interface" counters 3d15h Input queue: 0/1000/4/4 (size/max/drops/flushes); Total output drops: 0 Queueing strategy: fifo Output queue: 0/40 (size/max) 5 minute input rate 1001970000 bits/sec, 168043 packets/sec 5 minute output rate 1081329000 bits/sec, 156373 packets/sec L2 Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes L3 in Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes mcast L3 out Switched: ucast: 0 pkt, 0 bytes mcast: 0 pkt, 0 bytes 72275586858 packets input, 50479441568009 bytes, 0 no buffer Received 3708398522 broadcasts (0 IP multicasts) 0 runts, 0 giants, 0 throttles 0 input errors, 0 CRC, 0 frame, 17820158 overrun, 0 ignored 0 watchdog, 0 multicast, 0 pause input 0 input packets with dribble condition detected 81232505876 packets output, 72630662482351 bytes, 0 underruns 0 output errors, 0 collisions, 0 interface resets 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 pause output 0 output buffer failures, 0 output buffers swapped out TenGigabitEthernet3/2 is up, line protocol is up (connected) Hardware is C7600 10Gb 802.3, address is 001c.0f5d.e300 (bia 001c.0f5d.e300) MTU 1532 bytes, BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 56/255, rxload 23/255 Encapsulation 802.1Q Virtual LAN, Vlan ID 1., loopback not set Keepalive set (10 sec) Full-duplex, 10Gb/s Transport mode LAN (10GBASE-R, 10.3125Gb/s) input flow-control is off, output flow-control is off ARP type: ARPA, ARP Timeout 04:00:00 Last input 00:00:00, output 00:00:00, output hang never Last clearing of "show interface" counters 3d15h Input queue: 0/1000/0/0 (size/max/drops/flushes); Total output drops: 0 Queueing strategy: fifo Output queue: 0/40 (size/max) 5 minute input rate 934679000 bits/sec, 213444 packets/sec 5 minute output rate 2208886000 bits/sec, 268784 packets/sec L2 Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes L3 in Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes mcast L3 out Switched: ucast: 0 pkt, 0 bytes mcast: 0 pkt, 0 bytes 101975101922 packets input, 60394925610621 bytes, 0 no buffer Received 510914 broadcasts (0 IP multicasts) 0 runts, 0 giants, 0 throttles 0 input errors, 0 CRC, 0 frame, 192860188 overrun, 0 ignored 0 watchdog, 0 multicast, 0 pause input 0 input packets with dribble condition detected 115112976372 packets output, 110295692922280 bytes, 0 underruns 0 output errors, 0 collisions, 0 interface resets 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 pause output 0 output buffer failures, 0 output buffers swapped out Рабочая гипотиза - CFC не справляется с нагрузкой. NAME: "module 3", DESCR: "WS-X6704-10GE CEF720 4 port 10-Gigabit Ethernet Rev. 2.7" PID: WS-X6704-10GE , VID: V02, SN: SAL1252E1LN NAME: "switching engine sub-module of 3", DESCR: "WS-F6700-CFC Centralized Forwarding Card Rev. 4.1" PID: WS-F6700-CFC , VID: V06, SN: SAL1304H8BU Edited October 16, 2012 by secandr Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
config Posted October 16, 2012 (edited) Show platform hardware mode pfc как то так или что то подобное. Show interface x/x switching , писать полностью может быть скрыто слово switching Show fabric err Show fabric drop Edited October 16, 2012 by config Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
secandr Posted October 16, 2012 (edited) Show platform hardware pfc mode PFC operating mode : PFC3C Show interface x/x switching TenGigabitEthernet3/1 Throttle count 0 Drops RP 4 SP 0 SPD Flushes Fast 4 SSE 0 SPD Aggress Fast 0 SPD Priority Inputs 378190 Drops 0 Protocol Path Pkts In Chars In Pkts Out Chars Out IP Process 15576189 2149225331 15890899 1981661428 Cache misses 0 Fast 7816089 2767659629 179 94167 Auton/SSE 1630255250403 1004437002141325 130831057096 121425040241602 ARP Process 659 39540 671 64416 Cache misses 0 Fast 0 0 0 0 Auton/SSE 0 0 0 0 MPLS Process 3154876 317573222 10789456 1513526478 Cache misses 0 Fast 0 0 5077547 488692358 Auton/SSE 0 0 1625898407104 1456381912669772 TenGigabitEthernet3/2 Throttle count 0 Drops RP 0 SP 0 SPD Flushes Fast 0 SSE 0 SPD Aggress Fast 0 SPD Priority Inputs 588747 Drops 0 Protocol Path Pkts In Chars In Pkts Out Chars Out IP Process 8814858 770012442 6731019 978374523 Cache misses 0 Fast 15118 9548253 446323 610444095 Auton/SSE 2672669083395 1512212037095880 7415200806 3345503923459 ARP Process 659 39540 673 64608 Cache misses 0 Fast 0 0 0 0 Auton/SSE 0 0 0 0 MPLS Process 87779 8892009 1126880 173502941 Cache misses 0 Fast 123 30433 3646 1280950 Auton/SSE 0 0 2918244694598 2662670199003736 Show fabric err Module errors: slot channel crc hbeat sync DDR sync 1 0 0 0 0 0 2 0 0 0 0 0 2 1 0 0 0 0 3 0 0 0 0 0 3 1 0 0 0 0 4 0 0 0 0 0 4 1 0 0 0 0 5 0 0 0 0 0 Fabric errors: slot channel sync buffer timeout 1 0 0 0 0 2 0 0 0 0 2 1 0 0 0 3 0 0 0 0 3 1 0 0 0 4 0 0 0 0 4 1 0 0 0 5 0 0 0 0 Show fabric drop Packets dropped by fabric for different queues: slot channel Low-Q-drops 1 0 94 @22:40 15Oct12 2 0 43 @21:40 15Oct12 2 1 68 @21:40 15Oct12 3 0 77 @21:40 15Oct12 3 1 75 @21:40 15Oct12 4 0 72 @21:40 15Oct12 4 1 73 @21:40 15Oct12 5 0 9 @21:21 15Oct12 Edited October 16, 2012 by secandr Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
chocholl Posted October 16, 2012 если так то покажите show platform hardware central-rewrite drop и посмотрите show platform hardware central-rewrite drop show platform hardware central-rewrite drop rate 1000 details в часы пик. перегруз по лукапам также должен быть виде в sho plat hard cap pfc (там где пиковые значения рисуются). Рабочая гипотиза - CFC не справляется с нагрузкой. NAME: "module 3", DESCR: "WS-X6704-10GE CEF720 4 port 10-Gigabit Ethernet Rev. 2.7" PID: WS-X6704-10GE , VID: V02, SN: SAL1252E1LN NAME: "switching engine sub-module of 3", DESCR: "WS-F6700-CFC Centralized Forwarding Card Rev. 4.1" PID: WS-F6700-CFC , VID: V06, SN: SAL1304H8BU Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
secandr Posted October 16, 2012 show platform hardware central-rewrite drop slot channel packet drops total overruns ----+-------+--------------------+--------------+ 1 0 0 0 2 0 656 0 2 1 1203266 0 3 0 1 0 3 1 0 0 4 0 0 0 4 1 0 0 5 0 0 0 sho plat hard cap pfc L2 Forwarding Resources MAC Table usage: Module Collisions Total Used %Used 4 0 98304 4798 5% 5 0 98304 4808 5% VPN CAM usage: Total Used %Used 512 0 0% L3 Forwarding Resources Module FIB TCAM usage: Total Used %Used 4 72 bits (IPv4, MPLS, EoM) 196608 30023 15% 144 bits (IP mcast, IPv6) 32768 219 1% detail: Protocol Used %Used IPv4 28988 15% MPLS 973 1% EoM 62 1% IPv6 2 1% IPv4 mcast 214 1% IPv6 mcast 3 1% Adjacency usage: Total Used %Used 1048576 13681 1% L3 Forwarding Resources Module FIB TCAM usage: Total Used %Used 5 72 bits (IPv4, MPLS, EoM) 196608 30023 15% 144 bits (IP mcast, IPv6) 32768 219 1% detail: Protocol Used %Used IPv4 28988 15% MPLS 973 1% EoM 62 1% IPv6 2 1% IPv4 mcast 214 1% IPv6 mcast 3 1% Adjacency usage: Total Used %Used 1048576 13684 1% Forwarding engine load: Module pps peak-pps peak-time 4 656617 2040247 17:48:38 MSK Tue Oct 2 2012 5 2062856 3764136 20:19:50 MSK Fri Oct 12 2012 Netflow Resources TCAM utilization: Module Created Failed %Used 4 0 0 0% 5 73308 0 55% ICAM utilization: Module Created Failed %Used 4 0 0 0% 5 5 0 3% Flowmasks: Mask# Type Features IPv4: 0 reserved none IPv4: 1 Intf FulIntf NDE L3 Feature IPv4: 2 unused none IPv4: 3 reserved none IPv6: 0 reserved none IPv6: 1 unused none IPv6: 2 unused none IPv6: 3 reserved none CPU Rate Limiters Resources Rate limiters: Total Used Reserved %Used Layer 3 9 4 1 44% Layer 2 4 2 2 50% ACL/QoS TCAM Resources Key: ACLent - ACL TCAM entries, ACLmsk - ACL TCAM masks, AND - ANDOR, QoSent - QoS TCAM entries, QOSmsk - QoS TCAM masks, OR - ORAND, Lbl-in - ingress label, Lbl-eg - egress label, LOUsrc - LOU source, LOUdst - LOU destination, ADJ - ACL adjacency Module ACLent ACLmsk QoSent QoSmsk Lbl-in Lbl-eg LOUsrc LOUdst AND OR ADJ 4 8% 8% 14% 18% 5% 5% 0% 0% 6% 0% 1% 5 8% 8% 16% 21% 6% 6% 0% 0% 6% 0% 1% Вечером померяю еще, выложу завтра. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
chocholl Posted October 16, 2012 не не похоже на перегруз. значения небольшие совсем. а как сконфигурированы порты на 6704 (l2/l3, ченелы может быть) какие там по трафику нагрузки? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
secandr Posted October 16, 2012 netflow был зачем-то включен - отключил... Настройки одинаковые. interface TenGigabitEthernet3/1 mtu 1532 no ip address logging event link-status logging event trunk-status mls qos trust cos no cdp enable hold-queue 1000 in end ! interface TenGigabitEthernet3/1.1 encapsulation dot1Q 4092 ip address __________ 255.255.255.252 ip pim sparse-mode ip ospf message-digest-key 1 md5 ******* ip ospf network point-to-point mpls label protocol ldp mpls ip no cdp enable end Загрузки по интерфейсам: int = out/in 3/1 = 4/3 3/2 = 6/3 3/3 = 4/8 3/4 = 8/4 --------- sum = 22/18 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Tima Posted October 16, 2012 Здравствуйте, на карточке WS-X6704-10GE в cisco 7600 наблюдаем потери порядка 0,1%, при этом растут счётчики overrun У 4х портовки маленькие аппаратные интерфейсные буферы, если вы нагрузите интерфейс траффиком и приправите микробурстами, дропы будут всегда. На 8ми портовке ситуация немного лучше. Как с этим бороться? Вероятно поможет переставить проблемный линк в другой порт, у которого канал с фабрикой загружен меньше. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
secandr Posted October 16, 2012 (edited) Tima первое что пришло в голову - разгрузить карточку. Жду X2 модули. P.S. Кстати, а QoS никак не может победить маленькие буферы? Edited October 16, 2012 by secandr Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
chocholl Posted October 16, 2012 на восьмипортовке ситуация намного лучше, наверное вы хотели сказать )) а ввобще единственное к чему можно придраться это именно к буферам в данном случае. Здравствуйте, на карточке WS-X6704-10GE в cisco 7600 наблюдаем потери порядка 0,1%, при этом растут счётчики overrun У 4х портовки маленькие аппаратные интерфейсные буферы, если вы нагрузите интерфейс траффиком и приправите микробурстами, дропы будут всегда. На 8ми портовке ситуация немного лучше. Как с этим бороться? Вероятно поможет переставить проблемный линк в другой порт, у которого канал с фабрикой загружен меньше. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
secandr Posted October 16, 2012 Я так понимаю, что для 6704 никакого толку от qos нет, ибо 1q8t - очередь одна... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
chocholl Posted October 16, 2012 на прием очередь действительно только одна, но трешхолдов то 8. правла использование ингрес очереди требует trust cos на интерфейсах, так как map работает только в режиме по 802.1p метке. на 6708 помимо огромных по сравнению с 6704 размеров буферов можно матчить по dscp в одну из 8-ми очередей. Я так понимаю, что для 6704 никакого толку от qos нет, ибо 1q8t - очередь одна... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Дятел Posted October 16, 2012 на восьмипортовке ситуация намного лучше, наверное вы хотели сказать )) намного лучше на 16-типортовой ))) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alks Posted October 16, 2012 8 портовка - имеется в виду 8x10GE? если да дайте намбер платы Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Дятел Posted October 16, 2012 http://shop.nag.ru/catalog/02392.Cisco/06753.Moduli-6500/06098.WS-X6708-10G-3C и http://shop.nag.ru/catalog/02392.Cisco/06753.Moduli-6500/05417.WS-X6716-10G-3C Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alks Posted October 16, 2012 ценник весьма бодрый и хз что с резервированием делать Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
chocholl Posted October 16, 2012 внимательно ознакомился со вторым постом )) в курсе, наверное, что egres мультикаст репликация не работает совместно с активированным qos? сколько там мультикаста бегает? попробуйте включить Ingress режим. (поломает все потоки при включении) config спасибо. Попробовал, поставил. Помогло частично: потери несколько уменьшились, но overrun остались и картинка сыпется. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
secandr Posted October 16, 2012 chocholl не понял про egres, мультикас и qos Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted October 16, 2012 (edited) внимательно ознакомился со вторым постом )) в курсе, наверное, что egres мультикаст репликация не работает совместно с активированным qos? сколько там мультикаста бегает? попробуйте включить Ingress режим. (поломает все потоки при включении) Фраза "картинка сыплется", наверное, все же применительно к DATA потоку, не к IPTV... Счетчики мультикаста на ноле вроде бы везде. Edited October 16, 2012 by tartila Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
