[secandr]

Здравствуйте,

на карточке WS-X6704-10GE в cisco 7600 наблюдаем потери порядка 0,1%, при этом растут счётчики overrun

 

TenGigabitEthernet3/2 is up, line protocol is up (connected)
 Hardware is C7600 10Gb 802.3, address is 001c.0f5d.e300 (bia 001c.0f5d.e300)
 MTU 1532 bytes, BW 10000000 Kbit, DLY 10 usec,
    reliability 255/255, txload 53/255, rxload 18/255
 Encapsulation 802.1Q Virtual LAN, Vlan ID  1., loopback not set
 Keepalive set (10 sec)
 Full-duplex, 10Gb/s
 Transport mode LAN (10GBASE-R, 10.3125Gb/s)
 input flow-control is off, output flow-control is off
 ARP type: ARPA, ARP Timeout 04:00:00
 Last input 00:00:00, output 00:00:00, output hang never
 Last clearing of "show interface" counters never
 Input queue: 0/75/65/53 (size/max/drops/flushes); Total output drops: 0
 Queueing strategy: fifo
 Output queue: 0/40 (size/max)
 5 minute input rate 741084000 bits/sec, 189875 packets/sec
 5 minute output rate 2113458000 bits/sec, 255513 packets/sec
 L2 Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes
 L3 in Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes mcast
 L3 out Switched: ucast: 0 pkt, 0 bytes mcast: 0 pkt, 0 bytes
    2557849150550 packets input, 1455234777299239 bytes, 0 no buffer
    Received 154151652 broadcasts (0 IP multicasts)
    0 runts, 0 giants, 5 throttles
    0 input errors, 0 CRC, 0 frame, 266305706 overrun, 0 ignored
    0 watchdog, 0 multicast, 0 pause input
    0 input packets with dribble condition detected
    2816902033194 packets output, 2582114297348675 bytes, 0 underruns
    0 output errors, 0 collisions, 1 interface resets
    0 babbles, 0 late collision, 0 deferred
    0 lost carrier, 0 no carrier, 0 pause output
    0 output buffer failures, 0 output buffers swapped out 

 

Как с этим бороться?

Изменено 12 октября, 2012 пользователем secandr

[config]

Размеры очередей , 75 и 40 это еще от царя гороха осталось. Ставьте по 2000 смело.

Hold-queue 2000 in

Hold-queue 2000 out

 

А лучше по 4096 , у вас ведь 10G

Изменено 12 октября, 2012 пользователем config

[secandr]

config спасибо.

Попробовал, поставил.

Помогло частично: потери несколько уменьшились, но overrun остались и картинка сыпется.

[config]

Show int counters error module 3

И

Show platform hardware capacity fabric

И кто сосед на этом порту ?

Изменено 15 октября, 2012 пользователем config

[secandr]

Port        Align-Err    FCS-Err   Xmit-Err    Rcv-Err UnderSize OutDiscards
Te3/1               0          0          0          0         0           0
Te3/2               0          0          0          0         0           0
Te3/3               0          0          0          0         0           0
Te3/4               0          0          0          0         0         788

Port      Single-Col Multi-Col  Late-Col Excess-Col Carri-Sen     Runts    Giants
Te3/1              0         0         0          0         0         0         0
Te3/2              0         0         0          0         0         0         0
Te3/3              0         0         0          0         0         0         0
Te3/4              0         0         0          0         0         0         0

Port       SQETest-Err Deferred-Tx IntMacTx-Err IntMacRx-Err Symbol-Err
Te3/1                0           0            0            0          0
Te3/2                0           0            0            0          0
Te3/3                0           0            0            0          0
Te3/4                0           0            0            0          0

но сейчас нет перегрузки.

Потери при прохождении трафика с интерфейса 3/1 на 3/2.

Изменено 15 октября, 2012 пользователем secandr

[Tosha]

Потери при прохождении трафика с интерфейса 3/1 на 3/2.

Но у Вас потери на входе интерфейса 3/2 - значит теряются пакеты наоборот с 3/2 на 3/1

Я так полагаю надо выложить статистику (счетчики) по обоим интерфейсам...

CPU то как, не напрягается? Может трафик в обход PFC пошел?

Не может быть такое из-за настроек QOS и полисеров?

[secandr]

Tosha Как ни странно трафик теряется именно при прохождение с 3/1 на 3/2, наоборот всё идёт нормально.

Ситуация по интерфейсам схожая. Через интерфейсы ходит MPLS+multicast. Соседи - такие же 7600 с такими же картами и такими же настройками. На соседях проблем нет. Эта 7600 отличается от соседей тем, что к ней подключен бордер и на него уходит порядка 30 Гбит, если считать в дупликсе.

QoS на интерфейсах 3/1 и 3/2 не был настроен, ибо загрузка интерфейсов не превышает 60%. Полисеров нет. Загрузка CPU ~15%, пики под 100% только при сохранении или просмотре конфига.

Фабрика не перегружена:

Show platform hardware capacity fabric
Switch Fabric Resources
 Bus utilization: current: 10%, peak was 25% at 22:58:30 MSK Thu Oct 11 2012
 Fabric utilization:     Ingress                    Egress
   Module  Chanl  Speed  rate  peak                 rate  peak
   1       0        20G    2%    9% @21:56 12Oct12    3%   12% @18:55 23Sep12
   2       0        20G    0%    8% @11:43 21Aug12    0%    3% @20:22 09Jul12
   2       1        20G    1%    2% @18:40 26Jun12    0%    6% @11:57 21Aug12
   3       0        20G   25%   66% @21:13 06Oct12   27%   65% @15:28 04Aug12
   3       1        20G    8%   26% @20:41 06Oct12   14%   44% @21:04 11Oct12
   4       0        20G   11%   33% @21:19 21Aug12    6%   19% @21:05 10Sep12
   4       1        20G    6%   44% @08:29 13Jul12    3%   44% @07:03 26Aug12
   5       0        20G    0%    2% @11:28 12Sep12   28%   67% @15:28 04Aug12
 Switching mode: Module                                        Switching mode
                 1                                                    compact
                 2                                                    compact
                 3                                                    compact
                 4                                                    compact
                 5                                                    compact

 

Интерфейсы:

TenGigabitEthernet3/1 is up, line protocol is up (connected)
 Hardware is C7600 10Gb 802.3, address is 001c.0f5d.e300 (bia 001c.0f5d.e300)
 MTU 1532 bytes, BW 10000000 Kbit, DLY 10 usec,
    reliability 255/255, txload 27/255, rxload 25/255
 Encapsulation 802.1Q Virtual LAN, Vlan ID  1., loopback not set
 Keepalive set (10 sec)
 Full-duplex, 10Gb/s
 Transport mode LAN (10GBASE-R, 10.3125Gb/s)
 input flow-control is off, output flow-control is off
 ARP type: ARPA, ARP Timeout 04:00:00
 Last input 00:00:00, output 00:00:00, output hang never
 Last clearing of "show interface" counters 3d15h
 Input queue: 0/1000/4/4 (size/max/drops/flushes); Total output drops: 0
 Queueing strategy: fifo
 Output queue: 0/40 (size/max)
 5 minute input rate 1001970000 bits/sec, 168043 packets/sec
 5 minute output rate 1081329000 bits/sec, 156373 packets/sec
 L2 Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes
 L3 in Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes mcast
 L3 out Switched: ucast: 0 pkt, 0 bytes mcast: 0 pkt, 0 bytes
    72275586858 packets input, 50479441568009 bytes, 0 no buffer
    Received 3708398522 broadcasts (0 IP multicasts)
    0 runts, 0 giants, 0 throttles
    0 input errors, 0 CRC, 0 frame, 17820158 overrun, 0 ignored
    0 watchdog, 0 multicast, 0 pause input
    0 input packets with dribble condition detected
    81232505876 packets output, 72630662482351 bytes, 0 underruns
    0 output errors, 0 collisions, 0 interface resets
    0 babbles, 0 late collision, 0 deferred
    0 lost carrier, 0 no carrier, 0 pause output
    0 output buffer failures, 0 output buffers swapped out

 

TenGigabitEthernet3/2 is up, line protocol is up (connected)
 Hardware is C7600 10Gb 802.3, address is 001c.0f5d.e300 (bia 001c.0f5d.e300)
 MTU 1532 bytes, BW 10000000 Kbit, DLY 10 usec,
    reliability 255/255, txload 56/255, rxload 23/255
 Encapsulation 802.1Q Virtual LAN, Vlan ID  1., loopback not set
 Keepalive set (10 sec)
 Full-duplex, 10Gb/s
 Transport mode LAN (10GBASE-R, 10.3125Gb/s)
 input flow-control is off, output flow-control is off
 ARP type: ARPA, ARP Timeout 04:00:00
 Last input 00:00:00, output 00:00:00, output hang never
 Last clearing of "show interface" counters 3d15h
 Input queue: 0/1000/0/0 (size/max/drops/flushes); Total output drops: 0
 Queueing strategy: fifo
 Output queue: 0/40 (size/max)
 5 minute input rate 934679000 bits/sec, 213444 packets/sec
 5 minute output rate 2208886000 bits/sec, 268784 packets/sec
 L2 Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes
 L3 in Switched: ucast: 0 pkt, 0 bytes - mcast: 0 pkt, 0 bytes mcast
 L3 out Switched: ucast: 0 pkt, 0 bytes mcast: 0 pkt, 0 bytes
    101975101922 packets input, 60394925610621 bytes, 0 no buffer
    Received 510914 broadcasts (0 IP multicasts)
    0 runts, 0 giants, 0 throttles
    0 input errors, 0 CRC, 0 frame, 192860188 overrun, 0 ignored
    0 watchdog, 0 multicast, 0 pause input
    0 input packets with dribble condition detected
    115112976372 packets output, 110295692922280 bytes, 0 underruns
    0 output errors, 0 collisions, 0 interface resets
    0 babbles, 0 late collision, 0 deferred
    0 lost carrier, 0 no carrier, 0 pause output
    0 output buffer failures, 0 output buffers swapped out

 

Рабочая гипотиза - CFC не справляется с нагрузкой.

NAME: "module 3", DESCR: "WS-X6704-10GE CEF720 4 port 10-Gigabit Ethernet Rev. 2.7"
PID: WS-X6704-10GE     , VID: V02, SN: SAL1252E1LN

NAME: "switching engine sub-module of 3", DESCR: "WS-F6700-CFC Centralized Forwarding Card Rev. 4.1"
PID: WS-F6700-CFC      , VID: V06, SN: SAL1304H8BU

Изменено 16 октября, 2012 пользователем secandr

[config]

Show platform hardware mode pfc как то так или что то подобное.

 

Show interface x/x switching , писать полностью может быть скрыто слово switching

 

Show fabric err

Show fabric drop

Изменено 16 октября, 2012 пользователем config

[secandr]

Show platform hardware pfc mode

PFC operating mode : PFC3C

 

Show interface x/x switching

TenGigabitEthernet3/1
         Throttle count          0
       Drops         RP          4         SP          0
 SPD Flushes       Fast          4        SSE          0
 SPD Aggress       Fast          0
SPD Priority     Inputs     378190      Drops          0

    Protocol       Path    Pkts In   Chars In   Pkts Out  Chars Out
          IP    Process   15576189 2149225331   15890899 1981661428
           Cache misses          0
                   Fast    7816089 2767659629        179      94167
              Auton/SSE 1630255250403 1004437002141325 130831057096 121425040241602
         ARP    Process        659      39540        671      64416
           Cache misses          0
                   Fast          0          0          0          0
              Auton/SSE          0          0          0          0
        MPLS    Process    3154876  317573222   10789456 1513526478
           Cache misses          0
                   Fast          0          0    5077547  488692358
              Auton/SSE          0          0 1625898407104 1456381912669772

 

TenGigabitEthernet3/2
         Throttle count          0
       Drops         RP          0         SP          0
 SPD Flushes       Fast          0        SSE          0
 SPD Aggress       Fast          0
SPD Priority     Inputs     588747      Drops          0

    Protocol       Path    Pkts In   Chars In   Pkts Out  Chars Out
          IP    Process    8814858  770012442    6731019  978374523
           Cache misses          0
                   Fast      15118    9548253     446323  610444095
              Auton/SSE 2672669083395 1512212037095880 7415200806 3345503923459
         ARP    Process        659      39540        673      64608
           Cache misses          0
                   Fast          0          0          0          0
              Auton/SSE          0          0          0          0
        MPLS    Process      87779    8892009    1126880  173502941
           Cache misses          0
                   Fast        123      30433       3646    1280950
              Auton/SSE          0          0 2918244694598 2662670199003736

 

Show fabric err

Module errors:
slot    channel        crc      hbeat       sync   DDR sync
   1          0          0          0          0          0
   2          0          0          0          0          0
   2          1          0          0          0          0
   3          0          0          0          0          0
   3          1          0          0          0          0
   4          0          0          0          0          0
   4          1          0          0          0          0
   5          0          0          0          0          0

Fabric errors:
slot    channel       sync     buffer    timeout
   1          0          0          0          0
   2          0          0          0          0
   2          1          0          0          0
   3          0          0          0          0
   3          1          0          0          0
   4          0          0          0          0
   4          1          0          0          0
   5          0          0          0          0

Show fabric drop

 

  Packets dropped by fabric for different queues:
slot    channel    Low-Q-drops
   1          0             94 @22:40 15Oct12
   2          0             43 @21:40 15Oct12
   2          1             68 @21:40 15Oct12
   3          0             77 @21:40 15Oct12
   3          1             75 @21:40 15Oct12
   4          0             72 @21:40 15Oct12
   4          1             73 @21:40 15Oct12
   5          0              9 @21:21 15Oct12

Изменено 16 октября, 2012 пользователем secandr

[chocholl]

если так то покажите

show platform hardware central-rewrite drop

 

и посмотрите

show platform hardware central-rewrite drop

show platform hardware central-rewrite drop rate 1000 details

в часы пик.

 

перегруз по лукапам также должен быть виде в sho plat hard cap pfc (там где пиковые значения рисуются).

 

 

 

Рабочая гипотиза - CFC не справляется с нагрузкой.

NAME: "module 3", DESCR: "WS-X6704-10GE CEF720 4 port 10-Gigabit Ethernet Rev. 2.7"
PID: WS-X6704-10GE     , VID: V02, SN: SAL1252E1LN

NAME: "switching engine sub-module of 3", DESCR: "WS-F6700-CFC Centralized Forwarding Card Rev. 4.1"
PID: WS-F6700-CFC      , VID: V06, SN: SAL1304H8BU

[secandr]

show platform hardware central-rewrite drop

slot channel packet drops         total overruns
----+-------+--------------------+--------------+
1    0       0                    0
2    0       656                  0
2    1       1203266              0
3    0       1                    0
3    1       0                    0
4    0       0                    0
4    1       0                    0
5    0       0                    0

sho plat hard cap pfc

L2 Forwarding Resources
          MAC Table usage:   Module  Collisions  Total       Used       %Used
                             4                0  98304       4798          5%
                             5                0  98304       4808          5%

            VPN CAM usage:                       Total       Used       %Used
                                                   512          0          0%
L3 Forwarding Resources
Module              FIB TCAM usage:                     Total        Used     %Used
  4                     72 bits (IPv4, MPLS, EoM)      196608       30023     15%
                       144 bits (IP mcast, IPv6)       32768          219      1%

                    detail:      Protocol                    Used       %Used
                                 IPv4                       28988         15%
                                 MPLS                         973          1%
                                 EoM                           62          1%

                                 IPv6                           2          1%
                                 IPv4 mcast                   214          1%
                                 IPv6 mcast                     3          1%

           Adjacency usage:                     Total        Used       %Used
                                              1048576       13681          1%
L3 Forwarding Resources
Module              FIB TCAM usage:                     Total        Used     %Used
  5                     72 bits (IPv4, MPLS, EoM)      196608       30023     15%
                       144 bits (IP mcast, IPv6)       32768          219      1%

                    detail:      Protocol                    Used       %Used
                                 IPv4                       28988         15%
                                 MPLS                         973          1%
                                 EoM                           62          1%

                                 IPv6                           2          1%
                                 IPv4 mcast                   214          1%
                                 IPv6 mcast                     3          1%

           Adjacency usage:                     Total        Used       %Used
                                              1048576       13684          1%

    Forwarding engine load:
                    Module       pps   peak-pps                     peak-time
                    4         656617    2040247  17:48:38 MSK Tue Oct 2 2012
                    5        2062856    3764136  20:19:50 MSK Fri Oct 12 2012

Netflow Resources
         TCAM utilization:       Module       Created      Failed       %Used
                                 4                  0           0          0%
                                 5              73308           0         55%
         ICAM utilization:       Module       Created      Failed       %Used
                                 4                  0           0          0%
                                 5                  5           0          3%

                Flowmasks:   Mask#   Type        Features
                       IPv4:     0   reserved    none
                       IPv4:     1   Intf FulIntf NDE L3 Feature
                       IPv4:     2   unused      none
                       IPv4:     3   reserved    none

                       IPv6:     0   reserved    none
                       IPv6:     1   unused      none
                       IPv6:     2   unused      none
                       IPv6:     3   reserved    none

CPU Rate Limiters Resources
            Rate limiters:       Total         Used      Reserved       %Used
                   Layer 3           9            4             1         44%
                   Layer 2           4            2             2         50%

ACL/QoS TCAM Resources
 Key: ACLent - ACL TCAM entries, ACLmsk - ACL TCAM masks, AND - ANDOR,
      QoSent - QoS TCAM entries, QOSmsk - QoS TCAM masks, OR - ORAND,
      Lbl-in - ingress label, Lbl-eg - egress label, LOUsrc - LOU source,
      LOUdst - LOU destination, ADJ - ACL adjacency

 Module ACLent ACLmsk QoSent QoSmsk Lbl-in Lbl-eg LOUsrc LOUdst  AND  OR  ADJ
 4          8%     8%    14%    18%     5%     5%     0%     0%   6%  0%   1%
 5          8%     8%    16%    21%     6%     6%     0%     0%   6%  0%   1%

Вечером померяю еще, выложу завтра.

[chocholl]

не

не похоже на перегруз.

значения небольшие совсем.

 

а как сконфигурированы порты на 6704 (l2/l3, ченелы может быть)

какие там по трафику нагрузки?

[secandr]

netflow был зачем-то включен - отключил...

 

Настройки одинаковые.

interface TenGigabitEthernet3/1
mtu 1532
no ip address
logging event link-status
logging event trunk-status
mls qos trust cos
no cdp enable
hold-queue 1000 in
end
!
interface TenGigabitEthernet3/1.1
encapsulation dot1Q 4092
ip address __________ 255.255.255.252
ip pim sparse-mode
ip ospf message-digest-key 1 md5 *******
ip ospf network point-to-point
mpls label protocol ldp
mpls ip
no cdp enable
end

 

Загрузки по интерфейсам:

int = out/in

3/1 = 4/3

3/2 = 6/3

3/3 = 4/8

3/4 = 8/4

---------

sum = 22/18

[Tima]

Здравствуйте,

на карточке WS-X6704-10GE в cisco 7600 наблюдаем потери порядка 0,1%, при этом растут счётчики overrun

 

 

У 4х портовки маленькие аппаратные интерфейсные буферы, если вы нагрузите интерфейс траффиком и приправите микробурстами, дропы будут всегда. На 8ми портовке ситуация немного лучше.

 

Как с этим бороться?

 

 

Вероятно поможет переставить проблемный линк в другой порт, у которого канал с фабрикой загружен меньше.

[secandr]

Tima первое что пришло в голову - разгрузить карточку. Жду X2 модули.

 

P.S. Кстати, а QoS никак не может победить маленькие буферы?

Изменено 16 октября, 2012 пользователем secandr

[chocholl]

на восьмипортовке ситуация намного лучше, наверное вы хотели сказать ))

 

а ввобще единственное к чему можно придраться это именно к буферам в данном случае.

 

 

 

Здравствуйте,

на карточке WS-X6704-10GE в cisco 7600 наблюдаем потери порядка 0,1%, при этом растут счётчики overrun

 

 

У 4х портовки маленькие аппаратные интерфейсные буферы, если вы нагрузите интерфейс траффиком и приправите микробурстами, дропы будут всегда. На 8ми портовке ситуация немного лучше.

 

Как с этим бороться?

 

 

Вероятно поможет переставить проблемный линк в другой порт, у которого канал с фабрикой загружен меньше.

[secandr]

Я так понимаю, что для 6704 никакого толку от qos нет, ибо 1q8t - очередь одна...

[chocholl]

на прием очередь действительно только одна, но трешхолдов то 8.

правла использование ингрес очереди требует trust cos на интерфейсах, так как map работает только в режиме по 802.1p метке.

 

на 6708 помимо огромных по сравнению с 6704 размеров буферов можно матчить по dscp в одну из 8-ми очередей.

 

 

Я так понимаю, что для 6704 никакого толку от qos нет, ибо 1q8t - очередь одна...

[Дятел]

на восьмипортовке ситуация намного лучше, наверное вы хотели сказать ))

намного лучше на 16-типортовой )))

[alks]

8 портовка - имеется в виду 8x10GE? если да дайте намбер платы

[Дятел]

http://shop.nag.ru/catalog/02392.Cisco/06753.Moduli-6500/06098.WS-X6708-10G-3C

и

http://shop.nag.ru/catalog/02392.Cisco/06753.Moduli-6500/05417.WS-X6716-10G-3C

[alks]

ценник весьма бодрый и хз что с резервированием делать

[chocholl]

внимательно ознакомился со вторым постом ))

в курсе, наверное, что egres мультикаст репликация не работает совместно с активированным qos?

 

сколько там мультикаста бегает?

попробуйте включить Ingress режим.

(поломает все потоки при включении)

 

 

 

config спасибо.

Попробовал, поставил.

Помогло частично: потери несколько уменьшились, но overrun остались и картинка сыпется.

[secandr]

chocholl не понял про egres, мультикас и qos

[tartila]

внимательно ознакомился со вторым постом ))

в курсе, наверное, что egres мультикаст репликация не работает совместно с активированным qos?

 

сколько там мультикаста бегает?

попробуйте включить Ingress режим.

(поломает все потоки при включении)

 

Фраза "картинка сыплется", наверное, все же применительно к DATA потоку, не к IPTV... Счетчики мультикаста на ноле вроде бы везде.

Изменено 16 октября, 2012 пользователем tartila