Перейти к содержимому
Калькуляторы

ASR9006 + HP MAS2040 Ошибки на интерфейсах

Всем привет.

У нас к ASR9006 подключена корзина HP MSA2040 через SFP+ интерфейсы. На корзине хранятся виртуалки (ESXi). После переезда оборудования в новый автозал виртуалки стали периодически тупить. Выяснилось, что рандомно увеличивается время обращения к корзине (иногда достигает 10 сек). Стал разбираться и выяснил, что на ASR9006 на оптическом порту проблема с уровнями на прием (от корзины). На самом порту ошибок нет, но если посмотреть детальную инфу о SFP+ модуле, то там есть ошибки CRC:

 

Уровни:

RP/0/RSP0/CPU0:RU-ASR01#sh controllers tenGigE 0/0/1/7 phy  
Thu Jul 20 14:59:01.184 MSK

SFP EEPROM  port: 7
       Xcvr Type: SFP
       Xcvr Code: SFP-10G-SR
       Encoding: 64B66B
       Bit Rate: 10300 Mbps
       Link Reach 50u fiber: 80 meter
       Link Reach 62.5u fiber: 20 meter
       Vendor Name: CISCO-JDSU      
       Vendor OUI: 00.01.9c
       Vendor Part Number: PLRXPL-SC-S43-CS (rev.: 1   )
       Laser wavelength: 850 nm (fraction: 0.00 nm)
       Optional SFP Signal: Rate Sel, LOS 
       Vendor Serial Number: JUR18381AWP     
       Date Code (yy/mm/dd): 14/09/23  lot code:   
       Diagnostic Monitoring: DOM, Int. Cal., 
       Enhanced Options: SW RX LOS Mon., SW TX Fault Mon, SW TX Disable, Alarm/Warning Flags


       Temperature: 29.434
       Voltage: 3.303 Volt
       Tx Bias: 5.632 mAmps
       Tx Power:  0.567 mW (-2.46 dBm)
       Rx Power:  0.066 mW (-11.80 dBm)

 

Как видно на RX уровень низкий (-11.80). По идде, циска должна ныла аларм на это сгенерировать, но она молчит.

 

Статистика:

 

Statistics for interface TenGigE0/0/1/7 (cached values):

Ingress: 
   Input total bytes           = 1516397301356
   Input good bytes            = 1516397301356

   Input total packets         = 1173007042
   Input 802.1Q frames         = 0
   Input pause frames          = 0
   Input pkts 64 bytes         = 5948
   Input pkts 65-127 bytes     = 155425924
   Input pkts 128-255 bytes    = 7640610
   Input pkts 256-511 bytes    = 10612344
   Input pkts 512-1023 bytes   = 13390266
   Input pkts 1024-1518 bytes  = 985913879
   Input pkts 1519-Max bytes   = 0

   Input good pkts             = 1171543791
   Input unicast pkts          = 1173006967
   Input multicast pkts        = 0
   Input broadcast pkts        = 75

   Input drop overrun          = 0
   Input drop abort            = 0
   Input drop invalid VLAN     = 0
   Input drop invalid DMAC     = 0
   Input drop invalid encap    = 0
   Input drop other            = 0

   Input error giant           = 0
   Input error runt            = 0
   Input error jabbers         = 18046
   Input error fragments       = 25
   Input error CRC             = 1441193
   Input error collisions      = 0
   Input error symbol          = 52267047
   Input error other           = 3987

   Input MIB giant             = 0
   Input MIB jabber            = 18046
   Input MIB CRC               = 1441193

Egress:
   Output total bytes          = 821240557688
   Output good bytes           = 821240557688

   Output total packets        = 670106080
   Output 802.1Q frames        = 0
   Output pause frames         = 0
   Output pkts 64 bytes        = 659112
   Output pkts 65-127 bytes    = 120812737
   Output pkts 128-255 bytes   = 4485753
   Output pkts 256-511 bytes   = 2901832
   Output pkts 512-1023 bytes  = 5100810
   Output pkts 1024-1518 bytes = 536145836
   Output pkts 1519-Max bytes  = 0

   Output good pkts            = 670106080
   Output unicast pkts         = 667744146
   Output multicast pkts       = 1703163
   Output broadcast pkts       = 658771

   Output drop underrun        = 0
   Output drop abort           = 0
   Output drop other           = 0

   Output error other          = 0

 

Видно, что на Input много ошибок и они увеличиваются

 

На интерфейсе ошибки почему-то не показывает:

 

RP/0/RSP0/CPU0:RU-ASR01#sh int tenGigE 0/0/1/7              
Thu Jul 20 15:02:26.566 MSK
TenGigE0/0/1/7 is up, line protocol is up 
 Interface state transitions: 183
 Hardware is TenGigE, address is 10f3.1154.6ea7 (bia 10f3.1154.6ea7)
 Layer 1 Transport Mode is LAN
 Internet address is Unknown
 MTU 1514 bytes, BW 10000000 Kbit (Max: 10000000 Kbit)
    reliability 230/255, txload 0/255, rxload 0/255
 Encapsulation ARPA,
 Full-duplex, 10000Mb/s, link type is force-up
 output flow control is off, input flow control is off
 loopback not set,
 Last input 00:00:00, output 00:00:00
 Last clearing of "show interface" counters never
 5 minute input rate 4727000 bits/sec, 451 packets/sec
 5 minute output rate 427000 bits/sec, 102 packets/sec
    1171593766 packets input, 1516461920718 bytes, 0 total input drops
    0 drops for unrecognized upper-level protocol
    Received 75 broadcast packets, 0 multicast packets
             25 runts, 18047 giants, 0 throttles, 0 parity
    53733427 input errors, 1441260 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort
    670118693 packets output, 821247933800 bytes, 0 total output drops
    Output 658773 broadcast packets, 1703246 multicast packets
    0 output errors, 0 underruns, 0 applique, 0 resets
    0 output buffer failures, 0 output buffers swapped out
    183 carrier transitions

 

 

При переезде часть оптических патч-кордов (10 метровые) остались старые, часть заменили новые (5 метров). Но ошибки есть по всем портам. Куда копать? Патч-корды менять или SFP?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У нас к ASR9006 подключена корзина HP MSA2040 через SFP+ интерфейсы

 

Оффтоп: а не подскажите, по подробней, для каких целей?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У нас к ASR9006 подключена корзина HP MSA2040 через SFP+ интерфейсы

 

Оффтоп: а не подскажите, по подробней, для каких целей?

 

Как я говорил, на корзине хранятся виртуалки ESXi (vmWare). У нас просто нет пока коммутатора с 10Gb интерфейсами и пришлось так выкручиваться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

-12 для SR это норм. Как можно жить без jumbo) почистите счетчики. Что за плата?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

-12 для SR это норм. Как можно жить без jumbo) почистите счетчики. Что за плата?

 

Плата A9K-MOD160-TR. Почистил, но счетчики растут. Смущает то, что Input total bytes совпадает с Input good bytes:

 

Statistics for interface TenGigE0/0/1/6 (cached values):

Ingress: 
   Input total bytes           = 28024168
   Input good bytes            = 28024168

   Input total packets         = 24582
   Input 802.1Q frames         = 0
   Input pause frames          = 0
   Input pkts 64 bytes         = 1
   Input pkts 65-127 bytes     = 1562
   Input pkts 128-255 bytes    = 658
   Input pkts 256-511 bytes    = 1879
   Input pkts 512-1023 bytes   = 2181
   Input pkts 1024-1518 bytes  = 18292
   Input pkts 1519-Max bytes   = 0

   Input good pkts             = 23830
   Input unicast pkts          = 24582
   Input multicast pkts        = 0
   Input broadcast pkts        = 0

   Input drop overrun          = 0
   Input drop abort            = 0
   Input drop invalid VLAN     = 0
   Input drop invalid DMAC     = 0
   Input drop invalid encap    = 0
   Input drop other            = 0

   Input error giant           = 0
   Input error runt            = 0
   Input error jabbers         = 9
   Input error fragments       = 0
   Input error CRC             = 738
   Input error collisions      = 0
   Input error symbol          = 1020
   Input error other           = 5

   Input MIB giant             = 0
   Input MIB jabber            = 9
   Input MIB CRC               = 738

Egress:
   Output total bytes          = 7671865
   Output good bytes           = 7671865

   Output total packets        = 15723
   Output 802.1Q frames        = 0
   Output pause frames         = 0
   Output pkts 64 bytes        = 2
   Output pkts 65-127 bytes    = 10352
   Output pkts 128-255 bytes   = 340
   Output pkts 256-511 bytes   = 109
   Output pkts 512-1023 bytes  = 177
   Output pkts 1024-1518 bytes = 4744
   Output pkts 1519-Max bytes  = 0

   Output good pkts            = 15723
   Output unicast pkts         = 15701
   Output multicast pkts       = 20
   Output broadcast pkts       = 2

   Output drop underrun        = 0
   Output drop abort           = 0
   Output drop other           = 0

   Output error other          = 0

 

-12 для SR это норм. Как можно жить без jumbo) почистите счетчики. Что за плата?

 

Имеет смысл короткие патч-корды ставить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Нет, не имеет. А вот jumbo лучше включить. На интерфейсе кстати у вас в выводе ошибки есть. Input errors и CRC.

Ошибки на обоих интерфейсах? Поменять лучше трансивер.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как видно на RX уровень низкий (-11.80). По идде, циска должна ныла аларм на это сгенерировать, но она молчит.

-12 для SR это слабый сигнал, посмотрел на разных трансиверах на работающем оборудовании, у некоторых low warning -5, у некоторых -10.

 

На интерфейсе ошибки почему-то не показывает:

Очень даже показывает:

     53733427 input errors, 1441260 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort

 

Патчи и трансиверы стоит продуть и почистить. Патчи многомодовые?

Патчи уложены не слишком тесно? Не перегибаются? Были случаи что перекладывание патчкорда убирало 3-5 dB затухания.

Что показывают трансиверы на корзине? Какой уровень rx/tx? Есть ли ошибки CRC?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как видно на RX уровень низкий (-11.80). По идде, циска должна ныла аларм на это сгенерировать, но она молчит.

-12 для SR это слабый сигнал, посмотрел на разных трансиверах на работающем оборудовании, у некоторых low warning -5, у некоторых -10.

 

На интерфейсе ошибки почему-то не показывает:

Очень даже показывает:

     53733427 input errors, 1441260 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort

 

Патчи и трансиверы стоит продуть и почистить. Патчи многомодовые?

Патчи уложены не слишком тесно? Не перегибаются? Были случаи что перекладывание патчкорда убирало 3-5 dB затухания.

Что показывают трансиверы на корзине? Какой уровень rx/tx? Есть ли ошибки CRC?

 

Да, что то я тупанул. На интерфейсе тоже есть ошибки. Патчи - многомодовые. Уложены не очень тесно, но есть кольца. Раньше был длинный патч-корд и он был развернут почти на всю длину. Меня тоже удивило, что циска молчит, т.к. данный уровень подпадает под порог Warning Low. На корзине посмотреть уровни нет возможности. Получается дело в физике, раз CRC ошибки на интерфейсе? Буду перекладывать патч-корды и менять SFP

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Можете для теста поменять местами rx/tx с обоих сторон чтобы проверить какой уровень сигнала на прием будет на другом волокне патчкорда, и во время теста не укладывайте патчкорд в органайзер.

CRC ошибки однозначно из-за физики, вероятно из-за трансиверов в корзине HP.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Советую для начала обновиться на 5.3.4 smu 2, как минимум 50% глюков пройдут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Короче как выяснилось, при переносе оборудования коллега перепутал патч-корды. И подключил одномодовые, вместо многомодовых. Я не понимаю, как линки вообще поднялись. Кстати в другом месте (подключение HP c3000), там где должны были стоять одномодовые тоже перепутали и поставили многомод. Но там все работало без проблем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.