Jump to content
Калькуляторы

Cisco nexus 9372PX-E lacp port suspend

Привет ребята!

Я новичек в Cisco , но задачу мне все же поставили и я должен ее решить, но столкнулся с проблемкой и прошу Вашей помощи.

 

Задача стоит перенести аплинки со свитча Cisco Catalyst c2960x-48ts (два линка по 1 Gbps агрегированных LACP ) на свитч Cisco Nexus 9372PX-E (тут уже будет два линка по 10Gbps так же агрегированных с LACP) и так как за catalyst еще живут клиенты то переносить нужно поочередно. Причем делается это все удаленно  без физического контакта с оборудованием...

 

В этом дата центра аплинком выступает Arista 7260cx3 и даже при конфигурировании старого доброго catalyst тоже были проблемы которые решились добавлением следующих опций в конфигурацию:

 

service unsupported-transceive

spanning-tree mode rapid-pvst
spanning-tree extend system-id
no errdisable detect cause gbic-invalid
no errdisable detect cause sfp-config-mismatch
errdisable recovery cause gbic-invalid


Ну и конфигурация интерфейсов тоже специфична:

 

interface Port-channel1
 switchport mode access
 switchport nonegotiate
 speed nonegotiate


interface GigabitEthernet1/0/49
 switchport mode access
 switchport nonegotiate
 speed nonegotiate
 channel-protocol lacp
 channel-group 1 mode active
!
interface GigabitEthernet1/0/50
 switchport mode access
 switchport nonegotiate
 speed nonegotiate
 channel-protocol lacp
 channel-group 1 mode active
!


Только в такой конфигурации это все завелось и работает по сей день. Сейчас линк из 50 го интерфейса переставили в Nexus , пока я не добавляю новый интерфейс в channel-group он вроди бы работает исправно:

 

 sh int e 1/48
Ethernet1/48 is up
admin state is up, Dedicated Interface
  Hardware: 1000/10000 Ethernet, address: 00c8.8bcc.4091 (bia 00c8.8bcc.4091)
  MTU 1500 bytes, BW 10000000 Kbit , DLY 10 usec
  reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA, medium is broadcast
  Port mode is access
  full-duplex, 10 Gb/s, media type is 10G
  Beacon is turned off
  Auto-Negotiation is turned on  FEC mode is Auto
  Input flow-control is off, output flow-control is off
  Auto-mdix is turned off
  Rate mode is dedicated
  Switchport monitor is off 
  EtherType is 0x8100 
  EEE (efficient-ethernet) : n/a
    admin fec state is auto, oper fec state is off
  Last link flapped 00:00:15
  Last clearing of "show interface" counters 01:23:34
  4 interface resets
  Load-Interval #1: 30 seconds
    30 seconds input rate 720 bits/sec, 0 packets/sec
    30 seconds output rate 344 bits/sec, 0 packets/sec
    input rate 720 bps, 0 pps; output rate 344 bps, 0 pps
  Load-Interval #2: 5 minute (300 seconds)
    300 seconds input rate 16 bits/sec, 0 packets/sec
    300 seconds output rate 16 bits/sec, 0 packets/sec
    input rate 16 bps, 0 pps; output rate 16 bps, 0 pps
  RX
    0 unicast packets  375 multicast packets  0 broadcast packets
    375 input packets  64968 bytes
    0 jumbo packets  0 storm suppression packets
    0 runts  0 giants  0 CRC  0 no buffer
    0 input error  0 short frame  0 overrun   0 underrun  0 ignored
    0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop
    0 input with dribble  0 input discard
    0 Rx pause
  TX
    0 unicast packets  266 multicast packets  0 broadcast packets
    266 output packets  44686 bytes
    0 jumbo packets
    0 output error  0 collision  0 deferred  0 late collision
    0 lost carrier  0 no carrier  0 babble  0 output discard
    0 Tx pause


но стоит добавить его в channel-group как он тут же переходит в статус suspend:

 

sh int e 1/48
Ethernet1/48 is down (suspended)
admin state is up, Dedicated Interface
  Belongs to Po1
  Hardware: 1000/10000 Ethernet, address: 00c8.8bcc.4091 (bia 00c8.8bcc.4091)
  MTU 1500 bytes, BW 10000000 Kbit , DLY 10 usec
  reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA, medium is broadcast
  Port mode is access
  auto-duplex, auto-speed, media type is 10G
  Beacon is turned off
  Auto-Negotiation is turned on  FEC mode is Auto
  Input flow-control is off, output flow-control is off
  Auto-mdix is turned off
  Rate mode is dedicated
  Switchport monitor is off 
  EtherType is 0x8100 
  EEE (efficient-ethernet) : n/a
    admin fec state is auto, oper fec state is off
  Last link flapped 00:00:31
  Last clearing of "show interface" counters 00:00:33
  4 interface resets
  Load-Interval #1: 30 seconds
    30 seconds input rate 800 bits/sec, 0 packets/sec
    30 seconds output rate 312 bits/sec, 0 packets/sec
    input rate 800 bps, 0 pps; output rate 312 bps, 0 pps
  Load-Interval #2: 5 minute (300 seconds)
    300 seconds input rate 48 bits/sec, 0 packets/sec
    300 seconds output rate 200 bits/sec, 0 packets/sec
    input rate 48 bps, 0 pps; output rate 200 bps, 0 pps
  RX
    0 unicast packets  27 multicast packets  0 broadcast packets
    27 input packets  3557 bytes
    0 jumbo packets  0 storm suppression packets
    0 runts  0 giants  0 CRC  0 no buffer
    0 input error  0 short frame  0 overrun   0 underrun  0 ignored
    0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop
    0 input with dribble  0 input discard
    0 Rx pause
  TX
    0 unicast packets  6 multicast packets  0 broadcast packets
    6 output packets  1146 bytes
    0 jumbo packets
    0 output error  0 collision  0 deferred  0 late collision
    0 lost carrier  0 no carrier  0 babble  0 output discard
    0 Tx pause

на новом месте конфигурировать пытаюсь так:

- int e1/47-48
- switchport

- switchport mode access

- channel-group 1 mode active

- no shutdown

 

- int port-channel 1

- switchport

- switchport mode access

- no shutdown


Состояние этого порта сейчас такое:

 

sh port-channel summary 
Flags:  D - Down        P - Up in port-channel (members)
        I - Individual  H - Hot-standby (LACP only)
        s - Suspended   r - Module-removed
        b - BFD Session Wait
        S - Switched    R - Routed
        U - Up (port-channel)
        p - Up in delay-lacp mode (member)
        M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port-       Type     Protocol  Member Ports
      Channel
--------------------------------------------------------------------------------
1     Po1(SD)     Eth      LACP      Eth1/47(D)   Eth1/48(s)   

 

В логах есть одна неприятная строчка:

 

2011 Jan  5 03:00:08 just-sw1 %ETHPORT-3-IF_UNSUPPORTED_TRANSCEIVER: Transceiver
 on interface Ethernet1/48 is not supported


Но меня смущает что при этом интерфейс то поднимается без LACP ....

Лог предшестующий остановке интерфейса выглядит так:

 

2011 Jan  5 04:57:17 just-sw1 %ETHPORT-5-SPEED: Interface Ethernet1/48, operatio
nal speed changed to 10 Gbps
2011 Jan  5 04:57:17 just-sw1 %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/48, oper
ational duplex mode changed to Full
2011 Jan  5 04:57:17 just-sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1
/48, operational Receive Flow Control state changed to off
2011 Jan  5 04:57:17 just-sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1
/48, operational Transmit Flow Control state changed to off
2011 Jan  5 04:57:17 just-sw1 %ETHPORT-5-IF_UP: Interface Ethernet1/48 is up in 
mode access
2011 Jan  5 04:59:19 just-sw1 %ETHPORT-5-IF_DOWN_CHANNEL_MEMBERSHIP_UPDATE_IN_PR
OGRESS: Interface Ethernet1/48 is down (Channel membership update in progress)
2011 Jan  5 04:59:21 just-sw1 %ETHPORT-5-SPEED: Interface Ethernet1/48, operatio
nal speed changed to 10 Gbps
2011 Jan  5 04:59:21 just-sw1 %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/48, oper
ational duplex mode changed to Full
2011 Jan  5 04:59:21 just-sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1
/48, operational Receive Flow Control state changed to off
2011 Jan  5 04:59:21 just-sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1
/48, operational Transmit Flow Control state changed to off
2011 Jan  5 04:59:21 just-sw1 %ETHPORT-5-SPEED: Interface port-channel1, operati
onal speed changed to 10 Gbps
2011 Jan  5 04:59:21 just-sw1 %ETHPORT-5-IF_DUPLEX: Interface port-channel1, ope
rational duplex mode changed to Full
2011 Jan  5 04:59:21 just-sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface port-chan
nel1, operational Receive Flow Control state changed to off
2011 Jan  5 04:59:21 just-sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface port-chan
nel1, operational Transmit Flow Control state changed to off
2011 Jan  5 04:59:46 just-sw1 %ETH_PORT_CHANNEL-5-PORT_SUSPENDED: Ethernet1/48: 
Ethernet1/48 is suspended


Вот и вся вводная информация, подскажите пожалуйста в какую сторону копать, что можно попробовать?

Share this post


Link to post
Share on other sites

Выведите его из lacp на другой стороне... 

Edited by alexgreat

Share this post


Link to post
Share on other sites
1 hour ago, alexgreat said:

Выведите его из lacp на другой стороне... 

 

Другая сторона не в моем подчинении, ДЦ требует что бы порты были агрегированы..

Share this post


Link to post
Share on other sites
2 minutes ago, zhenya` said:

Смените трансивер.

Ну другого нет, при заказе специально просил поставщика предоставить подходящие трансиверы и в документации он вроди как числится среди допустимых, подробности о транивере:

 

sh int e 1/48 transceiver details 
Ethernet1/48
    transceiver is present
    type is 10Gbase-LR
    name is Arista Networks
    part number is SFP-10G-LR
    revision is 0002
    serial number is XDP150401719
    nominal bitrate is 10300 MBit/sec
    Link length supported for 9/125um fiber is 10 km
    cisco id is 3
    cisco extended id number is 4

           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   45.23 C        85.00 C    -15.00 C     80.00 C      -10.00 C
  Voltage        3.27 V         3.79 V      2.79 V      3.70 V        2.90 V
  Current       29.21 mA       90.00 mA     2.00 mA    80.00 mA       3.00 mA
  Tx Power      -2.95 dBm       1.99 dBm  -10.22 dBm    1.00 dBm     -9.20 dBm
  Rx Power      -1.86 dBm       0.99 dBm  -20.00 dBm    0.00 dBm    -19.20 dBm
  Transmit Fault Count = 0
  ----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

just-sw1# sh int e 1/48 transceiver calibrations 
Ethernet1/48
    transceiver is present
    type is 10Gbase-LR
    name is Arista Networks
    part number is SFP-10G-LR
    revision is 0002
    serial number is XDP150401719
    nominal bitrate is 10300 MBit/sec
    Link length supported for 9/125um fiber is 10 km
    cisco id is 3
    cisco extended id number is 4

SFP is internally calibrated

 

 

По поддержке модуля заявлено как поддерживаемый 5aZsu21.png

Share this post


Link to post
Share on other sites

И еще такой момент я обновлял прошивку там стояла aci-n9000-dk9.11.2.1m.bin

А я поставил nxos.9.3.5.bin

Share this post


Link to post
Share on other sites

@BabiyPetr

Я не совсем понимаю, чего вы добиваетесь. Cделать LACP из двух портов, при этом второй их конец будет на разных железках?! Бред какой то...

Чтобы перевести этот линк без прерывания сервиса надо:

1. вывести один из линков из LACP на стороне ДЦ и перевести его в другой LACP. 

2. поднять линки между ДЦ и нексусом и нексусом и каталистом.

3. на строне ДЦ погасить LACP до каталиста, переключить физически в нексус и добавить его в LACP

Share this post


Link to post
Share on other sites
14 minutes ago, alexgreat said:

@BabiyPetr

Я не совсем понимаю, чего вы добиваетесь. Cделать LACP из двух портов, при этом второй их конец будет на разных железках?! Бред какой то...

Чтобы перевести этот линк без прерывания сервиса надо:

1. вывести один из линков из LACP на стороне ДЦ и перевести его в другой LACP. 

2. поднять линки между ДЦ и нексусом и нексусом и каталистом.

3. на строне ДЦ погасить LACP до каталиста, переключить физически в нексус и добавить его в LACP

Дело в том что это Сингапурское отделение одного из крупных мировых ДЦ, но инженеры которые там находятся похоже того же уровня что и я)) Общение с ними у нас идет очень туго... когда поднимали аплинк с каталистом то потратили две недели пока не достучались до европейской сетевой команды и они уже дали разъяснения и нам и им))

Сейчас я затрудняюсь сказать как сконфигурирован этот линк на их стороне, выведен ли он из LACP или нет, то что он поднимается без LACP может свидетельствовать что он выведен?

Но меня смущает то что когда линк поднят то пинги к дефолтному шлюзу нашей сети не идут..  ну и сосбвенно так же нельзя достучаться до IP адреса который прописан для менеджмента

 

Наверное не стану отнимать Ваше время, попробую достучаться до европейского офиса , возможно получится оперативно уточнить детали)

Спасибо за посильную помощь

Edited by BabiyPetr

Share this post


Link to post
Share on other sites

Бегло просмотрел тему, поэтому могу гнать дичь, извините... Я надеюсь вы не пытаетесь включить связать в LACP порты с разной скоростью? То есть 2 порта по 1 Gb/sec - это окей. 2 порта по 10Gb/sec - тоже окей. А вот один порт 1Gb/sec, второй - 10Gb/sec - это НЕ окей.

Share this post


Link to post
Share on other sites
3 hours ago, Pinkbyte said:

Бегло просмотрел тему, поэтому могу гнать дичь, извините... Я надеюсь вы не пытаетесь включить связать в LACP порты с разной скоростью? То есть 2 порта по 1 Gb/sec - это окей. 2 порта по 10Gb/sec - тоже окей. А вот один порт 1Gb/sec, второй - 10Gb/sec - это НЕ окей.

Да, проблема была именно в этом, как только оба линка переставили в Nexus так сразу же все заработало. В итоге получился небольшой даунтайм (2-3 минутки) пока перетыкнули сервера в новый свитч.

Share this post


Link to post
Share on other sites

 

1 час назад, BabiyPetr сказал:

Да, проблема была именно в этом, как только оба линка переставили в Nexus так сразу же все заработало. В итоге получился небольшой даунтайм (2-3 минутки) пока перетыкнули сервера в новый свитч.

проблема была не в этом, а в том что один лацп от оператора приземляешь на две разных своих железки

Share this post


Link to post
Share on other sites

Ну подумаешь, я тоже когда-то думал что LACP подразумевает MC-LAG :-)

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now