Cisco 9300T. Один из портов etherchannel сменил скорость

[vbalykin]

Обнаружил сегодня в логах Cisco 9300T ругань на один из портов, объединённых в etherchannel:

    May 25 2022 21:44:55 VLDK: %LINEPROTO-5-UPDOWN: Line protocol on Interface GigabitEthernet1/0/8, changed state to down
    May 25 2022 21:44:56 VLDK: %LINK-3-UPDOWN: Interface GigabitEthernet1/0/8, changed state to down
    May 25 2022 21:44:59 VLDK: %LINK-3-UPDOWN: Interface GigabitEthernet1/0/8, changed state to up
    May 25 2022 21:45:00 VLDK: %LINEPROTO-5-UPDOWN: Line protocol on Interface GigabitEthernet1/0/8, changed state to up
    May 25 2022 21:45:06 VLDK: %LINEPROTO-5-UPDOWN: Line protocol on Interface GigabitEthernet1/0/8, changed state to down
    May 25 2022 21:45:07 VLDK: %LINK-3-UPDOWN: Interface GigabitEthernet1/0/8, changed state to down
    May 25 2022 21:45:09 VLDK: %LINK-3-UPDOWN: Interface GigabitEthernet1/0/8, changed state to up
    May 25 2022 21:45:11 VLDK: %LINEPROTO-5-UPDOWN: Line protocol on Interface GigabitEthernet1/0/8, changed state to up
    May 25 2022 21:48:16 VLDK: %LINEPROTO-5-UPDOWN: Line protocol on Interface GigabitEthernet1/0/8, changed state to down
    May 25 2022 21:48:17 VLDK: %LINK-3-UPDOWN: Interface GigabitEthernet1/0/8, changed state to down
    May 25 2022 21:48:19 VLDK: %LINK-3-UPDOWN: Interface GigabitEthernet1/0/8, changed state to up
    May 25 2022 21:48:20 VLDK: %LINEPROTO-5-UPDOWN: Line protocol on Interface GigabitEthernet1/0/8, changed state to up
    May 25 2022 21:49:10 VLDK: %LINEPROTO-5-UPDOWN: Line protocol on Interface GigabitEthernet1/0/8, changed state to down
    May 25 2022 21:49:11 VLDK: %LINK-3-UPDOWN: Interface GigabitEthernet1/0/8, changed state to down
    May 25 2022 21:49:18 VLDK: %ETC-5-CANNOT_BUNDLE2: Gi1/0/8 is not compatible with Gi2/0/8 and will be suspended (speed of Gi1/0/8 is 100M, Gi2/0/8 is 1000M)
    May 25 2022 21:49:20 VLDK: %LINK-3-UPDOWN: Interface GigabitEthernet1/0/8, changed state to up

 

И действительно, один из портов находится в статусе s (suspended):

#show etherchannel 8 sum
    Flags:  D - down        P - bundled in port-channel
            I - stand-alone s - suspended
            H - Hot-standby (LACP only)
            R - Layer3      S - Layer2
            U - in use      f - failed to allocate aggregator

            M - not in use, minimum links not met
            u - unsuitable for bundling
            w - waiting to be aggregated
            d - default port

            A - formed by Auto LAG


    Number of channel-groups in use: 18
    Number of aggregators:           18

    Group  Port-channel  Protocol    Ports
    ------+-------------+-----------+-----------------------------------------------
    8      Po8(SU)         LACP        Gi1/0/8(s)      Gi2/0/8(P)

 

 

К этим портам подключен сервер Fujitsu RX200 S6 с гигабитными сетевыми адаптерами Intel 82575EB, на нём крутится Proxmox v5.2-6.

 

 

Вот фрагмент лога из /var/log/messages:

    May 25 21:44:54 pve80 kernel: [8679920.776723] igb 0000:01:00.0 ens1f0: igb: ens1f0 NIC Link is Down
    May 25 21:44:56 pve80 kernel: [8679923.417013] igb 0000:01:00.0 ens1f0: igb: ens1f0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
    May 25 21:44:57 pve80 kernel: [8679923.496746] bond0: link status definitely up for interface ens1f0, 1000 Mbps full duplex
    May 25 21:45:04 pve80 kernel: [8679931.200718] igb 0000:01:00.0 ens1f0: igb: ens1f0 NIC Link is Down
    May 25 21:45:07 pve80 kernel: [8679933.901045] igb 0000:01:00.0 ens1f0: igb: ens1f0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
    May 25 21:45:07 pve80 kernel: [8679934.000750] bond0: link status definitely up for interface ens1f0, 1000 Mbps full duplex
    May 25 21:48:14 pve80 kernel: [8680121.056715] igb 0000:01:00.0 ens1f0: igb: ens1f0 NIC Link is Down
    May 25 21:48:17 pve80 kernel: [8680123.721015] igb 0000:01:00.0 ens1f0: igb: ens1f0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
    May 25 21:48:17 pve80 kernel: [8680123.848778] bond0: link status definitely up for interface ens1f0, 1000 Mbps full duplex
    May 25 21:49:08 pve80 kernel: [8680175.144716] igb 0000:01:00.0 ens1f0: igb: ens1f0 NIC Link is Down
    May 25 21:49:17 pve80 kernel: [8680184.381067] igb 0000:01:00.0 ens1f0: igb: ens1f0 NIC Link is Up 100 Mbps Full Duplex, Flow Control: RX
    May 25 21:49:17 pve80 kernel: [8680184.381180] igb 0000:01:00.0 ens1f0: Link Speed was downgraded by SmartSpeed
    May 25 21:49:17 pve80 kernel: [8680184.396767] bond0: link status definitely up for interface ens1f0, 100 Mbps full duplex

Настройка бондинга на Proxmox v5.2-6 /etc/network/interfaces

    iface ens1f0 inet manual

    iface ens1f1 inet manual

    auto bond0
    iface bond0 inet manual
        slaves ens1f0 ens1f1
        bond_miimon 100
        bond-mode 802.3ad
        bond-lacp-rate slow

 

Выжимка из lshw:

   *-network:0
        description: Ethernet interface
        product: 82575EB Gigabit Network Connection
        vendor: Intel Corporation
        physical id: 0
        bus info: pci@0000:01:00.0
        logical name: ens1f0
        version: 02
        serial: 00:26:2d:09:3b:18
        size: 100Mbit/s
        capacity: 1Gbit/s
        width: 32 bits
        clock: 33MHz
        capabilities: pm msi msix pciexpress bus_master cap_list rom ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation
        configuration: autonegotiation=on broadcast=yes driver=igb driverversion=5.4.0-k duplex=full firmware=2.1.5 latency=0 link=yes multicast=yes port=twisted pair slave=yes speed=100Mbit/s
        resources: irq:24 memory:ce160000-ce17ffff memory:ce140000-ce15ffff ioport:2000(size=32) memory:ce100000-ce103fff memory:ce120000-ce13ffff
   *-network:1
        description: Ethernet interface
        product: 82575EB Gigabit Network Connection
        vendor: Intel Corporation
        physical id: 0.1
        bus info: pci@0000:01:00.1
        logical name: ens1f1
        version: 02
        serial: 00:26:2d:09:3b:18
        size: 1Gbit/s
        capacity: 1Gbit/s
        width: 32 bits
        clock: 33MHz
        capabilities: pm msi msix pciexpress bus_master cap_list rom ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation
        configuration: autonegotiation=on broadcast=yes driver=igb driverversion=5.4.0-k duplex=full firmware=2.1.5 latency=0 link=yes multicast=yes port=twisted pair slave=yes speed=1Gbit/s
        resources: irq:38 memory:ce1c0000-ce1dffff memory:ce1a0000-ce1bffff ioport:2020(size=32) memory:ce104000-ce107fff memory:ce180000-ce19ffff

Настройки бондинга на Cisco 9300T:

    interface Port-channel8
     switchport mode trunk
     switchport nonegotiate
    !
    interface GigabitEthernet1/0/8
     switchport mode trunk
     switchport nonegotiate
     channel-group 8 mode active
    !
    interface GigabitEthernet2/0/8
     switchport mode trunk
     switchport nonegotiate
     channel-group 8 mode active
    !

Версия IOS:

    Cisco IOS XE Software, Version 17.03.04
    Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.4, RELEASE SOFTWARE (fc3)

В этот момент времени никаких работ не проводилось, какая-либо нагрузка тоже отсутствовала.

 

Кто виноват в данной ситуации: Cisco, Proxmox, кто-то ещё?
 

[fractal]

Ошибки на портах смотрели? Возможно банально на физике окислились контакты

[[anp/hsw]]

Есть у циски что-то похожее на int x/x -> negotiation 1000f ?

Уберите из согласования любые режимы кроме гигабита. При перетыкании патчкорда действительно есть ненулевая вероятность, что медный порт залинкуется на 100 (особенно, если человек сразу коннектор до конца не смог вставить, а пытался его в разьеме шевелить).

[VolanD666]

TDR попробуйте на порту, вроде 9300 должен быть. Ну скорее всего что-то с физикой, у вас линк моргает.

[kapydan]

линк в этом порту целый, кабель не поломан? было такое тоже с каталистами 9300 - там проблема оказалась в слишком загнутом кабеле (причем, столкнулись на обычном медном utp). ну и на одном из свичей оптику слишком сильно загнули дверцей от ящика - тоже была подобная проблема.

 

В 26.05.2022 в 14:48, VolanD666 сказал:

Ну скорее всего что-то с физикой, у вас линк моргает.

именно так и есть