BabiyPetr Опубликовано 12 октября, 2020 · Жалоба Привет ребята! Я новичек в Cisco , но задачу мне все же поставили и я должен ее решить, но столкнулся с проблемкой и прошу Вашей помощи. Задача стоит перенести аплинки со свитча Cisco Catalyst c2960x-48ts (два линка по 1 Gbps агрегированных LACP ) на свитч Cisco Nexus 9372PX-E (тут уже будет два линка по 10Gbps так же агрегированных с LACP) и так как за catalyst еще живут клиенты то переносить нужно поочередно. Причем делается это все удаленно без физического контакта с оборудованием... В этом дата центра аплинком выступает Arista 7260cx3 и даже при конфигурировании старого доброго catalyst тоже были проблемы которые решились добавлением следующих опций в конфигурацию: service unsupported-transceive spanning-tree mode rapid-pvst spanning-tree extend system-id no errdisable detect cause gbic-invalid no errdisable detect cause sfp-config-mismatch errdisable recovery cause gbic-invalid Ну и конфигурация интерфейсов тоже специфична: interface Port-channel1 switchport mode access switchport nonegotiate speed nonegotiate interface GigabitEthernet1/0/49 switchport mode access switchport nonegotiate speed nonegotiate channel-protocol lacp channel-group 1 mode active ! interface GigabitEthernet1/0/50 switchport mode access switchport nonegotiate speed nonegotiate channel-protocol lacp channel-group 1 mode active ! Только в такой конфигурации это все завелось и работает по сей день. Сейчас линк из 50 го интерфейса переставили в Nexus , пока я не добавляю новый интерфейс в channel-group он вроди бы работает исправно: sh int e 1/48 Ethernet1/48 is up admin state is up, Dedicated Interface Hardware: 1000/10000 Ethernet, address: 00c8.8bcc.4091 (bia 00c8.8bcc.4091) MTU 1500 bytes, BW 10000000 Kbit , DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is access full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 00:00:15 Last clearing of "show interface" counters 01:23:34 4 interface resets Load-Interval #1: 30 seconds 30 seconds input rate 720 bits/sec, 0 packets/sec 30 seconds output rate 344 bits/sec, 0 packets/sec input rate 720 bps, 0 pps; output rate 344 bps, 0 pps Load-Interval #2: 5 minute (300 seconds) 300 seconds input rate 16 bits/sec, 0 packets/sec 300 seconds output rate 16 bits/sec, 0 packets/sec input rate 16 bps, 0 pps; output rate 16 bps, 0 pps RX 0 unicast packets 375 multicast packets 0 broadcast packets 375 input packets 64968 bytes 0 jumbo packets 0 storm suppression packets 0 runts 0 giants 0 CRC 0 no buffer 0 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause TX 0 unicast packets 266 multicast packets 0 broadcast packets 266 output packets 44686 bytes 0 jumbo packets 0 output error 0 collision 0 deferred 0 late collision 0 lost carrier 0 no carrier 0 babble 0 output discard 0 Tx pause но стоит добавить его в channel-group как он тут же переходит в статус suspend: sh int e 1/48 Ethernet1/48 is down (suspended) admin state is up, Dedicated Interface Belongs to Po1 Hardware: 1000/10000 Ethernet, address: 00c8.8bcc.4091 (bia 00c8.8bcc.4091) MTU 1500 bytes, BW 10000000 Kbit , DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is access auto-duplex, auto-speed, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 00:00:31 Last clearing of "show interface" counters 00:00:33 4 interface resets Load-Interval #1: 30 seconds 30 seconds input rate 800 bits/sec, 0 packets/sec 30 seconds output rate 312 bits/sec, 0 packets/sec input rate 800 bps, 0 pps; output rate 312 bps, 0 pps Load-Interval #2: 5 minute (300 seconds) 300 seconds input rate 48 bits/sec, 0 packets/sec 300 seconds output rate 200 bits/sec, 0 packets/sec input rate 48 bps, 0 pps; output rate 200 bps, 0 pps RX 0 unicast packets 27 multicast packets 0 broadcast packets 27 input packets 3557 bytes 0 jumbo packets 0 storm suppression packets 0 runts 0 giants 0 CRC 0 no buffer 0 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause TX 0 unicast packets 6 multicast packets 0 broadcast packets 6 output packets 1146 bytes 0 jumbo packets 0 output error 0 collision 0 deferred 0 late collision 0 lost carrier 0 no carrier 0 babble 0 output discard 0 Tx pause на новом месте конфигурировать пытаюсь так: - int e1/47-48 - switchport - switchport mode access - channel-group 1 mode active - no shutdown - int port-channel 1 - switchport - switchport mode access - no shutdown Состояние этого порта сейчас такое: sh port-channel summary Flags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed b - BFD Session Wait S - Switched R - Routed U - Up (port-channel) p - Up in delay-lacp mode (member) M - Not in use. Min-links not met -------------------------------------------------------------------------------- Group Port- Type Protocol Member Ports Channel -------------------------------------------------------------------------------- 1 Po1(SD) Eth LACP Eth1/47(D) Eth1/48(s) В логах есть одна неприятная строчка: 2011 Jan 5 03:00:08 just-sw1 %ETHPORT-3-IF_UNSUPPORTED_TRANSCEIVER: Transceiver on interface Ethernet1/48 is not supported Но меня смущает что при этом интерфейс то поднимается без LACP .... Лог предшестующий остановке интерфейса выглядит так: 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-SPEED: Interface Ethernet1/48, operatio nal speed changed to 10 Gbps 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/48, oper ational duplex mode changed to Full 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1 /48, operational Receive Flow Control state changed to off 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1 /48, operational Transmit Flow Control state changed to off 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-IF_UP: Interface Ethernet1/48 is up in mode access 2011 Jan 5 04:59:19 just-sw1 %ETHPORT-5-IF_DOWN_CHANNEL_MEMBERSHIP_UPDATE_IN_PR OGRESS: Interface Ethernet1/48 is down (Channel membership update in progress) 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-SPEED: Interface Ethernet1/48, operatio nal speed changed to 10 Gbps 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/48, oper ational duplex mode changed to Full 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1 /48, operational Receive Flow Control state changed to off 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1 /48, operational Transmit Flow Control state changed to off 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-SPEED: Interface port-channel1, operati onal speed changed to 10 Gbps 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_DUPLEX: Interface port-channel1, ope rational duplex mode changed to Full 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface port-chan nel1, operational Receive Flow Control state changed to off 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface port-chan nel1, operational Transmit Flow Control state changed to off 2011 Jan 5 04:59:46 just-sw1 %ETH_PORT_CHANNEL-5-PORT_SUSPENDED: Ethernet1/48: Ethernet1/48 is suspended Вот и вся вводная информация, подскажите пожалуйста в какую сторону копать, что можно попробовать? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexgreat Опубликовано 12 октября, 2020 (изменено) · Жалоба Выведите его из lacp на другой стороне... Изменено 12 октября, 2020 пользователем alexgreat Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BabiyPetr Опубликовано 12 октября, 2020 · Жалоба 1 hour ago, alexgreat said: Выведите его из lacp на другой стороне... Другая сторона не в моем подчинении, ДЦ требует что бы порты были агрегированы.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 12 октября, 2020 · Жалоба Смените трансивер. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BabiyPetr Опубликовано 12 октября, 2020 · Жалоба 2 minutes ago, zhenya` said: Смените трансивер. Ну другого нет, при заказе специально просил поставщика предоставить подходящие трансиверы и в документации он вроди как числится среди допустимых, подробности о транивере: sh int e 1/48 transceiver details Ethernet1/48 transceiver is present type is 10Gbase-LR name is Arista Networks part number is SFP-10G-LR revision is 0002 serial number is XDP150401719 nominal bitrate is 10300 MBit/sec Link length supported for 9/125um fiber is 10 km cisco id is 3 cisco extended id number is 4 SFP Detail Diagnostics Information (internal calibration) ---------------------------------------------------------------------------- Current Alarms Warnings Measurement High Low High Low ---------------------------------------------------------------------------- Temperature 45.23 C 85.00 C -15.00 C 80.00 C -10.00 C Voltage 3.27 V 3.79 V 2.79 V 3.70 V 2.90 V Current 29.21 mA 90.00 mA 2.00 mA 80.00 mA 3.00 mA Tx Power -2.95 dBm 1.99 dBm -10.22 dBm 1.00 dBm -9.20 dBm Rx Power -1.86 dBm 0.99 dBm -20.00 dBm 0.00 dBm -19.20 dBm Transmit Fault Count = 0 ---------------------------------------------------------------------------- Note: ++ high-alarm; + high-warning; -- low-alarm; - low-warning just-sw1# sh int e 1/48 transceiver calibrations Ethernet1/48 transceiver is present type is 10Gbase-LR name is Arista Networks part number is SFP-10G-LR revision is 0002 serial number is XDP150401719 nominal bitrate is 10300 MBit/sec Link length supported for 9/125um fiber is 10 km cisco id is 3 cisco extended id number is 4 SFP is internally calibrated По поддержке модуля заявлено как поддерживаемый Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BabiyPetr Опубликовано 12 октября, 2020 · Жалоба И еще такой момент я обновлял прошивку там стояла aci-n9000-dk9.11.2.1m.bin А я поставил nxos.9.3.5.bin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexgreat Опубликовано 12 октября, 2020 · Жалоба @BabiyPetr Я не совсем понимаю, чего вы добиваетесь. Cделать LACP из двух портов, при этом второй их конец будет на разных железках?! Бред какой то... Чтобы перевести этот линк без прерывания сервиса надо: 1. вывести один из линков из LACP на стороне ДЦ и перевести его в другой LACP. 2. поднять линки между ДЦ и нексусом и нексусом и каталистом. 3. на строне ДЦ погасить LACP до каталиста, переключить физически в нексус и добавить его в LACP Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BabiyPetr Опубликовано 12 октября, 2020 (изменено) · Жалоба 14 minutes ago, alexgreat said: @BabiyPetr Я не совсем понимаю, чего вы добиваетесь. Cделать LACP из двух портов, при этом второй их конец будет на разных железках?! Бред какой то... Чтобы перевести этот линк без прерывания сервиса надо: 1. вывести один из линков из LACP на стороне ДЦ и перевести его в другой LACP. 2. поднять линки между ДЦ и нексусом и нексусом и каталистом. 3. на строне ДЦ погасить LACP до каталиста, переключить физически в нексус и добавить его в LACP Дело в том что это Сингапурское отделение одного из крупных мировых ДЦ, но инженеры которые там находятся похоже того же уровня что и я)) Общение с ними у нас идет очень туго... когда поднимали аплинк с каталистом то потратили две недели пока не достучались до европейской сетевой команды и они уже дали разъяснения и нам и им)) Сейчас я затрудняюсь сказать как сконфигурирован этот линк на их стороне, выведен ли он из LACP или нет, то что он поднимается без LACP может свидетельствовать что он выведен? Но меня смущает то что когда линк поднят то пинги к дефолтному шлюзу нашей сети не идут.. ну и сосбвенно так же нельзя достучаться до IP адреса который прописан для менеджмента Наверное не стану отнимать Ваше время, попробую достучаться до европейского офиса , возможно получится оперативно уточнить детали) Спасибо за посильную помощь Изменено 12 октября, 2020 пользователем BabiyPetr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Pinkbyte Опубликовано 15 октября, 2020 · Жалоба Бегло просмотрел тему, поэтому могу гнать дичь, извините... Я надеюсь вы не пытаетесь включить связать в LACP порты с разной скоростью? То есть 2 порта по 1 Gb/sec - это окей. 2 порта по 10Gb/sec - тоже окей. А вот один порт 1Gb/sec, второй - 10Gb/sec - это НЕ окей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BabiyPetr Опубликовано 15 октября, 2020 · Жалоба 3 hours ago, Pinkbyte said: Бегло просмотрел тему, поэтому могу гнать дичь, извините... Я надеюсь вы не пытаетесь включить связать в LACP порты с разной скоростью? То есть 2 порта по 1 Gb/sec - это окей. 2 порта по 10Gb/sec - тоже окей. А вот один порт 1Gb/sec, второй - 10Gb/sec - это НЕ окей. Да, проблема была именно в этом, как только оба линка переставили в Nexus так сразу же все заработало. В итоге получился небольшой даунтайм (2-3 минутки) пока перетыкнули сервера в новый свитч. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
anatoly Опубликовано 15 октября, 2020 · Жалоба 1 час назад, BabiyPetr сказал: Да, проблема была именно в этом, как только оба линка переставили в Nexus так сразу же все заработало. В итоге получился небольшой даунтайм (2-3 минутки) пока перетыкнули сервера в новый свитч. проблема была не в этом, а в том что один лацп от оператора приземляешь на две разных своих железки Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Pinkbyte Опубликовано 15 октября, 2020 · Жалоба Ну подумаешь, я тоже когда-то думал что LACP подразумевает MC-LAG :-) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...