kostas

Нет, СOPP не настраивал

Хосты подключены в разные FEX расширители, тч проблема с линейкой маловероятна, имхо. Петли и STP тут неоткуда взяться - сервер оконечное устройство, без каких либо коммутаторов с единственным интерфейсом. И как уже упоминали STP Линк не кладет. flow control попробую отключить, но сдается, что не с этим связано, тк проблема только в одном влане и только на 10GE интерфейсах. Все остальные вланы и 1GE линки живут как ни бывало. Не знаю, падение линка - это следствие или причина. Оба конца сигнализируют о потери несущей. Вот лог порта, который кладет все порты 10GE в одном влане >>>>FSM: <Ethernet106/1/3> has 191 logged transitions<<<<< 1) Event:ESQ_REQ length:38, at 175705 usecs after Sun Dec 11 13:12:06 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PIXM_LOCAL(153), Opc:MTS_OPC_PIXM_SET_MULT_CBL_VLAN_PORT_STATE(69641) 2) Event:ESQ_REQ length:38, at 176537 usecs after Sun Dec 11 13:12:06 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Sending MTS_OPC_LC_PORT_CLIENT_CFG and/or PARAM_CHANGE opcode 3) Event:ESQ_REQ length:38, at 176543 usecs after Sun Dec 11 13:12:06 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ELTM_INTF_FEATURE_REQ_RESP(72748) 4) Event:ESQ_REQ length:38, at 176547 usecs after Sun Dec 11 13:12:06 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_TRUNKING_MEMBERSHIP(23562) 5) Event:ESQ_REQ length:38, at 176549 usecs after Sun Dec 11 13:12:06 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_DIAGCLIENT(366), Opc:MTS_OPC_GOLD_PP_TEST_RESUME(59417) 6) Event:ESQ_REQ length:38, at 176604 usecs after Sun Dec 11 13:12:06 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_MEMBERSHIP_2(23617) 7) Event:ESQ_RSP length:38, at 178036 usecs after Sun Dec 11 13:12:06 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_MEMBERSHIP_2(23617) 8) Event:ESQ_REQ length:38, at 178044 usecs after Sun Dec 11 13:12:06 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ELTM_INTF_FEATURE_REQ(72713) 9) Event:ESQ_REQ length:38, at 178046 usecs after Sun Dec 11 13:12:06 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:SUCCESS path done, skip-to-end, feed EV_CFG_DONE 10) FSM:<Ethernet106/1/3> Transition at 178163 usecs after Sun Dec 11 13:12:06 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_APPLY_CONFIG] Triggered event: [ETH_PORT_FSM_EV_CFG_DONE] Next state: [ETH_PORT_FSM_ST_INIT_EVAL] 11) FSM:<Ethernet106/1/3> Transition at 178226 usecs after Sun Dec 11 13:12:06 2022 Previous state: [ETH_PORT_FSM_ST_INIT_EVAL] Triggered event: [ETH_PORT_FSM_EV_IE_ADMIN_DOWN] Next state: [ETH_PORT_FSM_ST_DOWN] 12) FSM:<Ethernet106/1/3> Transition at 997753 usecs after Mon Dec 12 15:55:57 2022 Previous state: [ETH_PORT_FSM_ST_DOWN] Triggered event: [ETH_PORT_FSM_EV_ADMIN_CFG_EVAL] Next state: [FSM_ST_NO_CHANGE] 13) FSM:<Ethernet106/1/3> Transition at 997814 usecs after Mon Dec 12 15:55:57 2022 Previous state: [ETH_PORT_FSM_ST_DOWN] Triggered event: [ETH_PORT_FSM_EV_CFG_FLAP] Next state: [FSM_ST_NO_CHANGE] 14) FSM:<Ethernet106/1/3> Transition at 997821 usecs after Mon Dec 12 15:55:57 2022 Previous state: [ETH_PORT_FSM_ST_DOWN] Triggered event: [ETH_PORT_FSM_EV_PHY_DOWN_DONE] Next state: [ETH_PORT_FSM_ST_WAIT_APPLY_CONFIG] 15) Event:ESQ_START length:38, at 997837 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 16) Event:ESQ_REQ length:38, at 997958 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:determine steps to skip 17) Event:ESQ_REQ length:38, at 998003 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_REGISTRY(0), Opc:MTS_OPC_SYNC_MESSAGE(0) 18) Event:ESQ_REQ length:38, at 998006 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_DIAGCLIENT(366), Opc:MTS_OPC_GOLD_PP_TEST_STOP(59414) 19) Event:ESQ_REQ length:38, at 998007 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PORT_CLIENT(181), Opc:MTS_OPC_LC_PORT_FCOT_SPROM_READ(8194) 20) Event:ESQ_REQ length:38, at 998009 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PIXM_LOCAL(153), Opc:MTS_OPC_PIXM_SET_MULT_CBL_VLAN_PORT_STATE(69641) 21) Event:ESQ_REQ length:38, at 999668 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Sending MTS_OPC_LC_PORT_CLIENT_CFG and/or PARAM_CHANGE opcode 22) Event:ESQ_REQ length:38, at 999697 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ELTM_INTF_FEATURE_REQ_RESP(72748) 23) Event:ESQ_REQ length:38, at 999701 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_TRUNKING_MEMBERSHIP(23562) 24) Event:ESQ_REQ length:38, at 999704 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_DIAGCLIENT(366), Opc:MTS_OPC_GOLD_PP_TEST_RESUME(59417) 25) Event:ESQ_REQ length:38, at 999785 usecs after Mon Dec 12 15:55:57 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_MEMBERSHIP_2(23617) 26) Event:ESQ_RSP length:38, at 1061 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_MEMBERSHIP_2(23617) 27) Event:ESQ_REQ length:38, at 1069 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ELTM_INTF_FEATURE_REQ(72713) 28) Event:ESQ_REQ length:38, at 1071 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:SUCCESS path done, skip-to-end, feed EV_CFG_DONE 29) FSM:<Ethernet106/1/3> Transition at 1269 usecs after Mon Dec 12 15:55:58 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_APPLY_CONFIG] Triggered event: [ETH_PORT_FSM_EV_CFG_DONE] Next state: [ETH_PORT_FSM_ST_INIT_EVAL] 30) FSM:<Ethernet106/1/3> Transition at 1548 usecs after Mon Dec 12 15:55:58 2022 Previous state: [ETH_PORT_FSM_ST_INIT_EVAL] Triggered event: [ETH_PORT_FSM_EV_IE_PORT_INIT] Next state: [ETH_PORT_FSM_ST_SPAN_EVAL] 31) FSM:<Ethernet106/1/3> Transition at 1551 usecs after Mon Dec 12 15:55:58 2022 Previous state: [ETH_PORT_FSM_ST_SPAN_EVAL] Triggered event: [ETH_PORT_FSM_EV_NON_SPAN_DEST] Next state: [ETH_PORT_FSM_ST_WAIT_PRE_CFG] 32) Event:ESQ_START length:38, at 1575 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 33) Event:ESQ_REQ length:38, at 1605 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:determine steps to skip 34) Event:ESQ_REQ length:38, at 1624 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Release pacer credits 35) Event:ESQ_REQ length:38, at 1628 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:check for issu credits 36) Event:ESQ_REQ length:38, at 1649 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:check_1 if port is eventually going to be down 37) Event:ESQ_REQ length:38, at 1653 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_OHMS(1011), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) 38) Event:ESQ_REQ length:38, at 1671 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_SATMGR(619), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D6B 39) Event:ESQ_RSP length:38, at 2445 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_SATMGR(619), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D6B 40) Event:ESQ_REQ length:38, at 2477 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_SIM(1167), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) 41) Event:ESQ_REQ length:38, at 2726 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_FCOE(473), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) 42) Event:ESQ_REQ length:38, at 2746 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ETH_SPAN(174), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D69 43) Event:ESQ_RSP length:38, at 3094 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_ETH_SPAN(174), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D69 44) Event:ESQ_REQ length:38, at 3122 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_CTS(400), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D68 45) Event:ESQ_REQ length:38, at 3242 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_MKA(1509), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D67 46) Event:ESQ_REQ length:38, at 3372 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_DOT1X(208), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) 47) Event:ESQ_REQ length:38, at 3389 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D65 48) Event:ESQ_RSP length:38, at 303531 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_ELTM(192), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D65 49) Event:ESQ_REQ length:38, at 303578 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_L2FM(221), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) 50) Event:ESQ_REQ length:38, at 303610 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ETH_PORT_SEC(191), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D64 51) Event:ESQ_REQ length:38, at 303713 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_QOS_MANAGER(59), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) 52) Event:ESQ_REQ length:38, at 303731 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_RPM_CTRL(348), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D63 53) Event:ESQ_RSP length:38, at 605136 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_RPM_CTRL(348), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D63 54) Event:ESQ_REQ length:38, at 605168 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ASSOC_MGR(714), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D62 55) Event:ESQ_REQ length:38, at 605294 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:check_2 if port is eventually going to be down 56) Event:ESQ_REQ length:38, at 605337 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Pacer Check 57) Event:ESQ_REQ length:38, at 605363 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:PORT_CMDS Programming 58) Event:ESQ_REQ length:38, at 605385 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:check_3 if port is eventually going to be down 59) Event:ESQ_REQ length:38, at 605402 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_FWM(602), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D61 60) Event:ESQ_RSP length:38, at 817213 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_FWM(602), Opc:MTS_OPC_ETHPM_PORT_PRE_CFG(61441) RRtoken:0xFEF90D61 61) Event:ESQ_REQ length:38, at 817314 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PORT_CLIENT(181), Opc:MTS_OPC_ETHPM_LCP_SET_PORT_CFG(61443) RRtoken:0xFEF90D60 62) Event:ESQ_RSP length:38, at 845833 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_PORT_CLIENT(181), Opc:MTS_OPC_ETHPM_LCP_SET_PORT_CFG(61443) RRtoken:0xFEF90D60 63) Event:ESQ_REQ length:38, at 845861 usecs after Mon Dec 12 15:55:58 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Pacer Reset 64) FSM:<Ethernet106/1/3> Transition at 845927 usecs after Mon Dec 12 15:55:58 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_PRE_CFG] Triggered event: [ETH_PORT_FSM_EV_PRE_CFG_DONE] Next state: [ETH_PORT_FSM_ST_LINK_INIT] 65) FSM:<Ethernet106/1/3> Transition at 109257 usecs after Mon Dec 12 15:55:59 2022 Previous state: [ETH_PORT_FSM_ST_LINK_INIT] Triggered event: [ETH_PORT_FSM_EV_LINK_UP] Next state: [ETH_PORT_FSM_ST_WAIT_BRINGUP] 66) Event:ESQ_START length:38, at 109367 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 67) Event:ESQ_REQ length:38, at 109409 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:determine steps to skip 68) Event:ESQ_REQ length:38, at 109413 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:check for issu 69) Event:ESQ_REQ length:38, at 109414 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:check for pacer credits 70) Event:ESQ_REQ length:38, at 109476 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PIXM_LOCAL(153), Opc:MTS_OPC_PIXM_SET_MULT_CBL_VLAN_PORT_STATE(69641) 71) Event:ESQ_RSP length:38, at 111602 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_PIXM_LOCAL(153), Opc:MTS_OPC_PIXM_SET_MULT_CBL_VLAN_PORT_STATE(69641) 72) Event:ESQ_REQ length:38, at 111629 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ASSOC_MGR(714), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) RRtoken:0xFEF90D5F 73) Event:ESQ_REQ length:38, at 112720 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_REGISTRY(0), Opc:MTS_OPC_IM_PHY_LINK_STATE_CHANGE(62470) 74) Event:ESQ_REQ length:38, at 112771 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_LLDP(456), Opc:MTS_OPC_DCX_CONFIG_FEATURE(96271) 75) Event:ESQ_REQ length:38, at 112796 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_CTS(400), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) RRtoken:0xFEF90D5E 76) Event:ESQ_REQ length:38, at 124672 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_MKA(1509), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) RRtoken:0xFEF90D5D 77) Event:ESQ_REQ length:38, at 124769 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_DOT1X(208), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) 78) Event:ESQ_REQ length:38, at 124820 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_FCOE(473), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) 79) Event:ESQ_REQ length:38, at 124824 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PORT_CLIENT(181), Opc:MTS_OPC_ETHPM_LCP_SET_PORT_CFG(61443) 80) Event:ESQ_REQ length:38, at 124826 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_TRUNKING_MEMBERSHIP(23562) 81) Event:ESQ_REQ length:38, at 124866 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_MEMBERSHIP(23560) 82) Event:ESQ_RSP length:38, at 413650 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_MEMBERSHIP(23560) 83) Event:ESQ_REQ length:38, at 413676 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) RRtoken:0xFEF90D59 84) Event:ESQ_RSP length:38, at 414045 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_ELTM(192), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) RRtoken:0xFEF90D59 85) Event:ESQ_REQ length:38, at 414119 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ETH_PORT_CHANNEL_MGR(378), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) RRtoken:0x145F60F7 86) Event:ESQ_RSP length:38, at 414275 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_ETH_PORT_CHANNEL_MGR(378), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) RRtoken:0x145F60F7 87) Event:ESQ_REQ length:38, at 414339 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PVLAN(180), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) 88) Event:ESQ_REQ length:38, at 414405 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_IPQOS_MGR(377), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) RRtoken:0xFEF90D57 89) Event:ESQ_RSP length:38, at 415298 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_IPQOS_MGR(377), Opc:MTS_OPC_ETHPM_PORT_BRINGUP(61442) RRtoken:0xFEF90D57 90) Event:ESQ_REQ length:38, at 415319 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PORT_CLIENT(181), Opc:MTS_OPC_LC_PORT_CLIENT_CONFIG(8186) 91) Event:ESQ_REQ length:38, at 415333 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ETHPM_PORT_BRINGUP_LACP_INDIVIDUAL(61523) 92) FSM:<Ethernet106/1/3> Transition at 415389 usecs after Mon Dec 12 15:55:59 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_BRINGUP] Triggered event: [ETH_PORT_FSM_EV_BRINGUP_DONE] Next state: [ETH_PORT_FSM_ST_WAIT_PHASE1_CTRL_UP] 93) Event:ESQ_START length:38, at 415418 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 94) Event:ESQ_REQ length:38, at 415446 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Port up determine steps to skip 95) Event:ESQ_REQ length:38, at 415471 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:check_1 if port is eventually going to be down 96) Event:ESQ_REQ length:38, at 415494 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:PORT_CMDS Programming 97) Event:ESQ_REQ length:38, at 415513 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Sending state up notif to shared vdc 98) Event:ESQ_REQ length:38, at 415521 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_LIM(1237), Opc:MTS_OPC_ETHPM_LIM_REQ_RSP(61504) 99) FSM:<Ethernet106/1/3> Transition at 415548 usecs after Mon Dec 12 15:55:59 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_PHASE1_CTRL_UP] Triggered event: [ETH_PORT_FSM_EV_START_PRE_LOGICAL_BRINGUP] Next state: [ETH_PORT_FSM_ST_WAIT_PRE_LOGICAL_UP] 100) Event:ESQ_START length:38, at 415566 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 101) Event:ESQ_REQ length:38, at 415610 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:determine steps to skip 102) Event:ESQ_REQ length:38, at 415616 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Waiting to bring Peer Link up 103) FSM:<Ethernet106/1/3> Transition at 415640 usecs after Mon Dec 12 15:55:59 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_PRE_LOGICAL_UP] Triggered event: [ETH_PORT_FSM_EV_PRE_LOGICAL_DONE] Next state: [FSM_ST_NO_CHANGE] 104) FSM:<Ethernet106/1/3> Transition at 416077 usecs after Mon Dec 12 15:55:59 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_PRE_LOGICAL_UP] Triggered event: [ETH_PORT_FSM_EV_START_LOGICAL_UP] Next state: [ETH_PORT_FSM_ST_WAIT_LOGICAL_UP] 105) FSM:<Ethernet106/1/3> Transition at 416081 usecs after Mon Dec 12 15:55:59 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_LOGICAL_UP] Triggered event: [ETH_PORT_FSM_EV_ACCESS_UP] Next state: [ETH_PORT_FSM_ST_WAIT_PHASE2_CTRL_UP] 106) Event:ESQ_START length:38, at 416097 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 107) Event:ESQ_REQ length:38, at 416107 usecs after Mon Dec 12 15:55:59 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Phase2 Port up determine steps to skip 108) FSM:<Ethernet106/1/3> Transition at 416131 usecs after Mon Dec 12 15:55:59 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_PHASE2_CTRL_UP] Triggered event: [ETH_PORT_FSM_EV_ACCESS_UP] Next state: [ETH_PORT_FSM_ST_L2_UP] 109) FSM:<Ethernet106/1/3> Transition at 247300 usecs after Mon Dec 12 15:57:42 2022 Previous state: [ETH_PORT_FSM_ST_L2_UP] Triggered event: [ETH_PORT_FSM_EV_ADMIN_CFG_EVAL] Next state: [FSM_ST_NO_CHANGE] 110) FSM:<Ethernet106/1/3> Transition at 247341 usecs after Mon Dec 12 15:57:42 2022 Previous state: [ETH_PORT_FSM_ST_L2_UP] Triggered event: [ETH_PORT_FSM_EV_CFG_FLAP] Next state: [FSM_ST_NO_CHANGE] 111) Event:ESQ_START length:38, at 247365 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 112) Event:ESQ_REQ length:38, at 247390 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Graceful shut steps to skip 113) Event:ESQ_REQ length:38, at 247422 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq: create graceful_down req payload 114) Event:ESQ_REQ length:38, at 248432 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_REGISTRY(0), Opc:MTS_OPC_IM_L3_IF_GRACEFUL_DOWN(62520) RRtoken:0x145FD764 115) Event:ESQ_RSP length:38, at 248535 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_REGISTRY(0), Opc:MTS_OPC_IM_L3_IF_GRACEFUL_DOWN(62520) RRtoken:0x145FD764 116) Event:ESQ_REQ length:38, at 248570 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PORT_CLIENT(181), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEFEEEB9 117) Event:ESQ_REQ length:38, at 248604 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Satellite port down pacer request 118) Event:ESQ_REQ length:38, at 249553 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:send state change 119) FSM:<Ethernet106/1/3> Transition at 249639 usecs after Mon Dec 12 15:57:42 2022 Previous state: [ETH_PORT_FSM_ST_L2_UP] Triggered event: [ETH_PORT_FSM_EV_PHASE1_CTRL_DOWN] Next state: [FSM_ST_NO_CHANGE] 120) Event:ESQ_START length:38, at 249686 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 121) Event:ESQ_REQ length:38, at 249712 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Phase1 port down determine steps to skip 122) Event:ESQ_REQ length:38, at 249718 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_LIM(1237), Opc:MTS_OPC_ETHPM_LIM_REQ_RSP(61504) 123) FSM:<Ethernet106/1/3> Transition at 249756 usecs after Mon Dec 12 15:57:42 2022 Previous state: [ETH_PORT_FSM_ST_L2_UP] Triggered event: [ETH_PORT_FSM_EV_LOGICAL_DOWN] Next state: [ETH_PORT_FSM_ST_WAIT_LOGICAL_DOWN] 124) Event:ESQ_START length:38, at 250300 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 125) Event:ESQ_REQ length:38, at 250331 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_STP(171), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) RRtoken:0xFEF90D2C 126) Event:ESQ_RSP length:38, at 260949 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_STP(171), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) RRtoken:0xFEF90D2C 127) Event:ESQ_REQ length:38, at 260982 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_RPM_CTRL(348), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) RRtoken:0xFEF90D2B 128) Event:ESQ_RSP length:38, at 262488 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_RPM_CTRL(348), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) RRtoken:0xFEF90D2B 129) Event:ESQ_REQ length:38, at 262563 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PVLAN(180), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) 130) Event:ESQ_REQ length:38, at 262580 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_L2FM(221), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) RRtoken:0xFEF90D29 131) Event:ESQ_RSP length:38, at 263888 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_L2FM(221), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) RRtoken:0xFEF90D29 132) Event:ESQ_REQ length:38, at 263919 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ETH_PORT_SEC(191), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) RRtoken:0xFEF90D28 133) Event:ESQ_REQ length:38, at 264035 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_MCECM(450), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) 134) Event:ESQ_REQ length:38, at 264055 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_FIPSM(477), Opc:MTS_OPC_ETHPM_PORT_LOGICAL_CLEANUP(61447) RRtoken:0xFEF90D27 135) Event:ESQ_REQ length:38, at 264119 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ASSOC_MGR(714), Opc:MTS_OPC_FLUSH_SYNC(7) RRtoken:0xFEF90D26 136) FSM:<Ethernet106/1/3> Transition at 551571 usecs after Mon Dec 12 15:57:42 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_LOGICAL_DOWN] Triggered event: [ETH_PORT_FSM_EV_LOGICAL_DOWN_DONE] Next state: [ETH_PORT_FSM_ST_WAIT_PHASE2_CTRL_DOWN] 137) Event:ESQ_START length:38, at 551584 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 138) Event:ESQ_REQ length:38, at 551602 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Phase2 Port down determine steps to skip 139) Event:ESQ_REQ length:38, at 551605 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Wait for LIM response 140) FSM:<Ethernet106/1/3> Transition at 551629 usecs after Mon Dec 12 15:57:42 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_PHASE2_CTRL_DOWN] Triggered event: [ETH_PORT_FSM_EV_LOGICAL_DOWN_DONE] Next state: [ETH_PORT_FSM_ST_WAIT_PROTOCOL_DOWN] 141) Event:ESQ_START length:38, at 551637 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 142) Event:ESQ_REQ length:38, at 551673 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:determine steps to skip 143) Event:ESQ_REQ length:38, at 551698 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ETH_PORT_CHANNEL_MGR(378), Opc:MTS_OPC_ETHPM_PORT_CLEANUP(61444) RRtoken:0xFEF90D25 144) Event:ESQ_RSP length:38, at 551939 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_ETH_PORT_CHANNEL_MGR(378), Opc:MTS_OPC_ETHPM_PORT_CLEANUP(61444) RRtoken:0xFEF90D25 145) Event:ESQ_REQ length:38, at 551944 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_OSPF(320), Opc:MTS_OPC_ETHPM_PORT_CLEANUP(61444) 146) Event:ESQ_REQ length:38, at 552006 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PVLAN(180), Opc:MTS_OPC_ETHPM_PORT_CLEANUP(61444) 147) Event:ESQ_REQ length:38, at 552069 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_STP(171), Opc:MTS_OPC_ETHPM_PORT_CLEANUP(61444) RRtoken:0x145FD7C3 148) Event:ESQ_RSP length:38, at 552192 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_STP(171), Opc:MTS_OPC_ETHPM_PORT_CLEANUP(61444) RRtoken:0x145FD7C3 149) FSM:<Ethernet106/1/3> Transition at 552256 usecs after Mon Dec 12 15:57:42 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_PROTOCOL_DOWN] Triggered event: [ETH_PORT_FSM_EV_PROTO_DOWN_DONE] Next state: [ETH_PORT_FSM_ST_PROTOCOL_DOWN] 150) FSM:<Ethernet106/1/3> Transition at 552260 usecs after Mon Dec 12 15:57:42 2022 Previous state: [ETH_PORT_FSM_ST_PROTOCOL_DOWN] Triggered event: [ETH_PORT_FSM_EV_PHY_DOWN] Next state: [ETH_PORT_FSM_ST_WAIT_PHYSICAL_DOWN] 151) Event:ESQ_START length:38, at 552287 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 152) Event:ESQ_REQ length:38, at 552313 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:determine steps to skip 153) Event:ESQ_REQ length:38, at 552336 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Send state change for shared intf if not sent in log down 154) Event:ESQ_REQ length:38, at 553519 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_REGISTRY(0), Opc:MTS_OPC_IM_PHY_LINK_STATE_CHANGE(62470) 155) Event:ESQ_REQ length:38, at 553578 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PORT_CLIENT(181), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D23 156) Event:ESQ_RSP length:38, at 575093 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_PORT_CLIENT(181), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D23 157) Event:ESQ_REQ length:38, at 575100 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Wait for debounce logic 158) Event:ESQ_RSP length:38, at 675296 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Wait for debounce logic 159) Event:ESQ_REQ length:38, at 675336 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_SIM(1167), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) 160) Event:ESQ_REQ length:38, at 675416 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_FCOE(473), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) 161) Event:ESQ_REQ length:38, at 675469 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_DOT1X(208), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) 162) Event:ESQ_REQ length:38, at 675487 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_CTS(400), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D20 163) Event:ESQ_REQ length:38, at 675557 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_MKA(1509), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1F 164) Event:ESQ_REQ length:38, at 675618 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_RPM_CTRL(348), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1E 165) Event:ESQ_RSP length:38, at 854162 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_RPM_CTRL(348), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1E 166) Event:ESQ_REQ length:38, at 854194 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ETH_PORT_SEC(191), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1D 167) Event:ESQ_REQ length:38, at 854318 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_L2FM(221), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEFE3F26 168) Event:ESQ_REQ length:38, at 854346 usecs after Mon Dec 12 15:57:42 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1C 169) Event:ESQ_RSP length:38, at 156978 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_ELTM(192), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1C 170) Event:ESQ_REQ length:38, at 157019 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ETH_SPAN(174), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1B 171) Event:ESQ_RSP length:38, at 157366 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_ETH_SPAN(174), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1B 172) Event:ESQ_REQ length:38, at 157392 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_SATMGR(619), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1A 173) Event:ESQ_RSP length:38, at 157975 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_SATMGR(619), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D1A 174) Event:ESQ_REQ length:38, at 157998 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ASSOC_MGR(714), Opc:MTS_OPC_ETHPM_PORT_PHY_CLEANUP(61446) RRtoken:0xFEF90D19 175) FSM:<Ethernet106/1/3> Transition at 158109 usecs after Mon Dec 12 15:57:43 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_PHYSICAL_DOWN] Triggered event: [ETH_PORT_FSM_EV_PHY_DOWN_DONE] Next state: [ETH_PORT_FSM_ST_WAIT_APPLY_CONFIG] 176) Event:ESQ_START length:38, at 158134 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq Type:SERIAL 177) Event:ESQ_REQ length:38, at 158257 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:determine steps to skip 178) Event:ESQ_REQ length:38, at 158303 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_REGISTRY(0), Opc:MTS_OPC_SYNC_MESSAGE(0) 179) Event:ESQ_REQ length:38, at 158306 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_DIAGCLIENT(366), Opc:MTS_OPC_GOLD_PP_TEST_STOP(59414) 180) Event:ESQ_REQ length:38, at 158307 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PORT_CLIENT(181), Opc:MTS_OPC_LC_PORT_FCOT_SPROM_READ(8194) 181) Event:ESQ_REQ length:38, at 158309 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_PIXM_LOCAL(153), Opc:MTS_OPC_PIXM_SET_MULT_CBL_VLAN_PORT_STATE(69641) 182) Event:ESQ_REQ length:38, at 159468 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:Sending MTS_OPC_LC_PORT_CLIENT_CFG and/or PARAM_CHANGE opcode 183) Event:ESQ_REQ length:38, at 159475 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ELTM_INTF_FEATURE_REQ_RESP(72748) 184) Event:ESQ_REQ length:38, at 159479 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_TRUNKING_MEMBERSHIP(23562) 185) Event:ESQ_REQ length:38, at 159481 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_DIAGCLIENT(366), Opc:MTS_OPC_GOLD_PP_TEST_RESUME(59417) 186) Event:ESQ_REQ length:38, at 159539 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_MEMBERSHIP_2(23617) 187) Event:ESQ_RSP length:38, at 162016 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_RX] Src:MTS_SAP_VLAN_MGR(167), Opc:MTS_OPC_VLAN_MGR_GET_PORT_MEMBERSHIP_2(23617) 188) Event:ESQ_REQ length:38, at 162024 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS [E_MTS_TX] Dst:MTS_SAP_ELTM(192), Opc:MTS_OPC_ELTM_INTF_FEATURE_REQ(72713) 189) Event:ESQ_REQ length:38, at 162027 usecs after Mon Dec 12 15:57:43 2022 Instance:526975104, Seq Id:0x1, Ret:SUCCESS Seq:SUCCESS path done, skip-to-end, feed EV_CFG_DONE 190) FSM:<Ethernet106/1/3> Transition at 162167 usecs after Mon Dec 12 15:57:43 2022 Previous state: [ETH_PORT_FSM_ST_WAIT_APPLY_CONFIG] Triggered event: [ETH_PORT_FSM_EV_CFG_DONE] Next state: [ETH_PORT_FSM_ST_INIT_EVAL] 191) FSM:<Ethernet106/1/3> Transition at 162233 usecs after Mon Dec 12 15:57:43 2022 Previous state: [ETH_PORT_FSM_ST_INIT_EVAL] Triggered event: [ETH_PORT_FSM_EV_IE_ADMIN_DOWN] Next state: [ETH_PORT_FSM_ST_DOWN] Curr state: [ETH_PORT_FSM_ST_DOWN] В данном случае хосты подключены DAC кабелями. Вряд ли тут что-то с контактом может быть. Мне вот интересно, что может такое происходить, что это влияет только на физику 10GE интерфейсов находящихся в разных FEX? Это какой-то полтергейст.

Тут нет коммутаторов, к портам подключены только серверы одни портом. В логах сиски все перестроения обычно оседают. Но самое главное, пострадал один L2 сегмент, но не полностью, а только хосты подключенные на 10GE, 1GE на штатном интерфейсе сервера в это время работал без проблем.

Приветствую всех. Столкнулся с интересной и пакостной проблемой - как будто хост в сеть гадит и кладет весь L2 сегмент. Опишу по порядку, чтобы сложилось четкое представление о конфигурации и самой проблеме. Есть несколько десяткой хостов одной сети. Все хосты ранее были подключены к N3K, работали более года без проблем и впоследствии были перевезены и подключены к N7K тем же набором кабелей. 1. Коммутатор Cisco Nexus 7K + несколько FEX 2232 2. Серверы с картами X520DA2 3. DAC кабели 3 метра, разные - Huawei, Dlink, какие-то еще - сиска определяет их по разному, но все видит, линки в других вланах стабильные 4. Хосты подключены одним портом, туннели никакие на хостах не строятся Есть влан (540) в котором происходит это проблема. В это влане порядка 40 хостов. Хосты расположены на разных FEX. Трафик в сегменте не большой. Начиналось все так: В определенный момент времени начинали падать и сразу же подниматься линки у нескольких хостов, по очереди. В логах сиски выглядело это так: Sep 30 14:25:02 ds5 : 2022 Sep 30 14:25:01 MSK: %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet101/1/18 is down (Link failure) Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-SPEED: Interface Ethernet103/1/4, operational speed changed to 1 Gbps Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-IF_DUPLEX: Interface Ethernet103/1/4, operational duplex mode changed to Full Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet103/1/4, operational Receive Flow Control state changed to off Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet103/1/4, operational Transmit Flow Control state changed to on Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-IF_UP: Interface Ethernet103/1/4 is up in mode access Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet101/1/18, operational Transmit Flow Control state changed to on Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet101/1/18, operational Receive Flow Control state changed to off Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-SPEED: Interface Ethernet101/1/18, operational speed changed to 10 Gbps Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-IF_DUPLEX: Interface Ethernet101/1/18, operational duplex mode changed to Full Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet101/1/18, operational Receive Flow Control state changed to off Sep 30 14:25:04 ds5 : 2022 Sep 30 14:25:03 MSK: %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet101/1/18, operational Transmit Flow Control state changed to on Sep 30 14:25:05 ds5 : 2022 Sep 30 14:25:04 MSK: %ETHPORT-5-IF_UP: Interface Ethernet101/1/18 is up in mode access Sep 30 14:25:31 ds5 : 2022 Sep 30 14:25:30 MSK: %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet103/1/4 is down (Link failure) Sep 30 14:25:32 ds5 : 2022 Sep 30 14:25:31 MSK: %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet101/1/28 is down (Link failure) Sep 30 14:25:32 ds5 : 2022 Sep 30 14:25:31 MSK: %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet103/1/4, operational Transmit Flow Control state changed to on Sep 30 14:25:32 ds5 : 2022 Sep 30 14:25:31 MSK: %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet103/1/4, operational Receive Flow Control state changed to off Sep 30 14:25:34 ds5 : 2022 Sep 30 14:25:33 MSK: %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet101/1/28, operational Transmit Flow Control state changed to on Sep 30 14:25:34 ds5 : 2022 Sep 30 14:25:33 MSK: %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet101/1/28, operational Receive Flow Control state changed to off Sep 30 14:25:34 ds5 : 2022 Sep 30 14:25:33 MSK: %ETHPORT-5-SPEED: Interface Ethernet101/1/28, operational speed changed to 10 Gbps Sep 30 14:25:34 ds5 : 2022 Sep 30 14:25:33 MSK: %ETHPORT-5-IF_DUPLEX: Interface Ethernet101/1/28, operational duplex mode changed to Full Sep 30 14:25:34 ds5 : 2022 Sep 30 14:25:33 MSK: %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet101/1/28, operational Receive Flow Control state changed to off Sep 30 14:25:34 ds5 : 2022 Sep 30 14:25:33 MSK: %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet101/1/28, operational Transmit Flow Control state changed to on Sep 30 14:25:34 ds5 : 2022 Sep 30 14:25:33 MSK: %ETHPORT-5-IF_UP: Interface Ethernet101/1/28 is up in mode access Методом тыка мы нашел, что именно с одного хоста начиналась вся эта свистопляска. Погасил порт этого хоста на коммутаторе и настала тишина. Больше месяца все работало без проблем. На хосте была переустановлена ОС (win), DAC заменен на новый, другой марки. Хост стоял без работы какое-то время и все было тихо, как на днях снова все моргнуло. Было принято решение о замене сетевой карты, но не успели. Сегодня ночью по заббиксу пропала часть хостов и больше не появилось. Как выяснилось, стали не доступны все хосты этой сети, кроме одного который был подключен на внутреннюю 1GE карту, в отличии от всех остальных. Более того, часть интерфейсов флапала, а часть нет, но трафик по ним не шел. MAC адресов в влане не было, кроме той одной доступной на 1GE. Пошел выключать все интерфейсы по одному, пока не дошел одного, выключение которого привело сразу же к восстановлению работы всех хостов. Оставил его выключенным и до сих пор все работает. Вопрос - что это может быть? Напомню, что DAC менял, ОС менял. Проблемные хосты работали с месяц без каких либо проблем.

Не доступен

Ага, в VBoxManage тоже нет. Может оно и не плохо, что там нет vlan'ов - по сути не его это дело. В системе интерфейс поднялся, его и используй. Так что попробую Ваш первый совет. Думаю проблем не будет, кроме необходимости в первоначальной настройки хостовых машин.

Сказки или нет, но в настройках VirtualBox'а нет упоминаний о тегах в сети. А вот через виртуальный интерфейс на хостовой машинке думаю должно получиться. Спасибо за идею.

Сетевая карта поддерживает, но в virtualbox нет возможности настроить сеть на vlan. Так бы конечно настроил транк с нативным вланом. Это не подойдет? vlan access-map vlan filter

Именно от нужды) Понятно, что правильно в отдельный влан запихать, но надо на хосте иметь две изолированные сети при дефиците портов. И да, хост вланы разгребать не умеет - вторую сетку на virtualbox нужна.

Приветствую всех. Подскажите пожалуйста, при наличии в влане двух ip сетей, можно как-то ограничить multicast/broadcast между ними?

Перегрузил, поменял местами модули. Посмотрим... #sh modul Mod Ports Card Type Model Serial No. --- ----- -------------------------------------- ------------------ ----------- 1 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1101CTTW 2 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1021P4JY 3 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1023QBRV 4 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1021NW0X 5 5 Supervisor Engine 720 10GE (Active) VS-S720-10G SAL1223T4DA 6 5 Supervisor Engine 720 10GE (Hot) VS-S720-10G SAL12372PJX 7 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1052BYZA 8 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL09370BH6 Mod MAC addresses Hw Fw Sw Status --- ---------------------------------- ------ ------------ ------------ ------- 1 001a.6cbe.a460 to 001a.6cbe.a48f 2.5 12.2(14r)S5 15.1(2)SY11 Ok 2 0017.e041.1d9c to 0017.e041.1dcb 2.3 12.2(14r)S5 15.1(2)SY11 Ok 3 0018.1833.8644 to 0018.1833.8673 2.3 12.2(14r)S5 15.1(2)SY11 Ok 4 0017.0ed4.82e4 to 0017.0ed4.8313 2.3 12.2(14r)S5 15.1(2)SY11 Ok 5 0019.e8bb.3114 to 0019.e8bb.311b 2.0 8.5(2) 15.1(2)SY11 Ok 6 001d.45e2.6030 to 001d.45e2.6037 2.0 8.5(2) 15.1(2)SY11 Ok 7 001a.2f80.f5c0 to 001a.2f80.f5ef 2.5 12.2(14r)S5 15.1(2)SY11 Ok 8 0015.6245.f740 to 0015.6245.f76f 2.3 12.2(14r)S5 15.1(2)SY11 Ok Mod Sub-Module Model Serial Hw Status ---- --------------------------- ------------------ ----------- ------- ------- 1 Centralized Forwarding Card WS-F6700-CFC SAD103102LM 3.0 Ok 2 Centralized Forwarding Card WS-F6700-CFC SAL1019MBDB 2.0 Ok 3 Centralized Forwarding Card WS-F6700-CFC SAL1029W0ZC 2.0 Ok 4 Centralized Forwarding Card WS-F6700-CFC SAL1017LFEZ 2.0 Ok 5 Policy Feature Card 3 VS-F6K-PFC3C SAL1222S0GS 1.0 Ok 5 MSFC3 Daughterboard VS-F6K-MSFC3 SAL1224TW93 1.0 Ok 6 Policy Feature Card 3 VS-F6K-PFC3C SAL12372VEC 1.0 Ok 6 MSFC3 Daughterboard VS-F6K-MSFC3 SAL12351G4C 1.0 Ok 7 Centralized Forwarding Card WS-F6700-CFC SAL10360MGJ 3.0 Ok 8 Centralized Forwarding Card WS-F6700-CFC SAL093813ST 2.0 Ok Mod Online Diag Status ---- ------------------- 1 Pass 2 Pass 3 Pass 4 Pass 5 Pass 6 Pass 7 Pass 8 Pass

Есть идеи как вывести его сейчас из состояния блокировки конфигурации без перезагрузки шасси?

Так он по кругу модуль грузит, поэтому и столько failures. В первом сообщении было 14 :) Вот за час натикало

#show redundancy domain all Redundant System Information : ------------------------------ Available system uptime = 1 week, 1 hour, 58 minutes Switchovers system experienced = 1 Standby failures = 18 Last switchover reason = active unit failed Hardware Mode = Duplex Configured Redundancy Mode = sso Operating Redundancy Mode = sso Maintenance Mode = Disabled Communications = Up Current Processor Information : ------------------------------- Active Location = slot 6 Current Software state = ACTIVE Uptime in current state = 1 week, 50 minutes Image Version = Cisco IOS Software, s72033_rp Software (s72033_rp-ADVENTERPRISEK9-M), Version 15.1(2)SY11, RELEASE SOFTWARE (fc3) Technical Support: http://www.cisco.com/techsupport Copyright (c) 1986-2017 by Cisco Systems, Inc. Compiled Fri 21-Jul-17 06:12 by prod_rel_team BOOT = sup-bootdisk:s72033-adventerprisek9-mz.151-2.SY11.bin,12;sup-bootdisk:s72033-adventerprisek9-mz.151-2.SY10.bin,12;sup-bootdisk:s72033-adventerprisek9_wan-mz.122-33.SXJ9.bin,12; CONFIG_FILE = BOOTLDR = Configuration register = 0x2102 Peer Processor Information : ---------------------------- Standby Location = slot 5 Current Software state = DISABLED Uptime in current state = 1 hour, 41 minutes Image Version = Cisco IOS Software, s72033_rp Software (s72033_rp-ADVENTERPRISEK9-M), Version 15.1(2)SY11, RELEASE SOFTWARE (fc3) Technical Support: http://www.cisco.com/techsupport Copyright (c) 1986-2017 by Cisco Systems, Inc. Compiled Fri 21-Jul-17 06:12 by prod_rel_team Configuration register = 0x2102 Redundant System Information (domain# 1): ------------------------------ Available system uptime = 1 week, 1 hour, 58 minutes Switchovers system experienced = 0 Standby failures = 0 Last switchover reason = none Hardware Mode = Simplex Maintenance Mode = Disabled Communications = Down Reason: Failure Current Processor Information : ------------------------------- Active Location = slot 6 Current Software state = DISABLED Uptime in current state = 1 week, 1 hour, 58 minutes Image Version = Cisco IOS Software, s72033_rp Software (s72033_rp-ADVENTERPRISEK9-M), Version 15.1(2)SY11, RELEASE SOFTWARE (fc3) Technical Support: http://www.cisco.com/techsupport Copyright (c) 1986-2017 by Cisco Systems, Inc. Compiled Fri 21-Jul-17 06:12 by prod_rel_team BOOT = sup-bootdisk:s72033-adventerprisek9-mz.151-2.SY11.bin,12;sup-bootdisk:s72033-adventerprisek9-mz.151-2.SY10.bin,12;sup-bootdisk:s72033-adventerprisek9_wan-mz.122-33.SXJ9.bin,12; CONFIG_FILE = BOOTLDR = Configuration register = 0x2102 Peer (slot: 5) information is not available because it is in 'DISABLED' state   Вот почему у него сейчас состояние SSO, когда модуля он вообще не видит? #show redundancy states my state = 13 -ACTIVE peer state = 1 -DISABLED Mode = Duplex Unit = Secondary Unit ID = 6 Redundancy Mode (Operational) = sso Redundancy Mode (Configured) = sso Redundancy State = sso Maintenance Mode = Disabled Communications = Up client count = 148 client_notification_TMR = 30000 milliseconds keep_alive TMR = 9000 milliseconds keep_alive count = 0 keep_alive threshold = 18 RF debug mask = 0x0

ааа) ну после перезагрузки шасси все работает. Подозрительно, что после отвала одной головы, redundancy не переходит в simplex. Почему он в SSO остается? Это ведь не так. Возможно тут собака и порылась.

Консоль втыкал. Там тоже пишет про таймаут и уходит в циклическую перезагрузку. Что такое RIP?

Приветствую всех. Есть железка Catalyst 6509 с двумя головами SUP720-10GE, работают в режиме SSO. IOS s72033-adventerprisek9-mz.151-2.SY11 В один прекрастный момент при попытке войти в режим конфигурации получаю отказ в надписью Config mode cannot be entered during Standby initialization Смотрю и вижу, что отвалился один из супервизоров. #sh redundancy Redundant System Information : ------------------------------ Available system uptime = 6 days, 23 hours, 45 minutes Switchovers system experienced = 1 Standby failures = 14 Last switchover reason = active unit failed Hardware Mode = Duplex Configured Redundancy Mode = sso Operating Redundancy Mode = sso Maintenance Mode = Disabled Communications = Up Current Processor Information : ------------------------------- Active Location = slot 6 Current Software state = ACTIVE Uptime in current state = 6 days, 22 hours, 37 minutes Image Version = Cisco IOS Software, s72033_rp Software (s72033_rp-ADVENTERPRISEK9-M), Version 15.1(2)SY11, RELEASE SOFTWARE (fc3) Technical Support: http://www.cisco.com/techsupport Copyright (c) 1986-2017 by Cisco Systems, Inc. Compiled Fri 21-Jul-17 06:12 by prod_rel_team BOOT = sup-bootdisk:s72033-adventerprisek9-mz.151-2.SY11.bin,12;sup-bootdisk:s72033-adventerprisek9-mz.151-2.SY10.bin,12;sup-bootdisk:s72033-adventerprisek9_wan-mz.122-33.SXJ9.bin,12; CONFIG_FILE = BOOTLDR = Configuration register = 0x2102 Peer (slot: 5) information is not available because it is in 'DISABLED' state ds1#sh module Mod Ports Card Type Model Serial No. --- ----- -------------------------------------- ------------------ ----------- 1 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1101CTTW 2 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1021P4JY 3 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1023QBRV 4 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1021NW0X 5 0 Supervisor-Other Unknown Unknown 6 5 Supervisor Engine 720 10GE (Active) VS-S720-10G SAL1223T4DA 7 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL1052BYZA 8 48 CEF720 48 port 10/100/1000mb Ethernet WS-X6748-GE-TX SAL09370BH6 Mod MAC addresses Hw Fw Sw Status --- ---------------------------------- ------ ------------ ------------ ------- 1 001a.6cbe.a460 to 001a.6cbe.a48f 2.5 12.2(14r)S5 15.1(2)SY11 Ok 2 0017.e041.1d9c to 0017.e041.1dcb 2.3 12.2(14r)S5 15.1(2)SY11 Ok 3 0018.1833.8644 to 0018.1833.8673 2.3 12.2(14r)S5 15.1(2)SY11 Ok 4 0017.0ed4.82e4 to 0017.0ed4.8313 2.3 12.2(14r)S5 15.1(2)SY11 Ok 5 0000.0000.0000 to 0000.0000.0000 0.0 Unknown Unknown Unknown 6 0019.e8bb.3114 to 0019.e8bb.311b 2.0 8.5(2) 15.1(2)SY11 Ok 7 001a.2f80.f5c0 to 001a.2f80.f5ef 2.5 12.2(14r)S5 15.1(2)SY11 Ok 8 0015.6245.f740 to 0015.6245.f76f 2.3 12.2(14r)S5 15.1(2)SY11 Ok Mod Sub-Module Model Serial Hw Status ---- --------------------------- ------------------ ----------- ------- ------- 1 Centralized Forwarding Card WS-F6700-CFC SAD103102LM 3.0 Ok 2 Centralized Forwarding Card WS-F6700-CFC SAL1019MBDB 2.0 Ok 3 Centralized Forwarding Card WS-F6700-CFC SAL1029W0ZC 2.0 Ok 4 Centralized Forwarding Card WS-F6700-CFC SAL1017LFEZ 2.0 Ok 5 Policy Feature Card 3 VS-F6K-PFC3C SAL12372VEC 1.0 Other 6 Policy Feature Card 3 VS-F6K-PFC3C SAL1222S0GS 1.0 Ok 6 MSFC3 Daughterboard VS-F6K-MSFC3 SAL1224TW93 1.0 Ok 7 Centralized Forwarding Card WS-F6700-CFC SAL10360MGJ 3.0 Ok 8 Centralized Forwarding Card WS-F6700-CFC SAL093813ST 2.0 Ok Mod Online Diag Status ---- ------------------- 1 Pass 2 Pass 3 Pass 4 Pass 5 Unknown 6 Pass 7 Pass 8 Pass Попробовал сделать ресет модулю (а впоследствии и передернуть его) - не помогло, модуль перегружается циклически и не спаривается с активным супервизором. Пишет про таймаут. В логах вот такое: Apr 22 16:52:36 ds1 294872: Apr 22 13:52:34.015: %OIR-SP-3-PWRCYCLE: Card in module 5, is being power-cycled 'Module reset' Apr 22 17:03:09 ds1 295197: Apr 22 14:03:08.094: %PFREDUN-SP-6-ACTIVE: Standby processor removed or reloaded, changing to Simplex mode Apr 22 17:06:25 ds1 295308: Apr 22 14:06:25.094: %PFREDUN-SP-6-ACTIVE: Standby initializing for SSO mode Apr 22 17:06:28 ds1 295310: Apr 22 14:06:28.705: %RF_ISSU-SP-3-RF_MSG_NOT_OK: RF ISSU msg type (101) for client (3) on domain (0) is not ok Apr 22 17:06:29 ds1 295311: Apr 22 14:06:28.705: %RF-SP-5-SEND_FAIL: RF client progression send failure for reason (RF_BAD_MESSAGE) Apr 22 17:06:29 ds1 295313: Apr 22 14:06:28.705: %SYS-SP-3-LOGGER_FLUSHED: System was paused for 00:00:03 to ensure console debugging output. Apr 22 17:06:30 ds1 295314: Apr 22 14:06:29.840: %PFREDUN-SP-6-ACTIVE: Standby processor removed or reloaded, changing to Simplex mode Apr 22 17:06:31 ds1 295315: Apr 22 14:06:29.840: %OIR-SP-3-PWRCYCLE: Card in module 5, is being power-cycled 'Module reset' Apr 22 17:09:43 ds1 295429: Apr 22 14:09:42.858: %PFREDUN-SP-6-ACTIVE: Standby initializing for SSO mode Apr 22 17:19:57 ds1 295777: Apr 22 14:19:57.777: %ONLINE-SP-6-BOOT_TIMER: Module 5, Proc. 0. Failed to bring online because of boot timer event Apr 22 17:19:58 ds1 295778: sm(cygnus_oir_bay slot5), running yes, state empty Apr 22 17:19:58 ds1 295779: Last transition recorded: (remove)-> occupied (remove)-> empty (remove)-> empty_clr_persist (remove)-> empty (remove)-> empty_clr_persist (remove)-> empty (insert)-> may_be_occupied (remove)-> empty (remove)-> empty_clr_persist (remove)-> empty Apr 22 17:19:59 ds1 295781: Apr 22 14:19:57.781: %SYS-SP-3-LOGGER_FLUSHED: System was paused for 00:10:14 to ensure console debugging output. Вылечилось это полной перезагрузкой шасси. Но повторилось через неделю на том же модуле. Кстати говоря, этот модуль работал один несколько лет в симплексе и не знал проблем. Месяц назад где-то поставили второй в пару и обновили IOS. Точно такой же IOS и точно в такой же конфигурации с двумя VS-S720-10G работает второе шасси без подобных проблем. Кто знает что это может быть и как вывести его из этого состояния без перезагрузки всего шасси? Подозреваю, что когда отваливается модуль, redundancy залипает в SSO и после этого не может восстановить состояние. По идее должен ведь SSO перейти в какое-то другое состояние? В общем что-то странное происходит :( Есть идеи?

UP Есть идеи у кого нибудь? Не знаю даже с какой стороны подойти :( Напомню - в логах ничего вразумительного, за что можно было бы зацепиться. Разве что вот такие записи встречаются: 11:27:34 route,ospf,info OSPFv2 neighbor 10.3.0.2: state change from Full to Down 11:28:45 route,ospf,info Database Description packet has different master status flag 11:28:45 route,ospf,info new master flag=false 11:28:45 route,ospf,info OSPFv2 neighbor 10.3.0.2: state change from Full to 2-Way

Валится - отваливаются соседи. Выглядит ровно так, как и звучит :) В логах ничего внятного не нашел :( /interface bridge add disabled=yes name=loopback /interface ethernet set 0 mac-address=00:15:17:F2:5C:08 name=10GE-KIR speed=1Gbps set 1 speed=1Gbps set 2 speed=1Gbps set 3 mac-address=00:15:17:F2:5C:09 speed=1Gbps /ip neighbor discovery set AMS discover=no set CORE discover=no set OTR discover=no set WST discover=no /interface vlan add interface=10GE-KIR name=AMS vlan-id=4094 add interface=10GE-KIR name=CORE vlan-id=4 add interface=10GE-KIR name=Manage vlan-id=3 add interface=10GE-KIR name=OTR vlan-id=6 add interface=10GE-KIR name=SHL vlan-id=9 /interface bonding add disabled=yes mode=802.3ad name=KIR-TR slaves=ether1,ether2 transmit-hash-policy=layer-2-and-3 /interface vlan add disabled=yes interface=KIR-TR name=WST vlan-id=255 /routing bgp instance set default as=49439 client-to-client-reflection=no router-id=193.169.62.13 /routing ospf instance set [ find default=yes ] distribute-default=if-installed-as-type-2 metric-bgp=10 router-id=10.3.0.2 /ip address add address=178.236.128.253/30 disabled=yes interface=AMS network=178.236.128.252 add address=193.169.62.18/29 disabled=yes interface=CORE network=193.169.62.16 add address=193.169.62.20/32 disabled=yes interface=vrrp1 network=193.169.62.20 add address=178.236.128.1/29 interface=AMS network=178.236.128.0 add address=91.199.153.206/30 disabled=yes interface=WST network=91.199.153.204 add address=193.169.62.26/29 disabled=yes interface=OTR network=193.169.62.24 add address=193.169.62.193/30 interface=OTR network=193.169.62.192 add address=10.3.0.2/16 interface=Manage network=10.3.0.0 add address=193.169.62.130/30 interface=CORE network=193.169.62.128 add address=193.169.62.161/30 interface=SHL network=193.169.62.160 /ip route add disabled=yes distance=140 gateway=193.169.62.129 routing-mark=ttk add distance=200 dst-address=10.60.0.0/16 gateway=193.169.62.17 add disabled=yes distance=1 dst-address=93.100.195.0/24 gateway=193.169.62.17 add distance=200 dst-address=193.169.62.0/28 gateway=193.169.62.17 add distance=200 dst-address=193.169.62.252/30 gateway=193.169.62.17 add distance=200 dst-address=193.169.63.0/24 gateway=193.169.62.17 /ip route rule add routing-mark=ttk table=ttk /routing bgp network add network=193.169.62.0/23 synchronize=no add network=176.114.48.0/21 synchronize=no add disabled=yes network=176.114.55.0/24 synchronize=no add disabled=yes network=176.114.48.0/24 synchronize=no /routing bgp peer add in-filter=ams-in name=ams out-filter=ams-out remote-address=178.236.128.6 remote-as=44843 ttl=default add disabled=yes in-filter=wst-in name=wst out-filter=wst-out remote-address=91.199.153.205 remote-as=31189 \ ttl=default /routing filter add action=accept chain=ams-in prefix=0.0.0.0/0 set-distance=50 add action=accept chain=wst-in prefix=0.0.0.0/0 set-distance=50 add action=discard chain=ams-in add action=discard chain=wst-in add action=accept chain=ams-out prefix=193.169.62.0/23 set-bgp-prepend=1 add action=accept chain=wst-out prefix=193.169.62.0/23 set-bgp-prepend=7 add action=accept chain=ams-out prefix=176.114.48.0/21 set-bgp-prepend=1 add action=accept chain=wst-out prefix=176.114.48.0/21 set-bgp-prepend=7 add action=discard chain=wst-out add action=accept chain=ams-out disabled=yes prefix=176.114.55.0/24 add action=discard chain=ams-out /routing ospf network add area=backbone network=193.169.62.16/29 add area=backbone disabled=yes network=193.169.62.24/29 add area=backbone network=193.169.62.192/30 add area=backbone network=193.169.62.128/30 add area=backbone network=193.169.62.160/30 /routing pim interface add interface=CORE add interface=OTR add interface=SHL /system identity set name=M1-KIR

Настройки чего? В микротике не знаю как вывести весь конфиг или хотя бы все, что касается OSPF :(

Пустые, по умолчанию были. Сети - одна (из нее стыковочные сетки попилены) /23, вторая /21 Стыковочные сетки для OSPF /30

Можно конечно переделать OSPF на серую сетку, но возни много. Хотя можно поступить так и надеяться, что оно не всплывет. Дефолт на микротике в OSPF попадает вот таким образом. Транзитные вланы /30

Приветствую всех. Коллеги, помогите пожалуйста разобраться в чем дело? Голову уже сломал, потому как казалось бы от не связанных вещей начинает валиться OSPF. О сети: 1. Имеется сетка с двумя бордерами на базе Mikrotik. На обоих подняты BGP с получением только дефолта. 2. Имеется две белые сетки, которые анонсируются обоими бордерами (с разными препендами, для выделения одного из них в качестве бэкапа) 3. В сети бегает OSPF с несколькими регионами. 4. Включена редистрибуция дефолтов из BGP в OSPF В общих чертах суть проблемы. 1. При анонсах BGP одной из сетей (той, на которой построены L3 линки между железками) начинают отваливаться OSPF соседи. 2. В тоже время, при анонсах второй сети - все в порядке и такого эффекта не происходит Куда копать ума не приложу. Единственная зацепка - это то, что начинаются проблемы только после анонса сети на которой держится OSPF. Есть идеи куда и как копать?

Тогда понятно. Просто думал, что ресурсы TCAM могут быть размазаны по супервизору и линейкам. А если копируются, то смысл понятен. Сколько всяких интересных вещей бывает на этом каталисте ))

То есть, получаеся, на карточках WS-F6700-DFC3B могут использоваться локальные ресурсы этой карты и тем самым переполнения TCAM супервизора не происходит? s.lobanov скорее всего прав - напихали то, что было. Покупалось действительно б/у. Но мы явно такого не желали и если бы знали, то конечно же подняли бы бучу. С другой стороны, разношерстность была замечена ранее, на что наг сказал ничего страшного.