Jump to content

Recommended Posts

Posted

есть циска и меланокс, соединённые оптикой, трансиверы snr 100GBASE-LR4

 

циска Nexus9000 C93180YC-EX

switch# sh interface eth 1/53 
Ethernet1/53 is down (Link not connected)
admin state is up, Dedicated Interface
  Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: f80b.cb1b.e3b8 (bia f80b.cb1b.e3b8)
  MTU 9216 bytes, BW 100000000 Kbit , DLY 10 usec
  reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA, medium is broadcast
  Port mode is access
  auto-duplex, 100 Gb/s, media type is 100G
  Beacon is turned off
  Auto-Negotiation is turned off  FEC mode is Off
  Input flow-control is off, output flow-control is off
  Auto-mdix is turned off
  Rate mode is dedicated
  Switchport monitor is off 
  EtherType is 0x8100 
  EEE (efficient-ethernet) : n/a
    admin fec state is off, oper fec state is off
  Last link flapped never
  Last clearing of "show interface" counters never
  0 interface resets
  Load-Interval #1: 30 seconds
    30 seconds input rate 0 bits/sec, 0 packets/sec
    30 seconds output rate 0 bits/sec, 0 packets/sec
    input rate 0 bps, 0 pps; output rate 0 bps, 0 pps
  Load-Interval #2: 5 minute (300 seconds)
    300 seconds input rate 0 bits/sec, 0 packets/sec
    300 seconds output rate 0 bits/sec, 0 packets/sec
    input rate 0 bps, 0 pps; output rate 0 bps, 0 pps
  RX
    0 unicast packets  0 multicast packets  0 broadcast packets
    0 input packets  0 bytes
    0 jumbo packets  0 storm suppression bytes
    0 runts  0 giants  0 CRC  0 no buffer
    0 input error  0 short frame  0 overrun   0 underrun  0 ignored
    0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop
    0 input with dribble  0 input discard
    0 Rx pause
  TX
    0 unicast packets  0 multicast packets  0 broadcast packets
    0 output packets  0 bytes
    0 jumbo packets
    0 output error  0 collision  0 deferred  0 late collision
    0 lost carrier  0 no carrier  0 babble  0 output discard
    0 Tx pause


 

switch# sh interface eth 1/53 tra d
Ethernet1/53
    transceiver is present
    type is QSFP-100G-LR4
    name is OEM
    part number is QSFP-100G-LR4-S
    revision is 01
    serial number is 8QAA014395
    nominal bitrate is 25500 MBit/sec
    Link length supported for 9/125um fiber is 10 km
    cisco id is 17
    cisco extended id number is 220

Lane Number:1 Network Lane
           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   39.82 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.22 V         3.63 V      3.04 V      3.46 V        3.13 V
  Current       53.44 mA       65.00 mA    30.00 mA    60.00 mA      35.00 mA
  Tx Power       1.74 dBm       5.49 dBm   -5.30 dBm    4.49 dBm     -4.30 dBm
  Rx Power      -9.87 dBm       5.49 dBm  -11.61 dBm    4.49 dBm    -10.60 dBm
  Transmit Fault Count = 0
  ----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

Lane Number:2 Network Lane
           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   39.82 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.22 V         3.63 V      3.04 V      3.46 V        3.13 V
  Current       54.90 mA       65.00 mA    30.00 mA    60.00 mA      35.00 mA
  Tx Power       2.38 dBm       5.49 dBm   -5.30 dBm    4.49 dBm     -4.30 dBm
  Rx Power      -8.79 dBm       5.49 dBm  -11.61 dBm    4.49 dBm    -10.60 dBm
  Transmit Fault Count = 0
  ----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

Lane Number:3 Network Lane
           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   39.82 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.22 V         3.63 V      3.04 V      3.46 V        3.13 V
  Current       52.43 mA       65.00 mA    30.00 mA    60.00 mA      35.00 mA
  Tx Power       1.64 dBm       5.49 dBm   -5.30 dBm    4.49 dBm     -4.30 dBm
  Rx Power      -9.46 dBm       5.49 dBm  -11.61 dBm    4.49 dBm    -10.60 dBm
  Transmit Fault Count = 0
  ----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

Lane Number:4 Network Lane
           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   39.82 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.22 V         3.63 V      3.04 V      3.46 V        3.13 V
  Current       53.81 mA       65.00 mA    30.00 mA    60.00 mA      35.00 mA
  Tx Power       0.71 dBm       5.49 dBm   -5.30 dBm    4.49 dBm     -4.30 dBm
  Rx Power      -9.46 dBm       5.49 dBm  -11.61 dBm    4.49 dBm    -10.60 dBm
  Transmit Fault Count = 0
  ----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

 

mellanox msn2010

Mellanox-MSN2010 [standalone: master] # sh int eth 1/22

Eth1/22:
  Admin state                      : Enabled
  Operational state                : Down
  Last change in operational status: 0:00:06 ago (9288 oper change)
  Boot delay time                  : 0 sec
  Description                      : N\A
  Mac address                      : 50:6b:4b:9b:08:4c   
  MTU                              : 9200 bytes (Maximum packet size 9222 bytes)
  Fec                              : no-fec
  Flow-control                     : receive off send off
  Actual speed                     : 100 Gbps
  Auto-negotiation                 : Disabled
  Width reduction mode             : Unknown
  Switchport mode                  : access
  MAC learning mode                : Enabled
  Forwarding mode                  : inherited cut-through 

  Telemetry sampling: Disabled   TCs: N\A
  Telemetry threshold: Disabled  TCs: N\A
  Telemetry threshold level: N\A

  Last clearing of "show interface" counters: 2D:0H
  60 seconds ingress rate                   : 0 bits/sec, 0 bytes/sec, 0 packets/sec
  60 seconds egress rate                    : 264 bits/sec, 33 bytes/sec, 1 packets/sec

  Rx:
    0                     packets
    0                     unicast packets
    0                     multicast packets
    0                     broadcast packets
    0                     bytes
    0                     discard packets
    1                     error packets
    0                     fcs errors
    0                     undersize packets
    0                     oversize packets
    0                     pause packets
    0                     unknown control opcode
    0                     symbol errors
    0                     discard packets by storm control

  Tx:
    79610                 packets
    47                    unicast packets
    78759                 multicast packets
    804                   broadcast packets
    5630900               bytes
    1                     discard packets
    0                     error packets
    0                     hoq discard packets


 

Mellanox-MSN2010 [standalone: master] # sh int eth 1/22 tra d

Port 1/22 transceiver diagnostic data:
  Temperature (-127C to +127C):
    Temperature          : 33 C
    Hi Temp Alarm Thresh : 75 C
    Low Temp Alarm Thresh: -5 C
    Temperature Alarm    : None 

  Voltage (0 to 6.5535 V):
    Voltage              : 3.28690 V
    Hi Volt Alarm Thresh : 3.63000 V
    Low Volt Alarm Thresh: 3.05000 V
    Voltage Alarm        : None 

  Tx Bias Current (0 to 131 mA):
    Ch1 Tx Current          : 55.41400 mA
    Ch2 Tx Current          : 55.69800 mA
    Ch3 Tx Current          : 52.76600 mA
    Ch4 Tx Current          : 53.42800 mA
    Hi Tx Crnt Alarm Thresh : 65.00000 mA
    Low Tx Crnt Alarm Thresh: 30.00000 mA
    Ch1 Tx Current Alarm    : None 
    Ch2 Tx Current Alarm    : None 
    Ch3 Tx Current Alarm    : None 
    Ch4 Tx Current Alarm    : None 

  Tx Power (0 mW to 6.5535 mW / 8.1647 dBm):
    Ch1 Tx Power             : 1.34170 mW / 1.27655 dBm
    Ch2 Tx Power             : 1.79310 mW / 2.53605 dBm
    Ch3 Tx Power             : 1.40780 mW / 1.48541 dBm
    Ch4 Tx Power             : 1.50330 mW / 1.77046 dBm
    Hi Tx Power Alarm Thresh : 3.54810 mW / 5.49996 dBm
    Low Tx Power Alarm Thresh: 0.29510 mW / -5.30031 dBm
    Ch1 Tx Power Alarm       : None 
    Ch2 Tx Power Alarm       : None 
    Ch3 Tx Power Alarm       : None 
    Ch4 Tx Power Alarm       : None 

  Rx Power (0 mW to 6.5535 mW / 8.1647 dBm):
    Ch1 Rx Power             : 0.37060 mW / -4.31095 dBm
    Ch2 Rx Power             : 0.40260 mW / -3.95126 dBm
    Ch3 Rx Power             : 0.37720 mW / -4.23428 dBm
    Ch4 Rx Power             : 0.29390 mW / -5.31800 dBm
    Hi Rx Power Alarm Thresh : 3.54810 mW / 5.49996 dBm
    Low Rx Power Alarm Thresh: 0.06920 mW / -11.59894 dBm
    Ch1 Rx Power Alarm       : None 
    Ch2 Rx Power Alarm       : None 
    Ch3 Rx Power Alarm       : None 
    Ch4 Rx Power Alarm       : None 

  Vendor Date Code (dd-mm-yyyy): 19-06-2025

 

со стороны мелланокса линк флапается каждые несколько секунд. со стороны циски просто нет линка.

в какую сторону копать?
пробовал включать/выключать автоопределение скорости и fec с обеих сторон, результата не дало.

Posted

у вас при почти одинаковых TX уровнях с обоих сторон - RX сильно разнЯтся. я бы сразу грешил на физику - оптический канал между точками - что-то с ним не очень (в сторону от мелланокса к циске затухания сильно больше).

Posted

это вижу, но причиной отсутствия связи это же не должно быть.

 

забыл добавить, что mellanox-mellanox работало нормально, с одной стороны sn2700 (брендированный под hp), с другой — тот же 2010

Posted
9 часов назад, edo сказал:

есть циска и меланокс, соединённые оптикой, трансиверы snr 100GBASE-LR4

 

циска Nexus9000 C93180YC-EX

switch# sh interface eth 1/53 
Ethernet1/53 is down (Link not connected)
admin state is up, Dedicated Interface
  Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: f80b.cb1b.e3b8 (bia f80b.cb1b.e3b8)
  MTU 9216 bytes, BW 100000000 Kbit , DLY 10 usec
  reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA, medium is broadcast
  Port mode is access
  auto-duplex, 100 Gb/s, media type is 100G
  Beacon is turned off
  Auto-Negotiation is turned off  FEC mode is Off
  Input flow-control is off, output flow-control is off
  Auto-mdix is turned off
  Rate mode is dedicated
  Switchport monitor is off 
  EtherType is 0x8100 
  EEE (efficient-ethernet) : n/a
    admin fec state is off, oper fec state is off
  Last link flapped never
  Last clearing of "show interface" counters never
  0 interface resets
  Load-Interval #1: 30 seconds
    30 seconds input rate 0 bits/sec, 0 packets/sec
    30 seconds output rate 0 bits/sec, 0 packets/sec
    input rate 0 bps, 0 pps; output rate 0 bps, 0 pps
  Load-Interval #2: 5 minute (300 seconds)
    300 seconds input rate 0 bits/sec, 0 packets/sec
    300 seconds output rate 0 bits/sec, 0 packets/sec
    input rate 0 bps, 0 pps; output rate 0 bps, 0 pps
  RX
    0 unicast packets  0 multicast packets  0 broadcast packets
    0 input packets  0 bytes
    0 jumbo packets  0 storm suppression bytes
    0 runts  0 giants  0 CRC  0 no buffer
    0 input error  0 short frame  0 overrun   0 underrun  0 ignored
    0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop
    0 input with dribble  0 input discard
    0 Rx pause
  TX
    0 unicast packets  0 multicast packets  0 broadcast packets
    0 output packets  0 bytes
    0 jumbo packets
    0 output error  0 collision  0 deferred  0 late collision
    0 lost carrier  0 no carrier  0 babble  0 output discard
    0 Tx pause


 

switch# sh interface eth 1/53 tra d
Ethernet1/53
    transceiver is present
    type is QSFP-100G-LR4
    name is OEM
    part number is QSFP-100G-LR4-S
    revision is 01
    serial number is 8QAA014395
    nominal bitrate is 25500 MBit/sec
    Link length supported for 9/125um fiber is 10 km
    cisco id is 17
    cisco extended id number is 220

Lane Number:1 Network Lane
           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   39.82 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.22 V         3.63 V      3.04 V      3.46 V        3.13 V
  Current       53.44 mA       65.00 mA    30.00 mA    60.00 mA      35.00 mA
  Tx Power       1.74 dBm       5.49 dBm   -5.30 dBm    4.49 dBm     -4.30 dBm
  Rx Power      -9.87 dBm       5.49 dBm  -11.61 dBm    4.49 dBm    -10.60 dBm
  Transmit Fault Count = 0
  ----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

Lane Number:2 Network Lane
           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   39.82 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.22 V         3.63 V      3.04 V      3.46 V        3.13 V
  Current       54.90 mA       65.00 mA    30.00 mA    60.00 mA      35.00 mA
  Tx Power       2.38 dBm       5.49 dBm   -5.30 dBm    4.49 dBm     -4.30 dBm
  Rx Power      -8.79 dBm       5.49 dBm  -11.61 dBm    4.49 dBm    -10.60 dBm
  Transmit Fault Count = 0
  ----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

Lane Number:3 Network Lane
           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   39.82 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.22 V         3.63 V      3.04 V      3.46 V        3.13 V
  Current       52.43 mA       65.00 mA    30.00 mA    60.00 mA      35.00 mA
  Tx Power       1.64 dBm       5.49 dBm   -5.30 dBm    4.49 dBm     -4.30 dBm
  Rx Power      -9.46 dBm       5.49 dBm  -11.61 dBm    4.49 dBm    -10.60 dBm
  Transmit Fault Count = 0
  ----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

Lane Number:4 Network Lane
           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   39.82 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.22 V         3.63 V      3.04 V      3.46 V        3.13 V
  Current       53.81 mA       65.00 mA    30.00 mA    60.00 mA      35.00 mA
  Tx Power       0.71 dBm       5.49 dBm   -5.30 dBm    4.49 dBm     -4.30 dBm
  Rx Power      -9.46 dBm       5.49 dBm  -11.61 dBm    4.49 dBm    -10.60 dBm
  Transmit Fault Count = 0
  ----------------------------------------------------------------------------
  Note: ++  high-alarm; +  high-warning; --  low-alarm; -  low-warning

 

mellanox msn2010

Mellanox-MSN2010 [standalone: master] # sh int eth 1/22

Eth1/22:
  Admin state                      : Enabled
  Operational state                : Down
  Last change in operational status: 0:00:06 ago (9288 oper change)
  Boot delay time                  : 0 sec
  Description                      : N\A
  Mac address                      : 50:6b:4b:9b:08:4c   
  MTU                              : 9200 bytes (Maximum packet size 9222 bytes)
  Fec                              : no-fec
  Flow-control                     : receive off send off
  Actual speed                     : 100 Gbps
  Auto-negotiation                 : Disabled
  Width reduction mode             : Unknown
  Switchport mode                  : access
  MAC learning mode                : Enabled
  Forwarding mode                  : inherited cut-through 

  Telemetry sampling: Disabled   TCs: N\A
  Telemetry threshold: Disabled  TCs: N\A
  Telemetry threshold level: N\A

  Last clearing of "show interface" counters: 2D:0H
  60 seconds ingress rate                   : 0 bits/sec, 0 bytes/sec, 0 packets/sec
  60 seconds egress rate                    : 264 bits/sec, 33 bytes/sec, 1 packets/sec

  Rx:
    0                     packets
    0                     unicast packets
    0                     multicast packets
    0                     broadcast packets
    0                     bytes
    0                     discard packets
    1                     error packets
    0                     fcs errors
    0                     undersize packets
    0                     oversize packets
    0                     pause packets
    0                     unknown control opcode
    0                     symbol errors
    0                     discard packets by storm control

  Tx:
    79610                 packets
    47                    unicast packets
    78759                 multicast packets
    804                   broadcast packets
    5630900               bytes
    1                     discard packets
    0                     error packets
    0                     hoq discard packets


 

Mellanox-MSN2010 [standalone: master] # sh int eth 1/22 tra d

Port 1/22 transceiver diagnostic data:
  Temperature (-127C to +127C):
    Temperature          : 33 C
    Hi Temp Alarm Thresh : 75 C
    Low Temp Alarm Thresh: -5 C
    Temperature Alarm    : None 

  Voltage (0 to 6.5535 V):
    Voltage              : 3.28690 V
    Hi Volt Alarm Thresh : 3.63000 V
    Low Volt Alarm Thresh: 3.05000 V
    Voltage Alarm        : None 

  Tx Bias Current (0 to 131 mA):
    Ch1 Tx Current          : 55.41400 mA
    Ch2 Tx Current          : 55.69800 mA
    Ch3 Tx Current          : 52.76600 mA
    Ch4 Tx Current          : 53.42800 mA
    Hi Tx Crnt Alarm Thresh : 65.00000 mA
    Low Tx Crnt Alarm Thresh: 30.00000 mA
    Ch1 Tx Current Alarm    : None 
    Ch2 Tx Current Alarm    : None 
    Ch3 Tx Current Alarm    : None 
    Ch4 Tx Current Alarm    : None 

  Tx Power (0 mW to 6.5535 mW / 8.1647 dBm):
    Ch1 Tx Power             : 1.34170 mW / 1.27655 dBm
    Ch2 Tx Power             : 1.79310 mW / 2.53605 dBm
    Ch3 Tx Power             : 1.40780 mW / 1.48541 dBm
    Ch4 Tx Power             : 1.50330 mW / 1.77046 dBm
    Hi Tx Power Alarm Thresh : 3.54810 mW / 5.49996 dBm
    Low Tx Power Alarm Thresh: 0.29510 mW / -5.30031 dBm
    Ch1 Tx Power Alarm       : None 
    Ch2 Tx Power Alarm       : None 
    Ch3 Tx Power Alarm       : None 
    Ch4 Tx Power Alarm       : None 

  Rx Power (0 mW to 6.5535 mW / 8.1647 dBm):
    Ch1 Rx Power             : 0.37060 mW / -4.31095 dBm
    Ch2 Rx Power             : 0.40260 mW / -3.95126 dBm
    Ch3 Rx Power             : 0.37720 mW / -4.23428 dBm
    Ch4 Rx Power             : 0.29390 mW / -5.31800 dBm
    Hi Rx Power Alarm Thresh : 3.54810 mW / 5.49996 dBm
    Low Rx Power Alarm Thresh: 0.06920 mW / -11.59894 dBm
    Ch1 Rx Power Alarm       : None 
    Ch2 Rx Power Alarm       : None 
    Ch3 Rx Power Alarm       : None 
    Ch4 Rx Power Alarm       : None 

  Vendor Date Code (dd-mm-yyyy): 19-06-2025

 

со стороны мелланокса линк флапается каждые несколько секунд. со стороны циски просто нет линка.

в какую сторону копать?
пробовал включать/выключать автоопределение скорости и fec с обеих сторон, результата не дало.

И руками fec тоже ставили? Чтобы не авто был. Возможно ещё косяк с прошивкой модулей

Posted
33 минуты назад, fractal сказал:

И руками fec тоже ставили?

да, в исходном посте как раз

    admin fec state is off, oper fec state is off

и

  Fec                              : no-fec

 

 

36 минут назад, fractal сказал:

Возможно ещё косяк с прошивкой модулей

просил в наге прошить под циску. эти же трансиверы на той же линии между двумя мелланоксами работали

Posted
1 час назад, edo сказал:

да, в исходном посте как раз

    admin fec state is off, oper fec state is off

и

  Fec                              : no-fec

 

 

просил в наге прошить под циску. эти же трансиверы на той же линии между двумя мелланоксами работали

Там ещё возможно есть fec под 100g,попробуйте выставить с двух сторон, по идее для таких модулей как раз fec обязателен, на на snr 100g у меня были проблемы с многомодом только, там fec руками выключаю, в авто ситуация как у Вас, сигнал есть, а линки не стартуют, подергаешь со стороны нексус и линк поднимается, через раз в общем. 

 

Хотя в даташиты у Cisco модуля указано что fec на этом типе не нужен, скорее всего есть ошибка в прошивке, можно попросить их тп перешить, в городе есть офис или склад наг? Нам прям там перешивали модули где был косяк с прошивкой

Posted
46 минут назад, edo сказал:

циска не даёт включить fec для модуля

Логично, эта фича модуля если он умеет, то предлагает выбор, на 100g под mpo к примеру pam4 включается

Posted

пока решил обновить mellanox, достаточно старая прошивка.

руки чешутся обновить и циску тоже, непонятно почему наг отгрузил её с nxos.9.3.14, когда доступен nxos.10.1.2

 

есть какие-либо причины не шить 10.1.2?

Скрытый текст

окирпичу свитчи и проблема решится сама собой 🤣

 

3 часа назад, fractal сказал:

в городе есть офис или склад наг?

нет. так что перешивка трансиверов — не самая быстрая история. и на линк мелланокс-мелланокс эта пара трансиверов работала, и сейчас циска в логах на трансивер не ругается, лишь линк не поднимает )

Posted
57 минут назад, edo сказал:

циска в логах на трансивер не ругается, лишь линк не поднимает )

Вполне ситуация похожа на мою, также было, в логах чисто, но линк не up

 

57 минут назад, edo сказал:

когда доступен nxos.10.1.2

10.3.6 актуальная рекомендованная, поставщик обычно сгружает с фактической прошивкой

https://cloud.mail.ru/public/LRzg/gb3K3RP2b

Posted
4 часа назад, fractal сказал:

А нексус - нексус? 

проверить можно, но геморно (на втором конце пока нормальной стойки нет,  sn2010 достаточно компактный, а тащить туда некус и пробовать разместить — так себе удовольствие)

 

 

 

у меня сейчас мысль, что мелланоксы включали между собой fec, а канал так себе, без fec линк не поднимается.

не уверен, что до понедельника получится проверить

 

4 часа назад, fractal сказал:

10.3.6

спасибо

Posted
1 час назад, edo сказал:

кстати, а почему не 10.3.8, который рядом лежит?

Можно, рекомендованный 10.3.6 у меня стоит такой, стабильно, 10.3.8 не тестировал 

 

1 час назад, edo сказал:

мелланоксы включали между собой fec

Вариант, модули не оригинал, возможно в них как раз fec имеется, у huawei на таком же модуле точно есть, это в основном проблема не оригинала(если шить прям дамп с оригинала, такого же, то все работает хорошо) , правда я юзал модули в основном между cisco, проблемы были только со 100g многомод (основная проблема прошивка), ниже проблем не было, одномод 100g одноглазый на 40 км тоже стабильно

Posted
4 часа назад, straus сказал:

честно говоря, не понял к чему это, тут рассматриваются всякие gearbox'ы и 10×10G, у меня ничего такого нет. два одинаковых трансивера, которые умеют только 4×25G, соединённые пассивной оптикой.

4 часа назад, straus сказал:

Users sometimes wonder why the FEC requirement does not also extend to 100GBASE-LR4 and 100GBASE-ER4.

ИМХО скользкая формулировочка, не «мы не поддерживаем fec на lr4», а «требования по поддержке fec не распространяются на lr4». но, судя по всему, имеется в виду таки первое.

Posted
3 часа назад, edo сказал:

Users sometimes wonder why the FEC requirement does not also extend to 100GBASE-LR4 and 100GBASE-ER4.

Это только для оригинала актуально, на аналоге может быть fec, или наоборот не быть

Posted
В 22.11.2025 в 19:16, fractal сказал:

Вариант, модули не оригинал, возможно в них как раз fec имеется

вопрос немного «на поговорить», а какое отношение имеет трансивер к fec?

как я представляю, дело трансивера — передавать поток битов, а какая кодировка там внутри — ему и не важно

Posted

FEC может выполняться трансивером (встроенная функция) либо снаружи. Причём если снаружи, и линк четырёхканальный LR4 - возможны варианты с FEC (на общий поток либо четыре отдельных потока). Потому и...

Posted
В 24.11.2025 в 15:07, straus сказал:

FEC может выполняться трансивером (встроенная функция)

а такое точно бывает?

 

в факе мелланокса явно сказано:

In Nvidia products the FEC processing takes place in the switches and network cards. Cables and transceivers are not part of FEC processing.

 

и в любом случае это не причина запрещать включать fec на lr4, в чём смысл этого запрета?

Posted

теперь возвращаясь к моим баранам проблемам:

сделал опять линк mellanox-mellanox, линк поднялся с rs-fec.

проверил, 10000 пингов по 9к (jumbo frames включены) прошли без потерь.

 

попробовал отключить fec, линк всё равно поднялся, пинг прошёл уже с потерями, 13%

включил fc-fec, тоже потери, 11%.

 

напомню, ассиметрия между волокнами на 4-5дБ (на одном волокне затухание больше, чем на другом)

 

волокно арендуемое, попробуем заставить исправить 😉 

и тогда сделаю ещё один подход с циской, посмотрим поможет ли

ну и ещё из «интересного»: трансивер по спекам потребляет до 4.5Вт. вычитал в доке мелланокса, что в sn2700 почти все порты рассчитаны на 3.5Вт, а 1, 2, 31 и 32 порт — на 5Вт.

изначально я этого не знал, и вставлял трансивер в порты 15-16.

воткнул в 1 порт, линка нет. воткнул в 2 порт — линка нет. перепроверил настройки портов — всё идентично.

воткнул обратно в 16 порт — линк есть.

wtf?!? это мелланокс кривой? или snr кривые трансиверы оемит?

это хорошо, что я изначально доку не читал 🤣, а то убил бы ещё кучу времени в поисках причин, по которым линк не поднимается

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...
На сайте используются файлы cookie и сервисы аналитики для корректной работы форума и улучшения качества обслуживания. Продолжая использовать сайт, вы соглашаетесь с использованием файлов cookie и с Политикой конфиденциальности.