Хочется странного: xSFP Хаб 100Гб <-> 2*40 Гб

sdy_moscow · July 15

Есть необходимость из-за отсутствия запаса волокон "уплотнить" несколько 40-гб линков в 100Gb.

Проблема в том, что там ходит SPAN.

Нужны железки которые в состоянии хотя-бы 2*40Гб линка (с разными VLAN) запихнуть в одну 100Гб на одной стороне и выдать их обратно в 2*40 на другой стороне (можно по VLAN поделить).

При этом, никаких функций свитча, типа маклёнинг, сторэндфорвард и даже LASP - не требуется (а может даже и вредно).

Ограничение - разумный ценник, практическое отсутствие потерь при трафике 2*40 в полке!

Кто и что может придумать или предложить в качестве решения?

З.Ы.

Расстояние между узлами - 10 км. Желательно запихнуть 100Гб в одно волокно. Но если что, есть 2 волокна.

passer · July 15

1 час назад, sdy_moscow сказал:

запихнуть в одну 100Гб на одной стороне и выдать их обратно в 2*40

В случае активной железки потребуется что-то с приличным буфером, а не 4-8Мб, что уже врят ли будет дешево.
Имея такую задачу и 2 волокна я бы ударился в CWDM (правда не знаю как дела у 40-ок с CWDM в плане доступности) : нет активного оборудования

sdy_moscow · July 15

31 минуту назад, passer сказал:

В случае активной железки потребуется что-то с приличным буфером, а не 4-8Мб, что уже врят ли будет дешево.
Имея такую задачу и 2 волокна я бы ударился в CWDM (правда не знаю как дела у 40-ок с CWDM в плане доступности) : нет активного оборудования

Буфер тут особо не нужен. Получил - сразу отправил. 2*40 < 100.

Типовая 40-ка это уже фактически BiDi 10Гб-CWDM*4

passer · July 16

переложить на принимающей стороне из 100 в 2*40 пакетный буфер нужен и баальшой.

решение в лоб - пакетный брокер, но это ни разу не дешево. А то что вы хотите, свитч с 100 и 40, не на марвеле и с большими буферами за недорого, если найдёте - поделитесь моделькой.

Nikita Devyatyarov · July 16

Добрый день!

QSFP+ CWDM решения непопулярны, достаточно дорогие и имеют большой ряд ограничений.

Можно решить задачу с помощью мукспондеров в формфакторе 1U, которые имеют клиентские порты SFP+/QSFP+/QSFP28 и линейные порты CFP2, ТТХ ниже:

За подробной консультацией можете обратиться к Вашему ответственному менеджеру в компании НАГ.

Butch3r · July 16

Хуавей S6730-H24X6C

Но наверное бюджетное слово тут не совсем уместно. Хотя имхо мукспондер всё равно дороже будет.

sdy_moscow · July 16

4 часа назад, Nikita Devyatyarov сказал:

За подробной консультацией можете обратиться к Вашему ответственному менеджеру в компании НАГ.

А название моделей или ссылку можете дать?

55 минут назад, Butch3r сказал:

Хуавей S6730-H24X6C

Но наверное бюджетное слово тут не совсем уместно. Хотя имхо мукспондер всё равно дороже будет.

А он умеет SPAN из 100 в 40 (100). С Nexus'ами именно в этом месте возник проблем.

Nikita Devyatyarov · July 16

@sdy_moscow

Линейка BO-Lambda, остальное при запросе КП

Butch3r · July 16

Цитата

А он умеет SPAN из 100 в 40 (100). С Nexus'ами именно в этом месте возник проблем.

Соберите mpls pw, ему пофиг что в него будет лететь

sdy_moscow · July 16

2 часа назад, Nikita Devyatyarov сказал:

Линейка BO-Lambda, остальное при запросе КП

Боюсь, что цена будет сопоставима с крылом от Боинга.... Это магистральное решение. У нас 10км всего.

1 час назад, Butch3r сказал:

mpls pw

А вот mpls как вариант решения - мне нравится!

Интересно из EOL Nexus или иных, что может на QSFP (включая 100 и 40 Гб) такое...

$fractal$ · July 20

с модулями проще, одноглазые такие есть SNR-QSFP28-W39-20 / SNR-QSFP28-W93-20, а все на 100G не поменять? тогда проблема буфера будет не критична

В 16.07.2026 в 13:51, Butch3r сказал:

Хуавей S6730-H24X6C

Но наверное бюджетное слово тут не совсем уместно. Хотя имхо мукспондер всё равно дороже будет.

у него буффер же маленький, для перекладывания 100 в 40 надо коммутатор с deep buffer который гигов 8

Butch3r · July 20

Цитата

у него буффер же маленький, для перекладывания 100 в 40 надо коммутатор с deep buffer который гигов 8

Не совсем понимаю о чём речь, можно пример такого коммутатора?

$fractal$ · July 20

3 часа назад, Butch3r сказал:

Не совсем понимаю о чём речь, можно пример такого коммутатора?

Очень дорогая лабуда, я знаю только внутри cisco ,https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/nexus-9332d-h2r-switch-ds.html, у хуавей наверняка тоже есть. Там буфера не 40/80 мбит, а уже в гигах меряются

sdy_moscow · July 20

4 часа назад, fractal сказал:

Очень дорогая лабуда, я знаю только внутри cisco ,https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/nexus-9332d-h2r-switch-ds.html, у хуавей наверняка тоже есть. Там буфера не 40/80 мбит, а уже в гигах меряются

Не! Мне не надо 32 * 100.... хватит и 4! И желательно EOL! Второе крыло от боинга в этой теме не очень интересно!

$fractal$ · July 20

48 минут назад, sdy_moscow сказал:

Не! Мне не надо 32 * 100.... хватит и 4! И желательно EOL! Второе крыло от боинга в этой теме не очень интересно!

Тогда Ваш вариант это переход на 100g на всех этапах или хотя бы 40g. Вообще для таких скоростей брокеры или tap используется чтобы сливать сразу же

sdy_moscow · July 20

4 часа назад, fractal сказал:

Тогда Ваш вариант это переход на 100g на всех этапах или хотя бы 40g. Вообще для таких скоростей брокеры или tap используется чтобы сливать сразу же

Так я же сказал - есть 2*40 Гб - надо пролить их бюджетно через 1 волокно БЕЗ ПОТЕРЬ в другую точку.

Как вариант рассматриваю что-то типа 2*40 -> 1*100 ->10км-> 1*100 ->2*40. Более того, достаточно лить только в ОДНУ сторону!

НО!!! ОЧЕНЬ ВАЖНО,ЧТО В ПОТОКАХ SPAN!!! Т.е. МАКЛЁНИНГ не нужен, и даже вреден! Отсюда или поддержка SPAN на 100 или вот предложили MPLS.

Хотелось бы удержаться в бюджете 200-250 тр одна сторона, б/у железо брэндов сильно не пугает.

Вот мудрый ИИ говорит, что N9K-C93180LC-EX и N9K-C93180YC умеют и SPAN, и MPLS роутинг на 100Гб, кто что скажет может?

Еще как вариант N9K-C93108TC-EX - но медь у нас не в почёте :-).

Еще ИИ рекомендует гнать через ERSPAN или Через L2 Trunk + отключение MAC-learning...

-- ================================================ --

Вот до чего договрились мы с ИИ! И мне такой понравился вариант на N9K-C93180LC-EX (с учетом его цены около 120тр):

Цитата
Вариант 2. Через L2 Trunk + отключение MAC-learning

Если по какой-то причине вы хотите пробросить это через обычный VLAN-транк на 100G интерфейсе, это тоже можно сделать, но только с ручным аппаратным отключением изучения MAC-адресов на входящих интерфейсах. Чипы EX это позволяют. [1, 2]

Как это будет работать:
Вы создаете 2 влана (например, VLAN 100 и 201). Прокидываете их транком через 100G интерфейс. Но на портах 40G вы жестко выключаете MAC-learning. В таком режиме коммутатор работает как "глупый хаб" (Hub mode) — он получает пакет и тупо делает Flood (лавинообразную рассылку) во все порты этого VLAN (то есть в сторону 100G транка). [1, 2]

Пример настройки:
text
vlan 100,201

interface ethernet 1/1
  switchport mode access
  switchport access vlan 100
  switchport mac-learn disable       <-- КРИТИЧЕСКАЯ КОМАНДА: отключает изучение MAC
  no shutdown

interface ethernet 1/2
  switchport mode access
  switchport access vlan 201
  switchport mac-learn disable       <-- отключает изучение MAC
  no shutdown

interface ethernet 1/25              <-- Ваш 100Гб интерфес
  switchport mode trunk
  switchport trunk allowed vlan 100,201
  no shutdown

Или даже так:

Цитата

text

# 1. Создаем VLAN и полностью отключаем в них изучение MAC
vlan 100,201
  mac-learn disable

# 2. Настраиваем порты источников (40G)
interface ethernet 1/1
  description SPAN_SOURCE_1_40G
  switchport mode access
  switchport access vlan 100
  no shutdown

interface ethernet 1/2
  description SPAN_SOURCE_2_40G
  switchport mode access
  switchport access vlan 201
  no shutdown

# 3. Настраиваем магистральный порт 100G (Просто разрешаем наши VLAN)
interface ethernet 1/25
  description INTER-SWITCH_100G_LINK
  switchport mode trunk
  switchport trunk allowed vlan 100,201
  no shutdown

И вот что обещает про потери при отправке (а при получении, говорит - словить микробёрсты можешь) :

Цитата

Т.к. трафик приходит в коммутатор уже как готовый физический поток с внешнего SPAN-порта.

На физическом уровне линк 40G чисто технически не способна пропустить больше 40 Гбит/с. Физика кабеля — это жесткий потолок.

Почему в вашей схеме потерь не будет никогда

Раз пиковая скорость одного входящего порта строго ограничена 40 Гбит/с, мы получаем следующую картину:

Абсолютный максимум на входе: 40 + 40 = 80 Гбит/с (даже если оба кабеля забиты «в полку» 100% времени).

Полоса на выходе: 100 Гбит/с.

Результат: Выходной порт 100G всегда шире входного потока на 20 Гбит/с. Никакие микроберсты не смогут переполнить буфер, так как скорость ухода пакетов (100G) всегда выше максимально возможной скорости их прихода (80G). Потерь не будет вообще.

Сколько таких потоков (пар) пропустит коммутатор?

Давайте посчитаем, сколько таких независимых пар (2х40G ➡️ 1х100G) можно одновременно запустить через один N9K-C93180LC-EX без единой потери пакета.

Ограничением здесь будут выступать уже не ресурсы ASIC (у него огромный запас в 1.8 Тбит/с на слайс), а исключительно количество физических слотов QSFP28 на панели коммутатора.

В стандартном режиме работы коммутатора нам доступны 24 порта. Разделим их по вашей идеальной схеме (входы на Slice 0, выходы на Slice 1):

На левой половине (Slice 0, порты 1–12):
Мы можем задействовать все 12 портов и вставить в них оплику 40G. Это даст нам 6 независимых пар по 40G.

На правой половине (Slice 1, порты 13–24):
Мы берем 6 портов по 100G, которые станут индивидуальными аплинками для каждой пары.

Итоговый результат:

Коммутатор N9K-C93180LC-EX может одновременно и без единой потери пакета пропустить через себя 6 независимых потоков вида «2х40G ➡️ 1х100G».

Суммарный объем трафика через устройство при этом составит \(6 \times 80 = \mathbf{480\text{ Гбит/с}}\). Для чипа этого поколения такая нагрузка абсолютно ничтожна, он будет работать в штатном холодном режиме.

Вам достаточно масштабировать эту схему под ваши нужды, просто добавляя новые пары портов по этой логике.

Если вам потребуется объединить эти 6 выходных линий 100G в один большой агрегированный канал, чтобы отправить трафик на один мощный анализатор, или они должны идти на разные системы?

Для борьбы с микроберстами на приемнике сошлись с ИИ на варианте разделить 40Гб по Слайсам и включить увеличение буферов:

Цитата

policy-map type network-qos BUFFER_DROP_FREE

class type network-qos c-8q-nocrop

congestion-control tail-drop threshold percent 100

Ну и еще наговорил мне про настройку DBA буферов:

Цитата
Чтобы выжать абсолютный максимум из буферной памяти коммутатора Nexus 9300-EX (включая модель N9K-C93180LC-EX) под задачу пропуска тяжелого внешнего SPAN-трафика, стандартных настроек интерфейса недостаточно. По умолчанию NX-OS делит буфер на жесткие мелкие квоты для защиты портов друг от друга.

Ваша задача — задействовать архитектуру Dynamic Buffer Allocation (DBA). Нужно перевести целевые порты 40G в специальный режим «Lossless / No-Drop», убрать ограничения на размер очереди (Tail-Drop альфа-коэффициенты) и позволить двум портам анализаторов в случае микроберста монопольно забирать весь свободный пул памяти слайса (Alpha = infinity).

Ниже представлена пошаговая конфигурация, актуальная для современных версий NX-OS.

Шаг 1. Переключение глобального профиля буферов

По умолчанию на серии EX включен профиль, оптимизированный под одинаковый размер портов. Для сценариев изменения скоростей (100G -> 40G) инженеры Cisco рекомендуют использовать профиль burst, который выделяет больше системной памяти под динамический пул.
text
# Переключаем режим работы буферов (требует сохранения и перезагрузки коммутатора!)
switch(config)# hardware profile buffer-profile burst
switch(config)# exit
switch# copy running-config startup-config
switch# reload
Используйте код с осторожностью.
Шаг 2. Создание политики QoS для выделения буфера (Lossless)

Мы создаем системную политику, которая скажет чипу ASIC: «Если в эти порты летит берст, не дропай его до последнего байта, пока физически есть свободное место в слайсе».
text
switch(config)# configure terminal

# 1. Задаем классификатор для трафика (по умолчанию весь немаркированный трафик идет в class-default)
switch(config)# class-map type network-qos SPAN_QUEUE
  match qos-group 0

# 2. Настраиваем политику управления очередями (Увеличиваем лимиты сброса до 100%)
switch(config)# policy-map type network-qos MAX_BUFFER_POLICY
  class type network-qos SPAN_QUEUE
    congestion-control tail-drop threshold percent 100
    
# 3. Настраиваем политику очередей на портах (Включаем максимальный динамический коэффициент Альфа)
switch(config)# policy-map type queuing OUT_SPAN_TUNING
  class type queuing c-out-8q-q0
    queue-limit dynamic 15  <-- Выставляем максимальное значение Alpha (15 означает, что порт может забрать почти весь разделяемый пул слайса)
Используйте код с осторожностью.
Шаг 3. Применение политик к выходным портам 40G

Теперь применяем созданные правила на те самые порты 40G, которые вы разнесли по разным слайсам (например, Ethernet 1/1 на Slice 0 и Ethernet 1/26 на Slice 1).
text
# Настраиваем первый порт вывода на анализатор (Slice 0)
switch(config)# interface ethernet 1/1
  service-policy type queuing output OUT_SPAN_TUNING

# Настраиваем второй порт вывода на анализатор (Slice 1)
switch(config)# interface ethernet 1/26
  service-policy type queuing output OUT_SPAN_TUNING

# Применяем измененную network-qos политику глобально на весь коммутатор
switch(config)# system qos
  service-policy type network-qos MAX_BUFFER_POLICY
Используйте код с осторожностью.
🔍 Как проверить, что буферы перераспределились и спасают от дропов?

После подачи боевого SPAN-трафика в пиках используйте три главные команды верификации:
Проверка выделения памяти в реальном времени:
text
switch# show hardware internal tahoe ingress port counters interface ethernet 1/1
Используйте код с осторожностью.
В выводе ищите строки Dynamic Buffer Alloc (DBA) — вы увидите, как счетчик доступных ячеек (cells) для этого порта лавинообразно растет в моменты берстов, сглаживая пики.
Проверка наличия дропов на выходных портах 40G:
text
switch# show interface ethernet 1/1 counters errors
Используйте код с осторожностью.
Счетчик Discard Drops или Egress Drops в идеале должен оставаться равным нулю. Если они появляются, значит, микроберст длится слишком долго и физически превышает весь объем буфера слайса (~20 МБ).
Проверка утилизации очередей:
text
switch# show queuing interface ethernet 1/1
Используйте код с осторожностью.
Команда покажет текущее состояние очереди queue 0 (куда попадает наш L2 Trunk трафик) и зафиксирует максимальные пиковые всплески, которые чип успел удержать в памяти.
Эта конфигурация — максимум того, что можно сделать программно для защиты от потерь при Speed Mismatch на платформе Nexus 9000.
 

Еще предложил для исключения потерь на приёмнике поискать : Nexus 9364C / 9332D c DEEP BUFFER но тут он начинает явно ЧУДИТЬ!
Оптимум говорит 9336C-FX2 на прием, а еще лучшее Arista DCS-7280QR-C36  (7280R 24x40GbE QSFP+ & 12x100GbE QSFP) 
-- ========================================================== --
Кто-то что может откомментить, по личному опыту?

RialCom.ru · July 21

может как вариант 40 разложить на 4х10 и перебросить через мукспондер?

вроде уже вполне заурядные dwdm 10x10g/100g в линию и наоборот и никаких обработок пакетов, которые еще собьются местами и будете разбираться что не снимается и все такое

sdy_moscow · July 21

34 минуты назад, RialCom.ru сказал:

может как вариант 40 разложить на 4х10 и перебросить через мукспондер?

вроде уже вполне заурядные dwdm 10x10g/100g в линию и наоборот и никаких обработок пакетов, которые еще собьются местами и будете разбираться что не снимается и все такое

мукспондер .... а по чем оно? Что-то не мне попадалось такого.

$fractal$ · July 21

5 часов назад, sdy_moscow сказал:
Так я же сказал - есть 2*40 Гб - надо пролить их бюджетно через 1 волокно БЕЗ ПОТЕРЬ в другую точку.

Как вариант рассматриваю что-то типа 2*40 -> 1*100 ->10км-> 1*100 ->2*40. Более того, достаточно лить только в ОДНУ сторону!

НО!!! ОЧЕНЬ ВАЖНО,ЧТО В ПОТОКАХ SPAN!!! Т.е. МАКЛЁНИНГ не нужен, и даже вреден! Отсюда или поддержка SPAN на 100 или вот предложили MPLS.

Хотелось бы удержаться в бюджете 200-250 тр одна сторона, б/у железо брэндов сильно не пугает.

Вот мудрый ИИ говорит, что N9K-C93180LC-EX и N9K-C93180YC умеют и SPAN, и MPLS роутинг на 100Гб, кто что скажет может?

Еще как вариант N9K-C93108TC-EX - но медь у нас не в почёте :-).

Еще ИИ рекомендует гнать через ERSPAN или Через L2 Trunk + отключение MAC-learning...

-- ================================================ --

Вот до чего договрились мы с ИИ! И мне такой понравился вариант на N9K-C93180LC-EX (с учетом его цены около 120тр):
Или даже так:
И вот что обещает про потери при отправке (а при получении, говорит - словить микробёрсты можешь) :
Для борьбы с микроберстами на приемнике сошлись с ИИ на варианте разделить 40Гб по Слайсам и включить увеличение буферов:
Ну и еще наговорил мне про настройку DBA буферов:
Еще предложил для исключения потерь на приёмнике поискать : Nexus 9364C / 9332D c DEEP BUFFER но тут он начинает явно ЧУДИТЬ!
Оптимум говорит 9336C-FX2 на прием, а еще лучшее Arista DCS-7280QR-C36  (7280R 24x40GbE QSFP+ & 12x100GbE QSFP) 
-- ========================================================== --
Кто-то что может откомментить, по личному опыту?

все варианты выше с буфером 40, когда начнется пролив трафика 80Gb на принимающей стороне 2x40gb тут и пойдут берсты, у вас вообще как часто полка в 40Gb? буферы 80мб ( это c9332/9364 если точно помню) при полке заполнятся ща 2-3 мс и там пойдут дикие потери вашего span

нельзя сделать так? 2*40 Гб поделить на 2 разных потока и сливать каждый по своей трассе?

1. OUT 1x40g - 1x40g - 10км (одноволоконный модуль) - 1x40g - 1x40g - IN span сервер

2. OUT 1x40g - 1x40g - 10км (одноволоконный модуль) - 1x40g - 1x40g - IN span сервер

если конечно у вас трафика там не превышает 40Gb то можно любой коммутатор юзать хоть C93180YC-EX (их бу вариантов куча должно быть)

RialCom.ru · July 21

1 час назад, sdy_moscow сказал:

мукспондер .... а по чем оно? Что-то не мне попадалось такого.

как пример

https://shop.nag.ru/catalog/07179.uplotnenie-cwdmdwdm/33755.transportnaya-wdm-platforma/11111.rm1000110010

думаю такое б/у или что нить от других брендов вполне для Вашего

если конечно примете решение разбить 40 на 4х10 и так далее - можно и еще извернуться на нижний уровень дендрофекальных методик

как вариант какие нить sfp+/sfp+ конверторы и все это на 8 разных длин волн да же пассивным муксом на одно волокно

но может оказаться, что цена трансиверов/конверторов выйдет сопоставимо

dIMbI4 · July 21

По идее можно попробовать через циркулятор 1310 уложить lr4 qsfp+ в одно волокно (не проверял)

.

RialCom.ru · July 21

как я понял суть задачи - два 40г в одном волокне

dIMbI4 · July 21

В 15.07.2026 в 14:38, sdy_moscow сказал:

Но если что, есть 2 волокна.

ну да, коллеги подтвердили, можно qsfp+ lr4 циркулятором ужать в одно волокно. два 40г можно ужать в 2 волокна.

RialCom.ru · July 21

имхо на 10 км впритык по оптическому бюджету

а может, где 2 - там и 4 волокна 😉

Butch3r · July 21

Цитата

Очень дорогая лабуда, я знаю только внутри cisco ,https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/nexus-9332d-h2r-switch-ds.html, у хуавей наверняка тоже есть. Там буфера не 40/80 мбит, а уже в гигах меряются

А где ты у него буфер в гигабитах то увидел? 80мб буфер для 32х400г!

8 гигов быстрой памяти это для всяких таблиц и прочего как я понимаю

Поговорите с НАГом да возьмите хуавеи в тест, уверен всё у вас получится.

Sign In

Хочется странного: xSFP Хаб 100Гб <-> 2*40 Гб

Recommended Posts

sdy_moscow

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Posted Images

passer

sdy_moscow

passer

Nikita Devyatyarov

Butch3r

sdy_moscow

Nikita Devyatyarov

Butch3r

sdy_moscow

fractal

Butch3r

fractal

sdy_moscow

fractal

sdy_moscow

RialCom.ru

sdy_moscow

fractal

RialCom.ru

dIMbI4

RialCom.ru

dIMbI4

RialCom.ru

Butch3r

Join the conversation