Балансировка трафика на C3750

[alibek]

Есть сдвоенный гигабитный линк между Cisco Catalyst 3750E и сервером.

На сервере LAG сконфигурирован так:

  bonds:
    bond0:
      parameters:
        mode: 802.3ad
        transmit-hash-policy: layer2+3
        mii-monitor-interval: 100
        lacp-rate: fast
      interfaces:
      - enp4s0
      - enp5s0

На коммутаторе LAG сконфигурирован так:

interface GigabitEthernet1/0/1
 description SRV01#LACP#1
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 20,100
 switchport mode trunk
 channel-group 1 mode active
!
interface GigabitEthernet1/0/2
 description SRV01#LACP#2
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 20,100
 switchport mode trunk
 channel-group 1 mode active
!
interface Port-channel1
 description SRV01#LACP
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 20,100
 switchport mode trunk

В направлении сервер->коммутатор трафик балансируется нормально (равномерно), а вот в направлении коммутатор->сервер весь трафик идет по второму линку, да еще и довольно много дропов на порту.

port-channel load-balance src-dst-ip практически не повлиял.

 

Прошивка: Cisco IOS Software, C3750E Software (C3750E-UNIVERSALK9-M), Version 12.2(55)SE, RELEASE SOFTWARE (fc2)

Варианты балансировки доступны только по l2 и l3, l4 в списке отсутствуют.

Можно тут что-то сделать? Или только переносить на другое устройство?

[passer]

Попробуйте src-ip или src-mac в зависимости от типа трафика.
Не поможет - переходите на 10G или ставьте свитч с балансировкой по L4. Но целесообразность такого действа лучше заранее оценить, например снифером или командой 

test etherchannel load-balance interface port-channe

 

[jffulcrum]

Так если 90% входящего трафика на сервер создает один источник, то он весь в один порт и полетит, тут волшебства нет. Покажите, кстати, show etherchannel load-balance . Ну и собственно можно сразу проверять 

 

test etherchannel load-balance interface port-channel (номер) mac_или_ip источник назначение

 

она сразу выводит в какой порт такой трафик попадёт

[alibek]

Разные варианты load-balance я проверял (ip и mac), это мало влияло на результат, разве что исходящий трафик начинал литься на другой порт.

Балансировка по L4 (портам) могла бы помочь, но моя железка не умеет.

 

Сервер - это кеш-сервер для ТВ. Поставщик сказал, что проблем нет, исходящий трафик сервера (входящий на коммутаторе) балансируется ровно, а входящий трафик сервера (исходящий на коммутаторе) далек от емкости порта.

Доля абонентов в этом трафике (с разными IP) невелика, основной объем идет на кеш от контент-сервера с одним IP, поэтому тут мало что можно сделать.

 

Разве что дропы смущают. Но подозреваю, что на циске (cisco WS-C3750E-48TD) просто буферы маленькие, вот и не хватает их.

Пробовал покрутить qos, но что-то не получилось.

[passer]

3750e умеет в 10G. Переключайтесь.

[alibek]

Ну как умеет...

Нужны X2, которые мы вообще не используем, или конвертеры, которых у меня сейчас нет.

Кроме того, на кеш-сервере только гигабитные интерфейсы.

Аплинк у нее 10G, когда-то давно брал адаптер X2-SFP+, но только один.

[passer]

X2 - отличная штука которая просто проиграла в логистику sfp+. Модули или конвертеры можно у коллег поспрашивать. Б/у стоят не дороже бутылки вискаря. 
А в сервер так сложно добавить сетевушку? Или это какой-то ПАК, конфигурацию которого нельзя менять?

Если бы сразу написали, что трафик почти весь с одним dst ip и одним src ip - лаг бы не предложил крутить.

Правда, в вашем случае есть еще наркоманский (не факт что поможет) способ: покупаете CRS326 или подобный коммутатор от микротыков, и у них есть баллансировка balance-rr, которая будет тупо раскидывать пакеты по портам чередованием.

[alibek]

21 минуту назад, passer сказал:

А в сервер так сложно добавить сетевушку?

Скорее не стоит того.

Нужно будет искать низкопрофильную карту, да еще и старую.

Сервер на платформе (Supermicro X8SIL).

[sol]

1 час назад, alibek сказал:

Ну как умеет...

Нужны X2, которые мы вообще не используем, или конвертеры, которых у меня сейчас нет.

Кроме того, на кеш-сервере только гигабитные интерфейсы.

Аплинк у нее 10G, когда-то давно брал адаптер X2-SFP+, но только один.

До 5 т.р. На Авито. Если не надо в даль или переходить на SFP+, то какой нибудь LR или SX вообще до 2 т.р.

 

33 минуты назад, alibek сказал:

Нужно будет искать низкопрофильную карту, да еще и старую.

2 т.р. на Авито.

 

[passer]

1 час назад, alibek сказал:

Supermicro X8SIL

Ваще не проблема. Любая с PCIe v2 шиной точно будет работать. На некоторых X8SIE с распаянным SAS контроллером с сетевушки Intel 82599 референсным дизайном не всегда становились через райзер.
А если без райзера и с низкопрофильной планкой, то никаких проблем быть не должно: эти самые низкопрофильные планки для большинства серверных сетевух идут в комплекте. Что касается целесообразности, то в сходной роли я десятку почти всю смог нагрузить трафиком на аналогичном железе.
Добавить сюда X2-SR или X2-LR и однотипный с ним модуль плюс патч SC-LC и профит.

[jffulcrum]

В 21.09.2026 в 12:17, alibek сказал:

Supermicro X8SIL

У какие древности... Да, карту надо будет искать старую, ибо Mellanox 5Е поколения даже в уже X9 не хотели работать.  

 

В 21.09.2026 в 11:49, passer сказал:

покупаете CRS326 или подобный коммутатор от микротыков, и у них есть баллансировка balance-rr, которая будет тупо раскидывать пакеты по портам чередованием.

Тут вопрос к софту, насколько он устойчив к packet reordering. Это надо сильно тестить, всех клиентов проверять.

[passer]

4 минуты назад, jffulcrum сказал:

Тут вопрос к софту

Это скорее вопрос личных извращений: перейти на 10G стоит многократно дешевле этого извращения. Но существуют как истовые адепты микротиков, так и любители экспериментов (на людях).

 

6 минут назад, jffulcrum сказал:

карту надо будет искать старую

новые Intel 82599 до сих пор продаются китайцами на различных площадках. Но заработает любая карта с PCI Express v2. Это вопрос личных предпочтений.

[alibek]

Я просто не вижу особого смысла. Поставщик говорит, что при тех объемах трафика, которые имеются, никакой проблемы в том, что трафик на сервер идет по одному линку - нет.

Ну и другие факторы есть. Во втором слоте у меня вставлен TwinGig и от него по оптике подключены два устройства. Они в одном ящике, поэтому при необходимости их можно будет перевести на медь (с использованием SFP-RJ), но вот так по мелочи и набирается "не стоит того".

[passer]

2 минуты назад, alibek сказал:

при тех объемах трафика

Менее 750М в пиках?
Output drop присутствуют в каких количествах относительно исходящего трафика (процент)?

[alibek]

Ну примерно так.

На первом порту входящий трафик почти такой же ( то есть суммарно до 800-900 Мбит/с в ЧНН).

[jffulcrum]

4 часа назад, passer сказал:

новые Intel 82599 до сих пор продаются китайцами на различных площадках

Чипы, да и платы на них часто с утилизаций взяты. И в старых ревизиях 82599 ускорялки для IPv6 не работали некоторые, RSS кажется.

[sol]

7 часов назад, jffulcrum сказал:

ускорялки для IPv6 не работали некоторые,

Какая трагичная трагедия...

[passer]

16 часов назад, alibek сказал:

суммарно до 800-900 Мбит/с в ЧНН

тогда вообще не понятно почему тема вопроса возникла
если один порт нагружен на половину и lacp просто обеспечивает горячие резервирование порта

[alibek]

Под "суммарно" я имел ввиду не входящий+исходящий, а входящий на двух линках (на первом линке входящий трафик примерно такой же, как на скриншоте).

Ну и он же не всегда такой, иногда больше, иногда меньше. Иногда всходящий трафик в 1 Гбит/с не влезал.

Да и даже когда влезал, при объемах свыше 800 Мбит/с начиналась небольшая деградация.

После перехода на 2x1G проблемы исчезли.

А после перехода на C3750E вылезли небольшие проблемы с исходящим трафиком, но судя по всему они несущественные.

[qckl]

Снимите show mls qos interface Gi1/0/2 statistics дважды во время нагрузки и сравните раздел output queues dropped.

 

что говорит show mls qos interface Gi1/0/2 buffers ? 

[alibek]

Там довольно убогий QoS, всего две очереди и куцые буферы.

Я пробовал с QoS экспериментировать, это ничего не дало.

Так что я вообще убрал mls qos, чтобы не мешалось.

 

#sh mls qos int gi1/0/2 buffers 
GigabitEthernet1/0/2
QoS is disabled. When QoS is enabled, following settings will be applied
The port is mapped to qset : 1 
The allocations between the queues are : 25 25 25 25  

 

На трафике 300-400 Мбит/с буфер заканчивается практически сразу, толку от него нет.