Как уменьшить microburst с Linux BRAS(20Gbps)

[Стич]

Если Linux в качестве BRAS в сторону абонентов смотрит 2x10Gbps загрузка в час пик 15Gbps.

Периодически видна нехватка буферов на свитчах агрегации при преобразовании

10Gbps в 1Gbps. Причем потери выскакивают даже в часы минимального трафика.

Есть предположение что Linux создаёт большие microburst.

 

Кто нибудь как то шейпил трафик на linux с целью устранить мicroburst'ы в сторону абонентов?

 

[Ivan_83]

Я так понимаю что у вас в часы пик 15 гигабит размазывается на некоторое количество 1г портов, вероятно их больше 15.

Соответственно вам нужно по каким то критериям шейпить трафик так чтобы на каждый конкретный 1г порт приходилось менее 1 гигабита.

 

Это к тому, что основная проблема тут не сам шейпинг а критерии по которым он будет это делать.

[Стич]

В 27.01.2022 в 18:30, Ivan_83 сказал:

Я так понимаю что у вас в часы пик 15 гигабит размазывается на некоторое количество 1г портов, вероятно их больше 15.

Соответственно вам нужно по каким то критериям шейпить трафик так чтобы на каждый конкретный 1г порт приходилось менее 1 гигабита.

 

Это к тому, что основная проблема тут не сам шейпинг а критерии по которым он будет это делать.

Это то понятно только даже смена корневой без классовой дисциплины с pfifo на fq даёт прирост cpu c 30% до 60%.

 

Может что то существует другое.

[orlik]

Другое , в данном случае может быть только коммутатор с достаточно большим буфером , чтобы сгладить эти бёрсты трафика

[Стич]

В 28.01.2022 в 09:26, orlik сказал:

Другое , в данном случае может быть только коммутатор с достаточно большим буфером , чтобы сгладить эти бёрсты трафика

На все брасы буферов не хватит.

 

Интересно как дело обстоит у продаваемых решений так же бёрстами шмаляют.

[orlik]

On 1/28/2022 at 6:36 PM, Стич said:

 

Интересно как дело обстоит у продаваемых решений так же бёрстами шмаляют.

Это не проблема браса, это проблема коммутатора с маленьким буфером

[Ivan_83]

В 28.01.2022 в 06:10, Стич сказал:

Может что то существует другое.

А что?

Не, можно с flow control поигратся и включить его, единственный реальный вариант.

[stalker86]

В 29.01.2022 в 00:59, Ivan_83 сказал:

А что?

Не, можно с flow control поигратся и включить его, единственный реальный вариант.

в результате тормозить с некоторой долей вероятности будет у всех... кмк

[Ivan_83]

В 28.01.2022 в 22:21, stalker86 сказал:

в результате тормозить с некоторой долей вероятности будет у всех... кмк

Хз, но других разумных способов повлиять на скорость отдачи я не вижу.

[stalker86]

Уху...если и зажать бёрсты..то скорость даже до тарифной не дойдёт вроде как...

а с буферами тоже не особо весело нынче на доступах..если нужно из 10ки в кучку гиг раздать

[rm_]

On 1/28/2022 at 7:19 PM, orlik said:

Это не проблема браса, это проблема коммутатора с маленьким буфером

Нету фундаментальных причин, по которым та же самая буферизация не может осуществляться вместо буферов свитча, в гораздо более дешёвой и объёмной ОЗУ BRAS'а.

 

On 1/28/2022 at 11:10 AM, Стич said:

Может что то существует другое.

Самое простое - flow-control вы попробовали включить? Не факт, что поможет, впрочем.

Тогда пробовать шейпить, см. tbf (man tc-tbf).

[sdy_moscow]

По большому счету, проблема решается спуском 10Гб на уровень дома.

 

 

[orlik]

On 1/29/2022 at 5:16 AM, rm_ said:

Нету фундаментальных причин, по которым та же самая буферизация не может осуществляться вместо буферов свитча, в гораздо более дешёвой и объёмной ОЗУ BRAS'а.

Там выше же предложили это сделать, при условии что ты может выделить трафик одного 1г канала в отдельный класс. 

[Ivan_83]

В 28.01.2022 в 23:16, rm_ сказал:

Нету фундаментальных причин, по которым та же самая буферизация не может осуществляться вместо буферов свитча, в гораздо более дешёвой и объёмной ОЗУ BRAS'а.

А софт для этого вам Пушкин напишет?

У вас есть некий роутер, у которого хоть 1х10, хоть 1х100 не суть важно, через него идёт трафик.

Роутер этот понятия не имеет куда пойдёт тот трафик что он выплёвывает в другой 100г порт или всё на 1г прилетит.

Даже если вы будете равномерно размазывать хоть 10Г чтобы пакеты шли с относительно равными интервалами, типа без бёрстов, то всё равно все эти 10г могу прилететь в один порт.

 

Воспользоваться шейпером выйдет только если у вас на каждом 1г порту своя подсеть, тогда получится сделать адекватные критерии для шейпинга.

[Стич]

В 30.01.2022 в 00:50, Ivan_83 сказал:

А софт для этого вам Пушкин напишет?

У вас есть некий роутер, у которого хоть 1х10, хоть 1х100 не суть важно, через него идёт трафик.

Роутер этот понятия не имеет куда пойдёт тот трафик что он выплёвывает в другой 100г порт или всё на 1г прилетит.

Даже если вы будете равномерно размазывать хоть 10Г чтобы пакеты шли с относительно равными интервалами, типа без бёрстов, то всё равно все эти 10г могу прилететь в один порт.

 

Воспользоваться шейпером выйдет только если у вас на каждом 1г порту своя подсеть, тогда получится сделать адекватные критерии для шейпинга.

Я думаю что то типа задания максимально допустимых параметров бёрста Пушкин бы написал. В инете вроде говорят о fq дицеплине, но у меня слишком уж большая загрузка cpu от неё становится.

Edited January 31, 2022 by Стич