Разборки с MTU с аплинком.

[ThreeDHead]

Есть 10G канал с аплинком, который никак не можем прогрузить. Для выяснения причин, одно из направлений - MTU, как влияет и какой нужен.

 

Отсюда вообще общие вопросы:

1. Ключевой вопрос - в "Интернете" HW/IP-MTU больше 1500 не используется?

2. Какой HW-MTU используете на стыках с аплинками?

3. Какой IP-MTU используете на стыках с аплинками?

[pppoetest]

На 10Г полюбому уже надо включать jumbo

[SyJet]

14.88 Mpps максимальная пакетная скорость 10гбит ethrrnet. Отсюда и считаете.

Минимальный что вам надо ставить 1538байт.

[rdntw]

На 10Г полюбому уже надо включать jumbo

а какой смысл включать у себя на стыке, если нет гарантии что на всей трассе будет >1500 ?

[tehmeh]

Я вот тоже не понимаю. Вы же не в один поток пытаетесь прокачать, а хомячкам раздаете. У нас везде 1500.

[ThreeDHead]

На 10Г полюбому уже надо включать jumbo

Хочется увидеть обоснование, и размер джамбы ибо они бывают разные.

 

14.88 Mpps максимальная пакетная скорость 10гбит ethrrnet. Отсюда и считаете.

Минимальный что вам надо ставить 1538байт.

Расшифруйте "38 байт".

 

Для ясности:

[pppoetest]

Расшифруйте "38 байт".

ипг (12 байт) + преамбула (8 байт) + хидер л2 (14 байт) + ип пакет (1500 байт) + црц (4байта) = 1538

[FATHER_FBI]

Расшифруйте "38 байт".

ипг (12 байт) + преамбула (8 байт) + хидер л2 (14 байт) + ип пакет (1500 байт) + црц (4байта) = 1538

Нагнул так нагнул)

[SyJet]

Расшифруйте "38 байт".

ипг (12 байт) + преамбула (8 байт) + хидер л2 (14 байт) + ип пакет (1500 байт) + црц (4байта) = 1538

Нагнул так нагнул)

+1

[pppoetest]

Это была ирония или сарказм? Не понял ))

[ThreeDHead]

ипг (12 байт) + преамбула (8 байт) + хидер л2 (14 байт) + ип пакет (1500 байт) + црц (4байта) = 1538

И в результате это называется MTU=1500, можешь выдыхать.

Другая версия есть?

[orlik]

на всех стыках с аплинками ip mtu 1500 , никаких проблем с загрузкой каналов не наблююдаем

[ThreeDHead]

Это была ирония или сарказм? Не понял ))

Хацкеры, сэр.

 

на всех стыках с аплинками ip mtu 1500 , никаких проблем с загрузкой каналов не наблююдаем

HW-MTU какой устанавливаете на 10G? (кроме случаев связанных с QinQ, особых L2-тоннелей)

[tehmeh]

Думаю, у большинства все по дефолту, и никто не парится. Крутить mtu имеет смысл для каких-то специфичных задач, например, через толстый выделенный канал передать большие объемы данных между парой железок.

В рамках каналов для массового потребителя смысла это не имеет, имхо.

[uxcr]

Мту не уиновный, по-моему нужно разбираться с используемым роутером.

Да и вообще, откуда такая уверенность, что есть нагрузка на 10гб?

[g3fox]

По-идее не важно какой скоростью обладает физический ифейс если речь идёт о линке в инет то MTU (не L2MTU, не HWMTU, а то MTU, которое и есть MTU) ставить только 1500.

Между своими хостами, где вы уверены в однообразии - можете делать jumbo вплоть до максимального на трассе.

 

ипг (12 байт) + преамбула (8 байт) + хидер л2 (14 байт) + ип пакет (1500 байт) + црц (4байта) = 1538

 

Кстати, не видел чтобы размер фреймов на коммутаторах, считался с учётом того, что идёт раньше, чем L2 заголовок. То есть преамбула и IPG не учитывается (насколько я понимаю, это вообще служебные межфреймовые битовые интервалы) в подсчёте длинны фрейма. То есть считается только от начала L2 и до конца включая CRC.

[pppoetest]

Хз, цискари считают соотношение bandwidth и packet rate, ну либо я чего не правильно понял.

[tehmeh]

Мту не уиновный, по-моему нужно разбираться с используемым роутером.

Да и вообще, откуда такая уверенность, что есть нагрузка на 10гб?

 

Может быть потому что ТС пишет, что у него есть канал от аплинка в 10G, который он никак не может прогрузить?

 

Как я понял, что ТС грешит на MTU.

[g3fox]

Сколько из 10Г вы, вообще, смогли прогрузить?

А как, вообще, выглядит график загрузки канала? "Полка" наблюдается?

Что во время пиковой загрузки у вас с пингами и скоростями с разных спидтестов?

[ThreeDHead]

В рамках каналов для массового потребителя смысла это не имеет, имхо.

Как пример отгрузка медиаконтента, почему бы и не использовать. Другой вопрос в том, что видимо индустрия об этом не договорилась.

 

То есть считается только от начала L2 и до конца включая CRC.

MTU — это верхняя граница длины полезной нагрузки. Т.е. не включает в себя преамбулу и контрольную сумму.

 

Как я понял, что ТС грешит на MTU.

Слышу от разных администраторов что в MTU может быть проблема (- "На десятке ставь джамбы и всё пройдет"), вот и решил поспрашивать у сообщества.

 

Сколько из 10Г вы, вообще, смогли прогрузить?

А как, вообще, выглядит график загрузки канала? "Полка" наблюдается?

Что во время пиковой загрузки у вас с пингами и скоростями с разных спидтестов?

~4G из отпущенных нам 5G+. При настройке SCE на номинальные 5G+, видим деградацию HTTP, SCE Reporter показывает вытеснение HTTP - P2P-трафиком, пинг в норме. Сейчас настроено SCE на ~4G, при котором деградация сервиса не достигается. Все наши внутренние линки не загружены, везде есть еще много свободной полосы.

Есть пара L2-коммутаторов через которые забираем канал от аплинка, оба не загружены - вот от них в ближайшее время попытаемся избавиться чтобы спрямить канал и избавиться от лишних сущностей.

Передали аплинку сетевушку 10G, чтобы прогрузить канал iperf'ом, протестировав инфраструктуру их + нашу. Но они яйца мнут - то сервера нет, то винду накатят, то линукс не умеют ставить. Если вариант со спрямлением линка на прокатит, будем додавливать их инженеров через менеджеров.

[orlik]

HW-MTU какой устанавливаете на 10G? (кроме случаев связанных с QinQ, особых L2-тоннелей)

HW MTU всегда на максимум 9к+ , но какое это может иметь значение если ограничение по ip.

Если при росте скорости наблюдаете проблемы , проверяйте дропы у себя , и пинайте аплинка чтоб делал тоже самое. Пинг в норме - еще не показатель , настройте smokeping на кучу разных направлений , может и удасться что-нить выловить

[g3fox]

То есть считается только от начала L2 и до конца включая CRC.

MTU — это верхняя граница длины полезной нагрузки. Т.е. не включает в себя преамбулу и контрольную сумму.

Вы для чего предложение выдрали из контекста? Я разве это про MTU написал?!

Я писал это для pppoetest-а про т.н. L2MTU и имел ввиду длинну фрейма, которая учитывается на коммутаторах. Кстати про CRC я не уверен. Преамбула и IFG на всех коммутаторах, которые я встречал, не учитывается.

[Дегтярев Илья]

~4G из отпущенных нам 5G+. При настройке SCE на номинальные 5G+, видим деградацию HTTP, SCE Reporter показывает вытеснение HTTP - P2P-трафиком, пинг в норме. Сейчас настроено SCE на ~4G, при котором деградация сервиса не достигается.

 

Если вы у аплинка покупаете канал 5G и аплинк ставит rate-limit на 5G, то очевидно при средней утилизации больше чем на 80% уже идут дропы. Как только пошли дропы - сразу многопоточные сервисы начинают вытеснять однопоточный http.

 

Переходите на оплату по burst (5G предоплачено, все 10 разрешено)и сами на sce ограничивайте необходимую вам загрузку.

Edited July 27, 2015 by Дегтярев Илья

[Ivan_83]

Как пример отгрузка медиаконтента, почему бы и не использовать. Другой вопрос в том, что видимо индустрия об этом не договорилась.

Подожди ещё лет 10, и с удивлением обнаружишь что mtu часто выше 1500 в инете.

Сейчас на пути много где ещё встречается 1500, потом на нём и сговаривается TCP.

 

Слышу от разных администраторов что в MTU может быть проблема (- "На десятке ставь джамбы и всё пройдет"), вот и решил поспрашивать у сообщества.

Там джамба от рождения, также как WMM в N вафле, смысл выключать/менять ровно никакого, кроме тестов.

[Дегтярев Илья]

Там джамба от рождения

Ну что за бред. Сейчас в свитчах с небольшим tcam память на пакетные буферы - самое дорогое.

При увеличении разрешенного размера кадра количество ячеек под кадры нормального размера падает квадратично. В результате при включенном mtu 9k на многих свитчах в сценарии агрегации (десяток портов по 1g передает трафик в сторону 10g порта) и на 2х гигабитах на аплинке уже начинаются потери.