Qinq + PPPoE и MTU

[dimzerman]

Приветствую! Сеть представляет собой большой L2-сегмент, в котором функционал BRAS и NAT лежал на BGP-router, авторизация по протоколу PPPoE.  Решили установить Accel-ppp сервер для функций BRAS и NAT, убрав пользовательские vlan с BGP-router. Одновременно с этим, вводим Qinq с архитектурой Vlan-per-switch, S-Vlan на агрегацию. Это необходимо, т.к. сегмент настолько большой, что для Vlan-per-switch не хватит свободных vlan, да и в будущем планируем переход на IPoE.

 

Коммутаторы агрегации добавляют вторую метку vlan с таким же типом, как внутренняя метка - 802.1Q (0x8001). На транзитных коммутаторах агрегации включена поддержка Jumbo-frame,но на самом ядре (SW1 - Cisco Nexus 9k) MTU интерфейса в сторону агрегаций и сервера Accel-ppp составялет 1500 байт. У сервера Accel-ppp в PPPoE MTU и MRU установлены 1480 байт.

 

Авторизация происходит, тестовые абоненты работают, сайты грузятся. Сейчас система в отладке. Но понятно, что MTU нужно привести в порядок.

Возникло несколько вопросов:
1. Если всё и так зацепилось, нужно ли в таком случае изменять значение MTU на интерфейсах коммутатора ядра SW1 в сторону Accel-ppp и агрегаций? Как многие советуют, хотя бы до 1504 байт. Если нужно, достаточно ли просто активировать Jumbo-frame на этих интерфейсах?
2. Что входит в значение MTU интерфейсов у cisco? Я читал, что MTU = Hardware MTU = IP MTU = [ip-header] + [tcp-header]+ [payload], но мне не понятно, почему это работает с двумя метками и pppoe. Интерфейс по факту может передавать большее значение, чем Hardware MTU?

3. Насколько целесообразно включать Jumbo-frame на агрегациях и ядре с транковыми линками 1Gb/s и 10Gb/s? Есть ли польза. Читал, что 10Gb/s недостижимы без поддержки Jumbo-frame.

Edited August 10, 2022 by dimzerman

[Ivan_83]

В 10.08.2022 в 07:05, dimzerman сказал:

На транзитных коммутаторах агрегации включена поддержка Jumbo-frame,но на самом ядре (SW1 - Cisco Nexus 9k) MTU интерфейса в сторону агрегаций и сервера Accel-ppp составялет 1500 байт. У сервера Accel-ppp в PPPoE MTU и MRU установлены 1480 байт.

Потому что MTU это немного не то что вы думаете.

MTU - это максимальный размер payload для эзернет фрейма (в данном контексте, потому что есть не только эзернет).

Те это IPv4/IPv6/... заголовок + всё что там внутри.

 

Снаружи на это клеится заголовок эзернет фрейма, включая все влан метки и CRC эзернет пакета (обычно это делает сетевуха и отрезает она же, но код в ОС обычно ещё есть).

 

Даже при отсутствии поддержки джамбы или при выключенной на современных коммутаторах часто лимит эзернет кадра 1536 байт (или больше), чего хватает с запасом на пачку влан тэгов или всякие MPLS.

 

https://www.ieee802.org/3/frame_study/0409/braga_1_0409.pdf

https://networkengineering.stackexchange.com/questions/2962/why-was-the-mtu-size-for-ethernet-frames-calculated-as-1500-bytes

https://forum.mikrotik.com/viewtopic.php?t=131909

https://community.ui.com/questions/Maximum-MTU-UBiQUiTi-believes-achievable/301981a8-7dbf-4acf-ae3a-5d5fce439d80

 

Где то тут это вроде обсуждалось, и я когда то более подробно расписывал, но проще нагуглить свежатинки и самому почитать.

[Ivan_83]

В 10.08.2022 в 07:05, dimzerman сказал:

1. Если всё и так зацепилось, нужно ли в таком случае изменять значение MTU на интерфейсах коммутатора ядра SW1 в сторону Accel-ppp и агрегаций? Как многие советуют, хотя бы до 1504 байт.

Вот пусть кто советует тот и объясняет мотивацию :)

Возможно это для компенсации PPPoE меток, только вот клиенты вряд ли что то менять будут.

 

В 10.08.2022 в 07:05, dimzerman сказал:

2. Что входит в значение MTU интерфейсов у cisco? Я читал, что MTU = Hardware MTU = IP MTU = [ip-header] + [tcp-header]+ [payload], но мне не понятно, почему это работает с двумя метками и pppoe. Интерфейс по факту может передавать большее значение, чем Hardware MTU?

Производители железа обычно указывают L2 MTU - максимальный размер эзернет фрейма.

В ОС это L3 MTU - максимальный размер того что пихать в эзернет фрейм.

И разумеется равенство не выполняется.

 

В 10.08.2022 в 07:05, dimzerman сказал:

3. Насколько целесообразно включать Jumbo-frame на агрегациях и ядре с транковыми линками 1Gb/s и 10Gb/s? Есть ли польза. Читал, что 10Gb/s недостижимы без поддержки Jumbo-frame.

Включить то можно, но будут ли его использовать клиенты - большой вопрос :)

В теории сейчас в инете можно гонять джамбы, но это искать себе приключений, потому что огромный зоопарк оборудования и маршрутов, и может получится что или джамбы будут через одну теряться или соединение не установится потому что долбоящеры наблочили лишнего и сломали PMTU дискавери.

[jffulcrum]

В 10.08.2022 в 15:45, Ivan_83 сказал:

огромный зоопарк оборудования и маршрутов, и может получится что или джамбы будут через одну теряться или соединение не установится потому что долбоящеры наблочили лишнего и сломали PMTU дискавери.

Там еще раньше проблемы нарисуются, из-за ограничений размеров буферов на оборудовании, особенно на стыках разноскоростных линий.

[Ivan_83]

В 10.08.2022 в 16:20, jffulcrum сказал:

Там еще раньше проблемы нарисуются, из-за ограничений размеров буферов на оборудовании, особенно на стыках разноскоростных линий.

Дропы TCP отретрансмитятся, ничего страшного, может медленее но работать будет.

Кроме того не вижу причин почему бы с мту 1500 этих дропов было меньше.

[dimzerman]

В 10.08.2022 в 17:34, Ivan_83 сказал:

Потому что MTU это немного не то что вы думаете.

MTU - это максимальный размер payload для эзернет фрейма (в данном контексте, потому что есть не только эзернет).

Те это IPv4/IPv6/... заголовок + всё что там внутри.

 

Снаружи на это клеится заголовок эзернет фрейма, включая все влан метки и CRC эзернет пакета (обычно это делает сетевуха и отрезает она же, но код в ОС обычно ещё есть).

 

Даже при отсутствии поддержки джамбы или при выключенной на современных коммутаторах часто лимит эзернет кадра 1536 байт (или больше), чего хватает с запасом на пачку влан тэгов или всякие MPLS.

 

https://www.ieee802.org/3/frame_study/0409/braga_1_0409.pdf

https://networkengineering.stackexchange.com/questions/2962/why-was-the-mtu-size-for-ethernet-frames-calculated-as-1500-bytes

https://forum.mikrotik.com/viewtopic.php?t=131909

https://community.ui.com/questions/Maximum-MTU-UBiQUiTi-believes-achievable/301981a8-7dbf-4acf-ae3a-5d5fce439d80

 

Где то тут это вроде обсуждалось, и я когда то более подробно расписывал, но проще нагуглить свежатинки и самому почитать.

большое спасибо за информацию!