Jumbo Frames in DataSheet

[mike76]

Всем привет!

 

Обнаружил тут, что некоторые коммутаторы Eltex и D-link пишут максимальный джумбо 10250 и 13К соответственно в даташитах.

Проверять не на чем, но предположим, что это не "ну и ты говори"...

 

Я в курсе, что это вообще для Ethernetet'a фича не стандартизирована, но интересно кто ещё заморачивался сделать джумбо больше 9216?

 

Ну и отдельный вопрос - зачем? Доступные мне сетевухи позволяли выставлять 9К, не уточняя 9000 это или 9216 (лень на них даташиты искать).

Увеличение между такими же свичами пакета для стэкирования?

[sol]

40 минут назад, mike76 сказал:

Ну и отдельный вопрос - зачем? Доступные мне сетевухи позволяли выставлять 9К, не уточняя 9000 это или 9216 (лень на них даташиты искать).

Увеличение между такими же свичами пакета для стэкирования?

Нет. Джамбо нужны для того, чтобы гонять большие и однородные данные быстро и с низкой латентностью. Основное применение - NAS (NFS,CIFS) и SAN, ползущие в сторону IP (iSCSI, FCIP/FCoE/IFCP)

[mike76]

1 минуту назад, sol сказал:

Нет. Джамбо нужны для того, чтобы гонять большие и однородные данные быстро и с низкой латентностью. Основное применение - NAS (NFS,CIFS) и SAN, ползущие в сторону IP (iSCSI, FCIP/FCoE/IFCP)

Это я как бы понимаю, могу и ещё умных слов написать про NVMEoE, RDMA и прочий RoCE.

Но вот нексусы, хуавеи и аристы всякие, где типа гиперконвергентность и всё такое пишут себе 9216, никаких 10 000 нет.

 

Технологически всё перечисленое требуют наличие 10 000 со стороны сетевух, вот не исследовал - кто видел сетевухи такие?

[mike76]

Ну и до кучи, я в санах не силён, а какой макс джумбо фрэйм на фиберчэнеле сейчас?

[snvoronkov]

3 минуты назад, mike76 сказал:

Ну и до кучи, я в санах не силён, а какой макс джумбо фрэйм на фиберчэнеле сейчас?

https://en.wikipedia.org/wiki/Fibre_channel_frame

 

Цитата

A maximum 2048 byte long field (payload) contains the information to be transferred from a source N_Port to a destination N_Port.

 

[mike76]

19 минут назад, snvoronkov сказал:

https://en.wikipedia.org/wiki/Fibre_channel_frame

 

 

 

Вот вам в ответку (как бы шесть лет  статье)

https://datacenteroverlords.com/2013/04/01/jumbo-fc-frames/

 

Right now the maximum MTU size per the standard is 9036 bytes, though it depends on the vendor. Brocade, with it’s Gen 6 FC (32 Gbit) is proposing a maximum MTU size of around 15,000 bytes, though it’s not set in stone yet. It’ll be interesting to see how this all plays out, that’s for sure.

 

Вы настраиваете саны сами? Просто я не настраиваю их.

 

[snvoronkov]

41 минуту назад, mike76 сказал:

Вы настраиваете саны сами? Просто я не настраиваю их.

Нет. Уже нет. Забили на них.

[sol]

1 час назад, mike76 сказал:

Ну и до кучи, я в санах не силён, а какой макс джумбо фрэйм на фиберчэнеле сейчас?

А никакой. Чистый FC по эзернету не ходит. И понятие размера фрейма Eth к нему не применимо.

 

[jffulcrum]

@mike76 Intel X540 и новее поддерживают до 15.5Кб, НО:

- никаких функций оффлоада, виртуализации, приоритезации и т.п.

- надо править исходники

- большинство софта таких фокусов пока не понимает (Самба у меня в эксперименте так и не заработала)

 

[mike76]

3 часа назад, sol сказал:

А никакой. Чистый FC по эзернету не ходит. И понятие размера фрейма Eth к нему не применимо.

  

Вы делали эксперименты? Что такое "чистый"? Как я вижу, фрейм и эзернет - разные уровни модели, и это ваше утверждение мне не понятно.

[mike76]

1 час назад, jffulcrum сказал:

@mike76 Intel X540 и новее поддерживают до 15.5Кб, НО:

- никаких функций оффлоада, виртуализации, приоритезации и т.п.

- надо править исходники

- большинство софта таких фокусов пока не понимает (Самба у меня в эксперименте так и не заработала)

 

Во, наконец практики! Ура! Да, глянул до 15К, и Open-FCoE is supported on 10GBASE-T.

 

А как тестили - карта в карту? А софт какой? Исходники чего править пришлось - дров карты или ОС или?

 

С софтом не очень понятно... Странно как-то, ему то какое дело до тех уровней?

[jffulcrum]

Только что, mike76 сказал:

А как тестили - карта в карту?

Да. Свитча с таким поддерживаемым размером не нашлось. К слову, у Cisco вообще нет ни одного свитча с поддержкой таких MTU...

 

6 минут назад, mike76 сказал:

Исходники чего править пришлось - дров карты или ОС или?

MAX_STD_JUMBO_FRAME_SIZE в потрохах igb и пересбор . Правда, надо учесть заголовки и деление на 64 нацело, там в коде все формулы есть (или перебором, я угадал со второй попытки)

 

10 минут назад, mike76 сказал:

Странно как-то, ему то какое дело до тех уровней?

Думато, что софт берет MTU от системы, а у него, к примеру, тупо размер поля для хранения MTU меньше, чем заданный MTU. Глубоко не влезал.

[mike76]

15 минут назад, jffulcrum сказал:

Да. Свитча с таким поддерживаемым размером не нашлось. К слову, у Cisco вообще нет ни одного свитча с поддержкой таких MTU...

 

Я тему исследовал, свичи есть обнаружились Д-линка и Элтекса.

 

У Huawei, Cisco, Arista, Aruba/HPE, Extreme, Dell, Ruiji не нашёл. Я конечно не прям вот всё всё смотрел, но по линейкам пробежался.

У SNR тоже не видел.

 

Может дорогие хозяева форум НАГ.ру, имеющие отношения к разработкам коммутаторов SNR что-нибудь скажут?

 

Хотелось бы услышать начальника транспортного цеха.

 

 

15 минут назад, jffulcrum сказал:

MAX_STD_JUMBO_FRAME_SIZE в потрохах igb и пересбор . Правда, надо учесть заголовки и деление на 64 нацело, там в коде все формулы есть (или перебором, я угадал со второй попытки)

Думато, что софт берет MTU от системы, а у него, к примеру, тупо размер поля для хранения MTU меньше, чем заданный MTU. Глубоко не влезал.

 

Ага, спасибо большое!

[Ivan_83]

В 01.08.2019 в 12:25, mike76 сказал:

Технологически всё перечисленое требуют наличие 10 000 со стороны сетевух, вот не исследовал - кто видел сетевухи такие?

Я бы смотрел на 10Г+ сетевухи, если не интел то меланокс, там запросто может быть кучерявый мту со всеми оффлоадингами.

 

В 01.08.2019 в 11:25, mike76 сказал:

Ну и отдельный вопрос - зачем?

Меньше оверхеда.

Те есть всякие скажем файлопомойки, вот они начинают лить файло, чтобы 100500 раз не обрабатывать IP заголовок и всё остальное а делать это х раз меньше.

[orlik]

On 8/1/2019 at 9:15 PM, mike76 said:

У Huawei, Cisco, Arista, Aruba/HPE, Extreme, Dell, Ruiji не нашёл. Я конечно не прям вот всё всё смотрел, но по линейкам пробежался.

У SNR тоже не видел.

Juniper вполне себе поддерживает MTU 16k.

Starting in Junos OS Release 16.1R1, the MTU size has been increased to 16,000 bytes for certain MPCs. The MTU size for the following MPCs has been increased to 16000 bytes:

    MPC7E (MPC7E-MRATE and MP7E-10G)

    MPC8E (MX2K-MPC8E)

    MPC9E (MX2K-MPC9E)

 

хз кому это нужно , если если запилили - значит гарантированно кто-то попросил. Думаю это вопрос времени, пока броадком выпустит новые чипы с поддержкой mtu>9000 и все на этих чипах начнут клепать коммутаторы

[mike76]

В 03.08.2019 в 05:31, orlik сказал:

Juniper вполне себе поддерживает MTU 16k.

Starting in Junos OS Release 16.1R1, the MTU size has been increased to 16,000 bytes for certain MPCs. The MTU size for the following MPCs has been increased to 16000 bytes:

    MPC7E (MPC7E-MRATE and MP7E-10G)

    MPC8E (MX2K-MPC8E)

    MPC9E (MX2K-MPC9E)

 

хз кому это нужно , если если запилили - значит гарантированно кто-то попросил. Думаю это вопрос времени, пока броадком выпустит новые чипы с поддержкой mtu>9000 и все на этих чипах начнут клепать коммутаторы 

 

Я карты и модульные только краем глаза глянул, к тому-же MX2000 тот ещё свич.

Но да, интересно что это появилось именно в новом софте, то есть железная поддержка возможна.

Спасибо!

[Butch3r]

У меня тоже свищ есть, аср9к называется

 

#mtu ?
  <64-65535>  MTU size in bytes

 

[jffulcrum]

35 минут назад, Butch3r сказал:

свищ есть, аср9к

Шутку оценил. Надо только добавлять, что интернет в квартире раздает.