routing vs lro

[tartila]

Господа, требуется общественное мнение. Решил немного подебажить свой BGP, в данный момент он таскает приблизительно 1,2GBit/s симметрично на 5 1GBit портах, 4 из которых это Quad на чипе 82576 и один 80003ES2LAN набортный. 2 входящих с сетки и 3 исхода на разные пиры. Тот, что встроенный NIC - исход на слабо-нагруженный пир ~ 120-150 MBit/s. Решил к этой системе присобачить наблюдение за CPU (8 ядер = 2 ксеона E5450), так выяснил, что в моменты 1,2-1,3GBit/s система нагружена на 30%. Подумал и решил, что много. ;))) Вспоминалось, когда то тягал практически тоже на 4 ядернике беспородном с 45-50% загрузки. Систему собирал на RHEL6 и примечательно, беседовал при сборке с разработчиками Intel, которые сразу порекомендовали при роутинге отключать lro/gso...

 

===

Try using ethtool to turn off generic-receive-offload. It should be disabled in routing configurations as well.

===

 

Теперь у меня дико чешется попробовать включить gro и tso, что бы разгрузить систему. Собственно вопрос, кто нибудь юзает Linux 2.6.32 + igb + gro с роутингом?

 

p.s. Большую часть процессора поедают si, собственно они и фигурируют в загрузке системы.

[voron]

Попробовал выключить/включить gro на igb 2.6.18 - разницы не заметил. Это правда веб-сервер с 160/90kpps out/in, tso хотя бы видно в статсах, в 5 раз уменьшает программный pps, но сомневаюсь что на этом pps отключение tso хоть как-то заметно отразится на нагрузке 8 ядер.

А задумка как я понимаю формировать на приеме большие пакеты через gro и потом через tso/gso их же и слать? Latency будет недовольна скорее всего.

[tartila]

Попробовал выключить/включить gro на igb 2.6.18 - разницы не заметил. Это правда веб-сервер с 160/90kpps out/in, tso хотя бы видно в статсах, в 5 раз уменьшает программный pps, но сомневаюсь что на этом pps отключение tso хоть как-то заметно отразится на нагрузке 8 ядер.

А задумка как я понимаю формировать на приеме большие пакеты через gro и потом через tso/gso их же и слать? Latency будет недовольна скорее всего.

 

Понятно. Не понятным остается вопрос, в какой конфигурации вообще оно нужно. ;))))

[Ivan_83]

Не понятным остается вопрос, в какой конфигурации вообще оно нужно. ;))))

 

В той, где с пакетами происходят манипуляции, приводящие к изменению содержимого.