[Jugernault]

Собрать ванильное ядро 2.6.31, взять последнюю версию ibg с соурсфоржа, сконструировать как написано выше.

Centos нормально переварит 31 ядро?

Нормально... Проверено...

[AlKov]

Собрать ванильное ядро 2.6.31, взять последнюю версию ibg с соурсфоржа, сконструировать как написано выше.

VMDQ несколько не из той оперы.

А оно действительно мне надо? И вообще, как собрать ванильное ядро на CentOS? Он с родным-то без громаднейшей кучи патчей не собирается. Или те же патчи навернуть на 2.6.31?

Что-то не верится.. Да и нужно ли оно вообще??

Кстати, options igb IntMode=2,2,2,2 RSS=2,2,2,2 QueuePairs=1,1 вроде как без проблем заводится на родном ядре и текущем драйвере (2.1.9).

grep -i igb /var/log/dmesg
igb: 0000:01:00.0: igb_validate_option: Interrupt Mode set to 2
igb: 0000:01:00.0: igb_validate_option: RSS - RSS multiqueue receive count set to 2
igb: 0000:01:00.0: igb_validate_option: QueuePairs - TX/RX queue pairs for interrupt handling Enabled
igb 0000:01:00.0: Intel(R) Gigabit Ethernet Network Connection
igb 0000:01:00.0: eth0: (PCIe:2.5Gb/s:Width x4)00:ХХ:ХХ:ХХ:ХХ:ХХ
igb 0000:01:00.0: Using MSI-X interrupts. 2 rx queue(s), 1 tx queue(s)
igb: 0000:01:00.1: igb_validate_option: Interrupt Mode set to 2
igb: 0000:01:00.1: igb_validate_option: RSS - RSS multiqueue receive count set to 2
igb: 0000:01:00.1: igb_validate_option: QueuePairs - TX/RX queue pairs for interrupt handling Enabled
igb 0000:01:00.1: Intel(R) Gigabit Ethernet Network Connection
igb 0000:01:00.1: eth1: (PCIe:2.5Gb/s:Width x4)00:ХХ:ХХ:ХХ:ХХ:ХХ
igb 0000:01:00.1: Using MSI-X interrupts. 2 rx queue(s), 1 tx queue(s)
igb: 0000:02:00.0: igb_validate_option: Interrupt Mode set to 2
igb: 0000:02:00.0: igb_validate_option: RSS - RSS multiqueue receive count set to 2
igb 0000:02:00.0: Intel(R) Gigabit Ethernet Network Connection
igb 0000:02:00.0: eth2: (PCIe:2.5Gb/s:Width x4)00:ХХ:ХХ:ХХ:ХХ:ХХ
igb 0000:02:00.0: Using MSI-X interrupts. 2 rx queue(s), 1 tx queue(s)
igb: 0000:02:00.1: igb_validate_option: Interrupt Mode set to 2
igb: 0000:02:00.1: igb_validate_option: RSS - RSS multiqueue receive count set to 2
igb 0000:02:00.1: Intel(R) Gigabit Ethernet Network Connection
igb 0000:02:00.1: eth3: (PCIe:2.5Gb/s:Width x4)00:ХХ:ХХ:ХХ:ХХ:ХХ
igb 0000:02:00.1: Using MSI-X interrupts. 2 rx queue(s), 1 tx queue(s)

Не знаю еще, как будет работать, но устанавливается вроде все верно..

 

[Jugernault]

А оно действительно мне надо? И вообще, как собрать ванильное ядро на CentOS? Он с родным-то без громаднейшей кучи патчей не собирается. Или те же патчи навернуть на 2.6.31?

Что-то не верится.. Да и нужно ли оно вообще??

Ну Вы же большой и чистой любви хотели? - так что берете ядро с кернел.орг-а и вперед. Никакие патчи редхатовские не надо накладывать - это в основном бэкпорты.

Нужно или нет - это Вам решать....

Кстати, options igb IntMode=2,2,2,2 RSS=2,2,2,2 QueuePairs=1,1 вроде как без проблем заводится на родном ядре и текущем драйвере (2.1.9).

grep -i igb /var/log/dmesg
igb: 0000:01:00.0: igb_validate_option: Interrupt Mode set to 2
igb: 0000:01:00.0: igb_validate_option: RSS - RSS multiqueue receive count set to 2
igb: 0000:01:00.0: igb_validate_option: QueuePairs - TX/RX queue pairs for interrupt handling Enabled
igb 0000:01:00.0: Intel(R) Gigabit Ethernet Network Connection
igb 0000:01:00.0: eth0: (PCIe:2.5Gb/s:Width x4)00:ХХ:ХХ:ХХ:ХХ:ХХ
igb 0000:01:00.0: Using MSI-X interrupts. 2 rx queue(s), 1 tx queue(s)
igb: 0000:01:00.1: igb_validate_option: Interrupt Mode set to 2
igb: 0000:01:00.1: igb_validate_option: RSS - RSS multiqueue receive count set to 2
igb: 0000:01:00.1: igb_validate_option: QueuePairs - TX/RX queue pairs for interrupt handling Enabled
igb 0000:01:00.1: Intel(R) Gigabit Ethernet Network Connection
igb 0000:01:00.1: eth1: (PCIe:2.5Gb/s:Width x4)00:ХХ:ХХ:ХХ:ХХ:ХХ
igb 0000:01:00.1: Using MSI-X interrupts. 2 rx queue(s), 1 tx queue(s)
igb: 0000:02:00.0: igb_validate_option: Interrupt Mode set to 2
igb: 0000:02:00.0: igb_validate_option: RSS - RSS multiqueue receive count set to 2
igb 0000:02:00.0: Intel(R) Gigabit Ethernet Network Connection
igb 0000:02:00.0: eth2: (PCIe:2.5Gb/s:Width x4)00:ХХ:ХХ:ХХ:ХХ:ХХ
igb 0000:02:00.0: Using MSI-X interrupts. 2 rx queue(s), 1 tx queue(s)
igb: 0000:02:00.1: igb_validate_option: Interrupt Mode set to 2
igb: 0000:02:00.1: igb_validate_option: RSS - RSS multiqueue receive count set to 2
igb 0000:02:00.1: Intel(R) Gigabit Ethernet Network Connection
igb 0000:02:00.1: eth3: (PCIe:2.5Gb/s:Width x4)00:ХХ:ХХ:ХХ:ХХ:ХХ
igb 0000:02:00.1: Using MSI-X interrupts. 2 rx queue(s), 1 tx queue(s)

Не знаю еще, как будет работать, но устанавливается вроде все верно..

Это все хорошо... Только у вас 1 tx queue на интерфейс - это как раз из за ядра.

[AlKov]

А оно действительно мне надо? И вообще, как собрать ванильное ядро на CentOS? Он с родным-то без громаднейшей кучи патчей не собирается. Или те же патчи навернуть на 2.6.31?

Что-то не верится.. Да и нужно ли оно вообще??

Ну Вы же большой и чистой любви хотели? - так что берете ядро с кернел.орг-а и вперед. Никакие патчи редхатовские не надо накладывать - это в основном бэкпорты.

Нужно или нет - это Вам решать....

Ну да, только... Как и предполагал, собрать ванильное ядро не так-то просто.. :( Собираться оно собирается и даже kernel panic нет при загрузке, но.. При старте:

1. материт "insmod: error inserting '/lib/dm-region-hash.ko': -1 File exists"

2. не может прочитать время из системных часов, соответственно время "уехало"..

3. не работает hidd

Хотя все остальное стартует (вроде...)

Это все хорошо... Только у вас 1 tx queue на интерфейс - это как раз из за ядра.

Это точно - на новом ядре 2 tx, только вот радости мало, учитывая вышесказанное.. :(

Что-нибудь можете подсказать по проблемам?

 

P.S. Кстати, собирал я не 2.6.31, а последнее - 2.6.33. Может тут собака порылась?

 

Изменено 9 июня, 2010 пользователем AlKov

[Zaqwr]

AlKov

поставьте Gentoo или Debian, всё чудненько заведётся, Centos не та ОS чтобы с ней шаманством заниматься, либо работает так как вам надо, либо ставьте другую ОС.

[Jugernault]

Ну да, только... Как и предполагал, собрать ванильное ядро не так-то просто.. :( Собираться оно собирается и даже kernel panic нет при загрузке, но.. При старте:

1. материт "insmod: error inserting '/lib/dm-region-hash.ko': -1 File exists"

Это оно тупит - надо распаковать initrd и подправить несколько... Оно просто дважды dm-region-hash.ko загрузить пытается. Т.е. если сообщение не напрягает, то можно забить - не фатально.

2. не может прочитать время из системных часов, соответственно время "уехало"..

Не прочитать, а записать...

Подрулить надо параметры ядра.

 

Symbol: RTC [=m]

Prompt: Enhanced Real Time Clock Support (legacy PC RTC driver)

Defined at drivers/char/Kconfig:807

Depends on: RTC_LIB=n && !PPC && !PARISC && !IA64 && !M68K && !SPARC && !FRV && !ARM && !SUPERH && !S390 && !AVR32 && !BLACKFIN

Location:

-> Device Drivers

-> Character devices

 

3. не работает hidd

Тут не скажу, но вероядность того что опять же надо сконфигурировать ядро велика.

 

P.S. Кстати, собирал я не 2.6.31, а последнее - 2.6.33. Может тут собака порылась?

Врядли...

 

p.s. Вы еще mpstat -P ALL 1 выполнить попробуйте из под ванильного ядра - ужаснетесь. :)

Изменено 9 июня, 2010 пользователем Jugernault

[AlKov]

Ну да, только... Как и предполагал, собрать ванильное ядро не так-то просто.. :( Собираться оно собирается и даже kernel panic нет при загрузке, но.. При старте:

1. материт "insmod: error inserting '/lib/dm-region-hash.ko': -1 File exists"

Это оно тупит - надо распаковать initrd и подправить несколько... Оно просто дважды dm-region-hash.ko загрузить пытается. Т.е. если сообщение не напрягает, то можно забить - не фатально.

2. не может прочитать время из системных часов, соответственно время "уехало"..

Не прочитать, а записать...

Подрулить надо параметры ядра.

 

Symbol: RTC [=m]

Prompt: Enhanced Real Time Clock Support (legacy PC RTC driver)

Defined at drivers/char/Kconfig:807

Depends on: RTC_LIB=n && !PPC && !PARISC && !IA64 && !M68K && !SPARC && !FRV && !ARM && !SUPERH && !S390 && !AVR32 && !BLACKFIN

Location:

-> Device Drivers

-> Character devices

 

3. не работает hidd

Тут не скажу, но вероядность того что опять же надо сконфигурировать ядро велика.

RTC не помогает.. И с hid тоже самое, не могу нарыть.. Материт "cannot open HIDP control socket.." Погуглил на эту тему - везде это упирается в Bluetooth. Откуда ему взяться на сервере??!

 

 

[sdroom]

Предполагаемая нагрузка - порядка 200 Мбит, ~30-50 Kpps. VLAN-ы НЕ пользовательские, соотв. их немного.

Проц(ы) - Два двухядерных Intel Xenon E5503.

в таком случае "тюнинг" явно лишний.....

А NAT? Ему придется тянуть от 600 до 1000 (и более в перспективе) IP. Ну и 200Мбит это тоже далеко "не насовсем", имеет шанс вырасти раза в два за год.

Или тогда и тюнить? Просто хочется заранее соломку подстелить, ну хотя бы на год вперед. :)

И собственно по теме - каким образом (RSS, или VMDQ) все же распределять очереди на сетевых и какой драйвер предпочтительнее?

Думаю до трафика меньше гигабита вам тюнить нечего и не зачем, как говорил кнут преждевремення оптимизация зло

[AlKov]

Symbol: RTC [=m]

Prompt: Enhanced Real Time Clock Support (legacy PC RTC driver)

Defined at drivers/char/Kconfig:807

Depends on: RTC_LIB=n && !PPC && !PARISC && !IA64 && !M68K && !SPARC && !FRV && !ARM && !SUPERH && !S390 && !AVR32 && !BLACKFIN

Location:

-> Device Drivers

-> Character devices

Что интересно, опции Enhanced Real Time Clock Support в конфиге ядра нет! Иногда, после непонятных манипуляций в menuconfig она появляется, но после компиляции исчезает самым чудесным образом.. Вот такая вот закорючка..

 

P.S. С hidd решилась проблема - не стал отключать Bluetooth. Ранее отключал, т.к. считаю, что на серверных майнбоард сие чудо должно отсутствовать, но видимо какая-то хрень есть. :)