linux noapic acpi=off

[dignity]

Добрый день. Есть Fujitsu-Siemens RX200 2 x Xeon Dual Core 3GHz (их таких 3 штуки).

С ACPI и APIC не грузятся вообще (пробовали Debian 5, Debian 6).

C noapic работает, но не комильфо - все прерывания в одно ядро.

С acpi=off загружается, но видит только 2 ядра из 4х... Примерно так:

processor	: 0
vendor_id	: GenuineIntel
cpu family	: 15
model		: 2
model name	: Intel(R) Xeon(TM) CPU 3.06GHz
stepping	: 9
cpu MHz		: 3056.878
cache size	: 512 KB
physical id	: 0
siblings	: 1
core id		: 0
cpu cores	: 1
apicid		: 0
initial apicid	: 0
fdiv_bug	: no
hlt_bug		: no
f00f_bug	: no
coma_bug	: no
fpu		: yes
fpu_exception	: yes
cpuid level	: 2
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe pebs bts cid xtpr
bogomips	: 6119.79
clflush size	: 64
power management:

processor	: 1
vendor_id	: GenuineIntel
cpu family	: 15
model		: 2
model name	: Intel(R) Xeon(TM) CPU 3.06GHz
stepping	: 9
cpu MHz		: 3056.878
cache size	: 512 KB
physical id	: 3
siblings	: 1
core id		: 0
cpu cores	: 1
apicid		: 6
initial apicid	: 6
fdiv_bug	: no
hlt_bug		: no
f00f_bug	: no
coma_bug	: no
fpu		: yes
fpu_exception	: yes
cpuid level	: 2
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe pebs bts cid xtpr
bogomips	: 6114.12
clflush size	: 64

 

Что тоже не комильфо, хотя прерывания можно уже раскидывать... Плюсом обнаружен еще 1 странный артефакт. На одном узле работает accel-pptp + openvpn, с ним (не считая потерянных ядер) все хорошо. На другом хосте работает NAT+Iptables (фильтры) + IP route + TC (шейпинг), помимо аналогичной потери ядер после 1-2х минут работы сходит с ума таймер и начинает бешено тикать, например на системных часах за 1 секунду проходит секунд 10, соответственно, тот же top показывает изменения не 1 раз в секунду, а раз 15 в секунду, да и вообще это жесть.

 

В итоге на NAT/shape откатились обратно на noapic с 4мя ядрами, но всеми прерываниями на одном ядре.

 

Если кто сталкивался/знает, буду признателен помощи. Спасибо.

[0pl0pl]

Это поколение чипсетов имеет проблемы.

Нет поддержки MSI/MSI-X и никоим образом не начать распределение прерываний всех процессоров параллельно.

Страдают и Dell 1750,1850,2650,2750,2850, IBM x335, и т.д.

 

Чипсеты для Xeon X51xx и выше, не являются проблемой.

Edited September 13, 2011 by 0pl0pl

[passer]

core id     	: 0 
cpu cores   	: 1

Таки процессоры точно не одноядерные? Похоже на то. Можете показать lspci?

Edited September 13, 2011 by passer

[0pl0pl]

Добрый день. Есть Fujitsu-Siemens RX200 2 x Xeon Dual Core 3GHz (их таких 3 штуки).

С ACPI и APIC не грузятся вообще (пробовали Debian 5, Debian 6).

C noapic работает, но не комильфо - все прерывания в одно ядро.

С acpi=off загружается, но видит только 2 ядра из 4х...

 

Процессор нет Dual Core, а также одноядерный + HT. Поэтому вы не можете увидеть 4.

Попробуйте Slackware 13.1 (не 13.37). Начнется нормально, но придется установить "SMP affinity" вручную.

irqbalance не работает (пакет от Redhat) - нет смысла, чтобы проверить это.

Edited September 13, 2011 by 0pl0pl

[dignity]

Да в том то все и дело, что

биос видит 4 CPU,

CPU 0.0

CPU 0.1

CPU 1.0

CPU 1.1

если гружусь с noapic, то вижу 4 CPU

если гружусь с acpi=off, то вижу 2 CPU

 

Итак, есть ли решение чтобы и 4 ядра и все девайсы на разных IRQ?

Edited September 13, 2011 by dignity

[passer]

Да в том то все и дело, что

биос видит 4 CPU,

CPU 0.0

CPU 0.1

CPU 1.0

CPU 1.1

если гружусь с noapic, то вижу 4 CPU

если гружусь с acpi=off, то вижу 2 CPU

 

Итак, есть ли решение чтобы и 4 ядра и все девайсы на разных IRQ?

У вас одноядерные процессоры с Hyperthreading. Можете свериться по cpu family и model. Проверка покажет, что процессоры по сути аналоги P4 без поддержки sse3. А то что видите в BIOS'е - это логические ядра. Смысла подвязывать к ним очереди сетевых нет.

[dignity]

окей, пусть будет так... может есть какие-то соображения относительно таймера сошедшего с ума?

Спасибо!

Edited September 13, 2011 by dignity

[passer]

Покажите

 

cat /sys/devices/system/clocksource/clocksource0/available_clocksource

 

cat /sys/devices/system/clocksource/clocksource0/current_clocksource

 

 

[zurz]

таки-да, были проблемы с __rdtsc()/QueryPerformanceCounter() и HT - там из-за липовой имитации многоядерности как-то мерзко свитчится контекст, и из-за этого таймер улетает.

в биосе выключите гипертрединг. толку от него на сервере нет, одни проблемы. IRQ на "логическом" проце приземлиться всё равно не может.

биос кстати чей, award/phoenix? просто странно что ACPI-таблицы так криво заполняются...

 

ps. бага с убеганием времени у меня вылечилась при помощи microcode update, т.е. перепрошивкой биоса свежей версией.

[passer]

таки-да, были проблемы с __rdtsc()/QueryPerformanceCounter() и HT - там из-за липовой имитации многоядерности как-то мерзко свитчится контекст, и из-за этого таймер улетает.

в биосе выключите гипертрединг. толку от него на сервере нет, одни проблемы. IRQ на "логическом" проце приземлиться всё равно не может.

биос кстати чей, award/phoenix? просто странно что ACPI-таблицы так криво заполняются...

 

ps. бага с убеганием времени у меня вылечилась при помощи microcode update, т.е. перепрошивкой биоса свежей версией.

microcode update - это может быть решением, попробовать стоит. И не путайте человека, служба, которая грузит microcode для процессоров Intel к перешивке отношения не имеет.

см. http://www.urbanmyth.org/microcode

[zurz]

microcode update - это может быть решением, попробовать стоит. И не путайте человека, служба, которая грузит microcode для процессоров Intel к перешивке отношения не имеет.

см. http://www.urbanmyth.org/microcode

имеет. BIOS содержит набор микрокод-апдейтов для всех процессоров, поддерживаемых материнкой. После каждого ресета этот микрокод заново подгружается, причём на довольно ранних стадиях - т.о. при апдейте биоса отпадает необходимость в сторонних тулзах.