Jump to content
Калькуляторы

FreeBSD 11 high interrupt

Видимо проблема здесь:

 

49.7% kernel     sched_idletd         fork_exit

 

Кто-нибудь знает что это и с чем это есть?

Share this post


Link to post
Share on other sites

Проблемы там я не вижу

простой CPU

https://www.opennet.ru/openforum/vsluhforumID1/94861.html

можете покрутить kern.sched.steal_idle

 

я так и не понял что именно вам теперь не нравится ? что на 4 процах почти 50% interrupt ?

Edited by paradox_

Share this post


Link to post
Share on other sites

Не нравится что на FreeBSD 10.3 на этом же сервере и при той же загрузке прерываний в 3 раза меньше.

Share this post


Link to post
Share on other sites

hw.ix.enable_aim=0

и ребутнуть

оценить в лучшую или в худшую сторону изменилось

 

 

Share this post


Link to post
Share on other sites
2 часа назад, ingvarrwvw сказал:

 49.7 kernel     sched_idletd         fork_exit

Так трудно посмотреть в исходники?)

 

1. Всякие powerd точно выключены?

 

2. А случаем в 10 шедулер не 4BSD а на 11 ULE?

 

3. Если в 11 ULE то он же тюнится.

Самое очевидное, прямо без ребута:

kern.sched.idlespins=10

kern.sched.steal_idle=1

 

Желательно чтобы в конфиге ядра было:

options        SMP            #b Symmetric MultiProcessor Kernel
options        DEVICE_NUMA        #ox64 I/O Device Affinity
options        EARLY_AP_STARTUP    #o

device        cpufreq            #m for non-ACPI CPU frequency control
device        cpuctl            #m Provides access to MSRs, CPUID info and microcode update feature.


# Kernel base
options        SCHED_ULE        #b 4BSD/ULE scheduler
options        _KPOSIX_PRIORITY_SCHEDULING #b POSIX P1003_1B real-time extensions
options        PREEMPTION        #b Enable kernel thread preemption

 

Либо уходите на 4BSD, там sched_idletd() предельно простая и грузить проц не может в принципе.

 

1 час назад, paradox_ сказал:

hw.ix.enable_aim=0

Вообще никакого отношения к sched_idletd() не имеет.

Share this post


Link to post
Share on other sites
14 минут назад, Ivan_83 сказал:

Вообще никакого отношения к sched_idletd() не имеет.

Иван, я последний раз говорю мягко, в следующий раз и последующие буду грубу

ГДЕ Я СКАЗАЛ ЧТО ЭТО ИМЕЕТ ОТНОШЕНИЕ К sched_idletd ????

СОВЕТ БЫЛ ДЛЯ interrupt

А ДЛЯ sched_idletd БЫЛ ДРУГОЙ СОВЕТ, ТОЖЕ ПРОЧТИ

 

 

Share this post


Link to post
Share on other sites
22 minutes ago, Ivan_83 said:

Так трудно посмотреть в исходники?)

 

1. Всякие powerd точно выключены?

 

2. А случаем в 10 шедулер не 4BSD а на 11 ULE?

 

3. Если в 11 ULE то он же тюнится.

Самое очевидное, прямо без ребута:

kern.sched.idlespins=10

kern.sched.steal_idle=1

 

Желательно чтобы в конфиге ядра было:

options        SMP            #b Symmetric MultiProcessor Kernel
options        DEVICE_NUMA        #ox64 I/O Device Affinity
options        EARLY_AP_STARTUP    #o

device        cpufreq            #m for non-ACPI CPU frequency control
device        cpuctl            #m Provides access to MSRs, CPUID info and microcode update feature.


# Kernel base
options        SCHED_ULE        #b 4BSD/ULE scheduler
options        _KPOSIX_PRIORITY_SCHEDULING #b POSIX P1003_1B real-time extensions
options        PREEMPTION        #b Enable kernel thread preemption

 

Либо уходите на 4BSD, там sched_idletd() предельно простая и грузить проц не может в принципе.

 

Вообще никакого отношения к sched_idletd() не имеет.

1. Точно выключены. На сервере только квага, bgp и ospf , ntpd, pf с 3 строчками ната.

2. Шедулер ULE на обоих системах

3. Потестим )

Share this post


Link to post
Share on other sites

Спустя год трафика стало ~9.5 гбит, сервер используется HP g8 2x2690 Xeon ,сетевая - Intel 520, одна штука. FreeBSD 12. Загрузка проц в пиках - 30-32%. Красота!

Планируем дожить на этом железе до ~30-35 гбит, а дальше перейти на 16-ти ядерные процессоры и сетевые mellanox.

 

 

 

 

Share this post


Link to post
Share on other sites
On 10/4/2019 at 8:58 AM, ingvarrwvw said:

Спустя год трафика стало ~9.5 гбит, сервер используется HP g8 2x2690 Xeon ,сетевая - Intel 520, одна штука. FreeBSD 12. Загрузка проц в пиках - 30-32%. Красота!

Планируем дожить на этом железе до ~30-35 гбит, а дальше перейти на 16-ти ядерные процессоры и сетевые mellanox.

 

Какой, в итоге, потребовался тюнинг?

Share this post


Link to post
Share on other sites
В 04.10.2019 в 08:58, ingvarrwvw сказал:

Спустя год трафика стало ~9.5 гбит, сервер используется HP g8 2x2690 Xeon ,сетевая - Intel 520, одна штука. FreeBSD 12. Загрузка проц в пиках - 30-32%. Красота!

Планируем дожить на этом железе до ~30-35 гбит, а дальше перейти на 16-ти ядерные процессоры и сетевые mellanox.

 

 

 

 

сетевые mellanox  лучше чем сетевые интел? зачем на mellanox переходить?

Share this post


Link to post
Share on other sites
4 часа назад, QWE сказал:

сетевые mellanox  лучше чем сетевые интел? зачем на mellanox переходить?

Они очень вложились и запилили продукт который уж точно не хуже интела, и судя по отзывам которые я слышал ещё на конференции в яндексе от Мотина они даже по лучше будут, в плане фич.

Share this post


Link to post
Share on other sites
10 часов назад, Ivan_83 сказал:

они даже по лучше будут, в плане фич.

Ну да. Если вам iscsi там запилить или еще чего подобное. Для перекладывания пакетов - сомневаюсь.

Share this post


Link to post
Share on other sites
В 07.10.2019 в 08:03, andryas сказал:

Какой, в итоге, потребовался тюнинг?

с такими процами никакого не надо )) у меня два 2660 прогоняли 12 Mpps.

Share this post


Link to post
Share on other sites

Тюнинг стандартный - увеличены разные буферы.

 

На одном Е5-2690  с натом получается примерно 12.5 гбит, 4.4 mpps. Загрузка процессора 96-98%, дропов и ошибок нет, задержек тоже.

 

Не подскажут ли уважаемые знатоки, если перевести все это дело на linux - получится ли какой-то выигрыш по производительности на этом же железе?

Share this post


Link to post
Share on other sites
В 10.12.2019 в 12:10, ingvarrwvw сказал:

На одном Е5-2690  с натом получается примерно 12.5 гбит, 4.4 mpps. Загрузка процессора 96-98%, дропов и ошибок нет, задержек тоже.

Это объемы суммарно проходящего трафика через сервер UP+DOWN с каждой головы сетевухи?

 

У меня FreeBSD 11, та же 520я сетевая и 2 x Intel(R) Xeon(R) CPU E5-2623 v3 @ 3.00GHz.  При трафике 7Gb(down)+2Gb(up) / 650k+400k pps на каждом порту сетевой - получаю 100% interrupt по всем ядрам. Сервер только шейпит сквозной трафик, NATа и тп нет. Отключение ipfw по сути ничего не меняет. 

Это предел данной конфигурации или можно больше? FreeBSD 12 что-то дает по сравнению с FreeBSD 11? 

 

Share this post


Link to post
Share on other sites

BGP + НАТ на линуксе, проц - Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz 

2 сетевые карты DA520, порты в 2х2 lacp

В пике тянет 13.5Гиг на вход, 1.5 на выход , потом softirq съедает процессор.

 

сервер собран в 14 году, потом диски перенесены были на более новый комплект железа.

 

На такой же задаче, как у XaTTa6bl4  держим сервер на FreeBSD 8.4, проц. Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz 

гоняет 9.1 / 1 Гбит, la в пике 3, top кажет минимальный idle 35%

Edited by Azamat

Share this post


Link to post
Share on other sites

Ну вот и мне кажется, что на нашей конфигурации должен больше переваривать... Или частота ядер 3GHz низковата для таких задач? 

Share this post


Link to post
Share on other sites

Планируем собирать NAS на FreeBSD 12.1 (pppoe + dhcp o82. ipfw pipe shape. pf nat). Сетевая Intel 520-da2. Подскажите пожалуйста по особенностям конфига ядра и тюнингу под PPPOE (планируется трафика в районе 4гиг+ ну и с ростом так сказать). Заранее плюсик в карму :)

Share this post


Link to post
Share on other sites

Поиском, тут в общем ничего нового со времён 10х, только некоторые имена крутилок поменялись в районе net.isr, iflib (новый фреймворк для сетевух интел и видимо дргуих).

Share this post


Link to post
Share on other sites

Обновлю статистику - на данный момент на этом сервере достигли 16 гбит (примерно 6 млн pps). Задачи прежние - bgp 6 аплинков, nat, логирование nat states для запросов из органов. По прогнозу запас еще на пару гигабит имеется.

 

Share this post


Link to post
Share on other sites

что за сервак стоит , проц один?

и шейпер присутствует ?

 

Share this post


Link to post
Share on other sites

Проц тот же,писал конфиг сервера выше. Шейпера нет, это только бордер с натом. С dummynet беда известная - однопоточный, поэтому чуда ждать не стоит, а шейп на нетграфе периодически вешает сервер полностью (у нас по крайней мере так было пару раз,отказались)

 

Сейчас ожидаю для теста платформу на AMD с 32 железными ядрами.

Share this post


Link to post
Share on other sites
17 часов назад, ingvarrwvw сказал:

шейп на нетграфе периодически вешает сервер полностью (у нас по крайней мере так было пару раз,отказались)

Жалуйтесь в рассылку и багтрекер, иначе чуда не случится.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now