Перейти к содержимому
Калькуляторы

Видимо проблема здесь:

 

49.7% kernel     sched_idletd         fork_exit

 

Кто-нибудь знает что это и с чем это есть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Проблемы там я не вижу

простой CPU

https://www.opennet.ru/openforum/vsluhforumID1/94861.html

можете покрутить kern.sched.steal_idle

 

я так и не понял что именно вам теперь не нравится ? что на 4 процах почти 50% interrupt ?

Изменено пользователем paradox_

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не нравится что на FreeBSD 10.3 на этом же сервере и при той же загрузке прерываний в 3 раза меньше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

hw.ix.enable_aim=0

и ребутнуть

оценить в лучшую или в худшую сторону изменилось

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, ingvarrwvw сказал:

 49.7 kernel     sched_idletd         fork_exit

Так трудно посмотреть в исходники?)

 

1. Всякие powerd точно выключены?

 

2. А случаем в 10 шедулер не 4BSD а на 11 ULE?

 

3. Если в 11 ULE то он же тюнится.

Самое очевидное, прямо без ребута:

kern.sched.idlespins=10

kern.sched.steal_idle=1

 

Желательно чтобы в конфиге ядра было:

options        SMP            #b Symmetric MultiProcessor Kernel
options        DEVICE_NUMA        #ox64 I/O Device Affinity
options        EARLY_AP_STARTUP    #o

device        cpufreq            #m for non-ACPI CPU frequency control
device        cpuctl            #m Provides access to MSRs, CPUID info and microcode update feature.


# Kernel base
options        SCHED_ULE        #b 4BSD/ULE scheduler
options        _KPOSIX_PRIORITY_SCHEDULING #b POSIX P1003_1B real-time extensions
options        PREEMPTION        #b Enable kernel thread preemption

 

Либо уходите на 4BSD, там sched_idletd() предельно простая и грузить проц не может в принципе.

 

1 час назад, paradox_ сказал:

hw.ix.enable_aim=0

Вообще никакого отношения к sched_idletd() не имеет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

14 минут назад, Ivan_83 сказал:

Вообще никакого отношения к sched_idletd() не имеет.

Иван, я последний раз говорю мягко, в следующий раз и последующие буду грубу

ГДЕ Я СКАЗАЛ ЧТО ЭТО ИМЕЕТ ОТНОШЕНИЕ К sched_idletd ????

СОВЕТ БЫЛ ДЛЯ interrupt

А ДЛЯ sched_idletd БЫЛ ДРУГОЙ СОВЕТ, ТОЖЕ ПРОЧТИ

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

22 minutes ago, Ivan_83 said:

Так трудно посмотреть в исходники?)

 

1. Всякие powerd точно выключены?

 

2. А случаем в 10 шедулер не 4BSD а на 11 ULE?

 

3. Если в 11 ULE то он же тюнится.

Самое очевидное, прямо без ребута:

kern.sched.idlespins=10

kern.sched.steal_idle=1

 

Желательно чтобы в конфиге ядра было:

options        SMP            #b Symmetric MultiProcessor Kernel
options        DEVICE_NUMA        #ox64 I/O Device Affinity
options        EARLY_AP_STARTUP    #o

device        cpufreq            #m for non-ACPI CPU frequency control
device        cpuctl            #m Provides access to MSRs, CPUID info and microcode update feature.


# Kernel base
options        SCHED_ULE        #b 4BSD/ULE scheduler
options        _KPOSIX_PRIORITY_SCHEDULING #b POSIX P1003_1B real-time extensions
options        PREEMPTION        #b Enable kernel thread preemption

 

Либо уходите на 4BSD, там sched_idletd() предельно простая и грузить проц не может в принципе.

 

Вообще никакого отношения к sched_idletd() не имеет.

1. Точно выключены. На сервере только квага, bgp и ospf , ntpd, pf с 3 строчками ната.

2. Шедулер ULE на обоих системах

3. Потестим )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спустя год трафика стало ~9.5 гбит, сервер используется HP g8 2x2690 Xeon ,сетевая - Intel 520, одна штука. FreeBSD 12. Загрузка проц в пиках - 30-32%. Красота!

Планируем дожить на этом железе до ~30-35 гбит, а дальше перейти на 16-ти ядерные процессоры и сетевые mellanox.

 

 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

On 10/4/2019 at 8:58 AM, ingvarrwvw said:

Спустя год трафика стало ~9.5 гбит, сервер используется HP g8 2x2690 Xeon ,сетевая - Intel 520, одна штука. FreeBSD 12. Загрузка проц в пиках - 30-32%. Красота!

Планируем дожить на этом железе до ~30-35 гбит, а дальше перейти на 16-ти ядерные процессоры и сетевые mellanox.

 

Какой, в итоге, потребовался тюнинг?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 04.10.2019 в 08:58, ingvarrwvw сказал:

Спустя год трафика стало ~9.5 гбит, сервер используется HP g8 2x2690 Xeon ,сетевая - Intel 520, одна штука. FreeBSD 12. Загрузка проц в пиках - 30-32%. Красота!

Планируем дожить на этом железе до ~30-35 гбит, а дальше перейти на 16-ти ядерные процессоры и сетевые mellanox.

 

 

 

 

сетевые mellanox  лучше чем сетевые интел? зачем на mellanox переходить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

4 часа назад, QWE сказал:

сетевые mellanox  лучше чем сетевые интел? зачем на mellanox переходить?

Они очень вложились и запилили продукт который уж точно не хуже интела, и судя по отзывам которые я слышал ещё на конференции в яндексе от Мотина они даже по лучше будут, в плане фич.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

10 часов назад, Ivan_83 сказал:

они даже по лучше будут, в плане фич.

Ну да. Если вам iscsi там запилить или еще чего подобное. Для перекладывания пакетов - сомневаюсь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 07.10.2019 в 08:03, andryas сказал:

Какой, в итоге, потребовался тюнинг?

с такими процами никакого не надо )) у меня два 2660 прогоняли 12 Mpps.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тюнинг стандартный - увеличены разные буферы.

 

На одном Е5-2690  с натом получается примерно 12.5 гбит, 4.4 mpps. Загрузка процессора 96-98%, дропов и ошибок нет, задержек тоже.

 

Не подскажут ли уважаемые знатоки, если перевести все это дело на linux - получится ли какой-то выигрыш по производительности на этом же железе?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 10.12.2019 в 12:10, ingvarrwvw сказал:

На одном Е5-2690  с натом получается примерно 12.5 гбит, 4.4 mpps. Загрузка процессора 96-98%, дропов и ошибок нет, задержек тоже.

Это объемы суммарно проходящего трафика через сервер UP+DOWN с каждой головы сетевухи?

 

У меня FreeBSD 11, та же 520я сетевая и 2 x Intel(R) Xeon(R) CPU E5-2623 v3 @ 3.00GHz.  При трафике 7Gb(down)+2Gb(up) / 650k+400k pps на каждом порту сетевой - получаю 100% interrupt по всем ядрам. Сервер только шейпит сквозной трафик, NATа и тп нет. Отключение ipfw по сути ничего не меняет. 

Это предел данной конфигурации или можно больше? FreeBSD 12 что-то дает по сравнению с FreeBSD 11? 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

BGP + НАТ на линуксе, проц - Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz 

2 сетевые карты DA520, порты в 2х2 lacp

В пике тянет 13.5Гиг на вход, 1.5 на выход , потом softirq съедает процессор.

 

сервер собран в 14 году, потом диски перенесены были на более новый комплект железа.

 

На такой же задаче, как у XaTTa6bl4  держим сервер на FreeBSD 8.4, проц. Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz 

гоняет 9.1 / 1 Гбит, la в пике 3, top кажет минимальный idle 35%

Изменено пользователем Azamat

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну вот и мне кажется, что на нашей конфигурации должен больше переваривать... Или частота ядер 3GHz низковата для таких задач? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Планируем собирать NAS на FreeBSD 12.1 (pppoe + dhcp o82. ipfw pipe shape. pf nat). Сетевая Intel 520-da2. Подскажите пожалуйста по особенностям конфига ядра и тюнингу под PPPOE (планируется трафика в районе 4гиг+ ну и с ростом так сказать). Заранее плюсик в карму :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поиском, тут в общем ничего нового со времён 10х, только некоторые имена крутилок поменялись в районе net.isr, iflib (новый фреймворк для сетевух интел и видимо дргуих).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Обновлю статистику - на данный момент на этом сервере достигли 16 гбит (примерно 6 млн pps). Задачи прежние - bgp 6 аплинков, nat, логирование nat states для запросов из органов. По прогнозу запас еще на пару гигабит имеется.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

что за сервак стоит , проц один?

и шейпер присутствует ?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Проц тот же,писал конфиг сервера выше. Шейпера нет, это только бордер с натом. С dummynet беда известная - однопоточный, поэтому чуда ждать не стоит, а шейп на нетграфе периодически вешает сервер полностью (у нас по крайней мере так было пару раз,отказались)

 

Сейчас ожидаю для теста платформу на AMD с 32 железными ядрами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

17 часов назад, ingvarrwvw сказал:

шейп на нетграфе периодически вешает сервер полностью (у нас по крайней мере так было пару раз,отказались)

Жалуйтесь в рассылку и багтрекер, иначе чуда не случится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Перевел один сервер на 13-RC2,заценить новую фичу с использованием HT ядер для обработки трафика,и обнаружил что для ix драйвера (intel 520) пропала крутилка для увеличения буфера . Трафика на сервере порядка 10 гбит, вроде все хорошо, но сыпятся rx errors теперь постоянно(до апгрейда не было вообще). Может кто знает как в 13 BSD буфер увеличить (раньше был тут hw.ix.rxd)? 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.