ingvarrwvw Опубликовано 8 июня, 2018 · Жалоба Видимо проблема здесь: 49.7% kernel sched_idletd fork_exit Кто-нибудь знает что это и с чем это есть? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
paradox_ Опубликовано 8 июня, 2018 (изменено) · Жалоба Проблемы там я не вижу простой CPU https://www.opennet.ru/openforum/vsluhforumID1/94861.html можете покрутить kern.sched.steal_idle я так и не понял что именно вам теперь не нравится ? что на 4 процах почти 50% interrupt ? Изменено 8 июня, 2018 пользователем paradox_ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingvarrwvw Опубликовано 8 июня, 2018 · Жалоба Не нравится что на FreeBSD 10.3 на этом же сервере и при той же загрузке прерываний в 3 раза меньше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
paradox_ Опубликовано 8 июня, 2018 · Жалоба hw.ix.enable_aim=0 и ребутнуть оценить в лучшую или в худшую сторону изменилось Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 8 июня, 2018 · Жалоба 2 часа назад, ingvarrwvw сказал: 49.7 kernel sched_idletd fork_exit Так трудно посмотреть в исходники?) 1. Всякие powerd точно выключены? 2. А случаем в 10 шедулер не 4BSD а на 11 ULE? 3. Если в 11 ULE то он же тюнится. Самое очевидное, прямо без ребута: kern.sched.idlespins=10 kern.sched.steal_idle=1 Желательно чтобы в конфиге ядра было: options SMP #b Symmetric MultiProcessor Kernel options DEVICE_NUMA #ox64 I/O Device Affinity options EARLY_AP_STARTUP #o device cpufreq #m for non-ACPI CPU frequency control device cpuctl #m Provides access to MSRs, CPUID info and microcode update feature. # Kernel base options SCHED_ULE #b 4BSD/ULE scheduler options _KPOSIX_PRIORITY_SCHEDULING #b POSIX P1003_1B real-time extensions options PREEMPTION #b Enable kernel thread preemption Либо уходите на 4BSD, там sched_idletd() предельно простая и грузить проц не может в принципе. 1 час назад, paradox_ сказал: hw.ix.enable_aim=0 Вообще никакого отношения к sched_idletd() не имеет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
paradox_ Опубликовано 8 июня, 2018 · Жалоба 14 минут назад, Ivan_83 сказал: Вообще никакого отношения к sched_idletd() не имеет. Иван, я последний раз говорю мягко, в следующий раз и последующие буду грубу ГДЕ Я СКАЗАЛ ЧТО ЭТО ИМЕЕТ ОТНОШЕНИЕ К sched_idletd ???? СОВЕТ БЫЛ ДЛЯ interrupt А ДЛЯ sched_idletd БЫЛ ДРУГОЙ СОВЕТ, ТОЖЕ ПРОЧТИ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingvarrwvw Опубликовано 8 июня, 2018 · Жалоба 22 minutes ago, Ivan_83 said: Так трудно посмотреть в исходники?) 1. Всякие powerd точно выключены? 2. А случаем в 10 шедулер не 4BSD а на 11 ULE? 3. Если в 11 ULE то он же тюнится. Самое очевидное, прямо без ребута: kern.sched.idlespins=10 kern.sched.steal_idle=1 Желательно чтобы в конфиге ядра было: options SMP #b Symmetric MultiProcessor Kernel options DEVICE_NUMA #ox64 I/O Device Affinity options EARLY_AP_STARTUP #o device cpufreq #m for non-ACPI CPU frequency control device cpuctl #m Provides access to MSRs, CPUID info and microcode update feature. # Kernel base options SCHED_ULE #b 4BSD/ULE scheduler options _KPOSIX_PRIORITY_SCHEDULING #b POSIX P1003_1B real-time extensions options PREEMPTION #b Enable kernel thread preemption Либо уходите на 4BSD, там sched_idletd() предельно простая и грузить проц не может в принципе. Вообще никакого отношения к sched_idletd() не имеет. 1. Точно выключены. На сервере только квага, bgp и ospf , ntpd, pf с 3 строчками ната. 2. Шедулер ULE на обоих системах 3. Потестим ) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingvarrwvw Опубликовано 4 октября, 2019 · Жалоба Спустя год трафика стало ~9.5 гбит, сервер используется HP g8 2x2690 Xeon ,сетевая - Intel 520, одна штука. FreeBSD 12. Загрузка проц в пиках - 30-32%. Красота! Планируем дожить на этом железе до ~30-35 гбит, а дальше перейти на 16-ти ядерные процессоры и сетевые mellanox. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
andryas Опубликовано 7 октября, 2019 · Жалоба On 10/4/2019 at 8:58 AM, ingvarrwvw said: Спустя год трафика стало ~9.5 гбит, сервер используется HP g8 2x2690 Xeon ,сетевая - Intel 520, одна штука. FreeBSD 12. Загрузка проц в пиках - 30-32%. Красота! Планируем дожить на этом железе до ~30-35 гбит, а дальше перейти на 16-ти ядерные процессоры и сетевые mellanox. Какой, в итоге, потребовался тюнинг? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 9 октября, 2019 · Жалоба В 04.10.2019 в 08:58, ingvarrwvw сказал: Спустя год трафика стало ~9.5 гбит, сервер используется HP g8 2x2690 Xeon ,сетевая - Intel 520, одна штука. FreeBSD 12. Загрузка проц в пиках - 30-32%. Красота! Планируем дожить на этом железе до ~30-35 гбит, а дальше перейти на 16-ти ядерные процессоры и сетевые mellanox. сетевые mellanox лучше чем сетевые интел? зачем на mellanox переходить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 9 октября, 2019 · Жалоба 4 часа назад, QWE сказал: сетевые mellanox лучше чем сетевые интел? зачем на mellanox переходить? Они очень вложились и запилили продукт который уж точно не хуже интела, и судя по отзывам которые я слышал ещё на конференции в яндексе от Мотина они даже по лучше будут, в плане фич. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 10 октября, 2019 · Жалоба 10 часов назад, Ivan_83 сказал: они даже по лучше будут, в плане фич. Ну да. Если вам iscsi там запилить или еще чего подобное. Для перекладывания пакетов - сомневаюсь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nixx Опубликовано 10 октября, 2019 · Жалоба В 07.10.2019 в 08:03, andryas сказал: Какой, в итоге, потребовался тюнинг? с такими процами никакого не надо )) у меня два 2660 прогоняли 12 Mpps. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingvarrwvw Опубликовано 10 декабря, 2019 · Жалоба Тюнинг стандартный - увеличены разные буферы. На одном Е5-2690 с натом получается примерно 12.5 гбит, 4.4 mpps. Загрузка процессора 96-98%, дропов и ошибок нет, задержек тоже. Не подскажут ли уважаемые знатоки, если перевести все это дело на linux - получится ли какой-то выигрыш по производительности на этом же железе? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XaTTa6bl4 Опубликовано 25 декабря, 2019 · Жалоба В 10.12.2019 в 12:10, ingvarrwvw сказал: На одном Е5-2690 с натом получается примерно 12.5 гбит, 4.4 mpps. Загрузка процессора 96-98%, дропов и ошибок нет, задержек тоже. Это объемы суммарно проходящего трафика через сервер UP+DOWN с каждой головы сетевухи? У меня FreeBSD 11, та же 520я сетевая и 2 x Intel(R) Xeon(R) CPU E5-2623 v3 @ 3.00GHz. При трафике 7Gb(down)+2Gb(up) / 650k+400k pps на каждом порту сетевой - получаю 100% interrupt по всем ядрам. Сервер только шейпит сквозной трафик, NATа и тп нет. Отключение ipfw по сути ничего не меняет. Это предел данной конфигурации или можно больше? FreeBSD 12 что-то дает по сравнению с FreeBSD 11? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Azamat Опубликовано 27 декабря, 2019 (изменено) · Жалоба BGP + НАТ на линуксе, проц - Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz 2 сетевые карты DA520, порты в 2х2 lacp В пике тянет 13.5Гиг на вход, 1.5 на выход , потом softirq съедает процессор. сервер собран в 14 году, потом диски перенесены были на более новый комплект железа. На такой же задаче, как у XaTTa6bl4 держим сервер на FreeBSD 8.4, проц. Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz гоняет 9.1 / 1 Гбит, la в пике 3, top кажет минимальный idle 35% Изменено 27 декабря, 2019 пользователем Azamat Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XaTTa6bl4 Опубликовано 13 января, 2020 · Жалоба Ну вот и мне кажется, что на нашей конфигурации должен больше переваривать... Или частота ядер 3GHz низковата для таких задач? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bear_UA Опубликовано 19 февраля, 2020 · Жалоба Планируем собирать NAS на FreeBSD 12.1 (pppoe + dhcp o82. ipfw pipe shape. pf nat). Сетевая Intel 520-da2. Подскажите пожалуйста по особенностям конфига ядра и тюнингу под PPPOE (планируется трафика в районе 4гиг+ ну и с ростом так сказать). Заранее плюсик в карму :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 20 февраля, 2020 · Жалоба Поиском, тут в общем ничего нового со времён 10х, только некоторые имена крутилок поменялись в районе net.isr, iflib (новый фреймворк для сетевух интел и видимо дргуих). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingvarrwvw Опубликовано 19 марта, 2020 · Жалоба Обновлю статистику - на данный момент на этом сервере достигли 16 гбит (примерно 6 млн pps). Задачи прежние - bgp 6 аплинков, nat, логирование nat states для запросов из органов. По прогнозу запас еще на пару гигабит имеется. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Mechanic Опубликовано 30 марта, 2020 · Жалоба что за сервак стоит , проц один? и шейпер присутствует ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingvarrwvw Опубликовано 25 мая, 2020 · Жалоба Проц тот же,писал конфиг сервера выше. Шейпера нет, это только бордер с натом. С dummynet беда известная - однопоточный, поэтому чуда ждать не стоит, а шейп на нетграфе периодически вешает сервер полностью (у нас по крайней мере так было пару раз,отказались) Сейчас ожидаю для теста платформу на AMD с 32 железными ядрами. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 26 мая, 2020 · Жалоба 17 часов назад, ingvarrwvw сказал: шейп на нетграфе периодически вешает сервер полностью (у нас по крайней мере так было пару раз,отказались) Жалуйтесь в рассылку и багтрекер, иначе чуда не случится. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingvarrwvw Опубликовано 26 марта, 2021 · Жалоба Перевел один сервер на 13-RC2,заценить новую фичу с использованием HT ядер для обработки трафика,и обнаружил что для ix драйвера (intel 520) пропала крутилка для увеличения буфера . Трафика на сервере порядка 10 гбит, вроде все хорошо, но сыпятся rx errors теперь постоянно(до апгрейда не было вообще). Может кто знает как в 13 BSD буфер увеличить (раньше был тут hw.ix.rxd)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 26 марта, 2021 · Жалоба man iflib Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...