defendix Posted March 11, 2013 · Report post Доброго времени суток всем участникам форума! Имеется роутер (Debian 6.0.6, ядро 2.6.32-5-amd64) с двумя процессорами E-2620, 2 х 6 ядер, каждое с HT, итого 24 логических ядра. На сервере стоит 10 Ge сетевая карта, которая передаёт в ОС 16 RxTx очередей. С помощью smp_affinity планируется раскидать по очереди на каждое из ядер. Вопрос - есть ли смысл использовать в данном случае HT, или же его лучше отключить, и оставить только 12 "настоящих" ядер, и, соответственно, уменьшить количество очередей RxTx до 12? Планируемая нагрузка на данную систему - примерно 3 Mpps. Предыдущий опыт использования HT на роутере показал, что его включение даже несколько снижает общую производительность. Спасибо! Share this post Link to post Share on other sites
NiTr0 Posted March 11, 2013 · Report post Отключите лучше. Share this post Link to post Share on other sites
ThreeDHead Posted March 11, 2013 · Report post Отключите лучше. Чем руководствуетесь? Share this post Link to post Share on other sites
replicant Posted March 12, 2013 · Report post Отключите лучше. Чем руководствуетесь? Я думаю что разумно обратить внимание на 16 очередей и на 24 ядра ... Лучше уж нагрузить все ядра равномерно, создав 12 на 12, чем создать нелепый перекос или делить очереди на RX и TX отдельно. На мой взгляд тоже лучше отключить. Разницы особой точно не будет, к тому же это двухголовая машина, которой предстоит лопатить трафик, а там с HT по опыту все несколько более печально. На двухголовых у себя тоже отключаю. На одноголовых 50 на 50 и только голого эксперимента ради. На какой-то мизер одноголовая машина с HT чуть бодрее себя чувствует, но в цифрах превосходство несколько процентов (в пиковый час 3-4%, но за сутки все те же самые доли процента). Справедливо заметить, что в ядрах 3.2.х и старше + последних поколениях CPU HT прилично допилили и теперь перекос не так вылезает. Раньше было хуже. Share this post Link to post Share on other sites
ThreeDHead Posted March 12, 2013 · Report post или делить очереди на RX и TX отдельно Согласен. Мало того, каждой сетевушке - свой физический процессор. в пиковый час 3-4%, но за сутки все те же самые доли процента Т.е. реального смысла, кроме предубеждений, нет? Share this post Link to post Share on other sites
replicant Posted March 12, 2013 · Report post Т.е. реального смысла, кроме предубеждений, нет? По моим серверам разница небольшая есть в пользу HT, но не такая чтобы прямо было очень видно невооруженным глазом. Share this post Link to post Share on other sites
ThreeDHead Posted March 12, 2013 · Report post По моим серверам разница небольшая есть в пользу HT, но не такая чтобы прямо было очень видно невооруженным глазом. Ну, собственно, HT как раз-таки и решает небольшую проблему с очередью команд в процессор. IMHO, больше 5% получить там можно только на синтетических тестах. Share this post Link to post Share on other sites
NiTr0 Posted March 12, 2013 · Report post HT как раз-таки и решает небольшую проблему с очередью команд в процессор А толку, если все упирается отнюдь не в ресурсы проца, а в латентность памяти из-за рандомного выгребания мелких кусков (заголовков пакетов) и средних кусков (тела пакетов, таблиц маршрутизации/сессий коннтрака и т.д.) в процессе роутинга? :) Share this post Link to post Share on other sites
ThreeDHead Posted March 12, 2013 · Report post А толку, если все упирается отнюдь не в ресурсы проца, а в латентность памяти Тогда на процессор можно наплевать? Share this post Link to post Share on other sites
replicant Posted March 12, 2013 · Report post Тогда на процессор можно наплевать? Не совсем так. Ширина шины, тактовая частота и размер кеша имеют значение. Share this post Link to post Share on other sites
ThreeDHead Posted March 12, 2013 · Report post Не совсем так. Ширина шины, тактовая частота и размер кеша имеют значение. + HT Share this post Link to post Share on other sites
kayot Posted March 12, 2013 · Report post Не совсем так. Ширина шины, тактовая частота и размер кеша имеют значение. + HT Фиг. Выше перечисленные параметры как раз снижают латентность памяти, а лишние ядра(да еще и виртуальные) - нет. IMHO HT может немного помочь только в случае кривого софта на роутере, когда узкое место именно CPU(кривой линейный фаервол, линейный же шейпер, всякие soft-flow), а в других ситуациях бесполезен или вообще вреден. Share this post Link to post Share on other sites
martini Posted March 12, 2013 · Report post я думаю не стоит путать старый HT (который в П4...) и новый который на ксеонах 26хх+ и корках седьмых. Share this post Link to post Share on other sites
kayot Posted March 12, 2013 · Report post А по мне так HT тот же, просто софт повзрослел и стал эффективнее работать с железом. Врядли кто-то ставит на новенький E5 древние линуксы 2.6.18, или BSD 7. Share this post Link to post Share on other sites
martini Posted March 12, 2013 · Report post ну понятно что софт тоже растет, но у интела даже какаято демка была что они реально улучшили HT. Share this post Link to post Share on other sites
NiTr0 Posted March 12, 2013 · Report post но у интела даже какаято демка была что они реально улучшили HT. В худшем случае вместо -5% "прироста" наблюдается +1-2%? Улучшение, да :) Share this post Link to post Share on other sites
replicant Posted March 13, 2013 (edited) · Report post В худшем случае вместо -5% "прироста" наблюдается +1-2%? Улучшение, да :) + 1, но у меня минус был больше, вплоть до полного вылета вирт. ядер, а теперь вроде стабильно и даже до +3-4%, но это на Xeon E3 и последних версиях kernel. Чем больше ядер, тем меньше разница от применения HT в реальных задачах. Система с E3-1240 + HT дает прирост (мизерный, но дает и сетевые очереди более кошерно распределяются), а вот с двумя E5 по 6 ядер + HT едва ли будет заметно, если не вредно. К тому же 24 ядра неудобно нагружать имея всего 16 очередей на сетевой. Edited March 13, 2013 by replicant Share this post Link to post Share on other sites
ThreeDHead Posted March 13, 2013 · Report post В худшем случае вместо -5% "прироста" наблюдается +1-2%? Улучшение, да :) Это нам опять подводит к тому, что "HT лучше отключть"? А инженеры Интела дебилы? Share this post Link to post Share on other sites
replicant Posted March 13, 2013 (edited) · Report post А инженеры Интела дебилы? Зачем же так категорично заявлять? Инженеры свое дело знают и делают все правильно, но задачи, которые ставятся перед CPU, тоже бывают разные. Я бы не стал сравнивать работу одного и того же процессора в случае молотилки трафика и редактирования видео. Это разные задачи. Подозреваю что в ряде задач в определенных ОС (допустим Windows) HT дает приличный выигрыш. Edited March 13, 2013 by replicant Share this post Link to post Share on other sites
NiTr0 Posted March 13, 2013 · Report post Это нам опять подводит к тому, что "HT лучше отключть"? А инженеры Интела дебилы? HT позволяет задействовать простаивающие ресурсы проца. К примеру, один поток молотит целочисленные вычисления, это не помешает 2-му потоку заюать гуляющий FPU и получить серьезный прирост производительности. Проблема возникает тогда, когда оба потока начинают грузить одни и те же блоки - производительность в лучшем случае по сравнению с одним потоком будет около нуля, в худшем - уйдет в минус из-за вымывания кеша большим кол-вом кода/данных. А еще печальнее все становится, когда оба потока начинают грузить шину памяти, простаивая в ожидании бОльшую часть времени... Share this post Link to post Share on other sites
nickD Posted March 13, 2013 · Report post + за HT. Софт повзрослел, а вымывание кэша можно предотвратить, тупо привязав прерывания от одной карты к HT'ам одного физического ядра. Интересно, узнать разницу полученную в реальности на современном железе с современным софтом с не синтетической нагрузкой. Share this post Link to post Share on other sites
replicant Posted March 13, 2013 · Report post Интересно, узнать разницу полученную в реальности на современном железе с современным софтом с не синтетической нагрузкой. Прочитайте на несколько сообщений выше. Share this post Link to post Share on other sites
NiTr0 Posted March 13, 2013 · Report post а вымывание кэша можно предотвратить, тупо привязав прерывания от одной карты к HT'ам одного физического ядра. Нельзя. 2 потока кода на тот же кеш вместо одного. В 2 раза больше cache misses. Share this post Link to post Share on other sites
Ivan_83 Posted March 14, 2013 · Report post IMHO HT может немного помочь только в случае кривого софта на роутере, когда узкое место именно CPU(кривой линейный фаервол, линейный же шейпер, всякие soft-flow), а в других ситуациях бесполезен или вообще вреден. Нифига. Получите вымывание кеша и скорость упадёт. Это нам опять подводит к тому, что "HT лучше отключть"? А инженеры Интела дебилы? Оно для всяких виндовсов, чтобы дурить голову всяким тамошним приложениям с целью насильно их распараллелить. Share this post Link to post Share on other sites
