[nuclearcat]

Загрузку процессоров я обычно смотрю

mpstat -P ALL

[Dark_Angel]

Я просто оставлю это здесь: http://habrahabr.ru/blogs/linux/114082/

 

Хотя к данной теме это отношения не имеет, т.к. виновник есть и смотри на него через top или mpstat - разницы это не сделает. Ну и для разных задач разные инструменты.

[wired]

Support for DMA Remapping Devices - в N

У вас CONFIG_DMAR в .config ядра включен или выключен?

Естественно, ДМАР включен. Я так понял он по умолчанию включается на интеловских драйверах. На других серверах с таким же линуксом где нет сетевых интел ДМАР закоменчен. Поставил в конфиге CONFIG_DMAR=n

Посмотрю под нагрузкой

Нашел на другом форуме подобную проблему на 10Гбитной карте: рекомендуют или переключить в DMAR=n или дописать к загрузке ядра intel_iommu=off

Изменено 3 октября, 2011 пользователем wired

[wired]

Как вы убрали NAT ? Это я на всякий случай интересуюсь. Надо вместе с натом убирать и CONNTRACK, т.е. выгрузить модули, только тогда смысл будет.

Перед этим сервером стоят сервера, которые шейпят и логируют трафик, перенес СНАТ на них. На данном НР остался только форвардинг. Но легче ему не стало. Поэтому предполагаю что нагрузка что НАТа, что форварда одинаковая.

[Ivan_83]

Не правильно предполагаете.

 

1. В роутинге пакет принимается, из таблицы маршрутизации и IP_DST из заголовка пакета принимается решение через какой сетевой интерфейс и на какой мак адрес его отправить дальше, ну и собственно туда он и отправляется. И как правило, маршрутов всё таки не так много, и таблица обновляется оч редко - это упрощает к ней доступ.

 

2. При нате существует заведомо бОльшая таблица трансляций, которая очень часто обновляется (в сравнении с таблицей маршрутов) и для каждого пакета к этой таблице делается запрос как минимум на чтение, далее в пакете заменяется IP SRC или DST адрес и порт, корректируется контрольная сумма и далее делается тоже что и при роутинге.

 

 

[nuclearcat]

wired - как успехи?

[wired]

В общем отписываюсь НАТилось: 1,3Gbps, 206Kpps - нагрузка на ЦПУ- 4%. (раньше была нагрузка 50-70%)

Операционка- Федора14 х64, ядро 2.6.35.6-45

Сервер HP G6, 2хXeon5504, сетевые Intel Gigabit ET DualPort

Тюнинг ядра - стандартные параметры + увеличено кол-во коннтреков и уменьшено время хранения их же

Тюнинг сетевых - стандартный + по 4 очереди, 2 прием, 2 отдача, привязка прерываний к ядрам

Изменено - /boot/config.2.6....:

CONFIG_DMAR=n
CONFIG_DMAR_DEFAULT_ON=n

Добавлено в /boot/grub/grub.conf в параметры загрузки ядра:

intel_iommu=off

Это параметры для виртуализации. Сетевые интел идут с аппаратной поддержкой виртуализации. У меня виртуализация не используется, и наобот мешает нормальной работе.

Изменено 5 октября, 2011 пользователем wired

[NiTr0]

по 4 очереди, 2 прием, 2 отдача, привязка прерываний к ядрам

ИМХО tx прерывания нагрузки практически не создают, смысла делить tx/rx я не вижу...

 

Изменено - /boot/config.2.6....:

Вы ядро пересобирали? Если нет - то от этих изменений толку не будет :)

[vlad11]

Вместо аппаратных поделите нагрузку пополам между 2-мя дешёвыми компами.

Не хочется мастырить костыли. 2-х компов хватит максимум на полгода, а дальше 3? 4? 5?

Да. Дешевле и быстрее заменить один системник, чем одну большую и дорогую железку.

+Можно будет балансировать нагрузку по разным направлениям.

[Dark_Angel]

В общем отписываюсь НАТилось: 1,3Gbps, 206Kpps - нагрузка на ЦПУ- 4%. (раньше была нагрузка 50-70%)

 

Ну вот это уже похоже на правду. Теперь, если есть желание, можете тюнить ядро.

 

+1 к совету NiTr0 не делить очереди.

Изменено 5 октября, 2011 пользователем Dark_Angel

[wtyd]

В общем отписываюсь НАТилось: 1,3Gbps, 206Kpps - нагрузка на ЦПУ- 4%. (раньше была нагрузка 50-70%)

 

Ну вот это уже похоже на правду. Теперь, если есть желание, можете тюнить ядро.

 

+1 к совету NiTr0 не делить очереди.

 

А как тогда лучше делать ? ядро ЦПУ -> одна сетевая карта или ещё как-то ?

[NiTr0]

Ядро - очередь rx/tx