Как лучше раскидать прерывания?

[Wingman]

Есть сервер с 2*E5-2670 и двухголовой 82599EB в кач-ве шлюза для абонентов

 

90% юзеров мы натим, поэтому в наличи перекос по трафику: входящий (имеется в виду в сторону юзера) на шлюзе ~3 гб/с, исходящий - ~1 гб/с. Соответственно, прерывания генерятся в похожей пропорции.

Прерывания раскиданы так: 8 RxTx-очередей на один физический проц, 8 на другой, одна очередь на ядро.

В результате сейчас ядра одного проца нагружены на ~20-25%, второго - на 8-12%, поскольку основная нагрузка идёт от RX-прерываний, которых получается в пару раз больше на одном процессоре.

 

В итоге при нагрузке на один проц, ресурсы другого простаивают.

С одной стороны, крайне нежелательно разносить прерывания одной сетевухи на разные процы. С другой стороны, жаба душит :)

 

Понимаю, что можно просто поэкспериментировать с прерываниями и оценить нагрузку эмперическим путём, но вдруг кто что дельное посоветует в этом плане?

[kayot]

Я бы повесил обе карты на один CPU. Тот, к контроллеру которого подключен слот с карточкой.

Ибо на E5 двухголовая карта и так физически висит на PCIe контроллере одного из CPU, и прибивание ее прерываний к соседнему ничего хорошего не даст.

Вероятно и разница в загрузке камней из-за этого.

[Wingman]

Вообще странно, т.к. на других связках 2 проца + 2головая pcie там, где трафик поровнее, и прерывания распределяются ровнее

Но это идея для эксперимента, буду пробовать )

[Wingman]

Не особо помогло

Две разные сетевухи в двух слотах на шинах двух разных процов =)

 

Хотя, думается мне, это lisg что-то лочит (raw_spin_lock_bh в топе + обновился до последней версии LISG, когда эта хрень стала ярко выражена)

Edited August 13, 2013 by Wingman