Коллеги, просьба подсказать с настройкой net.isr

[Azamat]

Уважаемые коллеги, просьба подсказать по теме, кто знает.

 

Есть сервер, HP PL-160 G5 (CPU: Intel Xeon 5472 @ 3.00GHz, RAM 4G) OS: FB 8.2 AMD-64

на борту две двухголовые платы Intel PT (em0-3)

emX: <Intel® PRO/1000 Network Connection 7.2.3>

 

Сервер выполняет роль фильтрующего моста.

платы собраны в два моста br0-1

br0: em0-1

br1: em2-3

 

при общем вход. трафике в 1,5Гбит и исход. 380-400Мбит (считается ли, что общий трафик через машину 1,5G x 2 + 380M x 2 = 3.7Gb ?) появляются небольшие потери на em3. На em3 в этот момент вход. трафик 92Мбайт/с, исход. 24-25Мбайт/с и порядка 78-80Кппс. dummynet в любой момент времени:

 

0 root -68 0 0K 224K CPU0 0 180:58 0.00% {dummynet}

 

Общая загрузка машины порядка 45-55% на момент появления потерь на em3

 

input (em3) output

packets errs idrops bytes packets errs bytes colls drops

79k 0 0 89M 54k 0 17M 0 0

81k 23 0 91M 53k 0 17M 0 0

 

Трафик через em3 не растет выше 95-97Мбайт/с.

 

Очень надеюсь с помощью сообщества попробовать повысить утилизацию по em3 еще на 15-20Мбайт - до 116Мбайт/с, вроде есть еще ресурсы сервера.

 

При этом заметил странное поведение сервера, при смене

net.isr.direct: 0 -> 1

net.isr.direct_force: 0 -> 1

и наоборот ничего не происходит в топе - все всегда выглядит примерно так (не появляются процессы разбора очередей netisr):

 

0 root -68 0 0K 224K CPU3 3 181:46 45.41% {em3 taskq}

0 root -68 0 0K 224K - 2 185:13 41.60% {em2 taskq}

0 root -68 0 0K 224K CPU1 1 186:10 36.38% {em1 taskq}

0 root -68 0 0K 224K - 0 180:18 34.42% {em0 taskq}

 

На другой машине (i7-3770) при изменении с 1 -> 0 изменился внешний вид топа (нагрузка сползла с em0 taskq на {swi1: netisr 3/2})

12 root -44 - 0K 272K WAIT 2 881:28 46.97% {swi1: netisr 3}

0 root -68 0 0K 176K - 3 832:10 31.74% {em3 taskq}

0 root -68 0 0K 176K - 2 753:37 26.61% {em2 taskq}

12 root -44 - 0K 272K WAIT 1 379:46 25.44% {swi1: netisr 2}

0 root -68 0 0K 176K - 0 861:17 9.86% {em0 taskq}

0 root -68 0 0K 176K - 1 341:18 2.49% {em1 taskq}

 

loader.conf одинаковые в обоих случаях (Xeon и i7-3770)

 

hw.em.max_interrupt_rate=32000

kern.ipc.nmbclusters=65536

hw.em.rxd=4096

hw.em.txd=4096

net.inet.tcp.tcbhashsize=16384

net.isr.maxthreads=4

net.isr.defaultqlimit=4096

 

Просьба подсказать, какие именно рычаги еще можно пошевелить, чтобы дожать коробку ?

[Ivan_83]

Какой версии фря?

[Azamat]

я в начале темы сразу приписал : OS: FB 8.2 AMD-64

[mmvds]

По поводу шевеления рычагов, http://forum.lissyara.su/viewtopic.php?f=8&t=31297