Jump to content
Калькуляторы

FreeBSD 7.3 и Intel® Gigabit ET Dual Port Server Adapter проблема с виланами

После долгих мучений и изменений параметров в loader.conf и sysctl.conf решил обратиться к вам.

Поставил фрю 7.3 на сервер с 2-мя процами квадро и установил сетевую Intel® Gigabit ET Dual Port Server Adapter.

драйвера - igb 1.4.1

и получил довольно слабый результат по разделению нагрузки на прерывания

 

vmstat -i

interrupt total rate

irq9: acpi0 1 0

irq16: uhci3 uhci* 21 0

irq18: atapci0 1145849 0

irq19: uhci0 uhci* 13 0

cpu0: timer 2789207434 1993

irq256: igb0 1538762135 1099

irq257: igb0 1249531789 893

irq258: igb0 2 0

irq259: igb1 1475962176 1054

irq260: igb1 1285496621 918

irq261: igb1 2 0

cpu5: timer 2789206542 1993

cpu3: timer 2789206335 1993

cpu7: timer 2789205805 1993

cpu2: timer 2789206822 1993

cpu6: timer 2789205859 1993

cpu1: timer 2789206816 1993

cpu4: timer 2789206173 1993

Total 27864550395 19915

 

соответственно и нагрузка на проц.

 

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

12 root 1 171 ki31 0K 8K CPU6 6 384.8H 100.00% idle: cpu6

14 root 1 171 ki31 0K 8K CPU4 4 384.7H 100.00% idle: cpu4

11 root 1 171 ki31 0K 8K CPU7 7 384.7H 100.00% idle: cpu7

15 root 1 171 ki31 0K 8K CPU3 3 382.9H 100.00% idle: cpu3

17 root 1 171 ki31 0K 8K CPU1 1 380.4H 100.00% idle: cpu1

18 root 1 171 ki31 0K 8K RUN 0 380.1H 100.00% idle: cpu0

13 root 1 171 ki31 0K 8K CPU5 5 367.6H 100.00% idle: cpu5

16 root 1 171 ki31 0K 8K CPU2 2 350.5H 97.46% idle: cpu2

42 root 1 -68 - 0K 8K WAIT 5 20.6H 1.95% irq260: igb1

38 root 1 -68 - 0K 8K WAIT 2 37.2H 1.86% irq257: igb0

63 root 1 -68 - 0K 8K - 6 637:50 0.00% dummynet

41 root 1 -68 - 0K 8K WAIT 4 183:03 0.00% irq259: igb1

37 root 1 -68 - 0K 8K WAIT 1 170:51 0.00% irq256: igb0

40 root 1 -68 - 0K 8K - 1 93:08 0.00% igb0 taskq

44 root 1 -68 - 0K 8K - 0 90:57 0.00% igb1 taskq

 

при загрузке всего только в 100Мб/с с ппс 15К, вся нагрузка падает только на одно прерывание каждой сетевухи гдето по 10%. Тоесть у меня пашут только 2 проца из 8ми.

Виланы создаются нормально на лету --- с этим всё хорошо.

 

Решили поставить дрова 1.8.4 от Интела

и получил отличный результат по прерываниям.

 

vmstat -i

interrupt total rate

irq9: acpi0 1 0

irq16: uhci3 uhci4* 10892414 3

irq18: atapci0 1233658 0

irq19: uhci0 uhci1* 101 0

cpu0: timer 5570717392 1982

irq259: igb0 3460319149 1231

irq263: igb0 2648943258 942

irq264: igb0 2652023587 943

irq265: igb0 2645790209 941

irq266: igb0 2642685718 940

irq267: igb0 6 0

irq268: igb1 3481318119 1238

irq272: igb1 2682418063 954

irq273: igb1 2685442936 955

irq274: igb1 2671308057 950

irq275: igb1 2678893673 953

irq276: igb1 6 0

cpu7: timer 5618190601 1999

cpu2: timer 5570713059 1982

cpu5: timer 5618280614 1999

cpu3: timer 5570712473 1982

cpu6: timer 5618213958 1999

cpu1: timer 5570713330 1982

cpu4: timer 5618346271 1999

Total 73017156653 25981

 

и загрузку сервера

 

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

12 root 1 171 ki31 0K 16K CPU6 6 776.2H 100.00% idle: cpu6

11 root 1 171 ki31 0K 16K CPU7 7 776.2H 100.00% idle: cpu7

17 root 1 171 ki31 0K 16K CPU1 1 740.5H 100.00% idle: cpu1

18 root 1 171 ki31 0K 16K RUN 0 729.8H 100.00% idle: cpu0

15 root 1 171 ki31 0K 16K CPU3 3 742.0H 99.85% idle: cpu3

14 root 1 171 ki31 0K 16K CPU4 4 776.0H 99.37% idle: cpu4

13 root 1 171 ki31 0K 16K CPU5 5 776.1H 99.27% idle: cpu5

16 root 1 171 ki31 0K 16K CPU2 2 741.7H 96.09% idle: cpu2

866 root 1 48 0 268M 262M select 0 424:15 5.18% bgpd

73 root 1 -68 - 0K 16K WAIT 3 20.9H 2.78% irq275: igb1

54 root 1 -68 - 0K 16K WAIT 2 17.4H 2.59% irq265: igb0

56 root 1 -68 - 0K 16K WAIT 3 17.2H 2.39% irq266: igb0

69 root 1 -68 - 0K 16K WAIT 1 21.1H 2.20% irq273: igb1

67 root 1 -68 - 0K 16K WAIT 0 21.4H 1.95% irq272: igb1

71 root 1 -68 - 0K 16K WAIT 2 20.8H 1.95% irq274: igb1

50 root 1 -68 - 0K 16K WAIT 0 17.5H 1.86% irq263: igb0

52 root 1 -68 - 0K 16K WAIT 1 17.5H 1.86% irq264: igb0

59 root 1 -68 - 0K 16K WAIT 0 344:35 0.10% irq268: igb1

42 root 1 -68 - 0K 16K WAIT 0 284:54 0.10% irq259: igb0

20 root 1 -32 - 0K 16K WAIT 7 203:57 0.00% swi4: clock sio

26 root 1 44 - 0K 16K - 6 92:12 0.00% yarrow

94 root 1 -68 - 0K 16K - 4 61:26 0.00% dummynet

 

# netstat -I igb1 -h 1

input (igb1) output

packets errs bytes packets errs bytes colls

21K 0 13M 19K 0 12M 0

21K 0 15M 19K 0 12M 0

24K 0 16M 20K 0 13M 0

 

Всё отлично - доволен. Но тут прикол при присваивании вилану парента стевуха делает DOWN, потом UP.

Ясень пень весь траф по другим виланам на этой сетевухе дропается. Но и дальше галяк. После того как сетевуха делает UP при серьёзной нагрузке , траф уже не ходит.

 

Кто имел опыт работы с данной сетевой на Фре?

Может кто-то знает патч для дров 1.8.4 что бы виланы создовались нормально?

Есть ли такие проблемы на 8-ке?

Есть ли такие грабли с сетевой Intel® PRO/1000 PT Dual Port Server Adapter?

 

Share this post


Link to post
Share on other sites

обновись

давно во фре дрова поменяли

и работает вроде нормально

 

под нагрузкой не тестил

Share this post


Link to post
Share on other sites

обновлял до 1.9.6 --- почти таже картина. Только трафик востанавливается. Но как-то не греет душу что на 3-5 сек интерфейс уходит в DOWN со всеми виланами на борту :(

Share this post


Link to post
Share on other sites

Речь про обновление FreeBSD и использование ее драйвера. Сам сижу на 8.1 pre тоже на igb - работают замечательно.

Edited by Hawk128

Share this post


Link to post
Share on other sites

Речь про обновление FreeBSD и использование ее драйвера. Сам сижу на 8.1 pre тоже на igb - работают замесательно.

Можете показать вывод vmstat -I и top -S.

Share this post


Link to post
Share on other sites

last pid:  7725;  load averages:  1.25,  1.71,  1.93                      up 14+11:32:52  22:41:02
883 processes: 5 running, 850 sleeping, 28 waiting
CPU:  0.8% user,  0.0% nice, 27.9% system, 19.5% interrupt, 51.8% idle
Mem: 502M Active, 2083M Inact, 894M Wired, 15M Cache, 617M Buf, 2343M Free
Swap: 2048M Total, 384K Used, 2048M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root     171 ki31     0K    64K CPU3    3 213.0H 58.50% {idle: cpu3}
   11 root     171 ki31     0K    64K RUN     2 205.7H 53.47% {idle: cpu2}
   11 root     171 ki31     0K    64K CPU1    1 195.1H 50.29% {idle: cpu1}
   11 root     171 ki31     0K    64K CPU0    0 191.9H 48.97% {idle: cpu0}
   13 root      76    -     0K    64K sleep   0  79.3H 26.86% {ng_queue3}
   13 root      76    -     0K    64K sleep   0  79.3H 26.86% {ng_queue1}
   13 root      73    -     0K    64K sleep   1  79.3H 26.76% {ng_queue2}
   13 root      76    -     0K    64K sleep   2  79.3H 25.78% {ng_queue0}
   12 root     -68    -     0K   448K WAIT    1  49.9H 18.90% {irq262: igb1}
   12 root     -68    -     0K   448K WAIT    3  52.6H 18.65% {irq264: igb1}
   12 root     -68    -     0K   448K WAIT    2  50.6H 17.48% {irq263: igb1}
   12 root     -68    -     0K   448K WAIT    0  51.9H 15.97% {irq261: igb1}
   12 root     -68    -     0K   448K WAIT    0 628:33  3.27% {irq256: igb0}
   12 root     -68    -     0K   448K WAIT    3 433:18  1.76% {irq259: igb0}
   12 root     -68    -     0K   448K WAIT    2 410:03  1.46% {irq258: igb0}
   12 root     -68    -     0K   448K WAIT    1 303:18  1.27% {irq257: igb0}
86970 root      45    0 62444K 31920K select  3 249:42  1.27% {mpd5}
95842 root      44  -15   381M   291M select  3 159:17  0.49% {ipcad}
   12 root     -32    -     0K   448K WAIT    3  72:24  0.00% {swi4: clock}
    0 root     -68    0     0K   272K -       1  70:05  0.00% {igb0 que}
    0 root     -68    0     0K   272K -       3  29:33  0.00% {dummynet}
   14 root      44    -     0K    16K -       1  28:50  0.00% yarrow
  991 bind      44    0   170M   158M ucond   0  28:07  0.00% {named}
  991 bind      44    0   170M   158M ucond   3  28:04  0.00% {named}
  991 bind      44    0   170M   158M ucond   2  28:01  0.00% {named}
  991 bind      44    0   170M   158M ucond   1  27:59  0.00% {named}
    0 root     -68    0     0K   272K -       0  25:14  0.00% {igb1 que}
    0 root     -68    0     0K   272K -       1  22:56  0.00% {igb1 que}
    0 root     -68    0     0K   272K -       0  18:23  0.00% {igb1 que}
  991 bind      44    0   170M   158M kqread  2  17:13  0.00% {named}
   12 root     -64    -     0K   448K WAIT    3  14:41  0.00% {irq19: uhci0 uhc}
    0 root     -68    0     0K   272K -       3  12:23  0.00% {igb1 que}
2838 root      44    0 22968K  4288K select  2   8:09  0.00% nmbd
   15 root     -68    -     0K   528K -       2   7:11  0.00% {usbus1}
   12 root     -64    -     0K   448K WAIT    3   6:10  0.00% {irq18: atapci0}
95842 root      44  -15   381M   291M select  0   5:22  0.00% {ipcad}
95842 root      44  -15   381M   291M select  0   5:00  0.00% {ipcad}
5193 mysql     44    0   530M   230M sbwait  3   4:01  0.00% {mysqld}
95842 root      44  -15   381M   291M select  0   3:59  0.00% {ipcad}
   12 root     -24    -     0K   448K WAIT    0   3:22  0.00% {swi6: task queue}
55466 root      44    0   133M 13344K select  3   3:21  0.00% httpd
    4 root      -8    -     0K    16K -       2   3:18  0.00% g_down
95842 root      44  -15   381M   291M select  3   3:03  0.00% {ipcad}
95842 root      44  -15   381M   291M select  0   2:44  0.00% {ipcad}
95842 root      44  -15   381M   291M select  0   2:44  0.00% {ipcad}
5193 mysql     44    0   530M   230M sbwait  0   2:41  0.00% {mysqld}
   12 root     -32    -     0K   448K WAIT    1   2:36  0.00% {swi4: clock}
    0 root      44    0     0K   272K sched   3   2:31  0.00% {swapper}
    3 root      -8    -     0K    16K -       2   2:30  0.00% g_up

 

interrupt                          total       rate
irq9: acpi0                            1          0
irq16: uhci3 uhci4*              4548176          3
irq18: atapci0                  34623025         27
irq19: uhci0 uhci1*            101405622         81
cpu0: timer                   2483132945       1985
irq256: igb0                 11221794551       8974
irq257: igb0                  3283616766       2626
irq258: igb0                  4374356178       3498
irq259: igb0                  4747002982       3796
irq260: igb0                           3          0
irq261: igb1                  5928023146       4740
irq262: igb1                  5180884983       4143
irq263: igb1                  5941854354       4751
irq264: igb1                  6316231813       5051
irq265: igb1                           2          0
cpu2: timer                   2483148557       1985
cpu1: timer                   2483132944       1985
cpu3: timer                   2483161786       1985
Total                        57066917834      45639

 

            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls drops
       53K     0     0        29M        47K     0        29M     0     0 
       52K     0     0        29M        46K     0        28M     0     0 
       50K     0     0        27M        45K     0        27M     0     0

Edited by Hawk128

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this