Jump to content
Калькуляторы

Снова freebsd 8.2 intel igb какие настройки не вызывают крах

Собственно сабж

 

hw.igb.rxd="4096"

hw.igb.txd="4096"

 

уже проходит

но все равно крах где то на 800 мегабитах суммарного трафика

dev.igb.0.%desc: Intel® PRO/1000 Network Connection version - 2.2.3

dev.igb.1.%desc: Intel® PRO/1000 Network Connection version - 2.2.3

 

драйвера от яндекса уже на 8-ке нормально не работаю

криво распределяет и одно ядро перегружает

 

с 7.4 фрибсд + драйвера от яндекса проблем нету

Edited by AntonS

Share this post


Link to post
Share on other sites

 

с 7.4 фрибсд + драйвера от яндекса проблем нету

 

pciconf -lv сетевух покажите.

Share this post


Link to post
Share on other sites

 

с 7.4 фрибсд + драйвера от яндекса проблем нету

 

pciconf -lv сетевух покажите.

 

 

igb0@pci0:1:0:0: class=0x020000 card=0x34dc8086 chip=0x10a78086 rev=0x02 hdr=0x00

vendor = 'Intel Corporation'

device = '82575EB Gigabit Network Connection'

class = network

subclass = ethernet

igb1@pci0:1:0:1: class=0x020000 card=0x34dc8086 chip=0x10a78086 rev=0x02 hdr=0x00

vendor = 'Intel Corporation'

device = '82575EB Gigabit Network Connection'

class = network

subclass = ethernet

 

вот такие еще есть

igb0@pci0:5:0:0: class=0x020000 card=0x10c915d9 chip=0x10c98086 rev=0x01 hdr=0x00

vendor = 'Intel Corporation'

class = network

subclass = ethernet

igb1@pci0:5:0:1: class=0x020000 card=0x10c915d9 chip=0x10c98086 rev=0x01 hdr=0x00

vendor = 'Intel Corporation'

class = network

subclass = ethernet

Share this post


Link to post
Share on other sites

Для БРАСА и НАСА лучше используйте дрова самой фри. И обновите ее до стебла.

Share this post


Link to post
Share on other sites

использовал драйвер самой фри

 

показывает что проц не грузит

хотя все рабоает через одно место

уже на суммарных 900 мегабитах

 

 

при драйверах от яндекса хоть top показывал что грузит

Share this post


Link to post
Share on other sites

не охото эксперемнтирвоать на igb

 

так на 7-ке все пучком

Share this post


Link to post
Share on other sites

пакеты упали до 200к

и все нормализовалось

хотя по топу все ок

Share this post


Link to post
Share on other sites

все

обратно ставлю 7-ку

8-ка не оправдала надежд

Share this post


Link to post
Share on other sites

igb0@pci0:1:0:0:        class=0x020000 card=0x34de8086 chip=0x10a78086 rev=0x02 hdr=0x00
   vendor     = 'Intel Corporation'
   device     = '82575EB Gigabit Network Connection'
   class      = network
   subclass   = ethernet
igb1@pci0:1:0:1:        class=0x020000 card=0x34de8086 chip=0x10a78086 rev=0x02 hdr=0x00
   vendor     = 'Intel Corporation'
   device     = '82575EB Gigabit Network Connection'
   class      = network
   subclass   = ethernet
# uname -a
FreeBSD  8.2-STABLE FreeBSD 8.2-STABLE #10: Thu Apr 21 16:35:39 MSD 2011     root@:/usr/obj/usr/src/sys/MYCONF  amd64
# uptime
10:38AM  up 67 days, 18:13, 1 user, load averages: 1.14, 0.96, 0.87

Всё нормально работает, сбоев не наблюдается, суммарно на igb порядка 1.1гбит/с, дрова родные

Share this post


Link to post
Share on other sites

в качестве чего сервер?

у меня mpd5 крутится

Share this post


Link to post
Share on other sites

7.4 + дрова от яндекса

полет нормальный, уже жует 1,2

 

vpn2# netstat -w 1

input (Total) output

packets errs bytes packets errs bytes colls

220608 0 135733089 231118 0 158530496 0

223800 0 135934571 235761 0 160544444 0

8-ка бы уже загнулась

Share this post


Link to post
Share on other sites

покажи loader.conf

и sysctl

 

если идут какие то новороты

Share this post


Link to post
Share on other sites

Всем доброго времени суток. Тоже есть сервер 7.4-STABLE, mpd-5.5(pppoe,vpn,). Железо Intel® Xeon® CPU X3480 @ 3.07GHz Решил вставить в него igb двухголовый, две штучки. Схема такая, две сетевые вешаю в lagg и смотрят он в наружу, а на остальные две навешиваю vlan-ы. Так вот собственно вопрос по распределению, те сетевые на которых висит lag распределяются равномерно по ядрам, а те на которых vlan-ы не равномерно.

Вот статистика:

 

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

12 root 1 171 ki31 0K 16K CPU5 5 23.6H 100.00% idle: cpu5

10 root 1 171 ki31 0K 16K CPU7 7 23.6H 100.00% idle: cpu7

13 root 1 171 ki31 0K 16K CPU4 4 23.5H 100.00% idle: cpu4

11 root 1 171 ki31 0K 16K CPU6 6 23.6H 98.73% idle: cpu6

17 root 1 171 ki31 0K 16K CPU0 0 22.4H 95.12% idle: cpu0

16 root 1 171 ki31 0K 16K RUN 1 22.4H 91.46% idle: cpu1

14 root 1 171 ki31 0K 16K CPU3 3 19.6H 78.42% idle: cpu3

15 root 1 171 ki31 0K 16K CPU2 2 17.7H 72.56% idle: cpu2

76 root 1 -68 - 0K 16K WAIT 2 373:18 24.07% irq275: igb2

93 root 1 -68 - 0K 16K WAIT 3 251:03 16.36% irq284: igb3

54 root 1 -68 - 0K 16K WAIT 1 55:50 4.59% irq265: igb1

64 root 1 -68 - 0K 16K WAIT 5 38:32 3.22% irq270: igb1

37 root 1 -68 - 0K 16K WAIT 0 56:53 2.98% irq256: igb0

2405 root 1 46 0 29180K 10720K select 1 68:29 2.69% snmpd

43 root 1 -68 - 0K 16K WAIT 3 38:23 2.49% irq259: igb0

66 root 1 -68 - 0K 16K WAIT 6 37:48 1.90% irq271: igb1

45 root 1 -68 - 0K 16K WAIT 4 36:41 1.90% irq260: igb0

39 root 1 -68 - 0K 16K WAIT 1 40:49 1.76% irq257: igb0

41 root 1 -68 - 0K 16K WAIT 2 36:33 1.51% irq258: igb0

62 root 1 -68 - 0K 16K WAIT 4 36:28 1.51% irq269: igb1

49 root 1 -68 - 0K 16K WAIT 6 34:17 1.42% irq262: igb0

60 root 1 -68 - 0K 16K WAIT 3 40:54 1.37% irq268: igb1

47 root 1 -68 - 0K 16K WAIT 5 35:14 1.32% irq261: igb0

58 root 1 -68 - 0K 16K WAIT 2 39:36 1.22% irq267: igb1

56 root 1 -68 - 0K 16K WAIT 1 36:36 1.22% irq266: igb1

68 root 1 -68 - 0K 16K WAIT 7 36:22 1.07% irq272: igb1

51 root 1 -68 - 0K 16K WAIT 7 34:30 0.93% irq263: igb0

 

 

vmstat -i | grep igb

irq256: igb0 756720008 8352

irq257: igb0 197764216 2182

irq258: igb0 177279548 1956

irq259: igb0 181277615 2000

irq260: igb0 197996716 2185

irq261: igb0 186843687 2062

irq262: igb0 183530872 2025

irq263: igb0 181866497 2007

irq264: igb0 4 0

irq265: igb1 765738549 8451

irq266: igb1 181670703 2005

irq267: igb1 186292780 2056

irq268: igb1 189463604 2091

irq269: igb1 196028338 2163

irq270: igb1 204377553 2255

irq271: igb1 198425534 2190

irq272: igb1 193709760 2138

irq273: igb1 5 0

irq275: igb2 769140625 8489

irq276: igb2 4098053 45

irq277: igb2 3728449 41

irq278: igb2 4509908 49

irq279: igb2 6606983 72

irq280: igb2 2963080 32

irq281: igb2 4188590 46

irq282: igb2 11297904 124

irq283: igb2 4 0

irq284: igb3 719996925 7946

irq285: igb3 2584035 28

irq286: igb3 10696024 118

irq287: igb3 2313979 25

irq288: igb3 11002020 121

irq289: igb3 2021147 22

irq290: igb3 14660273 161

irq291: igb3 20451048 225

irq292: igb3 4 0

 

netstat -w1 -h

input (Total) output

packets errs bytes packets errs bytes colls

230K 0 184M 231K 0 197M 0

192K 0 146M 192K 0 155M 0

200K 0 161M 198K 0 165M 0

195K 0 157M 193K 0 160M 0

177K 0 162M 166K 0 132M 0

 

прерывания irq275: igb2 и irq275: igb2 привязал к разным ядрам потому что вообще падает в одно ядро...

Подскажите есть ли какой тюнинг, у кого как?

Share this post


Link to post
Share on other sites

все крах системы

8.2 стейбл

 

где то было 520/400 мегабит

 

сколько по pps не знаю, вообщем как было сыро так и осталось

Share this post


Link to post
Share on other sites

Проверьте mbuf clusters. У меня из-за них были проблемы. Особенно если в системе есть еще какие-либо сетевухи.

Share this post


Link to post
Share on other sites

все крах системы

8.2 стейбл

 

где то было 520/400 мегабит

 

сколько по pps не знаю, вообщем как было сыро так и осталось

 

 

А какая материнка у вас?

Share this post


Link to post
Share on other sites

мать серверная supermicro

 

вообщем в пятницу вся система встала в очередной раз колом даже без кернел паник(висун как будто железо кривое (под 7.4 все ок))

с mbuf clusters все ок

 

откатываюсь до 7.4 + драйвера от яндекса

к провернной системе

Share this post


Link to post
Share on other sites

Я с супермикро занимался любовью с глючной сетевухой. Решилось заменой материнки.

Share this post


Link to post
Share on other sites

Попробуйте

 

dev.igb.0.enable_lro=0

dev.igb.1.enable_lro=0

 

Должно спасти

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this