[caz]

А ни у кого сетевушка Intel i82599 SFP+ не залипала?

Симптомы: отваливается трафик (включая трафик с соседних em). После ifconfig ix0 down up все опять заводится и работает часов 10-20, потом опять залипает

 

на 8.2-RELEASE FreeBSD если сделать sysctl -a, то даст такой же эффект. самопроизвольно не отваливаются.

 

p.s.

под линуксом все ок.

[adeep]

под линуксом все ок.

ради интереса воткнул в последние дебиан, произвольные ребуты с периодом от 5 до 30 минут :)

драйвера пробовал как родные, так и с сайта интел и sf.net

[dmvy]

перегрева карточки нет? они с довольно горячим сердцем...

[Ivan_83]

"залипание" тем более и на соседних - нехватка буферов, как правило.

 

vmstat -m в помощь.

 

 

[adeep]

на что именно там стоит обратить внимание? при том, что MyRicom на той же конфигурации стоит как литая.

Изменено 31 июля, 2011 пользователем adeep

[Ivan_83]

На столбик файлурес для мбуф и мбуфкластеров.

[adeep]

по netstat -m там еще большой запас.

[andriko]

в sysctl dev.ix должна быть hw статистика...

[adeep]

происходит такая штука:

input (ix0) output

packets errs idrops bytes packets errs bytes colls

135185 0 0 103377794 135133 0 103131157 0

136145 0 0 104380406 136060 0 104432687 0

136376 0 0 104540776 136276 0 104638038 0

81226 0 0 61591830 79966 0 60440133 0

103146 20478 0 83400745 99113 0 67991950 0

118002 2 0 88911652 122993 0 93588275 0

133339 0 0 102139609 133301 0 102396922 0

133295 0 0 101688022 133202 0 101648634 0

134230 0 0 101984044 134086 0 101916420 0

135721 0 0 102823400 135673 0 102780099 0

136211 0 0 103816901 136107 0 103691726 0

137447 0 0 103659853 137423 0 103653627 0

130869 0 0 98254028 130043 0 97990654 0

99859 10024 0 75708328 98698 0 66047001 0

127152 10 0 93898529 128903 0 96407594 0

133898 0 0 100239497 133863 0 100187422 0

137182 0 0 102077357 137108 0 102051577 0

133155 0 0 101717908 133087 0 101680189 0

131992 0 0 99079617 131896 0 98923607 0

132636 0 0 98205806 132541 0 98323334 0

136254 0 0 104068846 136247 0 104060151 0

 

 

netstat -m http://pastebin.com/iH2n2LYX

vmstat -m http://pastebin.com/aEwT2i6x

sysctl dev.ix.0 http://pastebin.com/rw58pRKD

 

#uname -a

FreeBSD kerbi 8.2-STABLE FreeBSD 8.2-STABLE #0 r223906M: Sun Jul 10 18:48:21 EEST 2011 root@kerbi:/usr/obj/usr/src/sys/gadget amd64

 

# ifconfig ix0

ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu -1876251792

options=400b8<VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>

ether 00:16:31:fe:e6:4a

media: Ethernet autoselect (10Gbase-LR <full-duplex>)

status: active

 

ix0: <Intel® PRO/10GbE PCI-Express Network Driver, Version - 2.3.11> port 0x2020-0x203f mem 0xb1920000-0xb193ffff,0xb1944000-0xb1947fff irq 16 at device 0.0 on pci1

ix0: Using MSIX interrupts with 5 vectors

ix0: [iTHREAD]

ix0: [iTHREAD]

ix0: [iTHREAD]

ix0: [iTHREAD]

ix0: [iTHREAD]

ix0: Ethernet address: 00:16:31:fe:e6:4a

ix0: PCI Express Bus: Speed 5.0Gb/s Width x8

 

 

куда копать?

 

upd: из замеченного странного

dev.ix.0.mac_stats.checksum_errs: 42171361

Изменено 4 августа, 2011 пользователем adeep

[andriko]

dev.ix.0.mac_stats.checksum_errs: 42171361

 

писать на фрибсд-нет, там на такое реагируют....

[Savaoff]

Debian. штатные драйвера. маршутизация отключена (отправляем с помощью iptables на next-hop)

один порт может прожевать при максимальной нагрузке 1.9Mpps

в качестве железа два Xeon E5620. в прошлых тестах предыдущих поколений intel 10G CX-4 и Myri первого поколения все упералось в 900Kpps.

 

А что, через iptables быстрее? И сколько правил у вас с next-hop? Интересно

[s.lobanov]

И ещё интересно как в iptables заливать маршруты из bgp/ospf? Зебру чтоль переделывать?

[Ilya Evseev]

И ещё интересно как в iptables заливать маршруты из bgp/ospf? Зебру чтоль переделывать?

Можно раз в минуту сравнивать вывод "ip route list proto zebra" и "iptables-save" и синхронизировать первое во второе.

[roysbike]

Коллеги, кто нибудь натит RX-6-7 Гбит, TX-2-3 Гбит на Freebsd + Карта Intel X520-DA2. Сейчас использую FreeBSD 9.1 , карта x520-da2. HP ProLiant DL120 G7 E3-1240, 4GB-U P212/256 RAID, 400 Вт, PS (628692-421). Но упираемся в прерывания . Хочу заменить железку.

 

 

top -SHPI

last pid: 86197;  load averages:  4.56,  4.19,  4.19              up 1+02:28:28  20:55:09
137 processes: 8 running, 98 sleeping, 31 waiting
CPU 0:  0.0% user,  0.0% nice,  3.0% system, 68.7% interrupt, 28.4% idle
CPU 1:  0.0% user,  0.0% nice,  1.5% system, 67.2% interrupt, 31.3% idle
CPU 2:  0.0% user,  0.0% nice,  1.5% system, 43.3% interrupt, 55.2% idle
CPU 3:  0.0% user,  0.0% nice,  3.0% system, 52.2% interrupt, 44.8% idle
Mem: 116M Active, 259M Inact, 1472M Wired, 31M Cache, 210M Buf, 63M Free
Swap: 4096M Total, 4096M Free

 PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  11 root       155 ki31     0K    64K RUN     2  21.3H 46.58% idle{idle: cpu2}
  11 root       155 ki31     0K    64K RUN     3  23.1H 45.75% idle{idle: cpu3}
  12 root       -92    -     0K   544K RUN     0 116:02 38.67% intr{irq265: ix0:que }
  12 root       -92    -     0K   544K CPU0    0 117:41 36.47% intr{irq264: ix0:que }
  12 root       -92    -     0K   544K CPU1    1 114:19 33.25% intr{irq267: ix0:que }
  12 root       -92    -     0K   544K WAIT    1 115:09 33.15% intr{irq266: ix0:que }
  11 root       155 ki31     0K    64K CPU1    1  20.4H 32.08% idle{idle: cpu1}
  12 root       -92    -     0K   544K WAIT    2  88:09 27.88% intr{irq269: ix1:que }
  11 root       155 ki31     0K    64K RUN     0  21.5H 26.27% idle{idle: cpu0}
  12 root       -92    -     0K   544K WAIT    3  91:16 25.78% intr{irq271: ix1:que }
  12 root       -92    -     0K   544K WAIT    3  90:05 24.27% intr{irq272: ix1:que }
  12 root       -92    -     0K   544K WAIT    2  87:54 24.07% intr{irq270: ix1:que }

 

netstat -w1 -h

root@gate_rnet:/root # netstat -w1 -h
           input        (Total)           output
  packets  errs idrops      bytes    packets  errs      bytes colls
     321k     0     0       241M       321k     0       236M     0
     324k     0     0       245M       324k     0       241M     0
     331k     0     0       249M       330k     0       251M     0
     324k     0     0       243M       324k     0       246M     0

 

[/code]

PF OK - states: 910183 (50.6% - limit: 1800000)

 

Посоветуйте сервер , чтобы NATить 5-7 Гбит на вход. По каким параметрам подбирать железо?

Изменено 28 марта, 2013 пользователем roysbike

[cmhungry]

Коллеги, кто нибудь натит RX-6-7 Гбит, TX-2-3 Гбит на Freebsd + Карта Intel X520-DA2. Сейчас использую FreeBSD 9.1 , карта x520-da2. HP ProLiant DL120 G7 E3-1240, 4GB-U P212/256 RAID, 400 Вт, PS (628692-421). Но упираемся в прерывания . Хочу заменить железку.

Посоветуйте сервер , чтобы NATить 5-7 Гбит на вход. По каким параметрам подбирать железо?

поставьте линукс... поверьте, я люблю фряху гораздо больше, чем лялих, но... поставьте линукс. Вятту, накрайняк.

[rdc]

Посоветуйте сервер, чтобы NATить 5-7 Гбит на вход.

Подсказка: сервер может быть не один.

[roysbike]

Я тоже люблю freebsd, поэтому на линукс не хочется.На линуксе с производительностью лучше? На таком железе + freebsd (ipfw nat), разве не прокачает > 5 Гбит?

[rdc]

Ещё раз.

Прозводительность не безгранична. Полоса всё равно растёт. Сервер всё равно рано или поздно упрётся в полку.

Подсказка: сервер может быть не один.

[roysbike]

Согласен , что упрется. Сейчас у меня в пике 2.3 Гбит. Хотелось бы заменить железку , чтобы прокачать до 5-6 Гбит. А старый сервер на 2-го провайдера. как раз в сумме до 8 Гбит . Хотелось просто услшыть мнение про это железо, стоит его брать или нет для этих целей, Процессор E5645 2шт http://www.stss.ru/products/proliant_DL/DL180G6/635200-421.html ?

Изменено 29 марта, 2013 пользователем roysbike

[Dyr]

Интересные тесты по 10G:

 

http://lists.freebsd.org/pipermail/freebsd-hackers/2012-July/039640.html

 

 

[mlevel]

А кто-то может похвастаться прокачкой ~5 Гбит. трафика на FreeBSD?

[adeep]

А кто-то может похвастаться прокачкой ~5 Гбит. трафика на FreeBSD?

Было 3+ Гбит/с в сквозную с картой myricom ревизии A, уперлись в карту.

[uxcr]

А кто-то может похвастаться прокачкой ~5 Гбит. трафика на FreeBSD?

 

Не маршрутизировал, сэмплил через ng_netflow на прошлой работе. span+port channel на кучу гиговых карточек, правда было при мне 4гб, но бывшие коллеги говорят что всё используется и нагрузка выросла до указанной величины и всё спокойно-меланхолично прожёвывается.

[nshut]

День добрый, хотел выложить результаты производительности двух серверов на карточках X520-DA2.

Конфигурации (тюнинг) FreeBSD одинаковы, только версии ОС разные, т.к. 8.4 не завелась на новом железе асус, точнее завелась, но подлипала очень подозрительно, пакеты по 5-7 секунд некоторые где-то блуждали.

Естественно на обоих серверах все очереди прибиты по процам.

В общем по результатам понял:

- что в процессоре и шине главное частота, а не количество ядер.

- pf немного проигрывает IPFW NAT instance, обидно, т.к. по мне НАТ пф ну очень удобен с мудреными правилами

На pf nat и шейпинге одновременно в одной железке, dummynet часто ложит в топ один проц, после разведения по серверам жрет 0%. Странно он себя ведет.

Как то так, надеюсь кому-нибудь наблюдения будут полезны.

п.с. на графиках синим изображается не весь процессор я одно ядро максимально нагруженное в один момент времени. т.е. другим ядрам немного легче

Изменено 26 июля, 2013 пользователем nshut