Перейти к содержимому
Калькуляторы

freebsd 7.1 роутер, em0 тест и тюнинг

Перечитайте мой предыдущий пост пять раз.

гы-ы-ы :-))) jab, ты моришь, я пацтулам! И ведь дело сказал и с такой шуткой, что натурально, сепарэйт бойз фром зэ риэл мэнз..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ребята, а для PPTP-рутера на две карточки (одна аплинк, вторая к юзерам) достаточно поставить одну Intel 1000/PT Dual PCI-E 4x, или всё равно надо тулить их аж две и включать линки в отдельные адаптеры?

Достаточно будет одной двухголовой карточки или нет? А то у меня на мамке только один PCI-E 16x слот. Если не достаточно, то надо мамку менять...

Хочу перейти на схему настройки без поллинга с тюнингом стандартного драйвера, а то у меня две PRO/1000 GT и упираются в 200-240М, а потом дропают пакетики...

Спасибо за ответ.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ребята, а для PPTP-рутера на две карточки (одна аплинк, вторая к юзерам) достаточно поставить одну Intel 1000/PT Dual PCI-E 4x, или всё равно надо тулить их аж две и включать линки в отдельные адаптеры?

Достаточно будет одной двухголовой карточки или нет? А то у меня на мамке только один PCI-E 16x слот. Если не достаточно, то надо мамку менять...

Хочу перейти на схему настройки без поллинга с тюнингом стандартного драйвера, а то у меня две PRO/1000 GT и упираются в 200-240М, а потом дропают пакетики...

Спасибо за ответ.

ИМХО

достаточно.

в 4х влезет 4 гигабита/с

буфера и дескрипторы будут на каждый порт свой.

 

единственное что могут возникнуть проблеммы при выходе из строя карточки, так что желательно иметь запасную.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

в 4х влезет 4 гигабита/с

В 1х влезет 1 гигабит/с невлазит!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

в 4х влезет 4 гигабита/с
В 1х влезет 1 гигабит/с невлазит!!

по шине или процессор не осилит?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

по шине или процессор не осилит?

От процессора зависит, но может и по шине - хитрозадые китайцы в целях экономии на low-end материнках слоты 1х паяют через анус... Как редко используемые на полную катушку.

В результате оно там больше полугигабита полудуплекса не выдает. Где-то тесты пропускной способности по сети бегали. При этом соседний 4х работает как надо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

по шине или процессор не осилит?

От процессора зависит, но может и по шине - хитрозадые китайцы в целях экономии на low-end материнках слоты 1х паяют через анус... Как редко используемые на полную катушку.

В результате оно там больше полугигабита полудуплекса не выдает. Где-то тесты пропускной способности по сети бегали. При этом соседний 4х работает как надо.

Ага, но у меня-то карта 4х в слоте 16х. То есть, по-любому должна хорошо работать.

По идее так?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день, посоветуйте как решить следующую проблему: есть машина Core2Quad Q9550, 2Gb RAM, Intel e1000 Dual Port, FreeBSD 7.1 RELEASE-p6, выполняет роль бордера (Quagga). Недавно периодически начали появляться input errs на обоих портах, в статах сетевых начали рости RX overruns и Missed Packets. Перешли на яндекс драйвера, hw.em.rxd/hw.em.txd=4096, rx_kthreads=4, rx/tx_abs_int_delay=2000, rx/tx_int_delay=1000, net.inet.ip.intr_queue_maxlen=16384, после этого стало лучше, однако всеравно иногда проскакивают input errs от 20 до 7К, при этом через роутер идет около 120-150 kpps, по топу каждое ядро нагружено не более 12%, load averages до 0.50. Посоветуйте пожалуйста куда копать и что можно предпринять в этом случае? Заранее спасибо.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

"дорогие товарищи ученые, вот уже который год у меня в подполе происходит подземный стук..." (с) АБС

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

input (Total) output

packets errs bytes packets errs bytes colls

148092 0 96877446 147674 0 96725038 0

144568 0 96228950 144451 0 96099330 0

146766 0 97508745 146117 0 97370614 0

144622 0 96237883 144170 0 96102978 0

143862 0 94838794 143764 0 94700210 0

141606 0 92685684 140790 0 92535396 0

141021 0 91957103 140666 0 91828022 0

147000 0 98180437 146852 0 98042404 0

145374 0 96445220 145006 0 96311086 0

150437 30 100097122 150334 0 99959676 0

152294 0 100848199 151483 0 100694161 0

146387 0 98684447 145943 0 98552131 0

148011 0 97632716 148007 0 97492322 0

154062 0 101124952 153829 0 100975588 0

151410 0 98825332 150887 0 98705112 0

148679 0 99948803 148200 0 99783830 0

154197 0 101589183 153549 0 101451517 0

146560 0 97450242 146257 0 97309504 0

143464 0 93804432 143303 0 93660481 0

147672 11 96108400 146821 0 95974244 0

147272 0 96412924 147396 0 96258598 0

input (Total) output

packets errs bytes packets errs bytes colls

141272 0 92889376 140633 0 92756626 0

147131 0 96267568 146954 0 96122818 0

145746 0 94803004 145548 0 94665553 0

145183 0 94859996 144615 0 94717175 0

149540 0 94436390 149118 0 94293790 0

147133 0 95322322 146819 0 95187047 0

143716 0 96083648 143175 0 95944127 0

148303 0 98585213 147697 0 98438777 0

147394 35 96013561 147294 0 95879335 0

140072 0 94878086 139506 0 94736318 0

141230 0 93795474 141175 0 93664322 0

144920 0 91886858 144935 0 91755526 0

140814 0 93154639 139771 0 93006021 0

 

При этом в топе

ast pid: 23099; load averages: 0.44, 0.43, 0.35 up 0+10:54:17 17:48:41

116 processes: 6 running, 92 sleeping, 18 waiting

CPU 0: 0.0% user, 0.0% nice, 13.2% system, 0.0% interrupt, 86.8% idle

CPU 1: 0.0% user, 0.0% nice, 10.5% system, 0.0% interrupt, 89.5% idle

CPU 2: 0.0% user, 0.0% nice, 4.5% system, 0.0% interrupt, 95.5% idle

CPU 3: 0.0% user, 0.0% nice, 5.2% system, 0.0% interrupt, 94.8% idle

Mem: 180M Active, 27M Inact, 103M Wired, 8K Cache, 11M Buf, 1640M Free

Swap: 1024M Total, 1024M Free

 

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

12 root 1 171 ki31 0K 8K RUN 2 597:31 98.78% idle: cpu2

11 root 1 171 ki31 0K 8K CPU3 3 603:06 95.56% idle: cpu3

13 root 1 171 ki31 0K 8K RUN 1 587:13 93.07% idle: cpu1

14 root 1 171 ki31 0K 8K CPU0 0 572:45 92.77% idle: cpu0

31 root 1 43 - 0K 8K WAIT 0 50:58 2.59% em1_rx_kthread_0

13314 root 1 43 - 0K 8K WAIT 1 12:00 2.49% em1_rx_kthread_3

22999 root 1 43 - 0K 8K WAIT 2 0:06 2.49% em1_rx_kthread_5

22998 root 1 43 - 0K 8K WAIT 0 0:06 2.49% em1_rx_kthread_4

13313 root 1 43 - 0K 8K CPU2 2 11:59 2.39% em1_rx_kthread_2

32 root 1 43 - 0K 8K WAIT 0 51:02 2.10% em1_rx_kthread_1

27 root 1 43 - 0K 8K WAIT 2 40:58 1.86% em0_rx_kthread_0

13286 root 1 43 - 0K 8K WAIT 1 9:27 1.66% em0_rx_kthread_2

22996 root 1 43 - 0K 8K WAIT 0 0:05 1.66% em0_rx_kthread_5

28 root 1 43 - 0K 8K WAIT 2 40:56 1.56% em0_rx_kthread_1

13287 root 1 43 - 0K 8K WAIT 2 9:27 1.46% em0_rx_kthread_3

22995 root 1 43 - 0K 8K WAIT 0 0:05 1.37% em0_rx_kthread_4

30 root 1 -68 - 0K 8K WAIT 2 6:32 0.00% em1_txcleaner

26 root 1 -68 - 0K 8K WAIT 3 4:32 0.00% em0_txcleaner

 

Пробовали с родными дровами и поллингом - ещё хуже, может попробовать HZ=2000 или больше?

 

em0: Excessive collisions = 0

em0: Sequence errors = 0

em0: Defer count = 2903

em0: Missed Packets = 93178

em0: Receive No Buffers = 0

em0: Receive Length Errors = 0

em0: Receive errors = 0

em0: Crc errors = 0

em0: Alignment errors = 0

em0: Collision/Carrier extension errors = 0

em0: RX overruns = 81671

em0: watchdog timeouts = 0

em0: RX MSIX IRQ = 0 TX MSIX IRQ = 0 LINK MSIX IRQ = 0

em0: XON Rcvd = 2989

em0: XON Xmtd = 443

em0: XOFF Rcvd = 193917

em0: XOFF Xmtd = 474

em0: Good Packets Rcvd = 976889034

em0: Good Packets Xmtd = 909719854

em0: TSO Contexts Xmtd = 0

em0: TSO Contexts Failed = 0

 

em1: Excessive collisions = 0

em1: Sequence errors = 0

em1: Defer count = 1065

em1: Missed Packets = 2432

em1: Receive No Buffers = 0

em1: Receive Length Errors = 0

em1: Receive errors = 0

em1: Crc errors = 0

em1: Alignment errors = 0

em1: Collision/Carrier extension errors = 0

em1: RX overruns = 2173

em1: watchdog timeouts = 0

em1: RX MSIX IRQ = 0 TX MSIX IRQ = 0 LINK MSIX IRQ = 0

em1: XON Rcvd = 1119

em1: XON Xmtd = 21

em1: XOFF Rcvd = 15656

em1: XOFF Xmtd = 35

em1: Good Packets Rcvd = 516758902

em1: Good Packets Xmtd = 548819740

em1: TSO Contexts Xmtd = 0

em1: TSO Contexts Failed = 0

 

Неужели упирается в железо?

Изменено пользователем _longhorn_

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Неужели упирается в железо?

sysctl где ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Когда были родные драйвера с поллингом пробовал

kern.polling.user_frac=10

kern.polling.burst_max=1000

kern.polling.each_burst=1000

HZ=1000

постоянно росло kern.polling.lost_polls и при 140kpps было около 3k input errs

Сейчас стоят яндексы

dev.em.0.rx_kthreads=6

dev.em.0.rx_abs_int_delay=1000

dev.em.0.tx_abs_int_delay=1000

dev.em.0.rx_int_delay=600

dev.em.0.tx_int_delay=600

dev.em.1.rx_kthreads=6

dev.em.1.rx_abs_int_delay=1000

dev.em.1.tx_abs_int_delay=1000

dev.em.1.rx_int_delay=600

dev.em.1.tx_int_delay=600

net.inet.ip.intr_queue_maxlen=16384

 

в loader.conf

kern.maxusers=512

hw.em.rxd=4096

hw.em.txd=4096em0:

 

при этом

Excessive collisions = 0

em0: Sequence errors = 0

em0: Defer count = 5619

em0: Missed Packets = 225756

em0: Receive No Buffers = 0

em0: Receive Length Errors = 0

em0: Receive errors = 0

em0: Crc errors = 0

em0: Alignment errors = 0

em0: Collision/Carrier extension errors = 0

em0: RX overruns = 194853

em0: watchdog timeouts = 0

em0: RX MSIX IRQ = 0 TX MSIX IRQ = 0 LINK MSIX IRQ = 0

em0: XON Rcvd = 5935

em0: XON Xmtd = 718

em0: XOFF Rcvd = 393071

em0: XOFF Xmtd = 766

em0: Good Packets Rcvd = 2429661110

em0: Good Packets Xmtd = 2336742871

em0: TSO Contexts Xmtd = 0

em0: TSO Contexts Failed = 0

 

em1: Excessive collisions = 0

em1: Sequence errors = 0

em1: Defer count = 105029

em1: Missed Packets = 166190

em1: Receive No Buffers = 0

em1: Receive Length Errors = 0

em1: Receive errors = 0

em1: Crc errors = 0

em1: Alignment errors = 0

em1: Collision/Carrier extension errors = 0

em1: RX overruns = 144760

em1: watchdog timeouts = 0

em1: RX MSIX IRQ = 0 TX MSIX IRQ = 0 LINK MSIX IRQ = 0

em1: XON Rcvd = 107422

em1: XON Xmtd = 2761

em1: XOFF Rcvd = 1186422

em1: XOFF Xmtd = 3885

em1: Good Packets Rcvd = 3046800541

em1: Good Packets Xmtd = 3136444450

em1: TSO Contexts Xmtd = 0

em1: TSO Contexts Failed = 0

 

вот что говорит при этом netstat:

 

input (Total) output

packets errs bytes packets errs bytes colls

173847 0 113840730 173945 0 113663594 0

168696 0 111559179 168740 0 111431459 0

175005 0 115642995 174917 0 115508771 0

169639 0 114251587 169635 0 114098409 0

176729 0 116471369 176680 0 116311431 0

173123 0 116566681 172975 0 116298019 0

172407 0 111814188 172575 0 111660320 0

167434 0 111556252 167469 0 111409400 0

173791 0 115397546 173844 0 115248084 0

172027 0 115054364 171627 0 114917610 0

170757 0 114806044 170803 0 114652662 0

173585 0 115282532 173629 0 115139010 0

175895 0 117054786 176071 0 116899162 0

174070 0 114898850 173462 0 114750130 0

175001 0 114480372 175431 0 114321039 0

178447 0 116069338 178563 0 115901432 0

173631 0 114423986 173074 0 114279870 0

173616 0 113869779 174023 0 113730507 0

178115 0 115096135 177561 0 114929481 0

175193 0 114685642 175666 0 114525202 0

177170 0 116336188 176799 0 116200372 0

input (Total) output

packets errs bytes packets errs bytes colls

175829 0 112971082 176170 0 112824420 0

175680 0 115058096 175491 0 114895166 0

178264 0 116404596 177944 0 116264942 0

180600 0 116315918 180725 0 116140401 0

176134 0 114541611 175853 0 114401923 0

175694 0 115900513 176239 0 115736056 0

172835 0 115076917 172455 0 114922791 0

172792 0 112197895 173164 0 112045932 0

173784 0 114417723 173040 0 114244977 0

173433 0 113917187 173523 0 113786182 0

169225 0 112751510 169248 0 112592362 0

171343 0 112181124 171628 0 112034794 0

173049 0 111361343 172820 0 111210090 0

175717 0 115792205 175489 0 115629982 0

169138 0 110388786 169539 0 110249316 0

174102 0 113052278 173817 0 112900494 0

174642 0 114020112 174534 0 113869240 0

169747 0 111603050 169759 0 111461028 0

175424 0 113485041 175169 0 113331964 0

170956 0 114661240 170825 0 114511801 0

173801 0 113178243 174275 0 113026968 0

input (Total) output

packets errs bytes packets errs bytes colls

174772 0 114355784 174261 0 114190049 0

171132 0 112610040 171702 0 112470501 0

174458 0 114167012 174025 0 114014566 0

172639 0 113918889 172952 0 113783404 0

167575 0 111564755 167220 0 111413700 0

170594 0 113031134 170687 0 112892836 0

182126 0 116461250 181858 0 116305172 0

182455 0 116410907 183064 0 116247525 0

177314 0 116545623 176582 0 116387985 0

174274 0 114577179 174870 0 114429931 0

172650 0 112827557 172175 0 112672205 0

177083 0 115314314 177194 0 115158794 0

162858 26 104967008 162557 0 104838244 0

151400 0 99283891 151889 0 99148943 0

161051 0 105641677 160534 0 105497533 0

171394 0 109326430 171831 0 109171544 0

174833 0 115379726 174484 0 115234610 0

177413 0 116143854 177922 0 116003330 0

174650 30 116547251 174558 0 116373785 0

178797 0 116931354 178438 0 116781122 0

171542 4 114183054 171362 0 114030862 0

input (Total) output

packets errs bytes packets errs bytes colls

168954 0 110467794 168821 0 110328819 0

173086 12 112679398 172982 0 112529662 0

178550 3 114765117 178550 0 114596192 0

174152 0 114852122 174345 0 114702070 0

171988 0 112811922 171814 0 112662013 0

177351 2 113588308 177051 0 113454781 0

173421 5 115512274 174046 0 115342566 0

179880 0 118169662 179773 0 118004942 0

175995 0 115461712 175713 0 115306204 0

174933 0 115073352 174987 0 114921536 0

172548 0 113363690 172637 0 113206047 0

181007 18 116480509 181132 0 116336136 0

177821 0 115733285 177452 0 115576679 0

179248 0 115836386 179139 0 115674774 0

175114 3 115137688 175256 0 114982520 0

175608 0 114972181 175508 0 114831581 0

172970 0 111652306 172916 0 111498772 0

75132 0 43492295 74740 0 43453514 0

67838 0 41281260 67975 0 41233850 0

115952 0 65756096 116136 0 65678328 0

141234 0 88542208 141406 0 88431722 0

input (Total) output

packets errs bytes packets errs bytes colls

163226 0 102357328 162986 0 102221865 0

173576 9 107982114 173865 0 107854601 0

162760 0 107064874 162693 0 106919178 0

167950 0 110840136 167699 0 110692108 0

174152 0 113456132 174176 0 113302134 0

169053 0 112391955 168930 0 112241616 0

172323 0 113294465 172093 0 113141534 0

172737 13 113149816 173190 0 112994931 0

172025 0 112793869 171531 0 112631046 0

175934 13 112203847 175754 0 112063755 0

172128 0 109060204 172398 0 108928540 0

170350 0 111123246 170461 0 110981702 0

172604 0 111762588 172144 0 111607402 0

165168 60 110760840 165312 0 110605526 0

175157 0 114688430 175433 0 114535647 0

176241 31 111294538 175676 0 111139655 0

172297 0 111946941 172630 0 111780078 0

176904 3 112782419 176974 0 112609542 0

169048 1 110151630 168555 0 109998492 0

172475 0 111240315 172734 0 111084538 0

177356 0 111090821 177676 0 110935446 0

input (Total) output

packets errs bytes packets errs bytes colls

174980 0 112285533 174486 0 112141078 0

171721 0 111244540 171817 0 111088913 0

173795 0 110859059 173397 0 110702130 0

174903 0 112412569 174906 0 112266979 0

184862 0 118041424 184587 0 117880590 0

171308 0 113502543 171708 0 113340605 0

171046 0 113531760 171022 0 113362606 0

175264 9 114229838 175080 0 114087992 0

176040 0 113996479 176117 0 113856210 0

167538 10 112829120 167211 0 112663386 0

177831 0 114557337 178007 0 114425535 0

175620 22 115632001 175539 0 115472912 0

175518 0 113672837 175509 0 113516819 0

180770 5 115649718 181218 0 115486633 0

175277 0 115457837 174733 0 115305259 0

180888 0 115711406 180742 0 115546587 0

162247 18 103353929 162427 0 103212791 0

136898 0 93292322 137122 0 93176320 0

145562 0 95039454 145393 0 94931583 0

158431 0 102191006 158024 0 102050521 0

167935 0 108441136 168201 0 108315059 0

input (Total) output

packets errs bytes packets errs bytes colls

172735 0 112076254 172538 0 111923864 0

172768 0 112750308 173035 0 112610156 0

169822 63 110723066 169522 0 110570016 0

169061 0 109704686 169016 0 109550144 0

172683 3 114266234 172447 0 114114502 0

174978 0 116789666 175054 0 116630218 0

182023 0 114947540 181897 0 114779851 0

170279 22 111870424 170040 0 111734050 0

173911 28 115296414 174293 0 115140549 0

173944 30 112967376 173795 0 112816960 0

169632 97 112244899 169352 0 112101083 0

174536 71 112991599 174805 0 112835501 0

175188 37 113611283 175063 0 113475066 0

172374 114 113442048 172009 0 113270964 0

178334 133 115087807 178775 0 114941861 0

175624 51 115548806 175927 0 115395774 0

175659 28 115235407 175147 0 115090860 0

176909 50 116882891 176643 0 116720794 0

184985 17 118067433 185534 0 117902852 0

176701 41 116667660 176546 0 116510788 0

172469 143 109991071 172273 0 109849045 0

input (Total) output

packets errs bytes packets errs bytes colls

152909 0 96605022 152944 0 96470077 0

155080 5 100904727 154925 0 100767721 0

171064 8 107173909 170601 0 107050245 0

175320 41 112218756 175579 0 112077772 0

187650 19 116475583 187302 0 116309350 0

183246 24 116921143 183598 0 116775816 0

185351 32 117663420 185429 0 117508792 0

176267 2 114472200 175685 0 114322599 0

172742 130 114586442 173074 0 114445959 0

175882 94 113761690 175733 0 113612872 0

177962 117 115357536 178217 0 115207985 0

177304 35 115306747 177131 0 115169044 0

178429 34 116866957 178524 0 116707328 0

177534 95 115067054 177267 0 114923249 0

174385 166 113733508 174035 0 113585954 0

180403 18 115430081 181098 0 115285932 0

182402 86 116714309 181545 0 116564792 0

171811 49 113176266 172483 0 113027208 0

145392 2 103635200 145081 0 103511594 0

135120 75 98050704 135039 0 97921146 0

156849 57 100694624 156847 0 100558372 0

input (Total) output

packets errs bytes packets errs bytes colls

174889 46 110626966 174725 0 110461204 0

174810 43 114066238 175047 0 113927328 0

172748 63 113558332 172588 0 113418680 0

178728 62 114083166 178485 0 113934690 0

184088 47 116128096 184541 0 115977526 0

172456 152 112961250 172134 0 112817326 0

174708 58 115252230 174563 0 115099842 0

178249 49 115642779 178067 0 115487227 0

181251 38 116729079 181413 0 116577691 0

175573 138 112729856 175329 0 112590066 0

177379 43 117048734 178002 0 116907294 0

177154 47 116129724 176889 0 115976526 0

172923 168 113171739 172262 0 113025125 0

172858 109 113522478 173155 0 113368557 0

179334 27 114907942 179213 0 114754310 0

171069 106 111644618 171182 0 111498119 0

176703 85 112683379 176826 0 112520965 0

174545 10 114076820 174561 0 113930031 0

174220 16 113351664 174148 0 113220353 0

176550 150 116490019 176196 0 116345090 0

175347 102 116090689 175482 0 115935962 0

input (Total) output

packets errs bytes packets errs bytes colls

180551 74 116607107 180705 0 116457691 0

174976 73 115827303 174492 0 115674125 0

176325 39 115939742 176321 0 115772875 0

175291 66 113432254 175507 0 113295641 0

179988 67 116463404 180290 0 116322366 0

173180 0 113313548 172484 0 113144006 0

171496 35 112647649 171818 0 112496993 0

179224 20 114026241 178918 0 113874713 0

177592 0 115075060 177739 0 114919646 0

176072 86 113568960 176294 0 113428534 0

177015 13 115132368 176861 0 114982417 0

168522 185 110936046 168421 0 110787651 0

168217 110 109556092 168058 0 109422262 0

165295 15 107819651 165676 0 107666213 0

158324 1 101395651 158139 0 101255149 0

161403 0 104871396 161192 0 104729994 0

169940 6 108646515 170039 0 108514554 0

174989 11 109278109 175261 0 109119768 0

173484 65 112190796 173070 0 112043531 0

176013 111 111855391 175896 0 111704792 0

175366 49 110463829 175708 0 110307287 0

input (Total) output

packets errs bytes packets errs bytes colls

173457 27 111053216 173068 0 110913659 0

177916 26 113711457 177839 0 113553712 0

174811 56 113916183 175053 0 113770525 0

174433 75 112456280 174031 0 112306896 0

174535 82 113697120 174882 0 113546902 0

176824 11 111306330 176720 0 111149213 0

177280 24 114602814 176996 0 114477579 0

183919 19 117673780 183956 0 117513582 0

178478 50 113903617 178676 0 113755874 0

175083 83 112835675 174650 0 112678952 0

171504 142 109780256 171542 0 109652284 0

172598 115 110071770 172368 0 109921036 0

170682 20 109552226 170715 0 109420720 0

175868 15 112529291 176076 0 112379157 0

178340 44 115465555 178626 0 115311725 0

173224 105 111309574 172942 0 111161962 0

171937 1 111661372 171335 0 111524087 0

173461 15 109893576 173634 0 109739507 0

176337 11 111973774 176633 0 111816373 0

171681 53 111438724 171350 0 111297623 0

168280 40 109087568 168551 0 108941784 0

input (Total) output

packets errs bytes packets errs bytes colls

171152 13 111439614 171193 0 111294176 0

173170 46 110394704 173066 0 110252779 0

173174 8 112298576 172470 0 112150865 0

175097 146 110134134 175345 0 109990152 0

175904 0 112162254 176205 0 112010160 0

175159 88 111100988 175127 0 110959410 0

177368 78 112250578 177256 0 112099398 0

177244 14 114907082 177329 0 114752977 0

178348 14 113716394 178473 0 113567666 0

177920 100 113825718 177518 0 113677376 0

179704 2 113418570 180022 0 113282292 0

176333 36 114535156 175786 0 114383285 0

176289 55 114851307 176894 0 114706492 0

178738 149 114679471 178550 0 114563511 0

178344 64 116743714 177817 0 116591706 0

181839 3 117539972 182471 0 117396880 0

177059 107 114130419 176268 0 113981100 0

178313 0 115610345 178604 0 115459928 0

175662 133 112118155 175274 0 111987377 0

180024 14 114152968 180611 0 113995501 0

177511 2 114294125 177070 0 114137410 0

input (Total) output

packets errs bytes packets errs bytes colls

170464 102 111994410 170411 0 111849140 0

177064 151 113994430 176984 0 113846748 0

176824 18 114724080 176577 0 114584882 0

175913 174 117430448 176137 0 117277557 0

180249 15 115535971 180236 0 115380209 0

177505 36 114033958 177870 0 113882150 0

172497 1 116373206 171816 0 116216649 0

175532 87 115665671 175820 0 115527231 0

175977 43 116889221 175526 0 116722082 0

176391 8 116170381 176890 0 116040410 0

179600 39 117036516 179522 0 116878352 0

177536 79 116930530 177252 0 116775368 0

179599 2 118420156 179556 0 118269579 0

176810 1 116446685 176682 0 116284899 0

177849 74 116233676 177613 0 116085678 0

176415 109 111954376 176473 0 111807871 0

179767 22 115061465 180115 0 114910493 0

180640 0 116772760 180558 0 116618988 0

180104 34 117033860 179575 0 116882055 0

188864 8 118604664 189323 0 118440227 0

182807 22 118589441 182607 0 118431533 0

input (Total) output

packets errs bytes packets errs bytes colls

177130 16 113047985 176886 0 112910466 0

175537 94 113307584 175524 0 113153943 0

183359 0 118841591 183697 0 118671779 0

186735 0 117947395 186446 0 117797173 0

179259 39 115704263 179197 0 115538731 0

182077 15 118595001 181549 0 118459167 0

177084 53 115835914 177236 0 115677860 0

176798 63 114992896 177269 0 114840826 0

173431 54 112760444 173079 0 112619186 0

174735 1 115865356 174730 0 115708894 0

177532 66 115774711 177540 0 115626641 0

177244 94 115621243 177028 0 115465429 0

178344 3 117099700 177708 0 116939692 0

179728 4 114991004 180012 0 114829973 0

178725 16 113622295 178994 0 113469888 0

173003 52 113360187 172112 0 113212692 0

169796 48 111094009 169792 0 110934896 0

175020 86 113169245 175015 0 113025122 0

174129 170 113609997 174163 0 113451027 0

181238 33 115773803 181662 0 115615111 0

177893 28 113458561 176974 0 113297211 0

input (Total) output

packets errs bytes packets errs bytes colls

177480 11 112932893 177846 0 112797499 0

178640 109 116201911 178540 0 116036595 0

177463 40 112441242 177344 0 112293459 0

174957 102 111800339 175129 0 111657270 0

177840 108 113471614 177698 0 113315794 0

176104 67 113616000 175638 0 113462084 0

177160 13 113396962 177598 0 113241080 0

176965 132 113273335 176610 0 113120775 0

179920 32 112104063 179765 0 111935560 0

177013 36 115232360 177160 0 115086849 0

177176 38 114075499 176786 0 113929855 0

175543 38 113223723 175504 0 113070389 0

178231 188 114224626 178227 0 114066333 0

178436 62 112363869 178465 0 112220598 0

173611 51 110909938 173748 0 110775357 0

178700 0 112203862 178408 0 112067295 0

175684 34 113362208 175479 0 113203280 0

189575 82 115004860 189479 0 114860537 0

211577 2 115420015 212151 0 115288974 0

176502 79 114541879 176492 0 114379866 0

190447 62 116520325 190434 0 116408863 0

input (Total) output

packets errs bytes packets errs bytes colls

178026 109 116437388 177309 0 116281289 0

178843 10 116012620 179273 0 115870514 0

175262 3 113355366 175050 0 113204512 0

180480 29 114040280 180404 0 113892530 0

184910 46 115571292 184657 0 115411372 0

176074 0 113136532 176026 0 112980638 0

176576 2 113032128 176474 0 112901286 0

178817 0 115552908 179162 0 115391593 0

174879 0 115257229 174700 0 115113820 0

174440 0 114014277 174304 0 113851978 0

177012 0 116838276 176866 0 116682073 0

181849 0 117093789 182059 0 116940449 0

177552 36 115718058 177454 0 115565731 0

174083 28 114206489 173800 0 114060033 0

180576 0 115774710 180686 0 115623652 0

181652 0 115057289 181247 0 114894291 0

182967 0 117236460 182972 0 117091845 0

174865 40 114551667 175213 0 114398953 0

180952 7 114539020 180571 0 114386314 0

180538 4 116187978 180698 0 116028628 0

173754 39 114425297 173466 0 114278469 0

input (Total) output

packets errs bytes packets errs bytes colls

182328 4 114896111 182051 0 114737929 0

176826 8 115938615 177176 0 115774367 0

172551 0 112184938 172257 0 112047541 0

178265 0 115394113 178396 0 115238126 0

178472 20 114379548 178240 0 114227324 0

175040 51 113241058 174895 0 113093124 0

176216 79 114560406 176611 0 114412379 0

172137 18 112482912 171985 0 112331071 0

179309 32 113875836 179115 0 113727476 0

175698 39 114494528 175816 0 114360571 0

174664 44 111819248 174275 0 111674884 0

179362 3 116419902 179985 0 116269653 0

180299 7 116275655 179601 0 116130688 0

179987 15 117567472 180083 0 117410414 0

184254 0 118799501 184659 0 118638122 0

176397 0 116131245 176065 0 115972178 0

176786 56 113961383 176774 0 113827954 0

174573 18 112618648 174552 0 112480981 0

176807 52 114104932 176434 0 113959546 0

178439 0 115595070 178569 0 115433374 0

172904 62 111820707 172924 0 111687179 0

input (Total) output

packets errs bytes packets errs bytes colls

179014 18 113068313 179277 0 112949410 0

170705 0 111421609 170389 0 111286082 0

180493 0 113746807 180838 0 113567527 0

179452 65 113797077 179122 0 113681277 0

182330 0 115358353 182390 0 115206353 0

174990 2 112230536 175003 0 112100154 0

175663 15 110897786 175329 0 110749528 0

169181 27 109243300 169384 0 109097843 0

175830 0 113103990 175435 0 112961634 0

171374 13 112685646 171629 0 112535802 0

171854 18 112311226 171626 0 112178020 0

172850 1 112343185 172710 0 112186276 0

180347 0 117123358 180418 0 116975383 0

182182 0 116530413 182124 0 116396260 0

175474 0 113344872 175493 0 113181711 0

180034 24 116735821 180325 0 116601307 0

174595 47 111274015 174125 0 111134270 0

177256 8 112499522 177476 0 112352376 0

174422 28 111460860 174113 0 111307254 0

178047 11 115293526 177750 0 115160873 0

180962 4 113052549 181348 0 112909363 0

input (Total) output

packets errs bytes packets errs bytes colls

186425 1 114487261 186738 0 114334292 0

194760 4 115093838 194630 0 114946005 0

186912 68 114137432 186634 0 113990866 0

184206 44 111112973 184509 0 110964521 0

180634 26 112724679 179882 0 112589167 0

165639 3 106686758 166079 0 106542361 0

173622 0 113784270 173638 0 113658407 0

179264 0 112187965 179485 0 112013717 0

175347 0 113647295 174800 0 113522631 0

174296 0 112274958 174772 0 112138174 0

177391 11 114954750 177073 0 114809656 0

171960 0 113801151 171851 0 113652856 0

175545 0 111545361 175763 0 111409010 0

178220 7 112354332 178164 0 112218248 0

169893 73 110535332 169568 0 110374812 0

176974 27 113539744 176729 0 113411618 0

169719 80 109076610 169973 0 108949849 0

172626 141 110251984 172355 0 110107469 0

176608 12 113783334 176633 0 113649012 0

174404 17 110986394 174351 0 110843196 0

174263 0 111232242 174599 0 111085872 0

input (Total) output

packets errs bytes packets errs bytes colls

176101 120 113930935 175994 0 113804669 0

176488 58 111508587 176106 0 111365087 0

177423 0 113100560 177985 0 112958293 0

173561 53 110155562 173015 0 110025082 0

169303 58 110006557 169284 0 109859420 0

174617 0 111459987 174472 0 111324118 0

173449 33 110366653 173731 0 110213280 0

173527 80 109076213 173592 0 108949312 0

176455 25 110678434 176172 0 110536852 0

173340 31 110084732 173406 0 109947275 0

172313 96 111938514 172082 0 111797129 0

171652 47 111665251 171727 0 111508262 0

174460 13 108784810 174304 0 108665111 0

177036 13 112159181 176751 0 112002475 0

172663 34 109792045 172912 0 109656918 0

173540 51 111549179 173407 0 111404390 0

172704 11 110678119 172859 0 110549495 0

172453 70 111043915 172304 0 110904053 0

176726 48 113141530 177049 0 112996551 0

175800 0 113704707 175325 0 113567304 0

174068 10 115152366 173897 0 114990817 0

 

тоесть лучше чем было с поллингом, но всеравно что-то не так, подскажите, пожалуйста, где моя ошибка? Может стоит попробовать сменить сетевую или воткнуть её в другую маму?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Все решилось отключением flow control на коммутаторе :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Столкнулся с

 

em0 discard frame w/o packet header

 

uname -a

FreeBSD 7.2-STABLE FreeBSD 7.2-STABLE amd64

 

i7 920, 3гб памяти, мать asus p6t , сетевая Intel PT 1 портовая. На ней 2 влана: на один приходит инет с бордера, второй с интерфейсом впн гейта.

 

Стояли дрова яндекса, грешил на них , заменил 7.2 родными, не помогло, поставил последние с сайта интл, не помогло.

 

Сервер выполняет роль vpn nas, стоит mpd5, ipfw + ng_car, нат через ipfw. Грешили на mpd5, поставили mpd4 ничего не поменялось.

 

Валится рандомано, иногда в течении 2-10 минут. Стабильно когда количество впн превышает 200. начинают сыпаться

em0 discard frame w/o packet header , и кернел паник, иногда виснет совсем железно, иногда нормально сам бутается после паники, видел еще что как то после 1 из паник начал watchdog интерфес поднимать опускать, хотя на клаву уже вообще не реагировало.

 

Пока закончилось тем что убрали ng_car, все без шейпа сидят аптайм 3 часа 400 сессий. трафик 150 мбит.

 

топ

last pid: 19769;  load averages:  1.23,  1.22,  1.13     up 0+03:23:25  18:25:47
29 processes:  1 running, 28 sleeping
CPU:  0.0% user,  0.0% nice, 13.1% system,  0.0% interrupt, 86.8% idle
Mem: 28M Active, 12M Inact, 95M Wired, 188K Cache, 37M Buf, 2829M Free
Swap: 6144M Total, 6144M Free

 

loader.conf

 

kern.ipc.nmbclusters=262144
kern.ipc.nsfbufs=32768
kern.maxfiles=100000
hw.em.rxd=512
hw.em.txd=512
# maximize if ngctl not enough space)
kern.ipc.maxpipekva=536870912
if_em_load="YES"

 

Может у кого были похожие грабли? Сильно не пинайте, вторые сутки сижу , уже туговато соображаю.

Изменено пользователем X-RaY™

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Судя по рассылкам можно попробовать отключить: RXCSUM/TXCSUM - дальше читать было лень.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Картинка красивая, но непонятная :)

Идея раскидать трафик? Если да, то не совсем понятно, по какому признаку распределяются пакеты на бриджи. PBR? И почему именно бриджами реализовано.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Идея прошейпить на одном тазике два полных гигабита. Трафик разделяется редистрибьютом BGP в OSPF. Бриджами реализовано потому что это просто и надежно. Без плясок с LACP'ом и CARP'ом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Идея похвальная, но ваша реализация этого как-то ускользает от моего понимания. Поясните?

Изменено пользователем Dyr

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Идея похвальная, но ваша реализация этого как-то ускользает от моего понимания. Поясните?

Это просто описание рабочей схемы. Раньше был шейпер на гигабит, гигабит кончился, воткнули вторую дуальную сетевуху, ждем пока и она закончится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если всё же не тайна, поясните, пожалуйста, как именно у вас получилось раскидывать трафик между сетевыми интерфейсами, в режими моста? Source MAC в нарисованной схеме будет присутствовать и на em3/bridge1 и на em0/bridge0

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Что такое "раскидывать трафик", и при чем там src mac ? Есть border1, border2 и routerN, между ними ospf. Бриджи прозрачны и занимаются только фильтрацией и шейпингом. Если nexthop - border2, трафик попадает в bridge0, если border1 - трафик попадает в bridge1.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

так у вас именно сетевуха закончилась, а не ресурсы машины? бридж - это квад?

 

схема неплохо масштабируется, в плане бриджей, но по идее можно упереться в перегруз бордеров, их так быстро не наплодишь, как бриджи. или там нагрузки несопоставимы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

так у вас именно сетевуха закончилась, а не ресурсы машины? бридж - это квад?

Core i7, ресурсов хватит на три дуальных сетевухи.

 

схема неплохо масштабируется, в плане бриджей, но по идее можно упереться в перегруз бордеров, их так быстро не наплодишь, как бриджи. или там нагрузки несопоставимы?

На бордерах NAT + BGP, на каждый гигабит по бордеру.

 

Можно конечно и два бриджа поставить рядом, но тогда необходимо распихивать юзеров по бриджам и синхронизировать таблички файерволла, что усложняет систему.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

на бордерах тоже i7 ? на чем nat кстати, а то тут некоторый нат очень плохо паралеллится)

 

и где в итоге больше расход ресурсов машины на пакет, на бордере или на бридже?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.