FreeBSD потери пакетов на шлюзе

[freelsd]

UPD Просьба перенести в http://forum.nag.ru/forum/index.php?showforum=4

Стоит система, год работала как часы. Траффик порядка 180-190 МБ/с

FreeBSD freelsd_board.*.ru 7.2-STABLE FreeBSD

На ней поднят BGPD, который от аплинка получает default.

 

Всего 4 сетевых интерфейса

em0

em1

Объединены по LACP, смотрят в сторону локальной сети(воткнуты в стэк из 4-х DGS-3100)

WCPU 98-100%

 

em2

em3

Объединены в LACP, смотрят в сторону провайдера.

Чувствуют себя хорошо

WCPU 40-50%

 

6-10% пакетов теряются.

Трафик на внутреннем и внешнем интерфейсе одинаковый, почему такая нагрузка на сетевухи

Edited November 3, 2010 by freelsd

[_longhorn_]

Трудно так что-то сказать... Счас телепаты подтянутся, может помогут :) Если серьезно, то нужно знать аппаратную конфигурацию, тоесть что за проц, мать, память, какие сетевухи... Ну и что показывает TOP -S, netstat -w1, systat -v, vmstat -z...

[freelsd]

Извините, наоборот - em0 и em1 интерфейсы смотрят в локальную сеть. ПРо все, tc идет так:

Доходит до шлюза, проходит сквозь шлюз, заходит на сервер, сервер отвечает и......... все, tcpdump на шлюзе его уже не видит. И так всегда.

 

TOP -S

last pid: 88517; load averages: 2.66, 2.53, 2.51 up 6+18:39:26 21:21:27

97 processes: 7 running, 76 sleeping, 14 waiting

CPU states: 0.1% user, 0.0% nice, 66.5% system, 0.1% interrupt, 33.3% idle

Mem: 141M Active, 390M Inact, 374M Wired, 152K Cache, 418M Buf, 3033M Free

Swap: 4096M Total, 4096M Free

 

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

26 root 1 -68 - 0K 16K CPU1 1 129.0H 96.48% em0 taskq

27 root 1 -68 - 0K 16K CPU2 2 126.9H 95.56% em1 taskq

11 root 1 171 ki31 0K 16K RUN 3 55.8H 59.77% idle: cpu3

14 root 1 171 ki31 0K 16K RUN 0 53.5H 54.39% idle: cpu0

28 root 1 -68 - 0K 16K - 3 74.6H 44.87% em2 taskq

29 root 1 -68 - 0K 16K - 0 73.1H 43.55% em3 taskq

12 root 1 171 ki31 d-->

< 2 28.2H 8.98% idle: cpu2

13 root 1 171 ki31 0K 16K RUN 1 26.0H 7.76% idle: cpu1

netstat -w1

[root@freelsd_board /home/drug]# netstat -w1

input (Total) output

packets errs bytes packets errs bytes colls

581831 22043 357367367 581321 0 355165479 0

613580 27755 387508516 613088 0 385354282 0

610354 21319 390413896 609890 0 388470256 0

590673 23375 371229121 590294 0 369096634 0

601831 21906 368703653 601294 0 366243895 0

605133 19259 382562087 604645 0 380417927 0

600126 23981 369904265 599535 0 367637809 0

600508 22826 372371523 600117 0 370079196 0

604722 23613 387092767 604235 0 385076196 0

603209 23444 360603432 602593 0 358083524 0

603563 23823 365768054 603118 0 363462439 0

598824 23223 369171627 598472 0 366954487 0

601783 21095 368524876 601204 0 366144695 0

604561 23070 369337759 604111 0 366945906 0

602181 21469 380663766 601707 0 378624045 0

612363 23419 381007018 612021 0 378882809 0

606450 25131 376847924 605914 0 374675984 0

603176 20060 375140378 602717 0 372894070 d-->

2768 375465306 596500 0 373405518 0

610214 22313 383489440 609809 0 381379959 0

systat -v

3 users Load 2.69 2.56 2.52 Nov 3 21:24

 

Mem:KB REAL VIRTUAL VN PAGER SWAP PAGER

Tot Share Tot Share Free in out in out

Act 148928 6480 274572 7792 3105288 count

All 213092 8936 1074088k 19032 pages

Proc: Interrupts

r p d s w Csw Trp Sys Int Sof Flt 303 cow 26490 total

45 35k 602 12k 18k 246 571 181 zfod atkbd0 1

ozfod ata0 irq14

67.5%Sys 0.1%Intr 2.0%User 0.0%Nice 30.3%Idle %ozfod uhci0 ehci

| | | | | | | | | | | daefr uhci1+ 19

==================================> 484 prcfr 2000 cpu0: time

4 dtbuf 760 totfr 1892 em0 irq256

Namei Name-cache Dir-cache 100000 desvn react 2041 em1 irq257

Calls hits % hits % 89885 numvn pdwak 7240 em2 irq258

1973 1973 100 24922 frevn pdpgs 7316 em3 irq259

intrn 2004 cpu1: time

Disks ad4 ad8 383148 wire 1993 cpu3: time

KB/t 0.00 0.00 145544 act 2004 cpu2: time

tps 0 0 399752 inact

MB/s 0.00 0.00 eEnd--> 0 0 3105136 free

428000 buf

 

vmstat -z

[root@freelsd_board /home/drug]# vmstat -z

ITEM SIZE LIMIT USED FREE REQUESTS FAILURES

 

UMA Kegs: 216, 0, 85, 0, 85, 0

UMA Zones: 280, 0, 85, 6, 85, 0

UMA Slabs: 128, 0, 12774, 15, 15139, 0

UMA RCntSlabs: 128, 0, 4294, 27, 4294, 0

UMA Hash: 256, 0, 4, 11, 8, 0

16 Bucket: 152, 0, 151, 24, 151, 0

32 Bucket: 280, 0, 141, 13, 141, 17

64 Bucket: 536, 0, 151, 3, 151, 1

128 Bucket: 1048, 0, 777, 0, 777, 610

VM OBJECT: 216, 0, 66179, 1159, 39684564, 0

MAP: 248, 0, 7, 23, 7, 0

KMAP ENTRY: 112, 150744, 31, 134, 13168, 0

MAP ENTRY: 112, 0, 1988, 1609, 125824126, 0

DP fakepg: 120, 0, 0, 0, 0, 0

SG fakepg: 120, 0, 0, 0, 0, 0

mt_zone: 1032, 0, 246, 12, 246, 0

16: 16, 0, 2301, 1059, 12225671, 0

32: 32, 0, 2727, 808, 3317545, 0

64: 64, 0, 10019, 789, 1199911, 0

128: 128, 0, 7976, 13252, 51342727, 0

256: 256, 0, 648, 477, 26600435, 0

512: 512, 0, 1064, 630, 1423295, 0

1024: 1024, 0, 80, 196, 399391, 0

2048: 2048, 0, 32, 86, 983706, 0

4096: 4096, 0, 414, 344, 2257711, 0

Files: 128, 0, 109, 384, 29906814, 0

TURNSTILE: 152, 0, 305, 31, 305, 0

umtx pi: 96, 0, 0, 0, 0, 0

PROC: 1160, 0, 90, 168, 787967, 0

THREAD: 920, 0, 264, 40, 270, 0

UPCALL: 88, 0, 0, 0, 0, 0

SLEEPQUEUE: 64, 0, 305, 87, 305, 0

VMSPACE: 424, 0, 40, 149, 787912, 0

cpuset: 72, 0, 2, 98, 2, 0

audit_record: 992, 0, 0, 0, 0, 0

mbuf_packet: 256, 0, 1145, 7175, 143667053401, 0

mbuf: 256, 0, 5, 765, 143403513292, 0

mbuf_cluster: 2048, 25600, 8320, 88, 8320, 0

mbuf_jumbo_pagesize: 4096, 12800, 0, 90, 8096, 0

mbuf_jumbo_9k: 9216, 6400, 0, 0, 0, 0

mbuf_jumbo_16k: 16384, 3200, 0, 0, 0, 0

mbuf_ext_refcnt: 4, 0, 0, 0, 0, 0

ACL UMA zone: 388, 0, 0, 0, 0, 0

g_bio: 216, 0, 0, 720, 2492765, 0

ata_request: 312, 0, 0, 240, 581037, 0

ata_composite: 352, 0, 0, 0, 0, 0

VNODE: 504, 0, 89886, 1194, 4137000, 0

VNODEPOLL: 128, 0, 1, 57, 1, 0

S VFS Cache: 104, 0, 90836, 5068, 4146251, 0

L VFS Cache: 327, 0, 921, 711, 67121, 0

NAMEI: 1024, 0, 0, 96, 63139873, 0

DIRHASH: 1024, 0, 1302, 378, 4153, 0

NFSMOUNT: 656, 0, 0, 0, 0, 0

NFSNODE: 664, 0, 0, 0, 0, 0

pipe: 744, 0, 7, 98, 377463, 0

ksiginfo: 112, 0, 216, 840, 216, 0

itimer: 360, 0, 0, 0, 0, 0

KNOTE: 120, 0, 2, 401, 1967468, 0

socket: 720, 25600, 43, 127, 5695504, 0

unpcb: 248, 25605, 20, 205, 3610284, 0

ipq: 56, 819, 0, 252, 32, 0

udp_inpcb: 288, 25610, 6, 202, 1718018, 0

udpcb: 16, 25704, 6, 834, 1718018, 0

inpcb: 288, 25610, 24, 197, 367140, 0

tcpcb: 728, 25600, 17, 108, 367140, 0

tcptw: 88, 5124, 7, 455, 2501, 0

syncache: 128, 15370, 0, 261, 366785, 0

hostcache: 136, 15372, 77, 231, 1353, 0

tcpreass: 40, 1680, 0, 420, 2806, 0

sackhole: 32, 0, 0, 505, 45, 0

sctp_ep: 1232, 25602, 0, 0, 0, 0

sctp_asoc: 2208, 40000, 0, 0, 0, 0

sctp_laddr: 48, 80064, 0, 360, 23, 0

sctp_raddr: 584, 80003, 0, 0, 0, 0

sctp_chunk: 144, 400010, 0, 0, 0, 0

sctp_readq: 104, 400032, 0, 0, 0, 0

sctp_stream_msg_out: 96, 400026, 0, 0, 0, 0

sctp_asconf: 40, 400008, 0, 0, 0, 0

sctp_asconf_ack: 48, 400032, 0, 0, 0, 0

ripcb: 288, 25610, 0, 65, 58, 0

rtentry: 248, 0, 1565, 6940, 19660859, 0

IPFW dynamic rule: 120, 0, 0, 0, 0, 0

SWAPMETA: 288, 116519, 0, 0, 0, 0

Mountpoints: 896, 0, 6, 14, 6, 0

FFS inode: 184, 0, 89841, 1215, 4136841, 0

FFS1 dinode: 128, 0, 0, 0, 0, 0

FFS2 dinode: 256, 0, 89841, 1209, 4136841, 0

[st_re]

Хм

Траффик порядка 180-190 МБ/с

Но netstat -w1, если я тут в уме не обсчитался, гигабит без мелочи. (или це мегаБайты ?)

 

sysctl dev.em.0.debug=1

sysctl dev.em.1.debug=1

 

 

sysctl dev.em.0.stats=1

sysctl dev.em.1.stats=1

 

 

И потом вывод из messages? Что там за ошибки?

 

что есть из тюнинга ?

dev.em.?.?x_int_delay? dev.em.?.?x_abs_int_delay

hw.em.rxd ? hw.em.rxd ? итд.

[dsk]

У товарища приличный pps, да и файрвол небось надутый, вот и результаты.

[st_re]

Ну в выводе netstat pps адекватен cps. гдето 600+ байт на пакет. Если из локалки и прет какой флуд, то не сильно много. Трафика много, соответственно и PPS такой.

 

Кстати, да ipfw list | wc -l или что там за фаервол у Вас. что там вообще ? наты, шейпы?

 

Еще не плохо бы посмотреть ошибки с обратной стороны (3100). не самые, на мой вкус, надежные коммутаторы.

 

 

[denis_vid]

6-10% пакетов теряются.

Трафик на внутреннем и внешнем интерфейсе одинаковый, почему такая нагрузка на сетевухи

htop-ом нагрузку по ядрам смотрели? Возможно какое то из ядер перегружено.

hw.em.rxd=4096 hw.em.txd=4096?

Edited November 4, 2010 by denis_vid

[freelsd]

Нет, я не ошибся - траффик порядка 200 МБайт.

ipfw, pf не используются

 

Проблему решил.

[st_re]

Просто трафик исторически считают в битах (кило мега гига итд.)

 

И что было ?

[Slad]

26 root 1 -68 - 0K 16K CPU1 1 129.0H 96.48% em0 taskq

27 root 1 -68 - 0K 16K CPU2 2 126.9H 95.56% em1 taskq

однако