Перейти к содержимому
Калькуляторы

FreeBSD потери пакетов на шлюзе SOS, коллеги - 3-й день лагаем

UPD Просьба перенести в http://forum.nag.ru/forum/index.php?showforum=4

Стоит система, год работала как часы. Траффик порядка 180-190 МБ/с

FreeBSD freelsd_board.*.ru 7.2-STABLE FreeBSD

На ней поднят BGPD, который от аплинка получает default.

 

Всего 4 сетевых интерфейса

em0

em1

Объединены по LACP, смотрят в сторону локальной сети(воткнуты в стэк из 4-х DGS-3100)

WCPU 98-100%

 

em2

em3

Объединены в LACP, смотрят в сторону провайдера.

Чувствуют себя хорошо

WCPU 40-50%

 

6-10% пакетов теряются.

Трафик на внутреннем и внешнем интерфейсе одинаковый, почему такая нагрузка на сетевухи

Изменено пользователем freelsd

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Трудно так что-то сказать... Счас телепаты подтянутся, может помогут :) Если серьезно, то нужно знать аппаратную конфигурацию, тоесть что за проц, мать, память, какие сетевухи... Ну и что показывает TOP -S, netstat -w1, systat -v, vmstat -z...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Извините, наоборот - em0 и em1 интерфейсы смотрят в локальную сеть. ПРо все, tc идет так:

Доходит до шлюза, проходит сквозь шлюз, заходит на сервер, сервер отвечает и......... все, tcpdump на шлюзе его уже не видит. И так всегда.

 

TOP -S

last pid: 88517; load averages: 2.66, 2.53, 2.51 up 6+18:39:26 21:21:27

97 processes: 7 running, 76 sleeping, 14 waiting

CPU states: 0.1% user, 0.0% nice, 66.5% system, 0.1% interrupt, 33.3% idle

Mem: 141M Active, 390M Inact, 374M Wired, 152K Cache, 418M Buf, 3033M Free

Swap: 4096M Total, 4096M Free

 

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

26 root 1 -68 - 0K 16K CPU1 1 129.0H 96.48% em0 taskq

27 root 1 -68 - 0K 16K CPU2 2 126.9H 95.56% em1 taskq

11 root 1 171 ki31 0K 16K RUN 3 55.8H 59.77% idle: cpu3

14 root 1 171 ki31 0K 16K RUN 0 53.5H 54.39% idle: cpu0

28 root 1 -68 - 0K 16K - 3 74.6H 44.87% em2 taskq

29 root 1 -68 - 0K 16K - 0 73.1H 43.55% em3 taskq

12 root 1 171 ki31 d-->

< 2 28.2H 8.98% idle: cpu2

13 root 1 171 ki31 0K 16K RUN 1 26.0H 7.76% idle: cpu1

netstat -w1

[root@freelsd_board /home/drug]# netstat -w1

input (Total) output

packets errs bytes packets errs bytes colls

581831 22043 357367367 581321 0 355165479 0

613580 27755 387508516 613088 0 385354282 0

610354 21319 390413896 609890 0 388470256 0

590673 23375 371229121 590294 0 369096634 0

601831 21906 368703653 601294 0 366243895 0

605133 19259 382562087 604645 0 380417927 0

600126 23981 369904265 599535 0 367637809 0

600508 22826 372371523 600117 0 370079196 0

604722 23613 387092767 604235 0 385076196 0

603209 23444 360603432 602593 0 358083524 0

603563 23823 365768054 603118 0 363462439 0

598824 23223 369171627 598472 0 366954487 0

601783 21095 368524876 601204 0 366144695 0

604561 23070 369337759 604111 0 366945906 0

602181 21469 380663766 601707 0 378624045 0

612363 23419 381007018 612021 0 378882809 0

606450 25131 376847924 605914 0 374675984 0

603176 20060 375140378 602717 0 372894070 d-->

2768 375465306 596500 0 373405518 0

610214 22313 383489440 609809 0 381379959 0

systat -v

3 users Load 2.69 2.56 2.52 Nov 3 21:24

 

Mem:KB REAL VIRTUAL VN PAGER SWAP PAGER

Tot Share Tot Share Free in out in out

Act 148928 6480 274572 7792 3105288 count

All 213092 8936 1074088k 19032 pages

Proc: Interrupts

r p d s w Csw Trp Sys Int Sof Flt 303 cow 26490 total

45 35k 602 12k 18k 246 571 181 zfod atkbd0 1

ozfod ata0 irq14

67.5%Sys 0.1%Intr 2.0%User 0.0%Nice 30.3%Idle %ozfod uhci0 ehci

| | | | | | | | | | | daefr uhci1+ 19

==================================> 484 prcfr 2000 cpu0: time

4 dtbuf 760 totfr 1892 em0 irq256

Namei Name-cache Dir-cache 100000 desvn react 2041 em1 irq257

Calls hits % hits % 89885 numvn pdwak 7240 em2 irq258

1973 1973 100 24922 frevn pdpgs 7316 em3 irq259

intrn 2004 cpu1: time

Disks ad4 ad8 383148 wire 1993 cpu3: time

KB/t 0.00 0.00 145544 act 2004 cpu2: time

tps 0 0 399752 inact

MB/s 0.00 0.00 eEnd--> 0 0 3105136 free

428000 buf

 

vmstat -z

[root@freelsd_board /home/drug]# vmstat -z

ITEM SIZE LIMIT USED FREE REQUESTS FAILURES

 

UMA Kegs: 216, 0, 85, 0, 85, 0

UMA Zones: 280, 0, 85, 6, 85, 0

UMA Slabs: 128, 0, 12774, 15, 15139, 0

UMA RCntSlabs: 128, 0, 4294, 27, 4294, 0

UMA Hash: 256, 0, 4, 11, 8, 0

16 Bucket: 152, 0, 151, 24, 151, 0

32 Bucket: 280, 0, 141, 13, 141, 17

64 Bucket: 536, 0, 151, 3, 151, 1

128 Bucket: 1048, 0, 777, 0, 777, 610

VM OBJECT: 216, 0, 66179, 1159, 39684564, 0

MAP: 248, 0, 7, 23, 7, 0

KMAP ENTRY: 112, 150744, 31, 134, 13168, 0

MAP ENTRY: 112, 0, 1988, 1609, 125824126, 0

DP fakepg: 120, 0, 0, 0, 0, 0

SG fakepg: 120, 0, 0, 0, 0, 0

mt_zone: 1032, 0, 246, 12, 246, 0

16: 16, 0, 2301, 1059, 12225671, 0

32: 32, 0, 2727, 808, 3317545, 0

64: 64, 0, 10019, 789, 1199911, 0

128: 128, 0, 7976, 13252, 51342727, 0

256: 256, 0, 648, 477, 26600435, 0

512: 512, 0, 1064, 630, 1423295, 0

1024: 1024, 0, 80, 196, 399391, 0

2048: 2048, 0, 32, 86, 983706, 0

4096: 4096, 0, 414, 344, 2257711, 0

Files: 128, 0, 109, 384, 29906814, 0

TURNSTILE: 152, 0, 305, 31, 305, 0

umtx pi: 96, 0, 0, 0, 0, 0

PROC: 1160, 0, 90, 168, 787967, 0

THREAD: 920, 0, 264, 40, 270, 0

UPCALL: 88, 0, 0, 0, 0, 0

SLEEPQUEUE: 64, 0, 305, 87, 305, 0

VMSPACE: 424, 0, 40, 149, 787912, 0

cpuset: 72, 0, 2, 98, 2, 0

audit_record: 992, 0, 0, 0, 0, 0

mbuf_packet: 256, 0, 1145, 7175, 143667053401, 0

mbuf: 256, 0, 5, 765, 143403513292, 0

mbuf_cluster: 2048, 25600, 8320, 88, 8320, 0

mbuf_jumbo_pagesize: 4096, 12800, 0, 90, 8096, 0

mbuf_jumbo_9k: 9216, 6400, 0, 0, 0, 0

mbuf_jumbo_16k: 16384, 3200, 0, 0, 0, 0

mbuf_ext_refcnt: 4, 0, 0, 0, 0, 0

ACL UMA zone: 388, 0, 0, 0, 0, 0

g_bio: 216, 0, 0, 720, 2492765, 0

ata_request: 312, 0, 0, 240, 581037, 0

ata_composite: 352, 0, 0, 0, 0, 0

VNODE: 504, 0, 89886, 1194, 4137000, 0

VNODEPOLL: 128, 0, 1, 57, 1, 0

S VFS Cache: 104, 0, 90836, 5068, 4146251, 0

L VFS Cache: 327, 0, 921, 711, 67121, 0

NAMEI: 1024, 0, 0, 96, 63139873, 0

DIRHASH: 1024, 0, 1302, 378, 4153, 0

NFSMOUNT: 656, 0, 0, 0, 0, 0

NFSNODE: 664, 0, 0, 0, 0, 0

pipe: 744, 0, 7, 98, 377463, 0

ksiginfo: 112, 0, 216, 840, 216, 0

itimer: 360, 0, 0, 0, 0, 0

KNOTE: 120, 0, 2, 401, 1967468, 0

socket: 720, 25600, 43, 127, 5695504, 0

unpcb: 248, 25605, 20, 205, 3610284, 0

ipq: 56, 819, 0, 252, 32, 0

udp_inpcb: 288, 25610, 6, 202, 1718018, 0

udpcb: 16, 25704, 6, 834, 1718018, 0

inpcb: 288, 25610, 24, 197, 367140, 0

tcpcb: 728, 25600, 17, 108, 367140, 0

tcptw: 88, 5124, 7, 455, 2501, 0

syncache: 128, 15370, 0, 261, 366785, 0

hostcache: 136, 15372, 77, 231, 1353, 0

tcpreass: 40, 1680, 0, 420, 2806, 0

sackhole: 32, 0, 0, 505, 45, 0

sctp_ep: 1232, 25602, 0, 0, 0, 0

sctp_asoc: 2208, 40000, 0, 0, 0, 0

sctp_laddr: 48, 80064, 0, 360, 23, 0

sctp_raddr: 584, 80003, 0, 0, 0, 0

sctp_chunk: 144, 400010, 0, 0, 0, 0

sctp_readq: 104, 400032, 0, 0, 0, 0

sctp_stream_msg_out: 96, 400026, 0, 0, 0, 0

sctp_asconf: 40, 400008, 0, 0, 0, 0

sctp_asconf_ack: 48, 400032, 0, 0, 0, 0

ripcb: 288, 25610, 0, 65, 58, 0

rtentry: 248, 0, 1565, 6940, 19660859, 0

IPFW dynamic rule: 120, 0, 0, 0, 0, 0

SWAPMETA: 288, 116519, 0, 0, 0, 0

Mountpoints: 896, 0, 6, 14, 6, 0

FFS inode: 184, 0, 89841, 1215, 4136841, 0

FFS1 dinode: 128, 0, 0, 0, 0, 0

FFS2 dinode: 256, 0, 89841, 1209, 4136841, 0

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Хм

Траффик порядка 180-190 МБ/с

Но netstat -w1, если я тут в уме не обсчитался, гигабит без мелочи. (или це мегаБайты ?)

 

sysctl dev.em.0.debug=1

sysctl dev.em.1.debug=1

 

 

sysctl dev.em.0.stats=1

sysctl dev.em.1.stats=1

 

 

И потом вывод из messages? Что там за ошибки?

 

что есть из тюнинга ?

dev.em.?.?x_int_delay? dev.em.?.?x_abs_int_delay

hw.em.rxd ? hw.em.rxd ? итд.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У товарища приличный pps, да и файрвол небось надутый, вот и результаты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну в выводе netstat pps адекватен cps. гдето 600+ байт на пакет. Если из локалки и прет какой флуд, то не сильно много. Трафика много, соответственно и PPS такой.

 

Кстати, да ipfw list | wc -l или что там за фаервол у Вас. что там вообще ? наты, шейпы?

 

Еще не плохо бы посмотреть ошибки с обратной стороны (3100). не самые, на мой вкус, надежные коммутаторы.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

6-10% пакетов теряются.

Трафик на внутреннем и внешнем интерфейсе одинаковый, почему такая нагрузка на сетевухи

htop-ом нагрузку по ядрам смотрели? Возможно какое то из ядер перегружено.

hw.em.rxd=4096 hw.em.txd=4096?

Изменено пользователем denis_vid

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Нет, я не ошибся - траффик порядка 200 МБайт.

ipfw, pf не используются

 

Проблему решил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Просто трафик исторически считают в битах (кило мега гига итд.)

 

И что было ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

26 root 1 -68 - 0K 16K CPU1 1 129.0H 96.48% em0 taskq

27 root 1 -68 - 0K 16K CPU2 2 126.9H 95.56% em1 taskq

однако

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.