freelsd Опубликовано 3 ноября, 2010 (изменено) · Жалоба UPD Просьба перенести в http://forum.nag.ru/forum/index.php?showforum=4 Стоит система, год работала как часы. Траффик порядка 180-190 МБ/с FreeBSD freelsd_board.*.ru 7.2-STABLE FreeBSD На ней поднят BGPD, который от аплинка получает default. Всего 4 сетевых интерфейса em0 em1 Объединены по LACP, смотрят в сторону локальной сети(воткнуты в стэк из 4-х DGS-3100) WCPU 98-100% em2 em3 Объединены в LACP, смотрят в сторону провайдера. Чувствуют себя хорошо WCPU 40-50% 6-10% пакетов теряются. Трафик на внутреннем и внешнем интерфейсе одинаковый, почему такая нагрузка на сетевухи Изменено 3 ноября, 2010 пользователем freelsd Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
_longhorn_ Опубликовано 3 ноября, 2010 · Жалоба Трудно так что-то сказать... Счас телепаты подтянутся, может помогут :) Если серьезно, то нужно знать аппаратную конфигурацию, тоесть что за проц, мать, память, какие сетевухи... Ну и что показывает TOP -S, netstat -w1, systat -v, vmstat -z... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
freelsd Опубликовано 3 ноября, 2010 · Жалоба Извините, наоборот - em0 и em1 интерфейсы смотрят в локальную сеть. ПРо все, tc идет так: Доходит до шлюза, проходит сквозь шлюз, заходит на сервер, сервер отвечает и......... все, tcpdump на шлюзе его уже не видит. И так всегда. TOP -S last pid: 88517; load averages: 2.66, 2.53, 2.51 up 6+18:39:26 21:21:2797 processes: 7 running, 76 sleeping, 14 waiting CPU states: 0.1% user, 0.0% nice, 66.5% system, 0.1% interrupt, 33.3% idle Mem: 141M Active, 390M Inact, 374M Wired, 152K Cache, 418M Buf, 3033M Free Swap: 4096M Total, 4096M Free PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 26 root 1 -68 - 0K 16K CPU1 1 129.0H 96.48% em0 taskq 27 root 1 -68 - 0K 16K CPU2 2 126.9H 95.56% em1 taskq 11 root 1 171 ki31 0K 16K RUN 3 55.8H 59.77% idle: cpu3 14 root 1 171 ki31 0K 16K RUN 0 53.5H 54.39% idle: cpu0 28 root 1 -68 - 0K 16K - 3 74.6H 44.87% em2 taskq 29 root 1 -68 - 0K 16K - 0 73.1H 43.55% em3 taskq 12 root 1 171 ki31 d--> < 2 28.2H 8.98% idle: cpu2 13 root 1 171 ki31 0K 16K RUN 1 26.0H 7.76% idle: cpu1 netstat -w1 [root@freelsd_board /home/drug]# netstat -w1 input (Total) output packets errs bytes packets errs bytes colls 581831 22043 357367367 581321 0 355165479 0 613580 27755 387508516 613088 0 385354282 0 610354 21319 390413896 609890 0 388470256 0 590673 23375 371229121 590294 0 369096634 0 601831 21906 368703653 601294 0 366243895 0 605133 19259 382562087 604645 0 380417927 0 600126 23981 369904265 599535 0 367637809 0 600508 22826 372371523 600117 0 370079196 0 604722 23613 387092767 604235 0 385076196 0 603209 23444 360603432 602593 0 358083524 0 603563 23823 365768054 603118 0 363462439 0 598824 23223 369171627 598472 0 366954487 0 601783 21095 368524876 601204 0 366144695 0 604561 23070 369337759 604111 0 366945906 0 602181 21469 380663766 601707 0 378624045 0 612363 23419 381007018 612021 0 378882809 0 606450 25131 376847924 605914 0 374675984 0 603176 20060 375140378 602717 0 372894070 d--> 2768 375465306 596500 0 373405518 0 610214 22313 383489440 609809 0 381379959 0 systat -v 3 users Load 2.69 2.56 2.52 Nov 3 21:24 Mem:KB REAL VIRTUAL VN PAGER SWAP PAGER Tot Share Tot Share Free in out in out Act 148928 6480 274572 7792 3105288 count All 213092 8936 1074088k 19032 pages Proc: Interrupts r p d s w Csw Trp Sys Int Sof Flt 303 cow 26490 total 45 35k 602 12k 18k 246 571 181 zfod atkbd0 1 ozfod ata0 irq14 67.5%Sys 0.1%Intr 2.0%User 0.0%Nice 30.3%Idle %ozfod uhci0 ehci | | | | | | | | | | | daefr uhci1+ 19 ==================================> 484 prcfr 2000 cpu0: time 4 dtbuf 760 totfr 1892 em0 irq256 Namei Name-cache Dir-cache 100000 desvn react 2041 em1 irq257 Calls hits % hits % 89885 numvn pdwak 7240 em2 irq258 1973 1973 100 24922 frevn pdpgs 7316 em3 irq259 intrn 2004 cpu1: time Disks ad4 ad8 383148 wire 1993 cpu3: time KB/t 0.00 0.00 145544 act 2004 cpu2: time tps 0 0 399752 inact MB/s 0.00 0.00 eEnd--> 0 0 3105136 free 428000 buf vmstat -z [root@freelsd_board /home/drug]# vmstat -zITEM SIZE LIMIT USED FREE REQUESTS FAILURES UMA Kegs: 216, 0, 85, 0, 85, 0 UMA Zones: 280, 0, 85, 6, 85, 0 UMA Slabs: 128, 0, 12774, 15, 15139, 0 UMA RCntSlabs: 128, 0, 4294, 27, 4294, 0 UMA Hash: 256, 0, 4, 11, 8, 0 16 Bucket: 152, 0, 151, 24, 151, 0 32 Bucket: 280, 0, 141, 13, 141, 17 64 Bucket: 536, 0, 151, 3, 151, 1 128 Bucket: 1048, 0, 777, 0, 777, 610 VM OBJECT: 216, 0, 66179, 1159, 39684564, 0 MAP: 248, 0, 7, 23, 7, 0 KMAP ENTRY: 112, 150744, 31, 134, 13168, 0 MAP ENTRY: 112, 0, 1988, 1609, 125824126, 0 DP fakepg: 120, 0, 0, 0, 0, 0 SG fakepg: 120, 0, 0, 0, 0, 0 mt_zone: 1032, 0, 246, 12, 246, 0 16: 16, 0, 2301, 1059, 12225671, 0 32: 32, 0, 2727, 808, 3317545, 0 64: 64, 0, 10019, 789, 1199911, 0 128: 128, 0, 7976, 13252, 51342727, 0 256: 256, 0, 648, 477, 26600435, 0 512: 512, 0, 1064, 630, 1423295, 0 1024: 1024, 0, 80, 196, 399391, 0 2048: 2048, 0, 32, 86, 983706, 0 4096: 4096, 0, 414, 344, 2257711, 0 Files: 128, 0, 109, 384, 29906814, 0 TURNSTILE: 152, 0, 305, 31, 305, 0 umtx pi: 96, 0, 0, 0, 0, 0 PROC: 1160, 0, 90, 168, 787967, 0 THREAD: 920, 0, 264, 40, 270, 0 UPCALL: 88, 0, 0, 0, 0, 0 SLEEPQUEUE: 64, 0, 305, 87, 305, 0 VMSPACE: 424, 0, 40, 149, 787912, 0 cpuset: 72, 0, 2, 98, 2, 0 audit_record: 992, 0, 0, 0, 0, 0 mbuf_packet: 256, 0, 1145, 7175, 143667053401, 0 mbuf: 256, 0, 5, 765, 143403513292, 0 mbuf_cluster: 2048, 25600, 8320, 88, 8320, 0 mbuf_jumbo_pagesize: 4096, 12800, 0, 90, 8096, 0 mbuf_jumbo_9k: 9216, 6400, 0, 0, 0, 0 mbuf_jumbo_16k: 16384, 3200, 0, 0, 0, 0 mbuf_ext_refcnt: 4, 0, 0, 0, 0, 0 ACL UMA zone: 388, 0, 0, 0, 0, 0 g_bio: 216, 0, 0, 720, 2492765, 0 ata_request: 312, 0, 0, 240, 581037, 0 ata_composite: 352, 0, 0, 0, 0, 0 VNODE: 504, 0, 89886, 1194, 4137000, 0 VNODEPOLL: 128, 0, 1, 57, 1, 0 S VFS Cache: 104, 0, 90836, 5068, 4146251, 0 L VFS Cache: 327, 0, 921, 711, 67121, 0 NAMEI: 1024, 0, 0, 96, 63139873, 0 DIRHASH: 1024, 0, 1302, 378, 4153, 0 NFSMOUNT: 656, 0, 0, 0, 0, 0 NFSNODE: 664, 0, 0, 0, 0, 0 pipe: 744, 0, 7, 98, 377463, 0 ksiginfo: 112, 0, 216, 840, 216, 0 itimer: 360, 0, 0, 0, 0, 0 KNOTE: 120, 0, 2, 401, 1967468, 0 socket: 720, 25600, 43, 127, 5695504, 0 unpcb: 248, 25605, 20, 205, 3610284, 0 ipq: 56, 819, 0, 252, 32, 0 udp_inpcb: 288, 25610, 6, 202, 1718018, 0 udpcb: 16, 25704, 6, 834, 1718018, 0 inpcb: 288, 25610, 24, 197, 367140, 0 tcpcb: 728, 25600, 17, 108, 367140, 0 tcptw: 88, 5124, 7, 455, 2501, 0 syncache: 128, 15370, 0, 261, 366785, 0 hostcache: 136, 15372, 77, 231, 1353, 0 tcpreass: 40, 1680, 0, 420, 2806, 0 sackhole: 32, 0, 0, 505, 45, 0 sctp_ep: 1232, 25602, 0, 0, 0, 0 sctp_asoc: 2208, 40000, 0, 0, 0, 0 sctp_laddr: 48, 80064, 0, 360, 23, 0 sctp_raddr: 584, 80003, 0, 0, 0, 0 sctp_chunk: 144, 400010, 0, 0, 0, 0 sctp_readq: 104, 400032, 0, 0, 0, 0 sctp_stream_msg_out: 96, 400026, 0, 0, 0, 0 sctp_asconf: 40, 400008, 0, 0, 0, 0 sctp_asconf_ack: 48, 400032, 0, 0, 0, 0 ripcb: 288, 25610, 0, 65, 58, 0 rtentry: 248, 0, 1565, 6940, 19660859, 0 IPFW dynamic rule: 120, 0, 0, 0, 0, 0 SWAPMETA: 288, 116519, 0, 0, 0, 0 Mountpoints: 896, 0, 6, 14, 6, 0 FFS inode: 184, 0, 89841, 1215, 4136841, 0 FFS1 dinode: 128, 0, 0, 0, 0, 0 FFS2 dinode: 256, 0, 89841, 1209, 4136841, 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 3 ноября, 2010 · Жалоба Хм Траффик порядка 180-190 МБ/с Но netstat -w1, если я тут в уме не обсчитался, гигабит без мелочи. (или це мегаБайты ?) sysctl dev.em.0.debug=1 sysctl dev.em.1.debug=1 sysctl dev.em.0.stats=1 sysctl dev.em.1.stats=1 И потом вывод из messages? Что там за ошибки? что есть из тюнинга ? dev.em.?.?x_int_delay? dev.em.?.?x_abs_int_delay hw.em.rxd ? hw.em.rxd ? итд. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dsk Опубликовано 3 ноября, 2010 · Жалоба У товарища приличный pps, да и файрвол небось надутый, вот и результаты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 4 ноября, 2010 · Жалоба Ну в выводе netstat pps адекватен cps. гдето 600+ байт на пакет. Если из локалки и прет какой флуд, то не сильно много. Трафика много, соответственно и PPS такой. Кстати, да ipfw list | wc -l или что там за фаервол у Вас. что там вообще ? наты, шейпы? Еще не плохо бы посмотреть ошибки с обратной стороны (3100). не самые, на мой вкус, надежные коммутаторы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
denis_vid Опубликовано 4 ноября, 2010 (изменено) · Жалоба 6-10% пакетов теряются. Трафик на внутреннем и внешнем интерфейсе одинаковый, почему такая нагрузка на сетевухи htop-ом нагрузку по ядрам смотрели? Возможно какое то из ядер перегружено. hw.em.rxd=4096 hw.em.txd=4096? Изменено 4 ноября, 2010 пользователем denis_vid Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
freelsd Опубликовано 4 ноября, 2010 · Жалоба Нет, я не ошибся - траффик порядка 200 МБайт. ipfw, pf не используются Проблему решил. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 4 ноября, 2010 · Жалоба Просто трафик исторически считают в битах (кило мега гига итд.) И что было ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Slad Опубликовано 9 ноября, 2010 · Жалоба 26 root 1 -68 - 0K 16K CPU1 1 129.0H 96.48% em0 taskq27 root 1 -68 - 0K 16K CPU2 2 126.9H 95.56% em1 taskq однако Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...