Kristoff_Vampire Posted June 24, 2010 Posted June 24, 2010 После долгих мучений и изменений параметров в loader.conf и sysctl.conf решил обратиться к вам. Поставил фрю 7.3 на сервер с 2-мя процами квадро и установил сетевую Intel® Gigabit ET Dual Port Server Adapter. драйвера - igb 1.4.1 и получил довольно слабый результат по разделению нагрузки на прерывания vmstat -i interrupt total rate irq9: acpi0 1 0 irq16: uhci3 uhci* 21 0 irq18: atapci0 1145849 0 irq19: uhci0 uhci* 13 0 cpu0: timer 2789207434 1993 irq256: igb0 1538762135 1099 irq257: igb0 1249531789 893 irq258: igb0 2 0 irq259: igb1 1475962176 1054 irq260: igb1 1285496621 918 irq261: igb1 2 0 cpu5: timer 2789206542 1993 cpu3: timer 2789206335 1993 cpu7: timer 2789205805 1993 cpu2: timer 2789206822 1993 cpu6: timer 2789205859 1993 cpu1: timer 2789206816 1993 cpu4: timer 2789206173 1993 Total 27864550395 19915 соответственно и нагрузка на проц. PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 12 root 1 171 ki31 0K 8K CPU6 6 384.8H 100.00% idle: cpu6 14 root 1 171 ki31 0K 8K CPU4 4 384.7H 100.00% idle: cpu4 11 root 1 171 ki31 0K 8K CPU7 7 384.7H 100.00% idle: cpu7 15 root 1 171 ki31 0K 8K CPU3 3 382.9H 100.00% idle: cpu3 17 root 1 171 ki31 0K 8K CPU1 1 380.4H 100.00% idle: cpu1 18 root 1 171 ki31 0K 8K RUN 0 380.1H 100.00% idle: cpu0 13 root 1 171 ki31 0K 8K CPU5 5 367.6H 100.00% idle: cpu5 16 root 1 171 ki31 0K 8K CPU2 2 350.5H 97.46% idle: cpu2 42 root 1 -68 - 0K 8K WAIT 5 20.6H 1.95% irq260: igb1 38 root 1 -68 - 0K 8K WAIT 2 37.2H 1.86% irq257: igb0 63 root 1 -68 - 0K 8K - 6 637:50 0.00% dummynet 41 root 1 -68 - 0K 8K WAIT 4 183:03 0.00% irq259: igb1 37 root 1 -68 - 0K 8K WAIT 1 170:51 0.00% irq256: igb0 40 root 1 -68 - 0K 8K - 1 93:08 0.00% igb0 taskq 44 root 1 -68 - 0K 8K - 0 90:57 0.00% igb1 taskq при загрузке всего только в 100Мб/с с ппс 15К, вся нагрузка падает только на одно прерывание каждой сетевухи гдето по 10%. Тоесть у меня пашут только 2 проца из 8ми. Виланы создаются нормально на лету --- с этим всё хорошо. Решили поставить дрова 1.8.4 от Интела и получил отличный результат по прерываниям. vmstat -i interrupt total rate irq9: acpi0 1 0 irq16: uhci3 uhci4* 10892414 3 irq18: atapci0 1233658 0 irq19: uhci0 uhci1* 101 0 cpu0: timer 5570717392 1982 irq259: igb0 3460319149 1231 irq263: igb0 2648943258 942 irq264: igb0 2652023587 943 irq265: igb0 2645790209 941 irq266: igb0 2642685718 940 irq267: igb0 6 0 irq268: igb1 3481318119 1238 irq272: igb1 2682418063 954 irq273: igb1 2685442936 955 irq274: igb1 2671308057 950 irq275: igb1 2678893673 953 irq276: igb1 6 0 cpu7: timer 5618190601 1999 cpu2: timer 5570713059 1982 cpu5: timer 5618280614 1999 cpu3: timer 5570712473 1982 cpu6: timer 5618213958 1999 cpu1: timer 5570713330 1982 cpu4: timer 5618346271 1999 Total 73017156653 25981 и загрузку сервера PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 12 root 1 171 ki31 0K 16K CPU6 6 776.2H 100.00% idle: cpu6 11 root 1 171 ki31 0K 16K CPU7 7 776.2H 100.00% idle: cpu7 17 root 1 171 ki31 0K 16K CPU1 1 740.5H 100.00% idle: cpu1 18 root 1 171 ki31 0K 16K RUN 0 729.8H 100.00% idle: cpu0 15 root 1 171 ki31 0K 16K CPU3 3 742.0H 99.85% idle: cpu3 14 root 1 171 ki31 0K 16K CPU4 4 776.0H 99.37% idle: cpu4 13 root 1 171 ki31 0K 16K CPU5 5 776.1H 99.27% idle: cpu5 16 root 1 171 ki31 0K 16K CPU2 2 741.7H 96.09% idle: cpu2 866 root 1 48 0 268M 262M select 0 424:15 5.18% bgpd 73 root 1 -68 - 0K 16K WAIT 3 20.9H 2.78% irq275: igb1 54 root 1 -68 - 0K 16K WAIT 2 17.4H 2.59% irq265: igb0 56 root 1 -68 - 0K 16K WAIT 3 17.2H 2.39% irq266: igb0 69 root 1 -68 - 0K 16K WAIT 1 21.1H 2.20% irq273: igb1 67 root 1 -68 - 0K 16K WAIT 0 21.4H 1.95% irq272: igb1 71 root 1 -68 - 0K 16K WAIT 2 20.8H 1.95% irq274: igb1 50 root 1 -68 - 0K 16K WAIT 0 17.5H 1.86% irq263: igb0 52 root 1 -68 - 0K 16K WAIT 1 17.5H 1.86% irq264: igb0 59 root 1 -68 - 0K 16K WAIT 0 344:35 0.10% irq268: igb1 42 root 1 -68 - 0K 16K WAIT 0 284:54 0.10% irq259: igb0 20 root 1 -32 - 0K 16K WAIT 7 203:57 0.00% swi4: clock sio 26 root 1 44 - 0K 16K - 6 92:12 0.00% yarrow 94 root 1 -68 - 0K 16K - 4 61:26 0.00% dummynet # netstat -I igb1 -h 1 input (igb1) output packets errs bytes packets errs bytes colls 21K 0 13M 19K 0 12M 0 21K 0 15M 19K 0 12M 0 24K 0 16M 20K 0 13M 0 Всё отлично - доволен. Но тут прикол при присваивании вилану парента стевуха делает DOWN, потом UP. Ясень пень весь траф по другим виланам на этой сетевухе дропается. Но и дальше галяк. После того как сетевуха делает UP при серьёзной нагрузке , траф уже не ходит. Кто имел опыт работы с данной сетевой на Фре? Может кто-то знает патч для дров 1.8.4 что бы виланы создовались нормально? Есть ли такие проблемы на 8-ке? Есть ли такие грабли с сетевой Intel® PRO/1000 PT Dual Port Server Adapter? Вставить ник Quote
AntonS Posted June 25, 2010 Posted June 25, 2010 обновись давно во фре дрова поменяли и работает вроде нормально под нагрузкой не тестил Вставить ник Quote
Kristoff_Vampire Posted June 25, 2010 Author Posted June 25, 2010 обновлял до 1.9.6 --- почти таже картина. Только трафик востанавливается. Но как-то не греет душу что на 3-5 сек интерфейс уходит в DOWN со всеми виланами на борту :( Вставить ник Quote
Hawk128 Posted June 25, 2010 Posted June 25, 2010 (edited) Речь про обновление FreeBSD и использование ее драйвера. Сам сижу на 8.1 pre тоже на igb - работают замечательно. Edited June 25, 2010 by Hawk128 Вставить ник Quote
Kristoff_Vampire Posted June 25, 2010 Author Posted June 25, 2010 Речь про обновление FreeBSD и использование ее драйвера. Сам сижу на 8.1 pre тоже на igb - работают замесательно. Можете показать вывод vmstat -I и top -S. Вставить ник Quote
Hawk128 Posted June 25, 2010 Posted June 25, 2010 (edited) last pid: 7725; load averages: 1.25, 1.71, 1.93 up 14+11:32:52 22:41:02 883 processes: 5 running, 850 sleeping, 28 waiting CPU: 0.8% user, 0.0% nice, 27.9% system, 19.5% interrupt, 51.8% idle Mem: 502M Active, 2083M Inact, 894M Wired, 15M Cache, 617M Buf, 2343M Free Swap: 2048M Total, 384K Used, 2048M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 11 root 171 ki31 0K 64K CPU3 3 213.0H 58.50% {idle: cpu3} 11 root 171 ki31 0K 64K RUN 2 205.7H 53.47% {idle: cpu2} 11 root 171 ki31 0K 64K CPU1 1 195.1H 50.29% {idle: cpu1} 11 root 171 ki31 0K 64K CPU0 0 191.9H 48.97% {idle: cpu0} 13 root 76 - 0K 64K sleep 0 79.3H 26.86% {ng_queue3} 13 root 76 - 0K 64K sleep 0 79.3H 26.86% {ng_queue1} 13 root 73 - 0K 64K sleep 1 79.3H 26.76% {ng_queue2} 13 root 76 - 0K 64K sleep 2 79.3H 25.78% {ng_queue0} 12 root -68 - 0K 448K WAIT 1 49.9H 18.90% {irq262: igb1} 12 root -68 - 0K 448K WAIT 3 52.6H 18.65% {irq264: igb1} 12 root -68 - 0K 448K WAIT 2 50.6H 17.48% {irq263: igb1} 12 root -68 - 0K 448K WAIT 0 51.9H 15.97% {irq261: igb1} 12 root -68 - 0K 448K WAIT 0 628:33 3.27% {irq256: igb0} 12 root -68 - 0K 448K WAIT 3 433:18 1.76% {irq259: igb0} 12 root -68 - 0K 448K WAIT 2 410:03 1.46% {irq258: igb0} 12 root -68 - 0K 448K WAIT 1 303:18 1.27% {irq257: igb0} 86970 root 45 0 62444K 31920K select 3 249:42 1.27% {mpd5} 95842 root 44 -15 381M 291M select 3 159:17 0.49% {ipcad} 12 root -32 - 0K 448K WAIT 3 72:24 0.00% {swi4: clock} 0 root -68 0 0K 272K - 1 70:05 0.00% {igb0 que} 0 root -68 0 0K 272K - 3 29:33 0.00% {dummynet} 14 root 44 - 0K 16K - 1 28:50 0.00% yarrow 991 bind 44 0 170M 158M ucond 0 28:07 0.00% {named} 991 bind 44 0 170M 158M ucond 3 28:04 0.00% {named} 991 bind 44 0 170M 158M ucond 2 28:01 0.00% {named} 991 bind 44 0 170M 158M ucond 1 27:59 0.00% {named} 0 root -68 0 0K 272K - 0 25:14 0.00% {igb1 que} 0 root -68 0 0K 272K - 1 22:56 0.00% {igb1 que} 0 root -68 0 0K 272K - 0 18:23 0.00% {igb1 que} 991 bind 44 0 170M 158M kqread 2 17:13 0.00% {named} 12 root -64 - 0K 448K WAIT 3 14:41 0.00% {irq19: uhci0 uhc} 0 root -68 0 0K 272K - 3 12:23 0.00% {igb1 que} 2838 root 44 0 22968K 4288K select 2 8:09 0.00% nmbd 15 root -68 - 0K 528K - 2 7:11 0.00% {usbus1} 12 root -64 - 0K 448K WAIT 3 6:10 0.00% {irq18: atapci0} 95842 root 44 -15 381M 291M select 0 5:22 0.00% {ipcad} 95842 root 44 -15 381M 291M select 0 5:00 0.00% {ipcad} 5193 mysql 44 0 530M 230M sbwait 3 4:01 0.00% {mysqld} 95842 root 44 -15 381M 291M select 0 3:59 0.00% {ipcad} 12 root -24 - 0K 448K WAIT 0 3:22 0.00% {swi6: task queue} 55466 root 44 0 133M 13344K select 3 3:21 0.00% httpd 4 root -8 - 0K 16K - 2 3:18 0.00% g_down 95842 root 44 -15 381M 291M select 3 3:03 0.00% {ipcad} 95842 root 44 -15 381M 291M select 0 2:44 0.00% {ipcad} 95842 root 44 -15 381M 291M select 0 2:44 0.00% {ipcad} 5193 mysql 44 0 530M 230M sbwait 0 2:41 0.00% {mysqld} 12 root -32 - 0K 448K WAIT 1 2:36 0.00% {swi4: clock} 0 root 44 0 0K 272K sched 3 2:31 0.00% {swapper} 3 root -8 - 0K 16K - 2 2:30 0.00% g_up interrupt total rate irq9: acpi0 1 0 irq16: uhci3 uhci4* 4548176 3 irq18: atapci0 34623025 27 irq19: uhci0 uhci1* 101405622 81 cpu0: timer 2483132945 1985 irq256: igb0 11221794551 8974 irq257: igb0 3283616766 2626 irq258: igb0 4374356178 3498 irq259: igb0 4747002982 3796 irq260: igb0 3 0 irq261: igb1 5928023146 4740 irq262: igb1 5180884983 4143 irq263: igb1 5941854354 4751 irq264: igb1 6316231813 5051 irq265: igb1 2 0 cpu2: timer 2483148557 1985 cpu1: timer 2483132944 1985 cpu3: timer 2483161786 1985 Total 57066917834 45639 input (Total) output packets errs idrops bytes packets errs bytes colls drops 53K 0 0 29M 47K 0 29M 0 0 52K 0 0 29M 46K 0 28M 0 0 50K 0 0 27M 45K 0 27M 0 0 Edited June 25, 2010 by Hawk128 Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.