Kristoff_Vampire Опубликовано 24 июня, 2010 · Жалоба После долгих мучений и изменений параметров в loader.conf и sysctl.conf решил обратиться к вам. Поставил фрю 7.3 на сервер с 2-мя процами квадро и установил сетевую Intel® Gigabit ET Dual Port Server Adapter. драйвера - igb 1.4.1 и получил довольно слабый результат по разделению нагрузки на прерывания vmstat -i interrupt total rate irq9: acpi0 1 0 irq16: uhci3 uhci* 21 0 irq18: atapci0 1145849 0 irq19: uhci0 uhci* 13 0 cpu0: timer 2789207434 1993 irq256: igb0 1538762135 1099 irq257: igb0 1249531789 893 irq258: igb0 2 0 irq259: igb1 1475962176 1054 irq260: igb1 1285496621 918 irq261: igb1 2 0 cpu5: timer 2789206542 1993 cpu3: timer 2789206335 1993 cpu7: timer 2789205805 1993 cpu2: timer 2789206822 1993 cpu6: timer 2789205859 1993 cpu1: timer 2789206816 1993 cpu4: timer 2789206173 1993 Total 27864550395 19915 соответственно и нагрузка на проц. PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 12 root 1 171 ki31 0K 8K CPU6 6 384.8H 100.00% idle: cpu6 14 root 1 171 ki31 0K 8K CPU4 4 384.7H 100.00% idle: cpu4 11 root 1 171 ki31 0K 8K CPU7 7 384.7H 100.00% idle: cpu7 15 root 1 171 ki31 0K 8K CPU3 3 382.9H 100.00% idle: cpu3 17 root 1 171 ki31 0K 8K CPU1 1 380.4H 100.00% idle: cpu1 18 root 1 171 ki31 0K 8K RUN 0 380.1H 100.00% idle: cpu0 13 root 1 171 ki31 0K 8K CPU5 5 367.6H 100.00% idle: cpu5 16 root 1 171 ki31 0K 8K CPU2 2 350.5H 97.46% idle: cpu2 42 root 1 -68 - 0K 8K WAIT 5 20.6H 1.95% irq260: igb1 38 root 1 -68 - 0K 8K WAIT 2 37.2H 1.86% irq257: igb0 63 root 1 -68 - 0K 8K - 6 637:50 0.00% dummynet 41 root 1 -68 - 0K 8K WAIT 4 183:03 0.00% irq259: igb1 37 root 1 -68 - 0K 8K WAIT 1 170:51 0.00% irq256: igb0 40 root 1 -68 - 0K 8K - 1 93:08 0.00% igb0 taskq 44 root 1 -68 - 0K 8K - 0 90:57 0.00% igb1 taskq при загрузке всего только в 100Мб/с с ппс 15К, вся нагрузка падает только на одно прерывание каждой сетевухи гдето по 10%. Тоесть у меня пашут только 2 проца из 8ми. Виланы создаются нормально на лету --- с этим всё хорошо. Решили поставить дрова 1.8.4 от Интела и получил отличный результат по прерываниям. vmstat -i interrupt total rate irq9: acpi0 1 0 irq16: uhci3 uhci4* 10892414 3 irq18: atapci0 1233658 0 irq19: uhci0 uhci1* 101 0 cpu0: timer 5570717392 1982 irq259: igb0 3460319149 1231 irq263: igb0 2648943258 942 irq264: igb0 2652023587 943 irq265: igb0 2645790209 941 irq266: igb0 2642685718 940 irq267: igb0 6 0 irq268: igb1 3481318119 1238 irq272: igb1 2682418063 954 irq273: igb1 2685442936 955 irq274: igb1 2671308057 950 irq275: igb1 2678893673 953 irq276: igb1 6 0 cpu7: timer 5618190601 1999 cpu2: timer 5570713059 1982 cpu5: timer 5618280614 1999 cpu3: timer 5570712473 1982 cpu6: timer 5618213958 1999 cpu1: timer 5570713330 1982 cpu4: timer 5618346271 1999 Total 73017156653 25981 и загрузку сервера PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 12 root 1 171 ki31 0K 16K CPU6 6 776.2H 100.00% idle: cpu6 11 root 1 171 ki31 0K 16K CPU7 7 776.2H 100.00% idle: cpu7 17 root 1 171 ki31 0K 16K CPU1 1 740.5H 100.00% idle: cpu1 18 root 1 171 ki31 0K 16K RUN 0 729.8H 100.00% idle: cpu0 15 root 1 171 ki31 0K 16K CPU3 3 742.0H 99.85% idle: cpu3 14 root 1 171 ki31 0K 16K CPU4 4 776.0H 99.37% idle: cpu4 13 root 1 171 ki31 0K 16K CPU5 5 776.1H 99.27% idle: cpu5 16 root 1 171 ki31 0K 16K CPU2 2 741.7H 96.09% idle: cpu2 866 root 1 48 0 268M 262M select 0 424:15 5.18% bgpd 73 root 1 -68 - 0K 16K WAIT 3 20.9H 2.78% irq275: igb1 54 root 1 -68 - 0K 16K WAIT 2 17.4H 2.59% irq265: igb0 56 root 1 -68 - 0K 16K WAIT 3 17.2H 2.39% irq266: igb0 69 root 1 -68 - 0K 16K WAIT 1 21.1H 2.20% irq273: igb1 67 root 1 -68 - 0K 16K WAIT 0 21.4H 1.95% irq272: igb1 71 root 1 -68 - 0K 16K WAIT 2 20.8H 1.95% irq274: igb1 50 root 1 -68 - 0K 16K WAIT 0 17.5H 1.86% irq263: igb0 52 root 1 -68 - 0K 16K WAIT 1 17.5H 1.86% irq264: igb0 59 root 1 -68 - 0K 16K WAIT 0 344:35 0.10% irq268: igb1 42 root 1 -68 - 0K 16K WAIT 0 284:54 0.10% irq259: igb0 20 root 1 -32 - 0K 16K WAIT 7 203:57 0.00% swi4: clock sio 26 root 1 44 - 0K 16K - 6 92:12 0.00% yarrow 94 root 1 -68 - 0K 16K - 4 61:26 0.00% dummynet # netstat -I igb1 -h 1 input (igb1) output packets errs bytes packets errs bytes colls 21K 0 13M 19K 0 12M 0 21K 0 15M 19K 0 12M 0 24K 0 16M 20K 0 13M 0 Всё отлично - доволен. Но тут прикол при присваивании вилану парента стевуха делает DOWN, потом UP. Ясень пень весь траф по другим виланам на этой сетевухе дропается. Но и дальше галяк. После того как сетевуха делает UP при серьёзной нагрузке , траф уже не ходит. Кто имел опыт работы с данной сетевой на Фре? Может кто-то знает патч для дров 1.8.4 что бы виланы создовались нормально? Есть ли такие проблемы на 8-ке? Есть ли такие грабли с сетевой Intel® PRO/1000 PT Dual Port Server Adapter? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AntonS Опубликовано 25 июня, 2010 · Жалоба обновись давно во фре дрова поменяли и работает вроде нормально под нагрузкой не тестил Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Kristoff_Vampire Опубликовано 25 июня, 2010 · Жалоба обновлял до 1.9.6 --- почти таже картина. Только трафик востанавливается. Но как-то не греет душу что на 3-5 сек интерфейс уходит в DOWN со всеми виланами на борту :( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 25 июня, 2010 (изменено) · Жалоба Речь про обновление FreeBSD и использование ее драйвера. Сам сижу на 8.1 pre тоже на igb - работают замечательно. Изменено 25 июня, 2010 пользователем Hawk128 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Kristoff_Vampire Опубликовано 25 июня, 2010 · Жалоба Речь про обновление FreeBSD и использование ее драйвера. Сам сижу на 8.1 pre тоже на igb - работают замесательно. Можете показать вывод vmstat -I и top -S. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Hawk128 Опубликовано 25 июня, 2010 (изменено) · Жалоба last pid: 7725; load averages: 1.25, 1.71, 1.93 up 14+11:32:52 22:41:02 883 processes: 5 running, 850 sleeping, 28 waiting CPU: 0.8% user, 0.0% nice, 27.9% system, 19.5% interrupt, 51.8% idle Mem: 502M Active, 2083M Inact, 894M Wired, 15M Cache, 617M Buf, 2343M Free Swap: 2048M Total, 384K Used, 2048M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 11 root 171 ki31 0K 64K CPU3 3 213.0H 58.50% {idle: cpu3} 11 root 171 ki31 0K 64K RUN 2 205.7H 53.47% {idle: cpu2} 11 root 171 ki31 0K 64K CPU1 1 195.1H 50.29% {idle: cpu1} 11 root 171 ki31 0K 64K CPU0 0 191.9H 48.97% {idle: cpu0} 13 root 76 - 0K 64K sleep 0 79.3H 26.86% {ng_queue3} 13 root 76 - 0K 64K sleep 0 79.3H 26.86% {ng_queue1} 13 root 73 - 0K 64K sleep 1 79.3H 26.76% {ng_queue2} 13 root 76 - 0K 64K sleep 2 79.3H 25.78% {ng_queue0} 12 root -68 - 0K 448K WAIT 1 49.9H 18.90% {irq262: igb1} 12 root -68 - 0K 448K WAIT 3 52.6H 18.65% {irq264: igb1} 12 root -68 - 0K 448K WAIT 2 50.6H 17.48% {irq263: igb1} 12 root -68 - 0K 448K WAIT 0 51.9H 15.97% {irq261: igb1} 12 root -68 - 0K 448K WAIT 0 628:33 3.27% {irq256: igb0} 12 root -68 - 0K 448K WAIT 3 433:18 1.76% {irq259: igb0} 12 root -68 - 0K 448K WAIT 2 410:03 1.46% {irq258: igb0} 12 root -68 - 0K 448K WAIT 1 303:18 1.27% {irq257: igb0} 86970 root 45 0 62444K 31920K select 3 249:42 1.27% {mpd5} 95842 root 44 -15 381M 291M select 3 159:17 0.49% {ipcad} 12 root -32 - 0K 448K WAIT 3 72:24 0.00% {swi4: clock} 0 root -68 0 0K 272K - 1 70:05 0.00% {igb0 que} 0 root -68 0 0K 272K - 3 29:33 0.00% {dummynet} 14 root 44 - 0K 16K - 1 28:50 0.00% yarrow 991 bind 44 0 170M 158M ucond 0 28:07 0.00% {named} 991 bind 44 0 170M 158M ucond 3 28:04 0.00% {named} 991 bind 44 0 170M 158M ucond 2 28:01 0.00% {named} 991 bind 44 0 170M 158M ucond 1 27:59 0.00% {named} 0 root -68 0 0K 272K - 0 25:14 0.00% {igb1 que} 0 root -68 0 0K 272K - 1 22:56 0.00% {igb1 que} 0 root -68 0 0K 272K - 0 18:23 0.00% {igb1 que} 991 bind 44 0 170M 158M kqread 2 17:13 0.00% {named} 12 root -64 - 0K 448K WAIT 3 14:41 0.00% {irq19: uhci0 uhc} 0 root -68 0 0K 272K - 3 12:23 0.00% {igb1 que} 2838 root 44 0 22968K 4288K select 2 8:09 0.00% nmbd 15 root -68 - 0K 528K - 2 7:11 0.00% {usbus1} 12 root -64 - 0K 448K WAIT 3 6:10 0.00% {irq18: atapci0} 95842 root 44 -15 381M 291M select 0 5:22 0.00% {ipcad} 95842 root 44 -15 381M 291M select 0 5:00 0.00% {ipcad} 5193 mysql 44 0 530M 230M sbwait 3 4:01 0.00% {mysqld} 95842 root 44 -15 381M 291M select 0 3:59 0.00% {ipcad} 12 root -24 - 0K 448K WAIT 0 3:22 0.00% {swi6: task queue} 55466 root 44 0 133M 13344K select 3 3:21 0.00% httpd 4 root -8 - 0K 16K - 2 3:18 0.00% g_down 95842 root 44 -15 381M 291M select 3 3:03 0.00% {ipcad} 95842 root 44 -15 381M 291M select 0 2:44 0.00% {ipcad} 95842 root 44 -15 381M 291M select 0 2:44 0.00% {ipcad} 5193 mysql 44 0 530M 230M sbwait 0 2:41 0.00% {mysqld} 12 root -32 - 0K 448K WAIT 1 2:36 0.00% {swi4: clock} 0 root 44 0 0K 272K sched 3 2:31 0.00% {swapper} 3 root -8 - 0K 16K - 2 2:30 0.00% g_up interrupt total rate irq9: acpi0 1 0 irq16: uhci3 uhci4* 4548176 3 irq18: atapci0 34623025 27 irq19: uhci0 uhci1* 101405622 81 cpu0: timer 2483132945 1985 irq256: igb0 11221794551 8974 irq257: igb0 3283616766 2626 irq258: igb0 4374356178 3498 irq259: igb0 4747002982 3796 irq260: igb0 3 0 irq261: igb1 5928023146 4740 irq262: igb1 5180884983 4143 irq263: igb1 5941854354 4751 irq264: igb1 6316231813 5051 irq265: igb1 2 0 cpu2: timer 2483148557 1985 cpu1: timer 2483132944 1985 cpu3: timer 2483161786 1985 Total 57066917834 45639 input (Total) output packets errs idrops bytes packets errs bytes colls drops 53K 0 0 29M 47K 0 29M 0 0 52K 0 0 29M 46K 0 28M 0 0 50K 0 0 27M 45K 0 27M 0 0 Изменено 25 июня, 2010 пользователем Hawk128 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
