jab Опубликовано 8 февраля, 2008 · Жалоба Ну не хотите отвечать. Не надо. Но я бы начал с покупки нормальной pcie сетевухи. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dsk Опубликовано 8 февраля, 2008 (изменено) · Жалоба Не заметил первого вопроса. Поллинга в ядре сейчас нет. net.inet.ip.intr_queue_maxlen: 1000 dev.em.0.%desc: Intel® PRO/1000 Network Connection Version - 6.6.6 dev.em.0.%driver: em dev.em.0.%location: slot=25 function=0 handle=\_SB_.PCI0.ILAN dev.em.0.%pnpinfo: vendor=0x8086 device=0x294c subvendor=0x8086 subdevice=0x0001 class=0x020000 dev.em.0.%parent: pci0 dev.em.0.debug_info: -1 dev.em.0.stats: -1 dev.em.0.rx_int_delay: 0 dev.em.0.tx_int_delay: 66 dev.em.0.rx_abs_int_delay: 66 dev.em.0.tx_abs_int_delay: 66 dev.em.0.rx_processing_limit: 100 dev.em.0.wake: 0 При эксперименте было #kern.polling.enable=1 #kern.polling.idle_poll=1 #kern.polling.reg_frac=40 #kern.polling.each_burst=20 #kern.polling.user_frac=0 #kern.polling.burst_max=1000 Ошибки кстати есть всегда, что с POLLING-ом, что с FAST-ом. Изменено 8 февраля, 2008 пользователем dsk Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 8 февраля, 2008 · Жалоба dev.em.0.rx_int_delay: 0dev.em.0.tx_int_delay: 66 dev.em.0.rx_abs_int_delay: 66 dev.em.0.tx_abs_int_delay: 66 dev.em.0.rx_processing_limit: 100 dev.em.0.wake: 0 И сколько интерраптов на один пакет при таких таймаутах ? Ошибки кстати есть всегда, что с POLLING-ом, что с FAST-ом. Как я уже писал выше - для начала я бы сменил сетевуху на pcie. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dsk Опубликовано 9 февраля, 2008 (изменено) · Жалоба И сколько интерраптов на один пакет при таких таймаутах ? 22kpps поровну в обе стороны, 7700 интерраптов. Это дефолтные значения. Изменено 10 февраля, 2008 пользователем dsk Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 10 февраля, 2008 · Жалоба То есть при 200kpps будет 80k интерраптов ? Увеличивайте таймауты, если ошибки не пропадут - меняйте сетевуху. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dsk Опубликовано 11 февраля, 2008 (изменено) · Жалоба dev.em.0.rx_int_delay: 1500 dev.em.0.tx_int_delay: 1500 dev.em.0.rx_abs_int_delay: 2000 dev.em.0.tx_abs_int_delay: 2000 1030-1050 интерраптов packets errs bytes packets errs bytes colls 151039 4 73000803 150941 0 72977720 0 149300 10 71761406 149266 0 71739683 0 151245 8 72989610 151250 0 72967589 0 150218 0 72341372 150118 0 72318851 0 151137 0 73122608 151073 0 73096815 0 149645 0 71632226 149579 0 71611218 0 153656 0 75507882 153659 0 75484595 0 151229 0 73238963 151138 0 73217716 0 150407 0 72422611 150371 0 72399639 0 Изменено 11 февраля, 2008 пользователем dsk Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
glat Опубликовано 17 февраля, 2008 (изменено) · Жалоба А как бороться с ошибками на BGE? кто то с таким сталкивался? при команде netstat -I bge0 -w 1 input (bge0) output packets errs bytes packets errs bytes colls 21822 764 17627673 27335 0 16352345 0 21706 625 17480872 26536 0 16087454 0 21177 458 18105983 25317 0 14178432 0 21589 767 17947001 26902 0 15989540 0 21026 754 17610183 26181 0 15674706 0 21458 603 17711420 26296 0 14662730 0 Что интересно после полного ребута сервера все нормализуется и производительность вырастает в 1.5-2 раза и ошибок 1-2 или 0, по прошествии 40минут-1го часа снова начинаются ошибки, сперва прыгает то 2-10 то 100, потом до 200-300 вырастает а уже через пару-тройку часов до 1000 доходит, подскажете куда копать? Изменено 17 февраля, 2008 пользователем glat Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dsk Опубликовано 17 февраля, 2008 (изменено) · Жалоба Это все из той же оперы что и у меня, только у вас с производительностью совсем как-то печально... Вообще у вас судя по всему что-то ресурсы начинает сжирать после некоторой работы, в top -S посмотрите когда ошибки появятся. Изменено 17 февраля, 2008 пользователем dsk Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
glat Опубликовано 17 февраля, 2008 (изменено) · Жалоба в общем то в топе ничего такого не видно last pid: 23602; load averages: 1.56, 2.48, 2.96 up 0+01:58:07 15:46:33 199 processes: 14 running, 170 sleeping, 15 waiting CPU states: 5.3% user, 0.0% nice, 15.4% system, 32.2% interrupt, 47.1% idle Mem: 282M Active, 367M Inact, 173M Wired, 40K Cache, 112M Buf, 1180M Free Swap: 4069M Total, 4069M Free PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 14 root 1 171 52 0K 8K RUN 3 90:38 76.66% idle: cpu3 13 root 1 171 52 0K 8K CPU4 4 78:19 68.41% idle: cpu4 15 root 1 171 52 0K 8K RUN 2 86:50 66.89% idle: cpu2 31 root 1 -68 -187 0K 8K WAIT 1 97:03 66.16% irq24: bge0 12 root 1 171 52 0K 8K RUN 5 81:19 62.40% idle: cpu5 28 root 1 -68 -187 0K 8K WAIT 6 39:30 42.82% irq16: em0 29 root 1 -68 -187 0K 8K CPU7 7 79:41 42.09% irq18: em1 ar 18 root 1 -44 -163 0K 8K CPU6 6 25:12 38.33% swi1: net 10 root 1 171 52 0K 8K RUN 7 48:18 34.57% idle: cpu7 17 root 1 171 52 0K 8K CPU0 0 37:55 30.81% idle: cpu0 16 root 1 171 52 0K 8K RUN 1 47:48 26.27% idle: cpu1 11 root 1 171 52 0K 8K RUN 6 21:53 24.02% idle: cpu6 30 root 1 -68 -187 0K 8K WAIT 0 60:58 23.29% irq19: em2 911 root 1 87 0 6912K 6452K RUN 0 23:35 14.26% natd 37 root 1 -68 0 0K 8K - 6 12:16 14.26% dummynet 1686 mysql 14 20 0 151M 55284K kserel 2 38:46 12.70% mysqld 917 root 1 80 0 5408K 4884K select 7 11:59 5.22% natd 1809 root 1 8 0 103M 82844K nanslp 3 4:53 2.25% perl 1648 root 13 76 -15 39432K 37704K CPU3 0 29:03 0.00% ipcad 1555 icecast 22 20 0 11964K 6644K kserel 0 5:45 0.00% icecast 19 root 1 -32 -151 0K 8K WAIT 0 1:58 0.00% swi4: clock s 1460 bind 1 76 0 17352K 16540K select 0 0:49 0.00% named но вот что заметил, снижает количество ошибок если я вместо add 4950 allow ip from "table(20)" to "table(20)" ставлю add 4950 pipe 15 ip from "table(20)" to "table(20)" pipe 15 config bw 10000Kbit/s mask dst-ip 0XFFFFFFFF в таблице 20 список внутренних адресов с маской 32, всего около 1500-2000 штук и еще когда прут ошибки, здесь топ когда мало ошибок, то строка 31 root 1 -68 -187 0K 8K WAIT 1 97:03 66.16% irq24: bge0 показывает загрузку 80-98% Изменено 17 февраля, 2008 пользователем glat Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 17 февраля, 2008 · Жалоба Это прям из анекдота про авиалайнер "а теперь со всей этой ***ней мы попробуем взлететь". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dsk Опубликовано 17 февраля, 2008 · Жалоба Фильм ужасов какой-то прям а не top... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
glat Опубликовано 17 февраля, 2008 · Жалоба Это прям из анекдота про авиалайнер "а теперь со всей этой ***ней мы попробуем взлететь". как решу проблему обязательно с вами посмеюсь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
glat Опубликовано 17 февраля, 2008 · Жалоба я конечно новичок в этом, но может хоть намек дадите куда копать, система freebsd 6.3, используется ipfw + dammynet + natd, Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 17 февраля, 2008 · Жалоба Копать надо могилу... тому кто это проектировал... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dsk Опубликовано 17 февраля, 2008 · Жалоба Соскочите с natd на pf nat. Далее на em включите fast_intr или поллинг на крайняк. Далее рихтуйте файрвол. Попробуйте после еще каким-то образом убрать трафик с bge (или развланить какой-то из em или воткнуть еще один). Далее копать могилу как уже выше сказали... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
glat Опубликовано 17 февраля, 2008 · Жалоба как на em включить fast_intr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dsk Опубликовано 17 февраля, 2008 · Жалоба Поллинг из ядра уберите, оно включится. Дальше читайте man em играйтесь с sysctl: dev.em.X.rx_int_delay dev.em.X.tx_int_delay dev.em.X.rx_abs_int_delay dev.em.X.tx_abs_int_delay Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 17 февраля, 2008 · Жалоба У него там и нет поллинга, судя по всему... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
glat Опубликовано 18 февраля, 2008 (изменено) · Жалоба что тут другое, вчера перешел с natd на pf нина грам не улучшилось сейчас утром нагрузка на интерфейса такая же, а работает идеально. и еще вот что меня настораживает, раньше когда вводил шейп на внутренний трафик серв начинал тормозить, правда система была 6.2, а сейчас 6.3 и получается полностью наоборот, включаю шейп, пусть даже ставлю там ограничение по 100 мбит на каждого работает лучше чем с правилом allow from any to any кстати для проверки правил ipfw ставил такую строку в самом начале после ната, ничего не менялось. ничё не понимаю, в какомто тупике просто. Изменено 18 февраля, 2008 пользователем glat Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 18 февраля, 2008 · Жалоба Сначала разберитесь с интерраптами на сетевухах, все остальное - потом... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
glat Опубликовано 18 февраля, 2008 · Жалоба Сначала разберитесь с интерраптами на сетевухах, все остальное - потом... Как это можно сделать? прошу прощения за глупый вопрос, Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
glat Опубликовано 18 февраля, 2008 · Жалоба Можно ли как то в tcpdump захватить пакеты определенного размера или до какогото размера, например все пакеты до 64 байт Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 18 февраля, 2008 · Жалоба Можно ли как то в tcpdump захватить пакеты определенного размера или до какогото размера, например все пакеты до 64 байт less 64 man tcpdump пять раз Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dsk Опубликовано 19 февраля, 2008 · Жалоба Как это можно сделать? прошу прощения за глупый вопрос, В этом посте достаточно много информации как раз по теме этих интерраптов... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mikevlz Опубликовано 20 февраля, 2008 · Жалоба А кто из гуру может откомментировать такую картинку в топе: PID USERNAME THR PRI NICE SIZE RES STATE C TIME CPU COMMAND 12 root 1 171 52 0K 8K RUN 0 136.9H 48.93% idle: cpu0 11 root 1 171 52 0K 8K CPU1 1 144.0H 45.61% idle: cpu1 15 root 1 -44 -163 0K 8K WAIT 1 49.3H 32.03% swi1: net BSD6.1. IPFW, ng_netflow, ng_nat. Кто такой этот зверь swi1:net ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...