[jab]

 

А какая буква непонятна ?

[Giga-Byte]

Ситуация следующая.

Имеется несколько серверов под freebsd 6.3 и 5.5 для проверки. На всех работает mpd5 release для PPPoE, НАТА нету. Pipe нарезаются на этих же серверах. По железу: сервера SuperMicro процы разные от Dual Core до Quad Xeon. Но проблема везде одинаковая, при создании более 300 сессий mpd просто подвисает или сам себя тушит аккуратненько без логирования ощибок. Нормально ли это. Хочется ешё некоторое время пожить без аппаратного решения BRAS. Возможно ли это.

mpd5 даже в тестовом (не в продакшне) режиме всяко разно выёживался, то подвиснет, то вылетит, то ещё ченить

 

юзаю на боевом сервере mpd4.4 PPTP без шифрования и без сжатия

мать Intel S3000AHV http://www.intel.com/design/servers/boards/s3000ah/index.htm

проц Pentium D 821 помоему частота 2.8GHz, типа двухядерный

ECC память, ну винт, больше ничего нет

одна интегрированая сетевая, трафик 14Мбит, порядка 6kpps, подключений до 450 (судя по постам ниже ещё столкнусь с maxpipekva :) )

использую пока ipfw dummynet, swi: net отъедает под 40%

с ним вообще проблем нет

 

скоро буду переходить на PPPoE и ставить пару серверов, на нарезку использовать ng_car и ng_bpf для фильтров

 

Изменено 20 февраля, 2008 пользователем Giga-Byte

[mikevlz]

непонятна буква "swi1:net". Этахто? Чем конкретно занимается этот процесс?

[jab]

 

http://www.rambler.ru/dict/scripts/go.cgi?...=0&count=15

[dsk]

Файрвол оптимизировать.

[mikevlz]

понял. спасибо.

[RussianE39]

6 ветка фрибсд не использует все преимущества многоядерности, начиная от сетевого стэка и заканчивая шедулером. Попробуйте 7.0 или DragonFly BSD.

 

P.S. jab'у мегазачот :-)

[glat]

Как это можно сделать?

 

прошу прощения за глупый вопрос,

В этом посте достаточно много информации как раз по теме этих интерраптов...

проблема не столько с интераптами сколько с производительностью сетевой подсистемы. вот например

 

netstat -I em2 -w1
            input          (em2)           output
   packets  errs      bytes    packets  errs      bytes colls
     22779     0    9269182       7340     0    4471123     0
     21494     0   10282791       8086     0    4835633     0

и при этом загрузка сетевой 90%

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   30 root        1 -68 -187     0K     8K CPU6   7 698:26 92.48% irq19: em2
   12 root        1 171   52     0K     8K RUN    5  23.9H 65.38% idle: cpu5
   14 root        1 171   52     0K     8K RUN    3  19.7H 52.59% idle: cpu3
   13 root        1 171   52     0K     8K RUN    4  24.1H 51.86% idle: cpu4
   28 root        1 -68 -187     0K     8K CPU7   7 279:17 51.12% irq16: em0
   29 root        1 -68 -187     0K     8K RUN    7 391:47 50.34% irq18: em1 arcmsr0
   17 root        1 171   52     0K     8K RUN    0 734:46 48.83% idle: cpu0
   15 root        1 171   52     0K     8K RUN    2  18.6H 44.34% idle: cpu2

 

что произошло с системой понять не могу. раньше грузило 50-60% при трафике по 30-40 мбайт в каждую сторону и pps суммарно 80-100к а тут при суммарном 15 мбайт и pps 30 грузит на 90%

 

кстати почти все рекомендации я сделал но так и не получил никакого результата

 

Да вот, за два дня до начала этих проблем была обновлена система с 6,2 до 6,3, и после обновления все было нормально два дня.

Изменено 22 февраля, 2008 пользователем glat

[dsk]

кстати почти все рекомендации я сделал но так и не получил никакого результата

Что-то не так делали.

[glat]

может быть,

но тогда как объяснить то что после ребута загрузка в top снижается в двое, а сегодня утром например загрузка была даже выше на пару % чем вчера вечером в пик, а количество ппс меньше процентов на 40.

если бы хоть одно из вышеперечисленного дало хоть какойто результат хоть на 5-10% улучшилось, но нет, такое впечатление что я просто вытер пыль с монитора. Ни в лево ни в право.

посмейтесь, а мне прийдется лить систему с нуля, может хоть это даст какието результаты.

[RussianE39]

glat, Попробуйте яндексовые драйвера для em

[glat]

простите что донимаю вас своими вопросами, но сегодня на втором серваке, на нем тоже стоит система FreeBSD6.3, обнаружил такую странную штуку

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   10 root        1 171   52     0K     8K CPU7   7  79:07 92.48% idle: cpu7
   11 root        1 171   52     0K     8K CPU6   6  78:04 92.48% idle: cpu6
   12 root        1 171   52     0K     8K CPU5   5  71:12 92.48% idle: cpu5
   13 root        1 171   52     0K     8K CPU4   4  63:38 92.48% idle: cpu4
   14 root        1 171   52     0K     8K CPU3   3  72:32 63.13% idle: cpu3
   17 root        1 171   52     0K     8K CPU0   0  61:52 60.89% idle: cpu0
   16 root        1 171   52     0K     8K RUN    1  44:21 51.86% idle: cpu1
   15 root        1 171   52     0K     8K CPU2   2  67:11 42.09% idle: cpu2
3463 root        1 -16    0  4308K  2124K wdrain 2   0:56 23.29% mc
   29 root        1 -68 -187     0K     8K WAIT   2   0:23  6.01% irq19: em1 uhci1+
   18 root        1 -44 -163     0K     8K WAIT   1  10:32  3.71% swi1: net
   28 root        1 -68 -187     0K     8K WAIT   1   7:16  2.25% irq18: em0 arcmsr+

 

при этом на em1 даже не подняты никакие айпихи и порт no carrier.

ifconfig
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
        options=1b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING>
        inet 192.168.0.2 netmask 0xfffffc00 broadcast 192.168.0.255
        ether 00:30:48:62:12:52
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
em1: flags=8802<BROADCAST,SIMPLEX,MULTICAST> mtu 1500
        options=1b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING>
        ether 00:30:48:62:12:53
        media: Ethernet autoselect
        status: no carrier
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 163

[jab]

А нефиг шарить irq со всякими USB и SATA. В морг, короче.

[doubtpoint]

 

непонятна буква "swi1:net". Этахто? Чем конкретно занимается этот процесс?

Файрвол оптимизировать.

У нас mpd под этим процессом живет(Не смотря, что он отдельной строчкой прописан).

 

  16 root        1 -44 -163     0K     8K CPU3   3 269.4H 81.20% swi1: net
   13 root        1 171   52     0K     8K RUN    0 192.6H 66.06% idle: cpu0
   12 root        1 171   52     0K     8K RUN    1 164.0H 50.88% idle: cpu1
   10 root        1 171   52     0K     8K RUN    3 200.1H 49.51% idle: cpu3
   11 root        1 171   52     0K     8K RUN    2 162.2H 47.95% idle: cpu2
   27 root        1 -68 -187     0K     8K WAIT   0  31.0H  9.67% irq19: em1
   26 root        1 -68 -187     0K     8K WAIT   3  30.2H  8.35% irq18: em0
   41 root        1 -68    0     0K     8K CPU0   0  89.2H  5.76% dummynet
21680 daemon      1   4    0 18940K 10544K kqread 2   0:13  0.88% httpd
21600 daemon      1  20    0 13336K  5060K lockf  0   0:15  0.68% httpd
31096 root        5  20    0 32112K 12228K kserel 2 164.9H  0.00% mpd4
  974 root      573  20  -15   254M   182M kserel 3  66.5H  0.00% ipcad
1650 mysql      12  20    0  1120M   950M kserel 1 653:24  0.00% mysqld
   14 root        1 -32 -151     0K     8K WAIT   0 483:56  0.00% swi4: clock sio
  674 root        1  96    0 15576K 14480K select 3 241:08  0.00% routed
  794 bind        1  96    0 91452K 87196K select 0 165:43  0.00% named
   17 root        1  96    0     0K     8K -      0  74:27  0.00% yarrow
  723 root        1  96    0  1408K   420K select 0  30:32  0.00% syslogd
1077 root        1  96    0  1476K   452K select 2  26:02  0.00% inetd
   48 root        1  20    0     0K     8K syncer 0  24:42  0.00% syncer
    3 root        1  -8    0     0K     8K -      3  23:55  0.00% g_up
  862 root        6  20    0  6612K  1692K kserel 1  21:08  0.00% radiusd
    4 root        1  -8    0     0K     8K -      3  19:47  0.00% g_down
   42 root        1 -16    0     0K     8K psleep 3  17:59  0.00% pagedaemon
   44 root        1 171   52     0K     8K pgzero 0  16:49  0.00% pagezero
   19 root        1 -40 -159     0K     8K WAIT   2  10:07  0.00% swi2: cambio
   24 root        1 -64 -183     0K     8K WAIT   2   9:29  0.00% irq16: mpt0
   50 root        1 -64    0     0K     8K -      0   6:44  0.00% schedcpu
3235 dhcpd       1  96    0  4684K  1476K select 3   4:32  0.00% dhcpd
  993 root        1  96    0  3552K   496K select 0   3:27  0.00% sshd
    2 root        1  -8    0     0K     8K -      0   1:48  0.00% g_event
  871 root        1  96    0  6156K   424K select 2   1:47  0.00% snmpd
   43 root        1  20    0     0K     8K psleep 1   1:08  0.00% vmdaemon
49404 root        1   8    0 12556K  4976K nanslp 2   0:50  0.00% httpd
   49 root        1 -16    0     0K     8K sdflus 0   0:37  0.00% softdepflush

 

 

Возможно сделать mpd загрузку более 99%(Несколько процессоров) ?

 

[doubtpoint]

 

PS: Странно. Вроде нагрузка по каждому процессору не доходит до 60(Т.е. smp работатет), а swi1: net больше 99 не поднимается

[RussianE39]

-1 root 76 -64 0K 0K waitpo 3 16.8H 0.00% 0.00% <netisr_cpu 3>

-1 root 76 -64 0K 0K waitpo 2 669:47 0.00% 0.00% <netisr_cpu 2>

-1 root 76 -64 0K 0K waitpo 1 552:38 0.00% 0.00% <netisr_cpu 1>

-1 root 76 -64 0K 0K waitpo 0 308:33 0.00% 0.00% <tcp_thread 0>

-1 root 76 -64 0K 0K waitpo 3 209:23 0.00% 0.00% <tcp_thread 3>

-1 root 76 -64 0K 0K waitpo 1 207:19 0.00% 0.00% <tcp_thread 1>

-1 root 76 -64 0K 0K waitpo 2 199:36 0.00% 0.00% <tcp_thread 2>

-1 root 76 -64 0K 0K waitpo 0 65:03 0.00% 0.00% <netisr_cpu 0>

-1 root 76 -64 0K 0K waitpo 0 20:27 0.00% 0.00% <udp_thread 0>

-1 root 76 -64 0K 0K waitpo 3 12:08 0.00% 0.00% <udp_thread 3>

-1 root 76 -64 0K 0K waitpo 1 11:04 0.00% 0.00% <udp_thread 1>

-1 root 76 -64 0K 0K waitpo 2 10:04 0.00% 0.00% <udp_thread 2>

-1 root 76 -64 0K 0K waitpo 3 0:25 0.00% 0.00% <rtable_cpu 3>

-1 root 76 -64 0K 0K waitpo 0 0:22 0.00% 0.00% <rtable_cpu 0>

-1 root 76 -64 0K 0K waitpo 2 0:20 0.00% 0.00% <rtable_cpu 2>

-1 root 76 -64 0K 0K waitpo 1 0:11 0.00% 0.00% <rtable_cpu 1>

-1 root 78 -66 0K 0K 3 0:00 0.00% 0.00% <softclock 3>

-1 root 78 -66 0K 0K 1 0:00 0.00% 0.00% <softclock 1>

-1 root 78 -66 0K 0K 2 0:00 0.00% 0.00% <softclock 2>

# uname

DragonFly

 

Вот так выглядит правильный top ж)

 

[aag]

Господа, так всё же кто что скажет.

Есть 4000 юзеров PPPoE. Одновременно около 1500 могут сидеть.

Ближайшие планы 10000, т.е. одновременно нужно держать около 5000 соединений PPPoE.

+ 3 классовый шейпинг (внешний, городской, внутренний).

На чём это можно организовать.

Juniper ERX-310

максимум 8000 сессий(только нужно отдельную лицензию покупать, по дефолту 4000),

максимум по траффику 2Гб/с на карту(возможно 2 карты поставить).

В отличии от cisco реальные пределы соответствуют заявленным значениям.

Свичинг у него на аппаратном уровне, так что при достижении пределов по траффику и сессиям загрузка процессора менее 10%.

Цена в интервале 20k$-30k$

[visir]

Вы не число сессий сравнивайте, а pps. Загрузка того же NPE-G1 зависит не столько от самого числа сессий, сколько от трафика в них.

А еще это значит, что с дальнейшим увеличением скоростей анлимов одна железка будет тянуть меньше "реальных" сессий ;)

[tgz]

Мы усиленно ждем cisco asr. Хотя вообще vpdn сосет конечно.

[LordFAntom]

На данный момент подключено около 3000 пользователей, РРРоЕ на 7204 с NPE-G1, при 900 одновременно работающих загрузка порядка 60-65%. Как быть дальше, что выбрать, следующий шаг - NPE-G2? Но допустим его хватит еще на тысячи две пользователей (работающих). А в будущем когда пользователей еще больше будет? Добавлять 7201 по мере роста количества? Может быть есть более изящное решение для операторов, что-то, что сможет держать до 10000 пользователей с трафиком около 4-6 Гиг? Вопрос возник потому что возможности NPE-G2 могут быть превышены уже в этом году. Вот и призадумался.

Cisco 3745 народу от 400 до 800 загрузка проца максимум 40 %

кушают 36 Мбит ))))

 

что то загрузка 60-65 % сильно смущает )))) и это при 900 юзверях

[Nafanya]

На данный момент подключено около 3000 пользователей, РРРоЕ на 7204 с NPE-G1, при 900 одновременно работающих загрузка порядка 60-65%. Как быть дальше, что выбрать, следующий шаг - NPE-G2? Но допустим его хватит еще на тысячи две пользователей (работающих). А в будущем когда пользователей еще больше будет? Добавлять 7201 по мере роста количества? Может быть есть более изящное решение для операторов, что-то, что сможет держать до 10000 пользователей с трафиком около 4-6 Гиг? Вопрос возник потому что возможности NPE-G2 могут быть превышены уже в этом году. Вот и призадумался.

Cisco 3745 народу от 400 до 800 загрузка проца максимум 40 %

кушают 36 Мбит ))))

 

что то загрузка 60-65 % сильно смущает )))) и это при 900 юзверях

кто-то терминирует туннели в инет, а кто-то и локал в них гоняет... :-\

[Telesis]

Вот на 7206-G2, примерно 800PPPoE. Без всяких шейперов, только асл не сложные.

[Cr_net]

Вот на 7206-G2, примерно 800PPPoE. Без всяких шейперов, только асл не сложные.

На G2, в пиках 1100 пользователей, трафика через неё 600-650Mb/s, загрузка cpu 78%,

из фич isq с двумя классами, и 30% препаид, pppoe, полисинг, acl.

До этого был иерархический шейпинг на два класса, при 750 пользователях 85% cpu с трафиком 500mb/s плюс все теже самые фичи.

Плюс при шейпинге обнаружилась бага, роуте мап с шейпом применялся, но примерно для 20% юзеров шейп не отрабатывал, закономерность

выявить не удалось. По дороге выяснили что ещё кто то нарывался на такое. Кейс открыт, но надежды мало ибо смартнет кончился.

Заменили на полисинг в том числе чтобы разгрузить cpu.

 

[cmhungry]

Мы усиленно ждем cisco asr. Хотя вообще vpdn сосет конечно.

ну... ASR - это софтрутер на 5 гбит младшая модель... 10 гбит постарше.

Может, на vpdn и ничего, но я бы чего-нибудь другое смотрел уже.

[Andrey]

из микротиковского форума:

 

It's realy rocks I have now 8 procesors look at the picture..

4500 clients on it, Connection tracing enabled , queues for all the clients with pcq , nat for 3000 of them

 

1x Server Case Supermicro CSE-823i-550LP, 550W PSU, 2U, 6 x HDD drives, 1 x 5.25" &

1x Supermicro X7DVL-E Dual Xeon, 667/ 1066/1333MHz FSB, Intel 5000V Chipset, Up to 16GB DDR2 667 & 533 (FB-DIMM), 6x SATA 3.0Gbps,RAID0.1,5,10 support, 2x PCIExpress, 2 x PCI-X, Intel dual port gigabit LAN, IPMI support, VGA

2x Intel Clovertown E5310 1.60GHz 8M cache, 1066FSB, Quad core

2x FBDIMM DDR-II 1.0GB PC667

1x INTEL PRO/1000 PT Dual-Port Server Adapter Network Adapter (10/100/1000Base-T, 1 бр

Bulk, Ethernet, Ethernet)

 

там еще и картинки есть :)

http://forum.mikrotik.com/viewtopic.php?f=2&t=21505