И снова выбор коммутатора. Сеть 2000 абонентов.

iglide · February 5, 2009

Уважаемые господа!

Проведя несколько дней (и ночей) на форуме, вынужден все же просить совета. Ответ на свой вопрос, к сожалению, так и не нашел, а решение нужно принимать как можно быстрее.

Суть вопроса - набивший всем оскомину выбор коммутатора в ядро.

На данный момент в сети наблюдается порядка 2000 хостов.

17 оптических + 2 медных 100Мбит/с линка заведены в 24-х портовый D-Link DGS-3100.

Поднято 19виланов. Все юзвери ходят в интернет через PPPoE, поднимаемые на FreeBSD, стоящей за длинком.

Проблема заключена в следующем. Вечером, когда количество PPPoE-сессий максимально (обычно 700-800шт), на длинке наблюдаются задержки до 20мс. Были также дропы на общем порту, но с последней прошивкой от саппорта, дропы исчезли. Однако, пользователи не устают жаловаться на низкую скорость в сети (закачка 4ГБ файла внутри локалки растягивается на долгие, долгие часы).

На поставленный вопрос саппорту был получен ответ, мол, не для таких нагрузок сия железка, и как вариант был предложен 3627G.

Но, позвольте, в свитче гигабитные порты, а включены в них 100Мбит конверторы. К тому же, судя по snmp-графикам, порты нагружены до 40-60 Мбит. Максимальная нагрузка на общем (агрегирующем?) порту, и то не превышает 120Мбит/с.

Где грабли?

По данным с оф.сайта длинка свитч имеет Коммутационную матрицу -68 Гбит/с и вытягивает 50.6 Mpps.

Я не против поменять длинк на что-либо более вменяемое, да только на что? И на какие попугаи обращать внимание при выборе?

Выбор в регионе к тому же не сильно велик. Предлагают:

ATI AT -9448T/SP - 48 гигабитных портов, но с матрицей 96Гб/с и скоростью 71.242Mpps. Что не на много отличается от длинка, но существенно отличается по цене ($3200)

Есть вариант космического AT -9924SP за, почти $4000 без SFP-модулей, да плюс еще сами SFP-модули.

Ну и самый либеральный вариант - Nortel ERS 4524GT ($2400). Характеристики почти те же.

Есть еще циски C2960. Но, при своей цене около $2000, сомнительно что они переплюнут вышеуказанные девайсы.

Помогите внести ясность - на чем же остановиться?

А может и не лезть в дебри-то? Может просто проблема в кривой настройке длинка и в перенасыщении сети вирусами? и никакое железо в данном случае не поможет?

Заранее, спасибо.

ЗЫ. Да, еще есть прокурвы 2510G-24 ($1100) и в два раза дороже 2810-24G.

Прошу не сильно пинать, если написал где несуразицу. Не волшебник - только учусь...

Edited February 5, 2009 by iglide

anix · February 5, 2009

а у вас узким местом не PPPoE сервер является? тут в соседних топиках про 600 сессий на коробку говорят, как более менее максимально-оптимальное значение. к тому же как вы определили что тормозит длинк? в трейсе чере пппое первый хоп рутер ведь будет.

IvanI · February 5, 2009

если локалку делать мимо PPPOE то DGS-3612 + DGS-3100-24G

zadrovets · February 5, 2009

У нас через 3100 ходит пару гигагит. Проблема не в нем.

Поставите рядом второй пппое сервер и проблемма исчезнет.

Если у вас все через пппое, вам от свичей считай ничего не надо.

iglide · February 5, 2009

а у вас узким местом не PPPoE сервер является?

Судя по top-у он не сильно нагружен. Запас по прочности имеется...

к тому же как вы определили что тормозит длинк?

Пинг самого длинка с сервера - 20мс. Пинг с длинка любого хоста (будь-то клиентский узел, или фря) - 20мс.

если локалку делать мимо PPPOE то DGS-3612

К сожалению, опыта работы с L3 устройствами нет. Им возможно маршрутизировать вилановский трафик, не доходя до PPPoE?

ЗЫ. Если это имеет значение, то на Фре стоит гигабитка Intel® PRO/1000 PT Server Adapter...

Edited February 5, 2009 by iglide

Captain Jack · February 5, 2009

Пинг самого длинка с сервера - 20мс. Пинг с длинка любого хоста (будь-то клиентский узел, или фря) - 20мс.

Это показатель того, что свич медленно работает с L3, и никак неговорит о том, что он вносит задержки на L2. Это раз.

Хотелось бы узнать время от хоста до фри и от фри куданить в сторону инета.

А так, только подозрение, что проблема в FreeBSD

route# · February 5, 2009

а у вас узким местом не PPPoE сервер является?
Судя по top-у он не сильно нагружен. Запас по прочности имеется...
к тому же как вы определили что тормозит длинк?
Пинг самого длинка с сервера - 20мс. Пинг с длинка любого хоста (будь-то клиентский узел, или фря) - 20мс.
если локалку делать мимо PPPOE то DGS-3612
К сожалению, опыта работы с L3 устройствами нет. Им возможно маршрутизировать вилановский трафик, не доходя до PPPoE?

ЗЫ. Если это имеет значение, то на Фре стоит гигабитка Intel® PRO/1000 PT Server Adapter...

Что показывает по загрузке д-линк в час пик ?

Можно мтр-ом промониторить какой-то хост который включен через д-линк ?

mschedrin · February 5, 2009

А где сами длинковцы сказали что свич не расчитан на такую нагрузку? Можно ссылочку на их форум?

Nafanya · February 5, 2009

У вас писюк не справляется с нагрузками (и аплинки я так понимаю 17х100Мбит на 800-900человек онлайн?). Добавьте ещё один-два и на гигабит магристральки. Станет повеселей

Edited February 5, 2009 by Nafanya

iglide · February 5, 2009

Хотелось бы узнать время от хоста до фри

12:47. 418 PPPoE сессий.

Пинг от клиентского хоста, находящегося за гирляндой свитчей (не идеальный вариант) до PPPoE-сервера:

# ping 10.100.100.6
PING 10.100.100.6 (10.100.100.6) 56(84) bytes of data.
64 bytes from 10.100.100.6: icmp_seq=1 ttl=64 time=2.32 ms
64 bytes from 10.100.100.6: icmp_seq=2 ttl=64 time=3.05 ms
64 bytes from 10.100.100.6: icmp_seq=3 ttl=64 time=2.55 ms

--- 10.100.100.6 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2016ms
rtt min/avg/max/mdev = 2.325/2.646/3.057/0.311 ms

и от фри куданить в сторону инета.

Не совсем ясно - зачем? но, пожалуйста:

# ping ya.ru
PING ya.ru (213.180.204.8): 56 data bytes
64 bytes from 213.180.204.8: icmp_seq=0 ttl=56 time=40.131 ms
64 bytes from 213.180.204.8: icmp_seq=1 ttl=56 time=42.992 ms
64 bytes from 213.180.204.8: icmp_seq=2 ttl=56 time=40.532 ms
64 bytes from 213.180.204.8: icmp_seq=3 ttl=56 time=43.066 ms
^C
--- ya.ru ping statistics ---
4 packets transmitted, 4 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 40.131/41.680/43.066/1.356 ms

Что показывает по загрузке д-линк в час пик ?

DGS3100# show cpu utilization 
CPU utilization service is on. 

CPU utilization 
--------------- 
five seconds:12%;one minute:15%;five minutes:14%

Можно мтр-ом промониторить какой-то хост который включен через д-линк ?

Все хосты в сети заворачиваются в виланы, поднятые на фре. Поэтому, при трассировке длинк просто не будет виден:

                                                                             Packets               Pings
Host                                                                      Loss%   Snt   Last   Avg  Best  Wrst StDev
1. 10.100.28.2                                                             0.0%    13    4.0   2.5   1.0   4.1   1.1

Это все дневные показатели. Вечером сделаю другие замеры.

где сами длинковцы сказали что свич не расчитан на такую нагрузку? Можно ссылочку на их форум?

В привате:

Причины могут быть разные. Но если Вы говорите что через него ходит трафик более 2000 пользователей мягко говоря это многовато для устройства уровня доступа или младшего агрегирования

.

Добавьте ещё один-два

PPPoE-сервера?

и на гигабит магристральки.

Какие именно магистральки? Между фрёй и длинком поднят 1Гб.

Если, действительно, вся проблема во фре, то хотелось бы, еще вернуться к вопросу о 3-м уровне. На практике возможно увести весь локальный трафик от PPPoE-сервера? Возможно ли маршрутизировать vlan-подсети непосредственно на L3-устройстве? Мне это не совсем понятно, т.к., в создании виланов участвует сама фря. Ведь на ее физическом интерфейсе поднимаются виртуальные vlan!

Edited February 5, 2009 by iglide

Nafanya · February 5, 2009

Добавьте ещё один-два
PPPoE-сервера?
и на гигабит магристральки.
Какие именно магистральки? Между фрёй и длинком поднят 1Гб.

а дальше как? 100мбит свитчи гирляндами в районах?

Если, действительно, вся проблема во фре, то хотелось бы, еще вернуться к вопросу о 3-м уровне. На практике возможно увести весь локальный трафик от PPPoE-сервера? Возможно ли маршрутизировать vlan-подсети непосредственно на L3-устройстве? Мне это не совсем понятно, т.к., в создании виланов участвует сама фря. Ведь на ее физическом интерфейсе поднимаются виртуальные vlan!

Возможно присвоением сетевой карте клинета локального ip-адреса и заворачивания локального траффика на L3 интрефейсы чего-нибудь роутящего vlan'ы. В таком случае ваш PPPoE сервер(ы) должны будут иметь интерфейс в каждом вилане. В сети с 2к клиентов сделать подобный редизайн будет не просто. Edited February 5, 2009 by Nafanya

gorec2005 · February 5, 2009

На freebsd в момент загрузки сделайте

top -SI

а резульат в топик... - наиболее вероятно что не успевает PC ... и вероятнее всего по прерываниям с сетевушки... а L2 switch тут вряд-ли при делах...

Возможно присвоением сетевой карте клинета локального ip-адреса и заворачивания локального траффика на L3 интрефейсы чего-нибудь роутящего vlan'ы. В таком случае ваш PPPoE сервер(ы) должны будут иметь интерфейс в каждом вилане. В сети с 2к клиентов сделать подобный редизайн будет не просто.

для обслуживания pppoe в кач-ве сервера freebsd лучше не ставить IP из клиентского сегмента - тогда загрузка карты будет "слегка" меньше - достаточно сделать UP на интерфейсе смотрящем по L2 в каждый vlan если их много...

Edited February 5, 2009 by gorec2005

grama · February 5, 2009

У 3100 и 3627 есть одна особенность, если ниже них стоит железо без возможности отсечения флуда, то они ложатся очень хорошо даже с одной-двух машин-флудерастов . Т.е. ниже надо обязательно ставить чтото типа 3010G, 3028 или 3526 с включением защиты на клиентских портах.

iglide · February 5, 2009

а дальше как? 100мбит свитчи гирляндами в районах?

В длинк заходят 17 оптических лучей. Каждый на группу домов. От каждого такого луча отходят еще оптические лучи, но уже на отдельные дома. Далее небольшая гирлянда из 2-х 3-х свитчей. Соответственно, получается 17 оптических сегментов. Каждый со своей адресацией. В соответствии с vlan-ом. Плюс еще есть 2 медных сегмента - пережитки прошлого. Там, да - там конкретная гирлянда в десяток-полтора свитчей...

В таком случае ваш PPPoE сервер(ы) должны будут иметь интерфейс в каждом вилане.

Собственно, так оно и есть:

em0: flags=8b43<UP,BROADCAST,RUNNING,PROMISC,ALLMULTI,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=1db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:58:2b:f9
        inet 10.100.110.1 netmask 0xffffff00 broadcast 10.100.110.255
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
vlan2: flags=28b43<UP,BROADCAST,RUNNING,PROMISC,ALLMULTI,SIMPLEX,MULTICAST,PPROMISC> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        ether 00:15:17:58:2b:f9
        inet 10.100.10.1 netmask 0xfffffe00 broadcast 10.100.11.255
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        vlan: 2 parent interface: em0
vlan3: flags=28b43<UP,BROADCAST,RUNNING,PROMISC,ALLMULTI,SIMPLEX,MULTICAST,PPROMISC> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        ether 00:15:17:58:2b:f9
        inet 10.100.12.1 netmask 0xfffffe00 broadcast 10.100.13.255
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        vlan: 3 parent interface: em0
...
vlan20: flags=28b43<UP,BROADCAST,RUNNING,PROMISC,ALLMULTI,SIMPLEX,MULTICAST,PPROMISC> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        ether 00:15:17:58:2b:f9
        inet 10.100.46.1 netmask 0xfffffe00 broadcast 10.100.47.255
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        vlan: 20 parent interface: em0

Адрес длинка - 10.100.110.10

iglide · February 5, 2009

top -SI

Онлайн 535:

пинг на Длинк:

# ping 10.100.110.10
PING 10.100.110.10 (10.100.110.10): 56 data bytes
64 bytes from 10.100.110.10: icmp_seq=0 ttl=64 time=3.204 ms
64 bytes from 10.100.110.10: icmp_seq=1 ttl=64 time=2.674 ms
64 bytes from 10.100.110.10: icmp_seq=2 ttl=64 time=2.340 ms
64 bytes from 10.100.110.10: icmp_seq=3 ttl=64 time=2.000 ms
64 bytes from 10.100.110.10: icmp_seq=4 ttl=64 time=2.321 ms
64 bytes from 10.100.110.10: icmp_seq=5 ttl=64 time=2.964 ms
64 bytes from 10.100.110.10: icmp_seq=6 ttl=64 time=3.147 ms
64 bytes from 10.100.110.10: icmp_seq=7 ttl=64 time=2.530 ms
^C
--- 10.100.110.10 ping statistics ---
8 packets transmitted, 8 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 2.000/2.647/3.204/0.402 ms

Пинг С длинка:

DGS-3100# ping 10.100.110.1
Pinging  (10.100.110.1) with 56 bytes of data:

56 bytes from 10.100.110.1: icmp_seq=1. time=0 ms
56 bytes from 10.100.110.1: icmp_seq=2. time=0 ms
56 bytes from 10.100.110.1: icmp_seq=3. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=4. time=0 ms

----10.100.110.1 PING Statistics----
4 packets transmitted, 4 packets received, 0% packet loss
round-trip (ms) min/avg/max = 0/5/20

Т.е., пока еще терпимо, но уже начинают проскакивать 20мс.

Загрузка сервера:

# top -SI
last pid:  2250;  load averages:  1.52,  1.24,  1.20                                                    up 5+16:26:40  14:46:20
352 processes: 6 running, 336 sleeping, 10 waiting
CPU states:  0.2% user,  0.0% nice, 12.8% system, 19.5% interrupt, 67.5% idle
Mem: 503M Active, 85M Inact, 289M Wired, 37M Cache, 111M Buf, 66M Free
Swap: 1983M Total, 44K Used, 1983M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root        1 171 ki31     0K    16K RUN    1 110.4H 78.96% idle: cpu1
   12 root        1 171 ki31     0K    16K RUN    0  71.7H 49.41% idle: cpu0
   15 root        1 -44    -     0K    16K CPU0   0  57.5H 39.99% swi1: net
   28 root        1 -68    -     0K    16K -      1 846:22 12.26% dummynet
19590 root        2 100    0   143M 71988K select 1  73:57  6.54% mpd4
   13 root        1 -32    -     0K    16K RUN    1  85:12  0.29% swi4: clock
23571 www         1   4    0 71772K 11488K sbwait 1   3:37  0.29% httpd

Latik · February 5, 2009

Мне это не совсем понятно, т.к., в создании виланов участвует сама фря. Ведь на ее физическом интерфейсе поднимаются виртуальные vlan!

Ставите Л3 железку, заводите на ней все свой виланы, на этих виланы навешиваете айпишки (которые висят на фрё и являются, наверное, шлюзами в сегментах), вот и весь редизайн. На фрё остаются голые(без айпишек) интрфейсы-виланы, слушающее PPPoE пакетики.

iglide · February 5, 2009

17:53

онлайн 636

Пинг длинка с сервера:

# ping 10.100.110.10
PING 10.100.110.10 (10.100.110.10): 56 data bytes
64 bytes from 10.100.110.10: icmp_seq=0 ttl=64 time=13.719 ms
64 bytes from 10.100.110.10: icmp_seq=1 ttl=64 time=10.368 ms
64 bytes from 10.100.110.10: icmp_seq=2 ttl=64 time=13.782 ms
64 bytes from 10.100.110.10: icmp_seq=3 ttl=64 time=13.650 ms
64 bytes from 10.100.110.10: icmp_seq=4 ttl=64 time=8.995 ms
64 bytes from 10.100.110.10: icmp_seq=5 ttl=64 time=12.385 ms
64 bytes from 10.100.110.10: icmp_seq=6 ttl=64 time=13.544 ms
^C
--- 10.100.110.10 ping statistics ---
7 packets transmitted, 7 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 8.995/12.349/13.782/1.782 ms

Пинг с длинка:

DGS-3100# ping 10.100.110.1
Pinging  (10.100.110.1) with 56 bytes of data:

56 bytes from 10.100.110.1: icmp_seq=1. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=2. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=3. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=4. time=20 ms

----10.100.110.1 PING Statistics----
4 packets transmitted, 4 packets received, 0% packet loss
round-trip (ms) min/avg/max = 20/20/20

Иногда даже наблюдается потеря пакетов. И это на устройство, включенное через 50 см патчкорд.

Вот загрузка сервера:

# top -SI
last pid: 35356;  load averages:  1.68,  1.63,  1.54                                                                       up 5+19:33:47  17:53:27
359 processes: 6 running, 343 sleeping, 10 waiting
CPU states:  2.6% user,  0.0% nice, 10.3% system, 30.8% interrupt, 56.2% idle
Mem: 525M Active, 91M Inact, 290M Wired, 35M Cache, 111M Buf, 39M Free
Swap: 1983M Total, 44K Used, 1983M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root        1 171 ki31     0K    16K RUN    1 112.7H 67.43% idle: cpu1
   15 root        1 -44    -     0K    16K CPU0   0  59.6H 58.25% swi1: net
   12 root        1 171 ki31     0K    16K RUN    0  72.5H 35.99% idle: cpu0
   28 root        1 -68    -     0K    16K -      1 879:13 14.06% dummynet
19590 root        4  96    0   143M 72032K select 1  79:39  2.15% mpd4
   13 root        1 -32    -     0K    16K RUN    1  87:28  0.98% swi4: clock
21578 root        3  81  -15 21716K 16488K RUN    1  62:22  0.20% ipcad

Edited February 5, 2009 by iglide

terrible · February 5, 2009

Ставите Л3 железку, заводите на ней все свой виланы, на этих виланы навешиваете айпишки (которые висят на фрё и являются, наверное, шлюзами в сегментах), вот и весь редизайн. На фрё остаются голые(без айпишек) интрфейсы-виланы, слушающее PPPoE пакетики.

Плюсадин!

L3, все вланы агрегируйте на нём + на нём-же IP интерфейсы и фря будет заниматься только PPPoE

Как вариант, съездийте в Длинк (м. Рижская), возьмите на тесты DES-3828 и реализуйте данную схему. За пару дней всё станет ясно.

vadya · February 5, 2009

Ставите Л3 железку, заводите на ней все свой виланы, на этих виланы навешиваете айпишки (которые висят на фрё и являются, наверное, шлюзами в сегментах), вот и весь редизайн. На фрё остаются голые(без айпишек) интрфейсы-виланы, слушающее PPPoE пакетики.
Плюсадин!
L3, все вланы агрегируйте на нём + на нём-же IP интерфейсы и фря будет заниматься только PPPoE

Как вариант, съездийте в Длинк (м. Рижская), возьмите на тесты DES-3828 и реализуйте данную схему. За пару дней всё станет ясно.

Подскажите с выбором L3

Dlink DGS-3627

Netgear GSM7324

Dell PowerConnect 6024F

Что выбрать?

В качестве коммутатора ядра.

witch · February 5, 2009

эджик ES4624-SFP

jab · February 5, 2009

Похоже фрю они даже настроить не удосужились, все свалили на одну тачку.... Тут только Linux поможет.

Nafanya · February 5, 2009

ещё смутило вот это

Максимальная нагрузка на общем (агрегирующем?) порту, и то не превышает 120Мбит/с.

близко к максимальным значениям пропускной способности PCI-шины 33Mhz

IvanI · February 5, 2009

33МГц*32бит=1000Мбит(гигабит) что реально выдает более 560 Мбит

vadya · February 5, 2009

эджик ES4624-SFP

а его можно стекировать с dlink 3100, не заниимая медных и sfp'шных портов через специальные комутационные шнуры...

Так как 3100 береться для подключения sfp а потом транком в выше стоящий L3

написал наврено полный бред но интересно. а то не как не могу в курить как правильно стекируются комутаторы на уровне ядра и рядом лежащие.

witch · February 5, 2009

эджик ES4624-SFP
а его можно стекировать с dlink 3100, не заниимая медных и sfp'шных портов через специальные комутационные шнуры...

В стек можно объединить только оборудование одной фирмы и только модели поддерживающие стек.

Sign In

И снова выбор коммутатора. Сеть 2000 абонентов.

Recommended Posts

iglide

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Posted Images

anix

IvanI

zadrovets

iglide

Captain Jack

route#

mschedrin

Nafanya

iglide

Nafanya

gorec2005

grama

iglide

iglide

Latik

iglide

terrible

vadya

witch

jab

Nafanya

IvanI

vadya

witch

Join the conversation