Jump to content
Калькуляторы

И снова выбор коммутатора. Сеть 2000 абонентов. что предпочесть Dlinkу DGS-3100?

Уважаемые господа!

Проведя несколько дней (и ночей) на форуме, вынужден все же просить совета. Ответ на свой вопрос, к сожалению, так и не нашел, а решение нужно принимать как можно быстрее.

Суть вопроса - набивший всем оскомину выбор коммутатора в ядро.

На данный момент в сети наблюдается порядка 2000 хостов.

17 оптических + 2 медных 100Мбит/с линка заведены в 24-х портовый D-Link DGS-3100.

Поднято 19виланов. Все юзвери ходят в интернет через PPPoE, поднимаемые на FreeBSD, стоящей за длинком.

Проблема заключена в следующем. Вечером, когда количество PPPoE-сессий максимально (обычно 700-800шт), на длинке наблюдаются задержки до 20мс. Были также дропы на общем порту, но с последней прошивкой от саппорта, дропы исчезли. Однако, пользователи не устают жаловаться на низкую скорость в сети (закачка 4ГБ файла внутри локалки растягивается на долгие, долгие часы).

На поставленный вопрос саппорту был получен ответ, мол, не для таких нагрузок сия железка, и как вариант был предложен 3627G.

Но, позвольте, в свитче гигабитные порты, а включены в них 100Мбит конверторы. К тому же, судя по snmp-графикам, порты нагружены до 40-60 Мбит. Максимальная нагрузка на общем (агрегирующем?) порту, и то не превышает 120Мбит/с.

Где грабли?

По данным с оф.сайта длинка свитч имеет Коммутационную матрицу -68 Гбит/с и вытягивает 50.6 Mpps.

Я не против поменять длинк на что-либо более вменяемое, да только на что? И на какие попугаи обращать внимание при выборе?

Выбор в регионе к тому же не сильно велик. Предлагают:

ATI AT -9448T/SP - 48 гигабитных портов, но с матрицей 96Гб/с и скоростью 71.242Mpps. Что не на много отличается от длинка, но существенно отличается по цене ($3200)

Есть вариант космического AT -9924SP за, почти $4000 без SFP-модулей, да плюс еще сами SFP-модули.

Ну и самый либеральный вариант - Nortel ERS 4524GT ($2400). Характеристики почти те же.

Есть еще циски C2960. Но, при своей цене около $2000, сомнительно что они переплюнут вышеуказанные девайсы.

Помогите внести ясность - на чем же остановиться?

А может и не лезть в дебри-то? Может просто проблема в кривой настройке длинка и в перенасыщении сети вирусами? и никакое железо в данном случае не поможет?

Заранее, спасибо.

 

ЗЫ. Да, еще есть прокурвы 2510G-24 ($1100) и в два раза дороже 2810-24G.

Прошу не сильно пинать, если написал где несуразицу. Не волшебник - только учусь...

Edited by iglide

Share this post


Link to post
Share on other sites

а у вас узким местом не PPPoE сервер является? тут в соседних топиках про 600 сессий на коробку говорят, как более менее максимально-оптимальное значение. к тому же как вы определили что тормозит длинк? в трейсе чере пппое первый хоп рутер ведь будет.

Share this post


Link to post
Share on other sites

если локалку делать мимо PPPOE то DGS-3612 + DGS-3100-24G

Share this post


Link to post
Share on other sites

У нас через 3100 ходит пару гигагит. Проблема не в нем.

Поставите рядом второй пппое сервер и проблемма исчезнет.

Если у вас все через пппое, вам от свичей считай ничего не надо.

Share this post


Link to post
Share on other sites
а у вас узким местом не PPPoE сервер является?
Судя по top-у он не сильно нагружен. Запас по прочности имеется...
к тому же как вы определили что тормозит длинк?
Пинг самого длинка с сервера - 20мс. Пинг с длинка любого хоста (будь-то клиентский узел, или фря) - 20мс.
если локалку делать мимо PPPOE то DGS-3612
К сожалению, опыта работы с L3 устройствами нет. Им возможно маршрутизировать вилановский трафик, не доходя до PPPoE?

 

ЗЫ. Если это имеет значение, то на Фре стоит гигабитка Intel® PRO/1000 PT Server Adapter...

Edited by iglide

Share this post


Link to post
Share on other sites
Пинг самого длинка с сервера - 20мс. Пинг с длинка любого хоста (будь-то клиентский узел, или фря) - 20мс.
Это показатель того, что свич медленно работает с L3, и никак неговорит о том, что он вносит задержки на L2. Это раз.

Хотелось бы узнать время от хоста до фри и от фри куданить в сторону инета.

 

А так, только подозрение, что проблема в FreeBSD

Share this post


Link to post
Share on other sites
а у вас узким местом не PPPoE сервер является?
Судя по top-у он не сильно нагружен. Запас по прочности имеется...
к тому же как вы определили что тормозит длинк?
Пинг самого длинка с сервера - 20мс. Пинг с длинка любого хоста (будь-то клиентский узел, или фря) - 20мс.
если локалку делать мимо PPPOE то DGS-3612
К сожалению, опыта работы с L3 устройствами нет. Им возможно маршрутизировать вилановский трафик, не доходя до PPPoE?

 

ЗЫ. Если это имеет значение, то на Фре стоит гигабитка Intel® PRO/1000 PT Server Adapter...

Что показывает по загрузке д-линк в час пик ?

Можно мтр-ом промониторить какой-то хост который включен через д-линк ?

 

Share this post


Link to post
Share on other sites

А где сами длинковцы сказали что свич не расчитан на такую нагрузку? Можно ссылочку на их форум?

Share this post


Link to post
Share on other sites

У вас писюк не справляется с нагрузками (и аплинки я так понимаю 17х100Мбит на 800-900человек онлайн?). Добавьте ещё один-два и на гигабит магристральки. Станет повеселей

Edited by Nafanya

Share this post


Link to post
Share on other sites
Хотелось бы узнать время от хоста до фри
12:47. 418 PPPoE сессий.

Пинг от клиентского хоста, находящегося за гирляндой свитчей (не идеальный вариант) до PPPoE-сервера:

# ping 10.100.100.6
PING 10.100.100.6 (10.100.100.6) 56(84) bytes of data.
64 bytes from 10.100.100.6: icmp_seq=1 ttl=64 time=2.32 ms
64 bytes from 10.100.100.6: icmp_seq=2 ttl=64 time=3.05 ms
64 bytes from 10.100.100.6: icmp_seq=3 ttl=64 time=2.55 ms

--- 10.100.100.6 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2016ms
rtt min/avg/max/mdev = 2.325/2.646/3.057/0.311 ms

 

и от фри куданить в сторону инета.
Не совсем ясно - зачем? но, пожалуйста:

 

# ping ya.ru
PING ya.ru (213.180.204.8): 56 data bytes
64 bytes from 213.180.204.8: icmp_seq=0 ttl=56 time=40.131 ms
64 bytes from 213.180.204.8: icmp_seq=1 ttl=56 time=42.992 ms
64 bytes from 213.180.204.8: icmp_seq=2 ttl=56 time=40.532 ms
64 bytes from 213.180.204.8: icmp_seq=3 ttl=56 time=43.066 ms
^C
--- ya.ru ping statistics ---
4 packets transmitted, 4 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 40.131/41.680/43.066/1.356 ms

 

Что показывает по загрузке д-линк в час пик ?

DGS3100# show cpu utilization 
CPU utilization service is on. 

CPU utilization 
--------------- 
five seconds:12%;one minute:15%;five minutes:14%

 

Можно мтр-ом промониторить какой-то хост который включен через д-линк ?
Все хосты в сети заворачиваются в виланы, поднятые на фре. Поэтому, при трассировке длинк просто не будет виден:

                                                                             Packets               Pings
Host                                                                      Loss%   Snt   Last   Avg  Best  Wrst StDev
1. 10.100.28.2                                                             0.0%    13    4.0   2.5   1.0   4.1   1.1

 

Это все дневные показатели. Вечером сделаю другие замеры.

 

где сами длинковцы сказали что свич не расчитан на такую нагрузку? Можно ссылочку на их форум?
В привате:
Причины могут быть разные. Но если Вы говорите что через него ходит трафик более 2000 пользователей мягко говоря это многовато для устройства уровня доступа или младшего агрегирования
.

 

Добавьте ещё один-два
PPPoE-сервера?
и на гигабит магристральки.
Какие именно магистральки? Между фрёй и длинком поднят 1Гб.

 

Если, действительно, вся проблема во фре, то хотелось бы, еще вернуться к вопросу о 3-м уровне. На практике возможно увести весь локальный трафик от PPPoE-сервера? Возможно ли маршрутизировать vlan-подсети непосредственно на L3-устройстве? Мне это не совсем понятно, т.к., в создании виланов участвует сама фря. Ведь на ее физическом интерфейсе поднимаются виртуальные vlan!

Edited by iglide

Share this post


Link to post
Share on other sites
Добавьте ещё один-два
PPPoE-сервера?
и на гигабит магристральки.
Какие именно магистральки? Между фрёй и длинком поднят 1Гб.

а дальше как? 100мбит свитчи гирляндами в районах?
Если, действительно, вся проблема во фре, то хотелось бы, еще вернуться к вопросу о 3-м уровне. На практике возможно увести весь локальный трафик от PPPoE-сервера? Возможно ли маршрутизировать vlan-подсети непосредственно на L3-устройстве? Мне это не совсем понятно, т.к., в создании виланов участвует сама фря. Ведь на ее физическом интерфейсе поднимаются виртуальные vlan!
Возможно присвоением сетевой карте клинета локального ip-адреса и заворачивания локального траффика на L3 интрефейсы чего-нибудь роутящего vlan'ы. В таком случае ваш PPPoE сервер(ы) должны будут иметь интерфейс в каждом вилане. В сети с 2к клиентов сделать подобный редизайн будет не просто.
Edited by Nafanya

Share this post


Link to post
Share on other sites

На freebsd в момент загрузки сделайте

top -SI

а резульат в топик... - наиболее вероятно что не успевает PC ... и вероятнее всего по прерываниям с сетевушки... а L2 switch тут вряд-ли при делах...

 

Возможно присвоением сетевой карте клинета локального ip-адреса и заворачивания локального траффика на L3 интрефейсы чего-нибудь роутящего vlan'ы. В таком случае ваш PPPoE сервер(ы) должны будут иметь интерфейс в каждом вилане. В сети с 2к клиентов сделать подобный редизайн будет не просто.

для обслуживания pppoe в кач-ве сервера freebsd лучше не ставить IP из клиентского сегмента - тогда загрузка карты будет "слегка" меньше - достаточно сделать UP на интерфейсе смотрящем по L2 в каждый vlan если их много...

Edited by gorec2005

Share this post


Link to post
Share on other sites

У 3100 и 3627 есть одна особенность, если ниже них стоит железо без возможности отсечения флуда, то они ложатся очень хорошо даже с одной-двух машин-флудерастов . Т.е. ниже надо обязательно ставить чтото типа 3010G, 3028 или 3526 с включением защиты на клиентских портах.

Share this post


Link to post
Share on other sites
а дальше как? 100мбит свитчи гирляндами в районах?
В длинк заходят 17 оптических лучей. Каждый на группу домов. От каждого такого луча отходят еще оптические лучи, но уже на отдельные дома. Далее небольшая гирлянда из 2-х 3-х свитчей. Соответственно, получается 17 оптических сегментов. Каждый со своей адресацией. В соответствии с vlan-ом. Плюс еще есть 2 медных сегмента - пережитки прошлого. Там, да - там конкретная гирлянда в десяток-полтора свитчей...
В таком случае ваш PPPoE сервер(ы) должны будут иметь интерфейс в каждом вилане.
Собственно, так оно и есть:

em0: flags=8b43<UP,BROADCAST,RUNNING,PROMISC,ALLMULTI,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=1db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4>
        ether 00:15:17:58:2b:f9
        inet 10.100.110.1 netmask 0xffffff00 broadcast 10.100.110.255
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
vlan2: flags=28b43<UP,BROADCAST,RUNNING,PROMISC,ALLMULTI,SIMPLEX,MULTICAST,PPROMISC> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        ether 00:15:17:58:2b:f9
        inet 10.100.10.1 netmask 0xfffffe00 broadcast 10.100.11.255
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        vlan: 2 parent interface: em0
vlan3: flags=28b43<UP,BROADCAST,RUNNING,PROMISC,ALLMULTI,SIMPLEX,MULTICAST,PPROMISC> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        ether 00:15:17:58:2b:f9
        inet 10.100.12.1 netmask 0xfffffe00 broadcast 10.100.13.255
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        vlan: 3 parent interface: em0
...
vlan20: flags=28b43<UP,BROADCAST,RUNNING,PROMISC,ALLMULTI,SIMPLEX,MULTICAST,PPROMISC> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        ether 00:15:17:58:2b:f9
        inet 10.100.46.1 netmask 0xfffffe00 broadcast 10.100.47.255
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active
        vlan: 20 parent interface: em0

Адрес длинка - 10.100.110.10

 

 

Share this post


Link to post
Share on other sites
top -SI

Онлайн 535:

пинг на Длинк:

# ping 10.100.110.10
PING 10.100.110.10 (10.100.110.10): 56 data bytes
64 bytes from 10.100.110.10: icmp_seq=0 ttl=64 time=3.204 ms
64 bytes from 10.100.110.10: icmp_seq=1 ttl=64 time=2.674 ms
64 bytes from 10.100.110.10: icmp_seq=2 ttl=64 time=2.340 ms
64 bytes from 10.100.110.10: icmp_seq=3 ttl=64 time=2.000 ms
64 bytes from 10.100.110.10: icmp_seq=4 ttl=64 time=2.321 ms
64 bytes from 10.100.110.10: icmp_seq=5 ttl=64 time=2.964 ms
64 bytes from 10.100.110.10: icmp_seq=6 ttl=64 time=3.147 ms
64 bytes from 10.100.110.10: icmp_seq=7 ttl=64 time=2.530 ms
^C
--- 10.100.110.10 ping statistics ---
8 packets transmitted, 8 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 2.000/2.647/3.204/0.402 ms

Пинг С длинка:

DGS-3100# ping 10.100.110.1
Pinging  (10.100.110.1) with 56 bytes of data:

56 bytes from 10.100.110.1: icmp_seq=1. time=0 ms
56 bytes from 10.100.110.1: icmp_seq=2. time=0 ms
56 bytes from 10.100.110.1: icmp_seq=3. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=4. time=0 ms

----10.100.110.1 PING Statistics----
4 packets transmitted, 4 packets received, 0% packet loss
round-trip (ms) min/avg/max = 0/5/20

 

Т.е., пока еще терпимо, но уже начинают проскакивать 20мс.

Загрузка сервера:

 

# top -SI
last pid:  2250;  load averages:  1.52,  1.24,  1.20                                                    up 5+16:26:40  14:46:20
352 processes: 6 running, 336 sleeping, 10 waiting
CPU states:  0.2% user,  0.0% nice, 12.8% system, 19.5% interrupt, 67.5% idle
Mem: 503M Active, 85M Inact, 289M Wired, 37M Cache, 111M Buf, 66M Free
Swap: 1983M Total, 44K Used, 1983M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root        1 171 ki31     0K    16K RUN    1 110.4H 78.96% idle: cpu1
   12 root        1 171 ki31     0K    16K RUN    0  71.7H 49.41% idle: cpu0
   15 root        1 -44    -     0K    16K CPU0   0  57.5H 39.99% swi1: net
   28 root        1 -68    -     0K    16K -      1 846:22 12.26% dummynet
19590 root        2 100    0   143M 71988K select 1  73:57  6.54% mpd4
   13 root        1 -32    -     0K    16K RUN    1  85:12  0.29% swi4: clock
23571 www         1   4    0 71772K 11488K sbwait 1   3:37  0.29% httpd

 

 

Share this post


Link to post
Share on other sites
Мне это не совсем понятно, т.к., в создании виланов участвует сама фря. Ведь на ее физическом интерфейсе поднимаются виртуальные vlan!

Ставите Л3 железку, заводите на ней все свой виланы, на этих виланы навешиваете айпишки (которые висят на фрё и являются, наверное, шлюзами в сегментах), вот и весь редизайн. На фрё остаются голые(без айпишек) интрфейсы-виланы, слушающее PPPoE пакетики.

 

Share this post


Link to post
Share on other sites

17:53

онлайн 636

Пинг длинка с сервера:

# ping 10.100.110.10
PING 10.100.110.10 (10.100.110.10): 56 data bytes
64 bytes from 10.100.110.10: icmp_seq=0 ttl=64 time=13.719 ms
64 bytes from 10.100.110.10: icmp_seq=1 ttl=64 time=10.368 ms
64 bytes from 10.100.110.10: icmp_seq=2 ttl=64 time=13.782 ms
64 bytes from 10.100.110.10: icmp_seq=3 ttl=64 time=13.650 ms
64 bytes from 10.100.110.10: icmp_seq=4 ttl=64 time=8.995 ms
64 bytes from 10.100.110.10: icmp_seq=5 ttl=64 time=12.385 ms
64 bytes from 10.100.110.10: icmp_seq=6 ttl=64 time=13.544 ms
^C
--- 10.100.110.10 ping statistics ---
7 packets transmitted, 7 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 8.995/12.349/13.782/1.782 ms

 

Пинг с длинка:

DGS-3100# ping 10.100.110.1
Pinging  (10.100.110.1) with 56 bytes of data:

56 bytes from 10.100.110.1: icmp_seq=1. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=2. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=3. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=4. time=20 ms

----10.100.110.1 PING Statistics----
4 packets transmitted, 4 packets received, 0% packet loss
round-trip (ms) min/avg/max = 20/20/20

Иногда даже наблюдается потеря пакетов. И это на устройство, включенное через 50 см патчкорд.

 

Вот загрузка сервера:

# top -SI
last pid: 35356;  load averages:  1.68,  1.63,  1.54                                                                       up 5+19:33:47  17:53:27
359 processes: 6 running, 343 sleeping, 10 waiting
CPU states:  2.6% user,  0.0% nice, 10.3% system, 30.8% interrupt, 56.2% idle
Mem: 525M Active, 91M Inact, 290M Wired, 35M Cache, 111M Buf, 39M Free
Swap: 1983M Total, 44K Used, 1983M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root        1 171 ki31     0K    16K RUN    1 112.7H 67.43% idle: cpu1
   15 root        1 -44    -     0K    16K CPU0   0  59.6H 58.25% swi1: net
   12 root        1 171 ki31     0K    16K RUN    0  72.5H 35.99% idle: cpu0
   28 root        1 -68    -     0K    16K -      1 879:13 14.06% dummynet
19590 root        4  96    0   143M 72032K select 1  79:39  2.15% mpd4
   13 root        1 -32    -     0K    16K RUN    1  87:28  0.98% swi4: clock
21578 root        3  81  -15 21716K 16488K RUN    1  62:22  0.20% ipcad

Edited by iglide

Share this post


Link to post
Share on other sites
Ставите Л3 железку, заводите на ней все свой виланы, на этих виланы навешиваете айпишки (которые висят на фрё и являются, наверное, шлюзами в сегментах), вот и весь редизайн. На фрё остаются голые(без айпишек) интрфейсы-виланы, слушающее PPPoE пакетики.
Плюсадин!

L3, все вланы агрегируйте на нём + на нём-же IP интерфейсы и фря будет заниматься только PPPoE

 

Как вариант, съездийте в Длинк (м. Рижская), возьмите на тесты DES-3828 и реализуйте данную схему. За пару дней всё станет ясно.

Share this post


Link to post
Share on other sites
Ставите Л3 железку, заводите на ней все свой виланы, на этих виланы навешиваете айпишки (которые висят на фрё и являются, наверное, шлюзами в сегментах), вот и весь редизайн. На фрё остаются голые(без айпишек) интрфейсы-виланы, слушающее PPPoE пакетики.
Плюсадин!

L3, все вланы агрегируйте на нём + на нём-же IP интерфейсы и фря будет заниматься только PPPoE

 

Как вариант, съездийте в Длинк (м. Рижская), возьмите на тесты DES-3828 и реализуйте данную схему. За пару дней всё станет ясно.

Подскажите с выбором L3

Dlink DGS-3627

Netgear GSM7324

Dell PowerConnect 6024F

Что выбрать?

В качестве коммутатора ядра.

Share this post


Link to post
Share on other sites

эджик ES4624-SFP

Share this post


Link to post
Share on other sites

 

Похоже фрю они даже настроить не удосужились, все свалили на одну тачку.... Тут только Linux поможет.

Share this post


Link to post
Share on other sites

ещё смутило вот это

Максимальная нагрузка на общем (агрегирующем?) порту, и то не превышает 120Мбит/с.
близко к максимальным значениям пропускной способности PCI-шины 33Mhz

Share this post


Link to post
Share on other sites

33МГц*32бит=1000Мбит(гигабит) что реально выдает более 560 Мбит

Share this post


Link to post
Share on other sites
эджик ES4624-SFP
а его можно стекировать с dlink 3100, не заниимая медных и sfp'шных портов через специальные комутационные шнуры...

Так как 3100 береться для подключения sfp а потом транком в выше стоящий L3

 

написал наврено полный бред но интересно. а то не как не могу в курить как правильно стекируются комутаторы на уровне ядра и рядом лежащие.

Share this post


Link to post
Share on other sites
эджик ES4624-SFP
а его можно стекировать с dlink 3100, не заниимая медных и sfp'шных портов через специальные комутационные шнуры...
В стек можно объединить только оборудование одной фирмы и только модели поддерживающие стек.

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this