Перейти к содержимому
Калькуляторы

И снова выбор коммутатора. Сеть 2000 абонентов. что предпочесть Dlinkу DGS-3100?

33МГц*32бит=1000Мбит(гигабит) что реально выдает более 560 Мбит
странная, однако, арифметика

http://www.lib.csu.ru/dl/bases/prg/kompres...es/2003_01_pci/

Для 33-мегагерцевой 32-битной шины пропускная способность составляет 132 Мбайт/с, для 66-мегагерцевой 32-битной — 264 Мбайт/с, а для 66-мегагерцевой 64-битной — 528 Мбайт/с.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Нормальная арифметика, каждый пакет по шине проходит два раза. Туда и обратно. Это в идеальных условиях, когда больше никакие устройства к шине

не обращаются.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Похоже фрю они даже настроить не удосужились, все свалили на одну тачку.... Тут только Linux поможет.
Простите, на основании чего подобный вывод? И что, если не секрет, конкретно мы не удосужились настроить?

FreeBSD занимается исключительно терминированием PPPoE. На ней поднят MPD и RADIUS. Все. Даже база с юзверями крутится на отдельной машине.

Ставите Л3 железку,
Спасибо, так и поступим. Осталось выяснить - какую?

Признаюсь честно, Длинк больше не хочется. Какой бы вкусный он ни был.

Пока остановил свой выбор на AT-9448. Вытянет? Покритикуйте выбор?Судя по попугаям (матрица, скорость и пр.) - наиболее адекватная из всех вариантов. Ну, конечно, за исключением 9942. Но этот вариант наш бюджет пока не вытягивает.

съездийте в Длинк (м. Рижская)
Хм. Билет на это метро сильно дорогим выйдет. Полагаю, как раз стоимостью в подобный девайс. Примерно, километров тысячу только в одну сторону...
Изменено пользователем iglide

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

близко к максимальным значениям пропускной способности PCI-шины 33Mhz

Да, кстати по поводу PCI. К сожалению (или к радости), карта стоит PCI-E. Повторюсь, Intel® PRO/1000 PT Server Adapter...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да Вы даже pps не в состоянии замерить. Карту небось не настраивали. Поллинга нету. Таймауты в драйвере не регулировали.

Ставьте линукс, вон там nuclearcat для вас дистрибутив сваял.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поллинга нету.
jab

Безусловно, уважаемый, jab, Вы пользователь с авторитетом. Однако, не в обиду, судя по Вашим постингам, Вы юноша весьма самовлюбленный. И наверное на то есть причины. Но, не об этом. Знаете, многие из-за собственной важности, собственного носа не замечают. Ну, наверное, такова плата за "славу". Посмотрите, пожалуйста, внимательнее, несколькими постингами назад, была дана конфигурация интерфейсов:

em0: flags=8b43<UP,BROADCAST,RUNNING,PROMISC,ALLMULTI,SIMPLEX,MULTICAST> metric 0 mtu 1500

options=1db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4>

Хотя, в одном Вы, безусловно правы! Не специалист я. Но, выбора у меня, к сожалению, на сегодняшний день нет, знаете-ли. А вот проблема присутствует. И есть огромная необходимость эту проблему решить. Есть хорошая фраза - можешь помочь - помоги. Не можешь - лучше промолчи. Кажется так. А лишний раз показывать здесь свою индивидуальность и уникальность - зачем? Аборигены форума итак в курсе ху из ху. А обычным прохожим это и даром не надо. Не правда ли?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

C AT-94хх были проблемы - вис и при 300 онлайн PPPoE пользователей. Наверное, правда лучше поставить Linux от nuclearcat (как раз он скоро доделает PPPoE) хотя бы на тест (у меня самого везде Gentoo). Локалку в обход PPPoE пускать - замороченно (ведь каждому пользователю придется запускать bat файл для прописывания локальных маршрутов) и, главное, не нужно. А если посоветовать из коммутаторов - то ваш выбор, несомненно, Cisco 3750 (если подороже) или HP ProCurve Switch 2810-48 (он, кстати, может и получше будет - там нет всякой ненужной L3 ерунды). Если хватает 24 портов, можно взять и HP ProCurve Switch 2810-24 - он подешевле.

Изменено пользователем vadimus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вы юноша весьма самовлюбленный. И наверное на то есть причины.

Спасибо на добром слове. :-)

 

Хотя, в одном Вы, безусловно правы! Не специалист я. Но, выбора у меня, к сожалению, на сегодняшний день нет, знаете-ли. А вот проблема присутствует. И есть огромная необходимость эту проблему решить. Есть хорошая фраза - можешь помочь - помоги. Не можешь - лучше промолчи. Кажется так. А лишний раз показывать здесь свою индивидуальность и уникальность - зачем? Аборигены форума итак в курсе ху из ху. А обычным прохожим это и даром не надо. Не правда ли?

А этот самый поллинг кто-нибудь настраивал ? idle_poll там, user_frac ?

 

Хотя без показателей реального PPS, типа CPU, списка труб в dummynet это все бесполезно...

 

Если бы вы действительно хотели решить проблему, то наверное не писали бы бред про коммутаторы, а описали бы все параметры и настройки роутера, не так ли ?

 

Я уже не говорю про 343 процесса в idle, которые у вас там висят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да уж, про машину и PPS хотелось бы поподробнее...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо на добром слове. :-)
Да это, как бы, очевидно - не парень с улицы - разбираетесь в сути, однако... ну, может, ближе к народу нужно быть, что ли... Сорри за оффтоп.
то наверное не писали бы бред про коммутаторы
Понимаете ли, поскольку системным администратором я не являюсь, сужу, возможно, не так как принято в узких кругах. Но все же, логическое мышление свойственно не только мастодонтам от системного администрирования. И именно оно мне подсказывает, что если бы не справлялся сам сервер, то задержки должны были быть и на втором интерфейсе! Но их нет! Безусловно, могут быть какие-то тонкости и нюансы в настройках интерфейсов и работе такой сложной ОС как FreeBSD, невидимые простым смертным. Но эти тонкости и нюансы знает только человек, посвятивший предмету большую часть сознательной жизни, за что и ценится он как специалист... Я же позволю себе быть ценным в другой области. Однако разговор о ценностях не решит саму проблему. Если вы, как спецы, склонны грешить именно на серверную часть, значит, будем пытаться выдавать данные по серверу. Вот только, проштудирую еще за ночь OpenNet.ru, да, даст Бог, разберусь как замерить эти PPS...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если вы, как спецы, склонны грешить именно на серверную часть, значит, будем пытаться выдавать данные по серверу. Вот только, проштудирую еще за ночь OpenNet.ru, да, даст Бог, разберусь как замерить эти PPS...

Значит вызывайте спеца, который диагностирует проблему. Занимаясь самолечением вы только затягиваете процесс.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А этот самый поллинг кто-нибудь настраивал ? idle_poll там, user_frac ?

 

Хотя без показателей реального PPS, типа CPU, списка труб в dummynet это все бесполезно...

 

Если бы вы действительно хотели решить проблему, то наверное не писали бы бред про коммутаторы, а описали бы все параметры и настройки роутера, не так ли ?

 

Я уже не говорю про 343 процесса в idle, которые у вас там висят.

# grep polling /etc/sysctl.conf
kern.polling.enable=1
kern.polling.user_frac=0
options         DEVICE_POLLING
options         HZ=1000

 

Сейчас 18:38. Онлайн 617.

Задержки на длинке:

DGS-3100# ping 10.100.110.1
Pinging  (10.100.110.1) with 56 bytes of data:

56 bytes from 10.100.110.1: icmp_seq=1. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=2. time=20 ms
56 bytes from 10.100.110.1: icmp_seq=3. time=0 ms
56 bytes from 10.100.110.1: icmp_seq=4. time=0 ms

----10.100.110.1 PING Statistics----
4 packets transmitted, 4 packets received, 0% packet loss
round-trip (ms) min/avg/max = 0/10/20

Загрузка фри:

#top -SI
last pid: 56889;  load averages:  1.17,  1.37,  1.37                                                                           up 6+20:19:52  18:39:32
365 processes: 6 running, 348 sleeping, 11 waiting
CPU states:  0.9% user,  0.0% nice,  8.6% system, 22.5% interrupt, 67.9% idle
Mem: 440M Active, 95M Inact, 290M Wired, 7256K Cache, 111M Buf, 146M Free
Swap: 1983M Total, 61M Used, 1923M Free, 3% Inuse

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root        1 171 ki31     0K    16K RUN    1 132.7H 79.49% idle: cpu1
   15 root        1 -44    -     0K    16K WAIT   0  70.6H 48.29% swi1: net
   12 root        1 171 ki31     0K    16K RUN    0  84.9H 42.97% idle: cpu0
   28 root        1 -68    -     0K    16K CPU0   1  17.7H 12.74% dummynet
56884 www         1  96    0 68572K  6468K select 0   0:00  3.00% httpd
19590 root        2  96    0   143M 29708K select 1 110:29  1.61% mpd4
23571 www         1   4    0 71772K 10128K sbwait 1   4:34  0.34% httpd

PPS:

# bwm-ng -I em0 -u packets
bwm-ng v0.6 (probing every 0.500s), press 'h' for help
  input: getifaddrs type: rate
  |         iface                   Rx                   Tx                Total
  ===========================================================================
===
              em0:        25130.08 P/s         30814.63 P/s         55944.72 P/s
  ------------------------------------------------------------------------------
            total:        25294.60 P/s         31016.37 P/s         56310.96 P/s

 

Пайпы:

# ipfw list | grep pipe | wc -l
     998

Что еще?

Железо -

процик Intel Core2Duo 6750 1333MHz

мать Asus 5PK

Сетевая, как уже писал PCI-E Intel® PRO/1000 PT Server Adapter

2 GB памяти...

 

 

пинг на длинк (em0):

# ping 10.100.110.10
PING 10.100.110.10 (10.100.110.10): 56 data bytes
64 bytes from 10.100.110.10: icmp_seq=0 ttl=64 time=8.858 ms
64 bytes from 10.100.110.10: icmp_seq=1 ttl=64 time=15.684 ms
64 bytes from 10.100.110.10: icmp_seq=2 ttl=64 time=21.606 ms
64 bytes from 10.100.110.10: icmp_seq=3 ttl=64 time=14.211 ms

Пинг на соседнюю машинку из внутренней локалки (em1)

# ping 10.100.100.5
PING 10.100.100.5 (10.100.100.5): 56 data bytes
64 bytes from 10.100.100.5: icmp_seq=0 ttl=64 time=1.755 ms
64 bytes from 10.100.100.5: icmp_seq=1 ttl=64 time=0.585 ms
64 bytes from 10.100.100.5: icmp_seq=2 ttl=64 time=1.647 ms
64 bytes from 10.100.100.5: icmp_seq=3 ttl=64 time=0.588 ms

Т.е., вполне адекватный пинг.

Как может не тянуть фря??

Изменено пользователем iglide

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я никогда не пользовался FreeBSD, но вообще-то машина неслабая, тем более при всего 600 онлайн и 50 KPPS! Что-то пугает загрузка больше 1 только. А так да, похоже не в ней дело, раз пинг до соседнего узла в обход длинка нормальный. Разбирайтесь, удачи!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Многоуважаемый Jab - молвите слово? Где же копать?

 

...Хм... только что еще раз замерил пинг на соседний хост во внутренней сетке:

# ping 10.100.100.77
PING 10.100.100.77 (10.100.100.77): 56 data bytes
64 bytes from 10.100.100.77: icmp_seq=0 ttl=64 time=10.782 ms
64 bytes from 10.100.100.77: icmp_seq=1 ttl=64 time=13.895 ms
64 bytes from 10.100.100.77: icmp_seq=2 ttl=64 time=3.876 ms
64 bytes from 10.100.100.77: icmp_seq=3 ttl=64 time=12.523 ms
64 bytes from 10.100.100.77: icmp_seq=4 ttl=64 time=10.565 ms
64 bytes from 10.100.100.77: icmp_seq=5 ttl=64 time=12.756 ms
64 bytes from 10.100.100.77: icmp_seq=6 ttl=64 time=11.757 ms
64 bytes from 10.100.100.77: icmp_seq=7 ttl=64 time=10.934 ms
64 bytes from 10.100.100.77: icmp_seq=8 ttl=64 time=9.801 ms
64 bytes from 10.100.100.77: icmp_seq=9 ttl=64 time=10.025 ms
64 bytes from 10.100.100.77: icmp_seq=10 ttl=64 time=16.667 ms

При этом пинг на все тот же длинк:

# ping 10.100.110.10
PING 10.100.110.10 (10.100.110.10): 56 data bytes
64 bytes from 10.100.110.10: icmp_seq=0 ttl=64 time=15.013 ms
64 bytes from 10.100.110.10: icmp_seq=1 ttl=64 time=18.048 ms
64 bytes from 10.100.110.10: icmp_seq=2 ttl=64 time=17.856 ms
64 bytes from 10.100.110.10: icmp_seq=3 ttl=64 time=14.052 ms
64 bytes from 10.100.110.10: icmp_seq=4 ttl=64 time=15.815 ms
64 bytes from 10.100.110.10: icmp_seq=5 ttl=64 time=11.356 ms
64 bytes from 10.100.110.10: icmp_seq=6 ttl=64 time=15.327 ms

 

Все-таки, что-то здесь не то.

Как убедиться на 100% в том, что поллинг включен? В чем кроме него может быть еще проблема?

Изменено пользователем iglide

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

При этом пинг на все тот же длинк:

# ping 10.100.110.10
PING 10.100.110.10 (10.100.110.10): 56 data bytes
64 bytes from 10.100.110.10: icmp_seq=0 ttl=64 time=15.013 ms
64 bytes from 10.100.110.10: icmp_seq=1 ttl=64 time=18.048 ms
64 bytes from 10.100.110.10: icmp_seq=2 ttl=64 time=17.856 ms
64 bytes from 10.100.110.10: icmp_seq=3 ttl=64 time=14.052 ms
64 bytes from 10.100.110.10: icmp_seq=4 ttl=64 time=15.815 ms
64 bytes from 10.100.110.10: icmp_seq=5 ttl=64 time=11.356 ms
64 bytes from 10.100.110.10: icmp_seq=6 ttl=64 time=15.327 ms

 

Все-таки, что-то здесь не то.

Возьмите в руки ноутбук, воткните его в порт длинка, создайте влан и ipif с сетью /30 (т.е. просто p-t-p интерфейс, чтобы соедить ноут и свитч). Настройте ноут и пустите пинг с ноута на адрес длинка. Показания в студию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как дополнительную информацию, привожу график загрузки общего порта на коммутаторе:

 

post-54353-1233977793_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Для начала - sysctl kern.polling.idle_poll=1, потом убедитесь что Ваши пинги не идут сквозь трубы dummynet. Задержки на трубе - это нормально.

И вообще в первую очередь копайте dummynet. Откуда там 998 правил ?

 

Теперь всплыло, что там еще и em1 есть... Вигвам и 300 апачей внутри.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А какая версия freebsd?

Если 7.х (а я надеюсь, что даже STABLE свежая) то имхо поллинг не нужен, рекомендую его отключить и тюнинговать задержки в драйвере. Если же не поможет, то ставить драйвера от яндекса.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Без поллинга пинги будут скакать еще сильнее.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

to iglide

Хотелось всё таки посмотреть на вывод

netstat -dw1I emX

systat -vm 1

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Проблема однозначно во фре. У нас длинк-3100, занято 16 портов сфп, на медных 4-х портах сделан транк на ядро. Загрузка портов в транке до 40%. Все лопатит, никаких задержек.

Обратите внимание! Когда вы что-то пингуете СО СВИЧА, то пинги идут ЧЕРЕЗ СЕРВЕР! Маршрутизация ведь... Так что задержки в пинги добавляет никак не свич, а именно фря.

Делайте как вам уже тут советовали - Л3 свич на агрегацию (3828 в вашем случае хватит, но если смотреть на развитие, то лучше ставить что-то серьезное - тот же эджкор или циску). Сервер цепляйте к нему несколькими гиговыми сетевухами (в идеале на каждый влан по сетевухе). Фрю обновите до версии 7, поллинг отключайте. Радиус выкиньте туда, где база биллинга крутится, на сервере пусть только мпд останется. И будет счастье.

Изменено пользователем Alexandr Ovcharenko

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

При 55kpps разница в 6.x и 7.x с поллингом и без поллинга не критична. А вот 1000 правил в ipfw без ветвления - очень даже.

Скажем если флудануть по последнему правилу 10-20kpps - тачка встанет колом, и будет права.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Возьмите в руки ноутбук, воткните его в порт длинка, создайте влан и ipif с сетью /30 (т.е. просто p-t-p интерфейс, чтобы соедить ноут и свитч). Настройте ноут и пустите пинг с ноута на адрес длинка. Показания в студию.
Время пинга колеблется от 1 до 4 мс.

 

Откуда там 998 правил ?
На фре поднят шейпер исходящего трафика. Для безлимитчиков.
А какая версия freebsd?
# uname -a
FreeBSD 7.0-RELEASE #1: Wed Jul 30 22:43:24 UTC 2008 /usr/obj/usr/src/sys/MYKERNEL  amd64

2Latik:

# netstat -dw1I em0
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls drops
     72562   204   45279843      77075     0   71420604     0     0
     77316   148   49255337      81186     0   74372712     0     0
     77305     0   50918070      80838     0   74270246     0     0
     75701   225   48339907      79552     0   73049187     0     0
     71419   180   44630358      75628     0   69877104     0     0
     74110   189   47012379      78187     0   72472249     0     0
     77243   173   48957080      81733     0   75245352     0     0
     68562     0   42224922      71775     0   64491301     0     0
     75260    84   48270375      79271     0   72797672     0     0

 

systat -vm 1:

    1 users    Load  1.30  1.28  1.30                   7 фев 21:57

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
        Tot   Share      Tot    Share    Free           in   out     in   out
Act  558544    9356   850164    18712  120220  count
All  584696   10484  5102856    23400          pages
Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        cow    4060 total
  1         315      5858   24 1166   68 5740   22     22 zfod        atkbd0 1
                                                          ozfod       em1 irq18
8.5%Sys  25.9%Intr  0.4%User  0.0%Nice 65.2%Idle        %ozfod    68 atapci1 22
|    |    |    |    |    |    |    |    |    |    |       daefr  1996 cpu0: time
====+++++++++++++                                         prcfr       em0 irq256
                                         8 dtbuf        8 totfr  1996 cpu1: time
Namei     Name-cache   Dir-cache     69146 desvn          react
   Calls    hits   %    hits   %     38924 numvn          pdwak
       6       6 100                 17279 frevn          pdpgs
                                                          intrn
Disks   ad4                                        282768 wire
KB/t  16.00                                        507992 act
tps      68                                         91924 inact
MB/s   1.06                                         32520 cache
%busy     4                                         87700 free
                                                   113792 buf

22:00. 680 PPPoE-сессий.

Делайте как вам уже тут советовали - Л3 свич на агрегацию
Собственно, именно это я и хотел узнать изначально - какой L3-коммутатор посоветует народ? Длинк не хочется. Хочется именно на перспективу. В большей степени интересует ATI AT -9448T/SP. Главный вопрос - справится ли он с задачей? Не возникнет ли каких либо подводных камней в настройке маршрутизации виланов? В данный момент каждый вилан не видим для другого, т.е., абонент включенный, скажем в vlan2 (10.100.10.123), не видит абонента из vlan3 (10.100.12.123). Друг друга они начинают видеть только после поднятия PPPoE! Т.е, при этом, каждому из них назначается определенный IP (скажем, 10.10.20.11 и 10.10.40.12) и уже сама фря разрешает трафик в этих подсетях. Не совсем понятно каким образом эта маршрутизация будет подниматься на Л3! Какие есть на Л3-коммутаторах механизмы для решения этой задачи? Может есть литература какая полезная (желательно, доходчивая)? Я повторюсь, опыта работы с L3-оборудованием - нет. А экспериментировать на 3-х тысячах у.е. большого желания тоже нет (тем более, во времена кризиса).

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

# uname -a
FreeBSD 7.0-RELEASE #1: Wed Jul 30 22:43:24 UTC 2008 /usr/obj/usr/src/sys/MYKERNEL  amd64

Обновите систему. Вот почему ссыла

SVN rev 181597 on 2008-08-11 18:33:10Z by jfv - новый драйвер

SVN rev 185510 on 2008-12-01 07:13:52Z by jfv - фикс :) к ниму.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если L3 коммутатор, то это Edge-Core ES4626 или Cisco 3750, второй вариант конечно, лучше =) Только это, как я уже говорил, не нужно - с 700 онлайн справится легко софтроутер-PPPoE-терминатор с четырехъядерным интелом на борту, при учете что локалка через PPPoE.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.