Софт-роутер

[Солнечный КОТ]

В общем задачка простая - пппое+влан+роутер в одном флаконе и с гигабитами по требованию.

Предлагается простое решение:

 

M/B SuperMicro P4SCI Socket478 <iE7210> SVGA+2xGbLAN 2PCI-X SATA RAID U100 ATX 4DDR<PC-3200>

http://www.nix.ru/autocatalog/supermicro/3...6118_39261.html

 

в ее ПСИ64 втыкаем Intel <PWLA8494MT> PRO/1000 MT Quad Port Server Adapter PCI-X 10/100/1000Mbps (OEM)

http://www.nix.ru/autocatalog/intel/net/23...5138_23195.html

 

Ну и проц можно гига под 3.2 с 1мбайт кеша взять.

 

Софтинка предлагается Микротик. Ставим флешку туда. Теперь осталось только придумать как сделать пассивное охлаждение проца.

 

 

Побейте меня посильнее чтоб мне этого не хотелось.

[Ascent77]

Postavite Microtik, zrja potratite vremja, na takoje on ne prednaznachen i nikakoj proc tut ne pomozhet. Eto reshenije klassa chastnuju gostinicu vyvesti v internet, ili kompjuternij klub, gigabitam/s tut delat' nechego ne smotrja na vse reklamnije zajavlenija, provereno.

[jab]

FreeBSD на flash-IDE. Проверено, работает. Пассивное охлаждение на самом деле можно только в 1U корпусе делать, за счет корпусных вентиляторов, на проц в этом случае ставится здоровый медный радиатор. Вой правда от такого роутера - как на аэродроме. :-)

 

Память на самом деле подойдет и PC2700, а проца хватает и обычного 3Ghz, если firewall'ами и шифрацией не увлекаться. Да и в любом случае разница в производительности будет незначительна. Кроме того, если действительно планируется гигабит нагрузки - то лучше

взять сразу два таких роутера. И нагрузку располовинить. :-) Тогда будет значительный

запас и в случае аварии можно все VLAN'ы перебросить на один рутер.

[Alexspils]

to Ascent77: S kakoj versiej mikrotika proverjali?kakoj kompjuter?

[Солнечный КОТ]

na takoje on ne prednaznachen i nikakoj proc tut ne pomozhet

А вы внимательно смотрели выбранные модели матерей и сетевух?

[Egor]

Ну матери как матери и сетевухи как сетевухи :) . При более простых железяках с гигабитом лучше не связываться.

[kamuzon]

имеем опыт работы с софтварными роутерами на матери tyan tiger mpx с двумя athlon mp 2600+, стоит две такие 4х головые сетевухи.

Стоит FreeBSD.

Также есть и другие софтварные роутеры на чипе ati rs480. проц athlon 64 3200+, фря 64битная.

Не прокачивается даже 100 мегабит.

Не видел пока больше 6-8тысяч пакетов в секунду. Скорость у юзеров не больше 2 мегов. До использования компов было до 7-8 мегов через всю сеть на тупых планетах и длинках.

Ищем замену для этих роутеров. Сейчас изучаем rapier (свич 3го уровня от Allied Telesyn). Цена в районе 1000 уе. Заявлена полная скорость. Ну и понятное дело проблема с прерываниями не стоит вообще. Сиська сильно дорого.

[Kirya]

Чего-то вы перемудрили.

У нас центральный роутер 800 мбит в пиках в обе стороны растаскивает без особых напрягов. :)

[kamuzon]

в догонку. для сетевых дел, насколько я слышал, лучше брать процы с более коротким конвеером, то есть amd. Для мамок смотри в сторону www.tyan.com

 

и ещё кусок непроверенной инфы: шина pci-x не прокачиает больше 8 гигабит в секунду.

[kamuzon]

это какое железо стоит и какой софт?

[Kirya]

FreeBSD server.XXX 5.4-RC1 FreeBSD 5.4-RC1 #0: Tue Apr 12 01:34:58 MSD 2005 root@:/usr/src/sys/i386/compile/SERVER i386

 

Сетевушка по-моему, Intel гигабитный какой-то, проц или p4-2000, или 2400.

 

ps. Я больше пингвинятник, поэтому как посмотреть это во Free не знаю.

[Kirya]

Оказывается посмотреть это можно командой sysctl :).

Вообщем про проц я наврал, стоит

Intel® Pentium® 4 CPU 1.70GHя

А по сетевушке нет:

Intel® PRO/1000 Network Connection, Version - 1.7.35

[kamuzon]

и сколько оно показывает загрузку проца по прерываниям при каком трафике?

 

загрузку проца можно поглядеть командой top а статистику я запамятовал как посмотреть systat -v 1

 

Сейчас я наблюдаю трафик мегов 6 в секунду по основной сетевушке (смотрящая в стержень сети). Проц загружен на 80%. 4000 прерываний.

[Kirya]

Где-то мне прав не хватает. :(

Напомни в понедельник, я админам скажу, чтоб права на сервере выдали.

[Kirya]

Админы нашлись в аське.

Вообщем загрузка проца примерно 80-85% в сумме, кол-во прерываний порядка 2000, текущая загрузка по MRTG Current In:694.3 Mb/s (69.4%). Соответсвенно столько же и на out, это роутер :).

[Nailer]

kamuzon, гм, может вас man DEVICE_POLLING спасет?

[Ascent77]

Alexspils,

S kakoj versiej mikrotika proverjali?kakoj kompjuter?

2.8, 2.9 Beta, Athlon XP 2,6+, Pentium 4 3.0, materinskije platy v pervom sluchaje

Epox, vo vtorom Abit, setevije Intel Pro 100/S, 512Mb DDR Kingston.

Escho raz utverzhdaju Mikrotik krajne nestabilen na visokih nagruzkah, bolee 200 odnovremenno rabotajuschih pol'zovatelej i krajne prozhorliv zagruzka proca pri 80Mbit/s Up 80Mbit/s down 100% pri ljubih uhichrenijah, provereno dvumja ISP, vyvod-dlja provaidinga vo vsjakom sluchaje srednego i krupnogo na dannij moment ne goden.

P.S. Sorry za translit.

[kamuzon]

и HZ=1000 мы уже тоже крутили

 

Скорее всего собака в том, что если это гейт в инет, то без проблем, потому что пакетов меньше, а удельная их ёмкость больше, а если это внутрисетевой гейт, то тут сразу же нарисовывается контра и прочие онлайн игры и уд.размер пакета стремится вниз.

[Kirya]

Нет, через этот сервачок только внутрисетевой трафик летит. Инет у меня ходит вообще через второй сервак.

Скорее всего, проблема в том, что у вас именно две 4-х головых карты, а не гигабит как у нас , где-то именно в них собака и порылась, потому что, посмотрел на mrtg моих конкурентов, пики в районе 250 mbit, число пакетов доходит до 36 тысяч в сек, подавляющее большинство их трафика тоже локалка, но ничего-живут...

[kamuzon]

дык правильно две 4х головые гигабитные сетевухи, чтобы было 8 портов и можно было бы подрубить 8 направлений

[MAXxim]

А какой смысл в софтовом роутере на внутренний трафик?

Не лучше ли поставить умный L3, это же не гейт в инет с множеством праыил и фильтров?..

[Солнечный КОТ]

Ищем замену для этих роутеров. Сейчас изучаем rapier (свич 3го уровня от Allied Telesyn). Цена в районе 1000 уе. Заявлена полная скорость.

Ну начнем с того что AT-RP24i не является роутером.

 

для сетевых дел, насколько я слышал, лучше брать процы с более коротким конвеером, то есть amd. Для мамок смотри в сторону www.tyan.com

Извините, но насколько я знаю механизм предсказания простых ветвлений у Интела намного лучше, чем у АМД. Софт-роутер содержит минимальное количество сложных ветвлений. Соответственно не может АМД быть более быстрым тут. Далее у АМД с PCI-X вообще какая то странная не любовь. Сколько не пробовал ни на одной тианской матери с PCI-X так и не смог завести рейда на полной скорости. Причем баги какие то странные, вроде все работает, а потом резкие тормоза. Далее у тех матерей (дата тестирования около 2-х лет назад) не были разнесены шины PCI-X одна от другой, следовательно у вас на роутере одна карта мешает другой работать.

 

и ещё кусок непроверенной инфы: шина pci-x не прокачиает больше 8 гигабит в секунду.

64 бита на 133 мегагерца это все таки 8 байт на кажлый такт из 133 миллионов в секунду. Соответственно получается что 133*8=1,064 гигабайтсек. То есть теоретически для 4 голов по гигабиту на прием и по гигабиту на передачу получаем загрузку в 8 гигабитсек. А соответственно получаем 1 гигабайтсек при 100% загрузке. Итого дальше получаем запас в 6%. Да не много, да еще сожрет много чего всего, но покажите мне загрузку на роутерах более 1-2 гигабит в домашних сетях? Даже на минимально платном локальном траффике я думаю такой роутер окупается за день- два.

 

Идем далее: Сетевушки выбирались из принципа, чтобы как можно меньше тормозила проц, те умеласчитать чексамы и отбрасывать кривые пакеты. При наличии нормальной быстрой памяти и такой функции как ДМА начинаем понимать, что при работе роутера без перенавороченных сервисов и без файрволла у нас данные с сетевух кроме заголовков в проц то и попадать не должны. Что соответственно увеличивает скорость роутера.

[kamuzon]

да уж. :(

буду много думать.

Спасибо.

[kamuzon]

если брать интеловую машину например на этой матери http://www.tyan.com/products/html/thunderi7520.html

в ней 5 pci-x при этом только 3 из них 133 мгц, и по одной 100 и 66 мгц. Почему так?

И вопрос, неужели все эти 5 слотов обслуживаются независимо?!

 

Вот в этой аэмдэшной мамке http://www.tyan.com/products/html/thunderk8we.html три слота при этом написано, что два 100 мгцовых на одном бридже, а одна 133 мгц на бридже б. Про интел такого не написано. ?-|

 

А вот здесь http://www.tyan.com/products/html/thunderk8spro.html 4ыре 133 мгц pci-x но ни слова про бриджи. Если всё это работает через один центральный чипсет, то в чём здесь проблема - я не понимаю. Если шина hiper transport прокачивает всё это хозяйство, то и фиг с ним.

 

Или я вообще ничего не понимаю в колбасных обрезках?!

 

 

Добавлено ещё чуть позже: и если умные сетевухи всё равно всё обсчитывают сами, а до проца доходит минимальная информация, то какая тогда вообще разница в организации подключения pci-x шин, если они почти не общаются с процом, а гоняют трафик между собой?!

 

ЗЫ Почему-то думается мне, что здесь никто не сможет разъяснить эти вопросы. :(

[Kirya]

для сетевых дел, насколько я слышал, лучше брать процы с более коротким конвеером, то есть amd. Для мамок смотри в сторону www.tyan.com

Извините, но насколько я знаю механизм предсказания простых ветвлений у Интела намного лучше, чем у АМД. Софт-роутер содержит минимальное количество сложных ветвлений.

 

А вот тут я всё-таки вмешаюсь.

Механизм ветвлений заточенный под 3D-шутеры и MPEG-кодинг на P4 "класно" начинает показывать себя во всей красе при работе с iptables. ~9000 правил в FORWARD и компик даже 30 мбит прокачать не может. AMD же переваривает такие объемы без особых напрягов. Поэтому всетки длина конвеера тоже играет в таких вещах немаловажную роль. Потеря 12 тактов или 22-х при неправильном предсказании играют большую разницу.