Когда и в чём затыкается софтовый рутер?

[Vladislav]

Если у Вас есть опыт вынужденного апгрэйда софта/железа в PC-шных рутерах по причине роста сети(не считая патчей операционки/смены "кривого" железа на "прямое") или даже необходимого перехода на железные рутеры(cisco, 3com, d-link, cabletron etc), не сочтите за труд, опишите как это было:

железо, софт, количество пользователей при котором наступил "затык" и солюшен(что пришлось сделать, какую железку купить).

 

Думаю реальный опыт поможет многим принять правильное решение при постройке/апгрэйде центрального узла и съэкономить не мало денег...

 

Спасибо :) и с наступающим Вас всех!

[Dikana]

железные рутеры каблетрон :)...

у нас подсчет на iptables больше 200 гб в месяц... цепочек что-то около тыщ 15, но это все уже напоминает эксримальное провайдерство.

у товарищей говорят есть и больше, но подсчет не цепочками.

[psv]

железные рутеры каблетрон :)...

у нас подсчет на iptables больше 200 гб в месяц... цепочек что-то около тыщ 15, но это все уже напоминает эксримальное провайдерство.

у товарищей говорят есть и больше, но подсчет не цепочками.

 

А какой PC такое обслуживает, висит ли на нем чего-нибудь еще типа PPPOE, MySQL, Apache, Postfix (Sendmail)... И какая средняя скорость сквозь роутер (между разными интерфейсами)?

[psv]

Думаю реальный опыт поможет многим принять правильное решение при постройке/апгрэйде центрального узла и съэкономить не мало денег...

 

Спасибо :) и с наступающим Вас всех!

 

Все в одном "флаконе", Linux 2.4.18 (iptables), PPPoE, MySQL, Apache, FTP, Postfix. Пользователей до сотни (цепочки iptables), реально одновременно работающих до 30. Все это хозяйство крутится на целероне 433, 256 Мб памяти, винт UDMA-33. Скорость сквозь роутер не более 1,5 Мб/с. на 100 Мбитном езернете. :( Сейчас это хозяйство переезжает на второй "флакон" Duron 800, UDMA-66, плюс MySQL, Apache, FTP, Postfix - останется на старом 433 целероне. Посмотрим на выигрыш в скорости. Возможно мускул останется на новом месте.

[Dikana]

железные рутеры каблетрон :)...

у нас подсчет на iptables больше 200 гб в месяц... цепочек что-то около тыщ 15, но это все уже напоминает эксримальное провайдерство.

у товарищей говорят есть и больше, но подсчет не цепочками.

 

А какой PC такое обслуживает, висит ли на нем чего-нибудь еще типа PPPOE, MySQL, Apache, Postfix (Sendmail)... И какая средняя скорость сквозь роутер (между разными интерфейсами)?

 

Ничего там больше, проц Дурон 1ггц, памяти 256 мб.

Остальные параметры не скажу, но думаю общий роутинг сквозь него около 10 мбит/сек.

[Vladislav]

Думаю среди участников форума есть и более экстримальные провайдеры :)

Хотелось бы узнать о возможностях современных серверов(атлоны 2000+ и выше, PIII и выше, желательно - ксеоны :)). Может кто-нибудь пробовал в деле PCI64 шину для этого?

Остальные параметры не скажу, но думаю общий роутинг сквозь него около 10 мбит/сек.

10Мбит - уже не дурно, а загрузка процессора при этом? В чём затык получается? Интерфейсы-то 100Мбит наверное?

[Лёха]

Ставьте двойные пни, сказочные винчестеры. А то смех какой-то. Тут думаешь подойдет ли обычный комп для небольшой нагрузки (на ide больше 6Мбайт в секунду не выжать, что неприятно) а если пиковая? 100 Мбит = 12,5Мбайт в сек. 1 Гбит = 125Мбайт в сек.

[jab]

Ставьте двойные пни, сказочные винчестеры. А то смех какой-то. Тут думаешь подойдет ли обычный комп для небольшой нагрузки (на ide больше 6Мбайт в секунду не выжать, что неприятно) а если пиковая? 100 Мбит = 12,5Мбайт в сек. 1 Гбит =  125Мбайт в сек.

 

Тут проблема не в IDE, тут проблема в ДНК.

[Vladislav]

Лёха,

К сожелению, скорость дисковой подсистемы в экстримальных случаях не сильно влияет на общую производительность(недавно обсуждали создание такого рутера с флэш-диском, для повышения надёжности и уменьшения энергопотребления, хотя обычный IDE диск можно просто выключить после загрузки если матерь с ATX). Ведь речь идёт о тех процессах, которые осуществляются в оперативной памяти(в противном случае ни что не мешает сделать RAM-drive на гиг-полтора :) шутка). Правила, модули обсчёта и роутинга - всё лоадится и сидить в оперативке. Статистика скидывается на отдельный бокс со сказями и т.п.

И самое главное - интересует не то, что надо сделать(это и так понятно), а реальные данные. То есть хочется сделать вывод - в каких случаях применение железки(железного рутера) становится оправданным.

 

Советы типа - попробуйте сами, замените писюк на железку когда придёт время и тд и тп - будут безжалостно засчитаны в разряд флуда ;)

 

Ещё раз, интересуют РЕАЛЬНЫЕ ситуации и солюшены - что было, что поменяли, что получилось.

 

Тут проблема не в IDE, тут проблема в ДНК

Не все ж рождаются такими умными :) Некоторые вынуждены учиться всю свою жизнь :)

[Disease]

Интересный попутный вопрос - у меня сетка вся на 100 мегабит, хочу в одном месте поставить PCшный роутер вместо свича, дабы файрволлом включать/выключать разные линки (основные/резервные) + пинговалка + еще несколько функций. денег на L2 или L3 решение не хватает. Какой конфигурации - проц, память, сетевухи (предполагается 4 штуки) необходимо использовать? чтобы в скорости не потерять. На винт нагрузки не планируется вообще.

[фдуч]

несколько наблюдений по поводу уже 6ти летнего использования софтовых рутеров на FreeBSD (только BSD, забудте про линух:) (щас начнется фламе вор)

 

1. если надо рутить(только рутить) 3-5 сегмента 10мбпс, то с этим нормально справляется любой пень с любыми pci сетевухами.

 

2. если появилось 100мбпс, то карточки realtek и им подобные сразу на свалку. (о том какое это уежище в плане дизайна чипа читайте в коментариях драйвера if_rl). мы используем intel. 3com тоже можно, однако его дрова не поддерживают оч. важную фичу, о которй ниже.

 

3. основная проблема при пропускании сквозь себя 100мбпс - это затыкание рутера по прерываниям и дело не в 100 мегабитах, а в количестве пакетов и соответственно прерываний. (top и systat -v 1 вам поможет понять что рутер затыкается. 8000 прерываний в сек и ваш p3-700 уже труп). однако в фре есть полезная фича - DEVICE_POLLING. обязательно включаем ее на рутере. карточки работают не по прерываниям, а принудительно опрашиваются ядром. в итоге к примеру 4*100мбпс как говорится на full wire speed легко. подробнее см. на паге разработчика ipfw, dummynet и пр. вкусных штук во фре Луиджи Риззо - http://info.iet.unipi.it/~luigi/polling/

 

4. надо считать трафик. мы считаем ipacctd. вещь классная, удобная, безглючная. однако у нее есть одна проблема. подсчет идет через divert и на каждый пакет идет переключение контекста. от чего он существенно занимает процессорное время. замечено, что если ipacctd в топе висит с 30% - срочно пора менять камень. есть еще ng_ipacctd, который сделан в виде ядерного модуля и не щелкает контексты. однако он менее гибок в использовании - может считать только весь трафик на интерфейсе, а нам это не всегда надо. ну и конечно лень природная :) - работает - не трогай.

 

5. фаервол. ipfw - штатный от фри рулит. новая его генерация ipfw2 (в фре 4.8 надо включать руками - man ipfw, в 5.х штатный) еще более производителен. вобщем по фаерволу никогда не замечал затыков.

 

6. squid. идеально конечно на отдельную машинку, памяти поболее и винт пошустрее. к примеру даже в небольшой конторе на p1 32M запрос через сквид идет заметно медленней чем напрямую.

 

итак, что мы имеем на сегодняшний день на примере 2х конкретных рутеров:

p1-166 16M. 1*100 3*10. только рутинг. ~1Т в месяц

 

p4-1800 512M. 4*100. несколько vlanов. фаервол ~3000записей, подсчет входящего трафика на 1м интерфейсе (~600Гб в месяц). суммарно проручмвается ~4Тб в месяц. тут же висит squid.

[Disease]

2. если появилось 100мбпс, то карточки realtek и им подобные сразу на свалку. (о том какое это уежище в плане дизайна чипа читайте в коментариях драйвера if_rl). мы используем intel.

чип какой используете?

 

5. фаервол. ipfw - штатный от фри рулит. новая его генерация ipfw2 (в фре 4.8 надо включать руками - man ipfw, в 5.х штатный) еще более производителен. вобщем по фаерволу никогда не замечал затыков.

Почитаем..

 

итак, что мы имеем на сегодняшний день на примере 2х конкретных рутеров:

p1-166 16M. 1*100 3*10. только рутинг. ~1Т в месяц

Не интересно.

 

p4-1800 512M. 4*100. несколько vlanов. фаервол ~3000записей, подсчет входящего трафика на 1м интерфейсе (~600Гб в месяц). суммарно проручмвается ~4Тб в месяц. тут же висит squid.

Более интересно, только какой будет (на вскидку) проц, память чтобы было только "4*100", без подсчета, без доп. сервисов, файрволл менее 20 записей.

[Anton]

да, BSD рулит!

что за сетевушки на самом деле у вас? марка, как называются...

 

DLink 550TX не пробовали?

[фдуч]

to Disease

читайте Луиджи. там все написано.

имхо duron 700 уже потянет, все от задачи зависит.

 

 

to Anton

интела в принципе любые. лишь бы не на 82557.

 

от 550ТХ осталось стойкое ощущение изжоги. чего-то с дровами во фре не так. когда их больше одной - вторая через раз определяется. и еще какие-то глюки лезли. не помню. давно экспериментировал.

уж лучше cnet pro 200 на давикоме. должна определяться как dc. поддержка поллинга тоже присутствует. стоит баксов 6. в одном рутере уже года 2 работает.

[фдуч]

up

 

так что, некому нечего более скзать по теме?

ни у кого нет наблюдений больше?

софтрутеры никто не использует?

[Anton]

я использую

наблюдения такие -

карточки 550ТХ для роутеров неподходят.

если сделать однорукий роутер с этой карточкой и запустить на нем 2 посети то между ними трафик через эту карту ходит крайне отстойно (не более 5кб/с)

нисмотря ни на какие ухищрения и тюнинг через sysctl

никак не живут на одном прерывании с видяхами ( 4 сетевухи +1 видяха - при большом трафике ребутиться постоянно, приходится выкидывать видяху их машины).

Даже на RLT8139 все бегает гораздо быстрее ( опыты проводились на одинаковых версиях фрихи).

Сейчас вот занимаюсь upgrade интерфейсов на 3ком и Intel

[bsd_user]

Есть ли данные по реальному применению DEVICE_POLLING во FreeBSD 4.x? Интересует выигрыш в производительности, на каких сетевухах работает (особенно, как дружит с RealTek)? В чем особенности использования совместно с SMP?

 

И вообще кто-нибудь пробовал применять многопроцовые софтроутеры?

[jab]

Есть ли данные по реальному применению DEVICE_POLLING во FreeBSD 4.x? Интересует выигрыш в производительности, на каких сетевухах работает (особенно, как дружит с RealTek)? В чем особенности использования совместно с SMP?

 

И вообще кто-нибудь пробовал применять многопроцовые софтроутеры?

 

Этому поллингу сто лет в обед, просто раньше он только на dc и fxp

работал. Смысла в SMP не вижу до появления работоспособного

SMPng. После включения поллинга затыки идут уже не по прерываниям,

вот и все, будем ждать новое поколение троянов и вирусов лупящих

40000pps куда попало... :-) Первые ласточки уже бродят.

Реалтеки на роутерах - это что-то из прошлого века... даже 3com

галимый и то лучше.

[pitlord]

Неужели никто не использует софтовые роутеры в связке 2*1000 4*100 или 6*1000 с P-IV Xeon 3.06 1024 DDR 433?? Неужели ставят Cisco за несколько десятков килобаксов?

[jab]

Неужели никто не использует софтовые роутеры в связке 2*1000 4*100 или 6*1000 с P-IV Xeon 3.06 1024 DDR 433?? Неужели ставят Cisco за несколько десятков килобаксов?

 

А собственно какой смысл ? Гигабит можно достаточно дешево

свитчить, а роутить на конечном сегменте отделяя магистраль

от пользователей. P4 в таком случае идет в сад по причине

чрезмерного теплоизлучения. Кроме того на таких скоростях

уже практически невозможно эффективно использовать преимущества

роутеров. С экономической точки зрения - если есть реальный

оплаченый пользователями гигабит ( а не набитый халявным варезом)

то разницы по TCO уже практически не видно... +/- 10000$ не спасут

отца русской демократии... :-) Особенно если на ворованном IOS'е и

без кошкина саппорта 365х24х7. Хотя саппорт обычно берут на одну

железку а юзают под него пачками.

 

PS: Юзер перепутав биты и байты жалуется: "сетка дико тормозит -

тест всего 12 мегабайт показывает а обещали 100..."

[pitlord]

Кроме того на таких скоростях

уже практически невозможно эффективно использовать преимущества

роутеров. С экономической точки зрения - если есть реальный

оплаченый пользователями гигабит ( а не набитый халявным варезом)

то разницы по TCO уже практически не видно... +/- 10000$ не спасут

отца русской демократии...

Не нужно ставить везде роутеры на гигабит, нужен центральный роутер. Его задача - роутить и шейпить трафик. P-IV 2хпроцессорный справится?

[jab]

что такое "справится" ? :) это в попугаях сколько ?

[pitlord]

Виноват, не объяснил. Нужно роутить 6 гигабитных линков с загрузкой от 30 до 60 процентов. Интересует, какая нужна конфигурация машины для выполнения этой задачи, а именно:

роутинг, шейпинг 2500 клиентов, сбор и сброс статистики по netflow.

[jab]

Теоретически можно было бы попробовать на шести машинах, но смысл ?

Это 1M pps рабочей нагрузки... :-) А в пике все 3M...

[pitlord]

На шести машинах какой конфигурации? Можно ли на одну все повесить, но О-Ч-Е-Н-Ь мощную? Смысл в том, чтобы не платить за циску пару десятков тысяч зеленых президентов.