Vladislav Опубликовано 30 декабря, 2003 · Жалоба Если у Вас есть опыт вынужденного апгрэйда софта/железа в PC-шных рутерах по причине роста сети(не считая патчей операционки/смены "кривого" железа на "прямое") или даже необходимого перехода на железные рутеры(cisco, 3com, d-link, cabletron etc), не сочтите за труд, опишите как это было: железо, софт, количество пользователей при котором наступил "затык" и солюшен(что пришлось сделать, какую железку купить). Думаю реальный опыт поможет многим принять правильное решение при постройке/апгрэйде центрального узла и съэкономить не мало денег... Спасибо :) и с наступающим Вас всех! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dikana Опубликовано 2 января, 2004 · Жалоба железные рутеры каблетрон :)... у нас подсчет на iptables больше 200 гб в месяц... цепочек что-то около тыщ 15, но это все уже напоминает эксримальное провайдерство. у товарищей говорят есть и больше, но подсчет не цепочками. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
psv Опубликовано 3 января, 2004 · Жалоба железные рутеры каблетрон :)...у нас подсчет на iptables больше 200 гб в месяц... цепочек что-то около тыщ 15, но это все уже напоминает эксримальное провайдерство. у товарищей говорят есть и больше, но подсчет не цепочками. А какой PC такое обслуживает, висит ли на нем чего-нибудь еще типа PPPOE, MySQL, Apache, Postfix (Sendmail)... И какая средняя скорость сквозь роутер (между разными интерфейсами)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
psv Опубликовано 3 января, 2004 · Жалоба Думаю реальный опыт поможет многим принять правильное решение при постройке/апгрэйде центрального узла и съэкономить не мало денег... Спасибо :) и с наступающим Вас всех! Все в одном "флаконе", Linux 2.4.18 (iptables), PPPoE, MySQL, Apache, FTP, Postfix. Пользователей до сотни (цепочки iptables), реально одновременно работающих до 30. Все это хозяйство крутится на целероне 433, 256 Мб памяти, винт UDMA-33. Скорость сквозь роутер не более 1,5 Мб/с. на 100 Мбитном езернете. :( Сейчас это хозяйство переезжает на второй "флакон" Duron 800, UDMA-66, плюс MySQL, Apache, FTP, Postfix - останется на старом 433 целероне. Посмотрим на выигрыш в скорости. Возможно мускул останется на новом месте. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dikana Опубликовано 4 января, 2004 · Жалоба железные рутеры каблетрон :)...у нас подсчет на iptables больше 200 гб в месяц... цепочек что-то около тыщ 15, но это все уже напоминает эксримальное провайдерство. у товарищей говорят есть и больше, но подсчет не цепочками. А какой PC такое обслуживает, висит ли на нем чего-нибудь еще типа PPPOE, MySQL, Apache, Postfix (Sendmail)... И какая средняя скорость сквозь роутер (между разными интерфейсами)? Ничего там больше, проц Дурон 1ггц, памяти 256 мб. Остальные параметры не скажу, но думаю общий роутинг сквозь него около 10 мбит/сек. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Vladislav Опубликовано 6 января, 2004 · Жалоба Думаю среди участников форума есть и более экстримальные провайдеры :) Хотелось бы узнать о возможностях современных серверов(атлоны 2000+ и выше, PIII и выше, желательно - ксеоны :)). Может кто-нибудь пробовал в деле PCI64 шину для этого? Остальные параметры не скажу, но думаю общий роутинг сквозь него около 10 мбит/сек. 10Мбит - уже не дурно, а загрузка процессора при этом? В чём затык получается? Интерфейсы-то 100Мбит наверное? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Лёха Опубликовано 7 января, 2004 · Жалоба Ставьте двойные пни, сказочные винчестеры. А то смех какой-то. Тут думаешь подойдет ли обычный комп для небольшой нагрузки (на ide больше 6Мбайт в секунду не выжать, что неприятно) а если пиковая? 100 Мбит = 12,5Мбайт в сек. 1 Гбит = 125Мбайт в сек. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 7 января, 2004 · Жалоба Ставьте двойные пни, сказочные винчестеры. А то смех какой-то. Тут думаешь подойдет ли обычный комп для небольшой нагрузки (на ide больше 6Мбайт в секунду не выжать, что неприятно) а если пиковая? 100 Мбит = 12,5Мбайт в сек. 1 Гбит = 125Мбайт в сек. Тут проблема не в IDE, тут проблема в ДНК. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Vladislav Опубликовано 7 января, 2004 · Жалоба Лёха, К сожелению, скорость дисковой подсистемы в экстримальных случаях не сильно влияет на общую производительность(недавно обсуждали создание такого рутера с флэш-диском, для повышения надёжности и уменьшения энергопотребления, хотя обычный IDE диск можно просто выключить после загрузки если матерь с ATX). Ведь речь идёт о тех процессах, которые осуществляются в оперативной памяти(в противном случае ни что не мешает сделать RAM-drive на гиг-полтора :) шутка). Правила, модули обсчёта и роутинга - всё лоадится и сидить в оперативке. Статистика скидывается на отдельный бокс со сказями и т.п. И самое главное - интересует не то, что надо сделать(это и так понятно), а реальные данные. То есть хочется сделать вывод - в каких случаях применение железки(железного рутера) становится оправданным. Советы типа - попробуйте сами, замените писюк на железку когда придёт время и тд и тп - будут безжалостно засчитаны в разряд флуда ;) Ещё раз, интересуют РЕАЛЬНЫЕ ситуации и солюшены - что было, что поменяли, что получилось. Тут проблема не в IDE, тут проблема в ДНК Не все ж рождаются такими умными :) Некоторые вынуждены учиться всю свою жизнь :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Disease Опубликовано 8 января, 2004 · Жалоба Интересный попутный вопрос - у меня сетка вся на 100 мегабит, хочу в одном месте поставить PCшный роутер вместо свича, дабы файрволлом включать/выключать разные линки (основные/резервные) + пинговалка + еще несколько функций. денег на L2 или L3 решение не хватает. Какой конфигурации - проц, память, сетевухи (предполагается 4 штуки) необходимо использовать? чтобы в скорости не потерять. На винт нагрузки не планируется вообще. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
фдуч Опубликовано 8 января, 2004 · Жалоба несколько наблюдений по поводу уже 6ти летнего использования софтовых рутеров на FreeBSD (только BSD, забудте про линух:) (щас начнется фламе вор) 1. если надо рутить(только рутить) 3-5 сегмента 10мбпс, то с этим нормально справляется любой пень с любыми pci сетевухами. 2. если появилось 100мбпс, то карточки realtek и им подобные сразу на свалку. (о том какое это уежище в плане дизайна чипа читайте в коментариях драйвера if_rl). мы используем intel. 3com тоже можно, однако его дрова не поддерживают оч. важную фичу, о которй ниже. 3. основная проблема при пропускании сквозь себя 100мбпс - это затыкание рутера по прерываниям и дело не в 100 мегабитах, а в количестве пакетов и соответственно прерываний. (top и systat -v 1 вам поможет понять что рутер затыкается. 8000 прерываний в сек и ваш p3-700 уже труп). однако в фре есть полезная фича - DEVICE_POLLING. обязательно включаем ее на рутере. карточки работают не по прерываниям, а принудительно опрашиваются ядром. в итоге к примеру 4*100мбпс как говорится на full wire speed легко. подробнее см. на паге разработчика ipfw, dummynet и пр. вкусных штук во фре Луиджи Риззо - http://info.iet.unipi.it/~luigi/polling/ 4. надо считать трафик. мы считаем ipacctd. вещь классная, удобная, безглючная. однако у нее есть одна проблема. подсчет идет через divert и на каждый пакет идет переключение контекста. от чего он существенно занимает процессорное время. замечено, что если ipacctd в топе висит с 30% - срочно пора менять камень. есть еще ng_ipacctd, который сделан в виде ядерного модуля и не щелкает контексты. однако он менее гибок в использовании - может считать только весь трафик на интерфейсе, а нам это не всегда надо. ну и конечно лень природная :) - работает - не трогай. 5. фаервол. ipfw - штатный от фри рулит. новая его генерация ipfw2 (в фре 4.8 надо включать руками - man ipfw, в 5.х штатный) еще более производителен. вобщем по фаерволу никогда не замечал затыков. 6. squid. идеально конечно на отдельную машинку, памяти поболее и винт пошустрее. к примеру даже в небольшой конторе на p1 32M запрос через сквид идет заметно медленней чем напрямую. итак, что мы имеем на сегодняшний день на примере 2х конкретных рутеров: p1-166 16M. 1*100 3*10. только рутинг. ~1Т в месяц p4-1800 512M. 4*100. несколько vlanов. фаервол ~3000записей, подсчет входящего трафика на 1м интерфейсе (~600Гб в месяц). суммарно проручмвается ~4Тб в месяц. тут же висит squid. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Disease Опубликовано 8 января, 2004 · Жалоба 2. если появилось 100мбпс, то карточки realtek и им подобные сразу на свалку. (о том какое это уежище в плане дизайна чипа читайте в коментариях драйвера if_rl). мы используем intel. чип какой используете? 5. фаервол. ipfw - штатный от фри рулит. новая его генерация ipfw2 (в фре 4.8 надо включать руками - man ipfw, в 5.х штатный) еще более производителен. вобщем по фаерволу никогда не замечал затыков. Почитаем.. итак, что мы имеем на сегодняшний день на примере 2х конкретных рутеров:p1-166 16M. 1*100 3*10. только рутинг. ~1Т в месяц Не интересно. p4-1800 512M. 4*100. несколько vlanов. фаервол ~3000записей, подсчет входящего трафика на 1м интерфейсе (~600Гб в месяц). суммарно проручмвается ~4Тб в месяц. тут же висит squid. Более интересно, только какой будет (на вскидку) проц, память чтобы было только "4*100", без подсчета, без доп. сервисов, файрволл менее 20 записей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Anton Опубликовано 8 января, 2004 · Жалоба да, BSD рулит! что за сетевушки на самом деле у вас? марка, как называются... DLink 550TX не пробовали? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
фдуч Опубликовано 8 января, 2004 · Жалоба to Disease читайте Луиджи. там все написано. имхо duron 700 уже потянет, все от задачи зависит. to Anton интела в принципе любые. лишь бы не на 82557. от 550ТХ осталось стойкое ощущение изжоги. чего-то с дровами во фре не так. когда их больше одной - вторая через раз определяется. и еще какие-то глюки лезли. не помню. давно экспериментировал. уж лучше cnet pro 200 на давикоме. должна определяться как dc. поддержка поллинга тоже присутствует. стоит баксов 6. в одном рутере уже года 2 работает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
фдуч Опубликовано 14 января, 2004 · Жалоба up так что, некому нечего более скзать по теме? ни у кого нет наблюдений больше? софтрутеры никто не использует? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Anton Опубликовано 14 января, 2004 · Жалоба я использую наблюдения такие - карточки 550ТХ для роутеров неподходят. если сделать однорукий роутер с этой карточкой и запустить на нем 2 посети то между ними трафик через эту карту ходит крайне отстойно (не более 5кб/с) нисмотря ни на какие ухищрения и тюнинг через sysctl никак не живут на одном прерывании с видяхами ( 4 сетевухи +1 видяха - при большом трафике ребутиться постоянно, приходится выкидывать видяху их машины). Даже на RLT8139 все бегает гораздо быстрее ( опыты проводились на одинаковых версиях фрихи). Сейчас вот занимаюсь upgrade интерфейсов на 3ком и Intel Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bsd_user Опубликовано 25 января, 2004 · Жалоба Есть ли данные по реальному применению DEVICE_POLLING во FreeBSD 4.x? Интересует выигрыш в производительности, на каких сетевухах работает (особенно, как дружит с RealTek)? В чем особенности использования совместно с SMP? И вообще кто-нибудь пробовал применять многопроцовые софтроутеры? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 25 января, 2004 · Жалоба Есть ли данные по реальному применению DEVICE_POLLING во FreeBSD 4.x? Интересует выигрыш в производительности, на каких сетевухах работает (особенно, как дружит с RealTek)? В чем особенности использования совместно с SMP? И вообще кто-нибудь пробовал применять многопроцовые софтроутеры? Этому поллингу сто лет в обед, просто раньше он только на dc и fxp работал. Смысла в SMP не вижу до появления работоспособного SMPng. После включения поллинга затыки идут уже не по прерываниям, вот и все, будем ждать новое поколение троянов и вирусов лупящих 40000pps куда попало... :-) Первые ласточки уже бродят. Реалтеки на роутерах - это что-то из прошлого века... даже 3com галимый и то лучше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pitlord Опубликовано 4 февраля, 2004 · Жалоба Неужели никто не использует софтовые роутеры в связке 2*1000 4*100 или 6*1000 с P-IV Xeon 3.06 1024 DDR 433?? Неужели ставят Cisco за несколько десятков килобаксов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 5 февраля, 2004 · Жалоба Неужели никто не использует софтовые роутеры в связке 2*1000 4*100 или 6*1000 с P-IV Xeon 3.06 1024 DDR 433?? Неужели ставят Cisco за несколько десятков килобаксов? А собственно какой смысл ? Гигабит можно достаточно дешево свитчить, а роутить на конечном сегменте отделяя магистраль от пользователей. P4 в таком случае идет в сад по причине чрезмерного теплоизлучения. Кроме того на таких скоростях уже практически невозможно эффективно использовать преимущества роутеров. С экономической точки зрения - если есть реальный оплаченый пользователями гигабит ( а не набитый халявным варезом) то разницы по TCO уже практически не видно... +/- 10000$ не спасут отца русской демократии... :-) Особенно если на ворованном IOS'е и без кошкина саппорта 365х24х7. Хотя саппорт обычно берут на одну железку а юзают под него пачками. PS: Юзер перепутав биты и байты жалуется: "сетка дико тормозит - тест всего 12 мегабайт показывает а обещали 100..." Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pitlord Опубликовано 5 февраля, 2004 · Жалоба Кроме того на таких скоростях уже практически невозможно эффективно использовать преимущества роутеров. С экономической точки зрения - если есть реальный оплаченый пользователями гигабит ( а не набитый халявным варезом) то разницы по TCO уже практически не видно... +/- 10000$ не спасут отца русской демократии... Не нужно ставить везде роутеры на гигабит, нужен центральный роутер. Его задача - роутить и шейпить трафик. P-IV 2хпроцессорный справится? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 5 февраля, 2004 · Жалоба что такое "справится" ? :) это в попугаях сколько ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pitlord Опубликовано 5 февраля, 2004 · Жалоба Виноват, не объяснил. Нужно роутить 6 гигабитных линков с загрузкой от 30 до 60 процентов. Интересует, какая нужна конфигурация машины для выполнения этой задачи, а именно: роутинг, шейпинг 2500 клиентов, сбор и сброс статистики по netflow. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 5 февраля, 2004 · Жалоба Теоретически можно было бы попробовать на шести машинах, но смысл ? Это 1M pps рабочей нагрузки... :-) А в пике все 3M... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pitlord Опубликовано 5 февраля, 2004 · Жалоба На шести машинах какой конфигурации? Можно ли на одну все повесить, но О-Ч-Е-Н-Ь мощную? Смысл в том, чтобы не платить за циску пару десятков тысяч зеленых президентов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...