Jump to content
Калькуляторы

Бордер , пришла пора взрослеть

Вот и приехала оптика в Ливанстан. Начинаем считать лишние миллисекунды и готовиться к высоким pps-ам.

Соответственно в первую очередь из ядра выметаем NAT, и оставляем его лишь там, где он исключительно необходим (BRAS или вспомогательные сервера).

 

Попытался зацепить на новый канал древнюю Cisco 7200 NPE-400, которая благополучно умерла на 100 мегабитах (форвардинг и uRPF, через PA-GE, конечно 802.1q), конечно CEF и прочее включал и крутил. Немножко покопавшись в документации, понял, что роутинг там софтверный, хотя и увешанный проприетарными ускорялками.

Поставил пока тазик с Gentoo (Fujitsu PRIMERGY RX300 S6, Xeon E5620 + 82575EB) , собрал последнее ядрышко, подкрутил опции, вроде бегает, и думаю успешно прожует до гигабита.

А еще на второй работе стоит Cisco 3825, которая скоро будет переваливать за сотню мегабит, и которая делает кучу дел, и чую тоже ей поплохеет. Та 7200 на 80% загрузки CPU стала захлебываться и терять пакеты, а 3825 уже в пиках 50-60% достает. Судя по даташитам от циски где-то у нее тоже скоро потолок производительности.

 

Но мучает меня мысль, что надо как-то аппаратно все пророутить, с минимальной latency. Бюджет до 10k вечнозеленых, но естественно выше 3k нужно хорошо обосновать.

Задачи: Чуть ACL (на случай мелких DDoS), чуть source routing (route-map?) - но необязательно, и самое главное минимальная задержка и wirespeed.

Реальны ли мои мечты?

Я пока одноног, и ввиду монополии гостелекома больше ног не предвидится, потому full view мне не нужен, моих сетей тоже немного. Нужно как минимум пару дырок под SFP.

Реально ли мне удовлетворится каким-нить Cisco 3560G-24TS или Juniper EX2200 ? Или нужно ужимать пояса и копить хотя бы на MX-5?

В чем могут быть подводные камни? Что лучше? (дада, холивар тоже послушаю)

Или смысла мало, и стоит готовить бумажник на покупку 10G карт на вырост в сервер и сервер получше?

P.S. Если вырасту до 10G, наверное стоит смотреть на Brocade (Foundry)? Видел тут замечательную штучку на 24x 10G, она L3 и тоже wirespeed?

Share this post


Link to post
Share on other sites

Я пока одноног, и ввиду монополии гостелекома больше ног не предвидится, потому full view мне не нужен, моих сетей тоже немного. Нужно как минимум пару дырок под SFP.

Так может тогда L3-свич справится? Что-то типа C3750?

Share this post


Link to post
Share on other sites

Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда.

Нюансы в L3 wirespeed свитчах появляются, когда вы на них пытаетесь терминировать абонентов(приводит к проблемам с arp и прочими нагрузками на CPU) или на модульном оборудовании, когда упираетесь в шину между слотами.

Share this post


Link to post
Share on other sites

Вот и приехала оптика в Ливанстан. Начинаем считать лишние миллисекунды и готовиться к высоким pps-ам.

Соответственно в первую очередь из ядра выметаем NAT, и оставляем его лишь там, где он исключительно необходим (BRAS или вспомогательные сервера).

 

Но мучает меня мысль, что надо как-то аппаратно все пророутить, с минимальной latency. Бюджет до 10k вечнозеленых, но естественно выше 3k нужно хорошо обосновать.

Задачи: Чуть ACL (на случай мелких DDoS), чуть source routing (route-map?) - но необязательно, и самое главное минимальная задержка и wirespeed.

Реальны ли мои мечты?

 

Я пока одноног, и ввиду монополии гостелекома больше ног не предвидится, потому full view мне не нужен, моих сетей тоже немного. Нужно как минимум пару дырок под SFP.

Реально ли мне удовлетворится каким-нить Cisco 3560G-24TS или Juniper EX2200 ? Или нужно ужимать пояса и копить хотя бы на MX-5?

В чем могут быть подводные камни? Что лучше? (дада, холивар тоже послушаю)

Или смысла мало, и стоит готовить бумажник на покупку 10G карт на вырост в сервер и сервер получше?

P.S. Если вырасту до 10G, наверное стоит смотреть на Brocade (Foundry)? Видел тут замечательную штучку на 24x 10G, она L3 и тоже wirespeed?

 

может стоит посмотреть на Foundry JetCore с управляющей платой J-BXGMR4 и шассиком 4-х слотовым. да и 10G карты под него не за дорого продают, по стоимости получается совсем не много $2000-3000.

 

Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда.

 

а почему про pbr стоит забыть навсегда?

Share this post


Link to post
Share on other sites

Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда.

 

а почему про pbr стоит забыть навсегда?

 

Потому что используя PBR вы ограничиваете себя в выборе оборудования. Какое-то железо его просто не умеет, какое-то умеет через CPU, где-то приходится выбрать профиль tcam с PBR, при этом отключить ipv6, ещё где-то ограничивается кол-во применённых роутмапов. Лучше эту гадость исключить на этапе дизайна, иначе потом(при очередной модернизации сети) у вас голова будет болеть очень сильно, оставьте этот костыль админам средних и крупных предприятий - пусть развлекаются.

Share this post


Link to post
Share on other sites

Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-)

Share this post


Link to post
Share on other sites

может стоит посмотреть на Foundry JetCore с управляющей платой J-BXGMR4 и шассиком 4-х слотовым. да и 10G карты под него не за дорого продают, по стоимости получается совсем не много $2000-3000.

если покупатель не в России... то можно шасси с J-BXGMR4 купить за 600$ с доставкой

перевалит трафик за 3Гбита купите еще плату на 16 портов sfp или на 10Гб (сейчас около 500$ к тому времени наверно уже за 100$)

Share this post


Link to post
Share on other sites

Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда.

 

а почему про pbr стоит забыть навсегда?

 

Потому что используя PBR вы ограничиваете себя в выборе оборудования. Какое-то железо его просто не умеет, какое-то умеет через CPU, где-то приходится выбрать профиль tcam с PBR, при этом отключить ipv6, ещё где-то ограничивается кол-во применённых роутмапов. Лучше эту гадость исключить на этапе дизайна, иначе потом(при очередной модернизации сети) у вас голова будет болеть очень сильно, оставьте этот костыль админам средних и крупных предприятий - пусть развлекаются.

 

да есть маленькие неприятности с PBR у каждого вендора, но все же он есть у многих, а по производительности/фичам надо наверное читать перед покупкой.. вот 2 случая когда мне PBR пригодился:

1. sup2 - раскидывал на 11 NATов абонентов, с резервированием, т.е. 1 нат падает, pbr переключает на другой.

 

2. надо было раскидать 12-15 гигабит трафика на приблизительно равные части и отзеркалировать на выходе, стояло еще условие, что на выходе сессии не должны пересекаться, причем это надо было сделать быстро, тут опять спас PBR+static route. PBR реализован был на LAG интерфейсе на MLX. Если знаете более правильные/элегантные способы, готов послушать и пойти поэкспериментировать =)

Share this post


Link to post
Share on other sites

nuclearcat

2 интеловские сетевушки + freebsd + Quagga гигабит прожует и еще мало будет...

если нужно до гигабита и ненужен фул вьив то смотрите Cisco 3560G 3750g там вам портов хватит, главноев чтоб памяти для маршрутов хватило

если надо больше ту нуна смотреть на что нибть с 10g (так как на аплинке поднимать LACP или еще какую агрегацию портов нет уж спасибо)

Share this post


Link to post
Share on other sites

..но так как FW не нужен, и вообще практически ничего не нужно - с головой хватит предложенного им же Cisco 3560G-24TS. И гиг прожует с нулевой загрузкой, и 5, и 10.

Share this post


Link to post
Share on other sites
Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-)

как правило главные аргументы подешевле и что работало.. и что тогда по вашему предлагать??

Share this post


Link to post
Share on other sites

Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-)

Помоему он сам часть нагрузки перевел на L3 свитчи.

 

nuclearcat

2 интеловские сетевушки + freebsd + Quagga гигабит прожует и еще мало будет...

если нужно до гигабита и ненужен фул вьив то смотрите Cisco 3560G 3750g там вам портов хватит, главноев чтоб памяти для маршрутов хватило

если надо больше ту нуна смотреть на что нибть с 10g (так как на аплинке поднимать LACP или еще какую агрегацию портов нет уж спасибо)

Я софт-роутеров постараюсь избегать на границе, ибо сначала сетевуха собирает несколько пакетов во внутренний буфер, ибо попакетно передавать по PCI-e - не выйдет. Потом бурстом передает в ring buffer, т.е. опять накапливается какое-то количество пакетов(NAPI/polling) + латентность памяти, потом обработка процессором (гоняем из памяти в процессор и назад), потом и на передачу целая история. Когда фичи софтроутеров не нужны - их стоит избегать. Шейперы/qos и прочее из софтрутеров я потом могу применять уже разбив полосу на более мелкие потоки, а клиентам желающим raw bandwidth могу отдать ее с минимальной задержкой, без прохода через софтроутеры. Потом уже можно найти железяку с PBR и полисерами в железе. Ну и самое главное, если приедет атака по 64байта с высоким pps - софтрутерам плохеет, а так я могу ее в Null завернуть прямо на L3 железяке.

Share this post


Link to post
Share on other sites

как правило главные аргументы подешевле и что работало.. и что тогда по вашему предлагать??

 

 

jab он даа, он такой %)

 

От себя добавлю. Денис, вы близко знакомы с Linux поэтому за 5 минут настроить новую машину на четырехядерном процессоре с Quad-картой Intel на 82576-чипсете в бондинг для роутинга 4 фуллдуплекс-гигабита для вас не проблема. Затраты 2000 долларов в худшем случае. Если сервер DELL - 3000$, но это, понятно, пижонство. Средний срок работы такого сервера - 5 лет, в лучшем случае - 8 лет. И его всегда можно переместить на другую площадку без серьезных затрат. Про гибкость программного решения молчу, линукс есть линукс, гугл и яндекс в этом смысле не могут ошибаться.

 

 

Аппаратное решение - Catalyst 3750, не привередлив, умеет почти всё кроме NATа. BGP тоже умеет. Отроутит 16 гигабит, только вопрос - где их взять, да и порты в транки объединять всё равно придется. Б/у в отличном состоянии тоже в районе 2500$.

 

Решения 10GE стоят пока дорого. Я бы планировал до 3-5 гбит сейчас, а к тому времени и 10GE упадут до цены сегодняшнего гигабита. Вопрос вообще не в железе, вопрос в умении с ним обращаться. А вы - умеете.

Edited by Justas

Share this post


Link to post
Share on other sites

Justas, ну я уже поставил на фуджике бордер, но я прекрасно понимаю архитектуру линукса (да и любой другой OS), и сколько там фигни навешано. Комп хорош для решения нестандартных задач, в особенности ноу-хау типа нестандартных шейперов, но роутинг с высоким PPS в этот список не входит. В данном случае нужна пакетомолотилка в кремнии, система с детерминированным временем обработки пакетов (по крайней мере я так надеюсь) даже на высоких pps. Я хорошо понял, что узкоспециализированные решения нужны и важны - поработав с аппаратными декодерами HD видео, когда маленький чип не чихая пережевывает видеопотоки, на которых спотыкаются достаточно мощные универсальные процессоры.

Есть конечно прикольные вещи типа http://www.liberouter.org/card_combolxt.php , но увы, в продакшн бизнес такое ставить не стоит.

У меня лишь были сомнения, а действительно ли свитч с 24 гиговыми портами перемолотит такую уйму траффика. А про 10G x 24 Foundry так вообще закрадываются неслабые сомнения. Если где-то упрется в шину, лучше заранее это знать.

 

Насколько я понимаю, мне хватит и 3560, отличие от 3750 только в "The 3560G SKUs are the standalone versions of 3750G. The 3560G SKUs do not implement the Cisco StackWise technology found on the Cisco Catalyst 3750 Series."

Share this post


Link to post
Share on other sites

У меня лишь были сомнения, а действительно ли свитч с 24 гиговыми портами перемолотит такую уйму траффика. А про 10G x 24 Foundry так вообще закрадываются неслабые сомнения. Если где-то упрется в шину, лучше заранее это знать.

просто обязан =)

Performance

488 Gbps line speed full-duplex throughput

363 Mpps forwarding capacity

1.5 micro-second latency

 

p.s.

заказали себе такой, предпологаемая нагрузка 40-60гигабит, как запустим отпишусь, помер или нет =)

Edited by caz

Share this post


Link to post
Share on other sites

Еще вопрос, а кто посоветует недорогого, но надежного поставщика железа где-нить в Европе?

В т.ч. Б/у, но ессно желательно не хлам :-)

Share this post


Link to post
Share on other sites

У меня лишь были сомнения, а действительно ли свитч с 24 гиговыми портами перемолотит такую уйму траффика. А про 10G x 24 Foundry так вообще закрадываются неслабые сомнения. Если где-то упрется в шину, лучше заранее это знать.

 

Ну это выясняется таким образом: узнаёте сколько там используется ASIC-ов (1 или несколько), если один, то ищите пропускную способность(красивая циферка из брошюрки) и считаете хватит ли её для неблокируемого форвардинга, если ASIC-ов несколько(косвенно это можно выяснить по ограничениям(документация, жалобы на форумах) на порт-ченелы), то всё куда сложнее и тут уже надо выяснять про шины.

Share this post


Link to post
Share on other sites

Ну вродебы как циска6509 даже с суп2 подойдет под задачу, а к приходу 10g и на модуль с супом720 денег насобирается, а если хочется новье, то и ех3200 - 4200 справится

Share this post


Link to post
Share on other sites

Но мучает меня мысль, что надо как-то аппаратно все пророутить, с минимальной latency. Бюджет до 10k вечнозеленых, но естественно выше 3k нужно хорошо обосновать.

Я очень доволен железкой Redback Smartedge-100, в 10к думаю впишитесь но она заменит голову без проблем.

10G нету но 6 имеющихся прожует без проблем. На форуме много обсуждалась сия диковинка.

Share this post


Link to post
Share on other sites

Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-)

 

Зачем же я буду линузятникам секреты выдавать ? :-) Пусть помучаются. Нагрузку я на L3 свичи не выносил, они обеспечивали только L2 транспорт, BGP/OSPF все-равно на

писюках дешевле и проще, а для NAT альтернативы нет. На железяках постоянно какими-то ограничениями по морде получаешь: 16тыщ раутов, 12 тыщ маков,

шаг влево - все прет через CPU.

Share this post


Link to post
Share on other sites

Немного про каталист 3750 расскажу. Стоит у меня в продакшне 4 года, роутит 2,5 гбит, нагрузка на процессор 10%. Синтетическими тестами попробовал загрузить его, у меня получилось сгенерировать 7 гбит (свитч может 16 по даташиту), нагрузка на процессор осталась на 10%. Есть затык с ACL-ками, при >180 правил на вилане/виланах свитч уходит в softirq, скорость роутинга резко снижается, загрузка процессора 100%. При применении правил на физический порт количество правил без деградации производительности ограничено даташитом, то есть проблем нет. BGP full-view не сможет, но default или принять до 8000 маршрутов сможет.

Share this post


Link to post
Share on other sites

Foundry JetCore с управляющей платой J-BXGMR4

Это получается она Fv принять может? А если нужно пару-тройку таблиц?

Edited by KaraVan

Share this post


Link to post
Share on other sites

Немного про каталист 3750 расскажу. Стоит у меня в продакшне 4 года, роутит 2,5 гбит, нагрузка на процессор 10%. Синтетическими тестами попробовал загрузить его, у меня получилось сгенерировать 7 гбит (свитч может 16 по даташиту), нагрузка на процессор осталась на 10%. Есть затык с ACL-ками, при >180 правил на вилане/виланах свитч уходит в softirq, скорость роутинга резко снижается, загрузка процессора 100%. При применении правил на физический порт количество правил без деградации производительности ограничено даташитом, то есть проблем нет. BGP full-view не сможет, но default или принять до 8000 маршрутов сможет.

 

Все б хорошо в этих свитчах, еще б памяти по более паяли для BGP - так вообще цены не было бы. А так софт-роутер на Linux и карточка на 82576.

Share this post


Link to post
Share on other sites

3750 в ядре сети тянул не более 3,5-4 Гбит/с.

Посмотрите на Juniper MX80, железка достойная.

И PBR не боится. )

Share this post


Link to post
Share on other sites
3750 в ядре сети тянул не более 3,5-4 Гбит/с.

 

Возможно, у вас был включен не корректный для своих задач SDM template. Или вы роутили между виланами, а не между физическими портами. Много причин деградации может быть.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this