[nuclearcat]

Вот и приехала оптика в Ливанстан. Начинаем считать лишние миллисекунды и готовиться к высоким pps-ам.

Соответственно в первую очередь из ядра выметаем NAT, и оставляем его лишь там, где он исключительно необходим (BRAS или вспомогательные сервера).

 

Попытался зацепить на новый канал древнюю Cisco 7200 NPE-400, которая благополучно умерла на 100 мегабитах (форвардинг и uRPF, через PA-GE, конечно 802.1q), конечно CEF и прочее включал и крутил. Немножко покопавшись в документации, понял, что роутинг там софтверный, хотя и увешанный проприетарными ускорялками.

Поставил пока тазик с Gentoo (Fujitsu PRIMERGY RX300 S6, Xeon E5620 + 82575EB) , собрал последнее ядрышко, подкрутил опции, вроде бегает, и думаю успешно прожует до гигабита.

А еще на второй работе стоит Cisco 3825, которая скоро будет переваливать за сотню мегабит, и которая делает кучу дел, и чую тоже ей поплохеет. Та 7200 на 80% загрузки CPU стала захлебываться и терять пакеты, а 3825 уже в пиках 50-60% достает. Судя по даташитам от циски где-то у нее тоже скоро потолок производительности.

 

Но мучает меня мысль, что надо как-то аппаратно все пророутить, с минимальной latency. Бюджет до 10k вечнозеленых, но естественно выше 3k нужно хорошо обосновать.

Задачи: Чуть ACL (на случай мелких DDoS), чуть source routing (route-map?) - но необязательно, и самое главное минимальная задержка и wirespeed.

Реальны ли мои мечты?

Я пока одноног, и ввиду монополии гостелекома больше ног не предвидится, потому full view мне не нужен, моих сетей тоже немного. Нужно как минимум пару дырок под SFP.

Реально ли мне удовлетворится каким-нить Cisco 3560G-24TS или Juniper EX2200 ? Или нужно ужимать пояса и копить хотя бы на MX-5?

В чем могут быть подводные камни? Что лучше? (дада, холивар тоже послушаю)

Или смысла мало, и стоит готовить бумажник на покупку 10G карт на вырост в сервер и сервер получше?

P.S. Если вырасту до 10G, наверное стоит смотреть на Brocade (Foundry)? Видел тут замечательную штучку на 24x 10G, она L3 и тоже wirespeed?

[alexmern]

Я пока одноног, и ввиду монополии гостелекома больше ног не предвидится, потому full view мне не нужен, моих сетей тоже немного. Нужно как минимум пару дырок под SFP.

Так может тогда L3-свич справится? Что-то типа C3750?

[s.lobanov]

Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда.

Нюансы в L3 wirespeed свитчах появляются, когда вы на них пытаетесь терминировать абонентов(приводит к проблемам с arp и прочими нагрузками на CPU) или на модульном оборудовании, когда упираетесь в шину между слотами.

[caz]

Вот и приехала оптика в Ливанстан. Начинаем считать лишние миллисекунды и готовиться к высоким pps-ам.

Соответственно в первую очередь из ядра выметаем NAT, и оставляем его лишь там, где он исключительно необходим (BRAS или вспомогательные сервера).

 

Но мучает меня мысль, что надо как-то аппаратно все пророутить, с минимальной latency. Бюджет до 10k вечнозеленых, но естественно выше 3k нужно хорошо обосновать.

Задачи: Чуть ACL (на случай мелких DDoS), чуть source routing (route-map?) - но необязательно, и самое главное минимальная задержка и wirespeed.

Реальны ли мои мечты?

 

Я пока одноног, и ввиду монополии гостелекома больше ног не предвидится, потому full view мне не нужен, моих сетей тоже немного. Нужно как минимум пару дырок под SFP.

Реально ли мне удовлетворится каким-нить Cisco 3560G-24TS или Juniper EX2200 ? Или нужно ужимать пояса и копить хотя бы на MX-5?

В чем могут быть подводные камни? Что лучше? (дада, холивар тоже послушаю)

Или смысла мало, и стоит готовить бумажник на покупку 10G карт на вырост в сервер и сервер получше?

P.S. Если вырасту до 10G, наверное стоит смотреть на Brocade (Foundry)? Видел тут замечательную штучку на 24x 10G, она L3 и тоже wirespeed?

 

может стоит посмотреть на Foundry JetCore с управляющей платой J-BXGMR4 и шассиком 4-х слотовым. да и 10G карты под него не за дорого продают, по стоимости получается совсем не много $2000-3000.

 

Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда.

 

а почему про pbr стоит забыть навсегда?

[s.lobanov]

Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда.

 

а почему про pbr стоит забыть навсегда?

 

Потому что используя PBR вы ограничиваете себя в выборе оборудования. Какое-то железо его просто не умеет, какое-то умеет через CPU, где-то приходится выбрать профиль tcam с PBR, при этом отключить ipv6, ещё где-то ограничивается кол-во применённых роутмапов. Лучше эту гадость исключить на этапе дизайна, иначе потом(при очередной модернизации сети) у вас голова будет болеть очень сильно, оставьте этот костыль админам средних и крупных предприятий - пусть развлекаются.

[Justas]

Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-)

[vik75]

может стоит посмотреть на Foundry JetCore с управляющей платой J-BXGMR4 и шассиком 4-х слотовым. да и 10G карты под него не за дорого продают, по стоимости получается совсем не много $2000-3000.

если покупатель не в России... то можно шасси с J-BXGMR4 купить за 600$ с доставкой

перевалит трафик за 3Гбита купите еще плату на 16 портов sfp или на 10Гб (сейчас около 500$ к тому времени наверно уже за 100$)

[caz]

Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда.

 

а почему про pbr стоит забыть навсегда?

 

Потому что используя PBR вы ограничиваете себя в выборе оборудования. Какое-то железо его просто не умеет, какое-то умеет через CPU, где-то приходится выбрать профиль tcam с PBR, при этом отключить ipv6, ещё где-то ограничивается кол-во применённых роутмапов. Лучше эту гадость исключить на этапе дизайна, иначе потом(при очередной модернизации сети) у вас голова будет болеть очень сильно, оставьте этот костыль админам средних и крупных предприятий - пусть развлекаются.

 

да есть маленькие неприятности с PBR у каждого вендора, но все же он есть у многих, а по производительности/фичам надо наверное читать перед покупкой.. вот 2 случая когда мне PBR пригодился:

1. sup2 - раскидывал на 11 NATов абонентов, с резервированием, т.е. 1 нат падает, pbr переключает на другой.

 

2. надо было раскидать 12-15 гигабит трафика на приблизительно равные части и отзеркалировать на выходе, стояло еще условие, что на выходе сессии не должны пересекаться, причем это надо было сделать быстро, тут опять спас PBR+static route. PBR реализован был на LAG интерфейсе на MLX. Если знаете более правильные/элегантные способы, готов послушать и пойти поэкспериментировать =)

[mukca]

nuclearcat

2 интеловские сетевушки + freebsd + Quagga гигабит прожует и еще мало будет...

если нужно до гигабита и ненужен фул вьив то смотрите Cisco 3560G 3750g там вам портов хватит, главноев чтоб памяти для маршрутов хватило

если надо больше ту нуна смотреть на что нибть с 10g (так как на аплинке поднимать LACP или еще какую агрегацию портов нет уж спасибо)

[kayot]

..но так как FW не нужен, и вообще практически ничего не нужно - с головой хватит предложенного им же Cisco 3560G-24TS. И гиг прожует с нулевой загрузкой, и 5, и 10.

[mukca]

Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-)

как правило главные аргументы подешевле и что работало.. и что тогда по вашему предлагать??

[nuclearcat]

Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-)

Помоему он сам часть нагрузки перевел на L3 свитчи.

 

nuclearcat

2 интеловские сетевушки + freebsd + Quagga гигабит прожует и еще мало будет...

если нужно до гигабита и ненужен фул вьив то смотрите Cisco 3560G 3750g там вам портов хватит, главноев чтоб памяти для маршрутов хватило

если надо больше ту нуна смотреть на что нибть с 10g (так как на аплинке поднимать LACP или еще какую агрегацию портов нет уж спасибо)

Я софт-роутеров постараюсь избегать на границе, ибо сначала сетевуха собирает несколько пакетов во внутренний буфер, ибо попакетно передавать по PCI-e - не выйдет. Потом бурстом передает в ring buffer, т.е. опять накапливается какое-то количество пакетов(NAPI/polling) + латентность памяти, потом обработка процессором (гоняем из памяти в процессор и назад), потом и на передачу целая история. Когда фичи софтроутеров не нужны - их стоит избегать. Шейперы/qos и прочее из софтрутеров я потом могу применять уже разбив полосу на более мелкие потоки, а клиентам желающим raw bandwidth могу отдать ее с минимальной задержкой, без прохода через софтроутеры. Потом уже можно найти железяку с PBR и полисерами в железе. Ну и самое главное, если приедет атака по 64байта с высоким pps - софтрутерам плохеет, а так я могу ее в Null завернуть прямо на L3 железяке.

[Justas]

как правило главные аргументы подешевле и что работало.. и что тогда по вашему предлагать??

 

 

jab он даа, он такой %)

 

От себя добавлю. Денис, вы близко знакомы с Linux поэтому за 5 минут настроить новую машину на четырехядерном процессоре с Quad-картой Intel на 82576-чипсете в бондинг для роутинга 4 фуллдуплекс-гигабита для вас не проблема. Затраты 2000 долларов в худшем случае. Если сервер DELL - 3000$, но это, понятно, пижонство. Средний срок работы такого сервера - 5 лет, в лучшем случае - 8 лет. И его всегда можно переместить на другую площадку без серьезных затрат. Про гибкость программного решения молчу, линукс есть линукс, гугл и яндекс в этом смысле не могут ошибаться.

 

 

Аппаратное решение - Catalyst 3750, не привередлив, умеет почти всё кроме NATа. BGP тоже умеет. Отроутит 16 гигабит, только вопрос - где их взять, да и порты в транки объединять всё равно придется. Б/у в отличном состоянии тоже в районе 2500$.

 

Решения 10GE стоят пока дорого. Я бы планировал до 3-5 гбит сейчас, а к тому времени и 10GE упадут до цены сегодняшнего гигабита. Вопрос вообще не в железе, вопрос в умении с ним обращаться. А вы - умеете.

Изменено 6 ноября, 2011 пользователем Justas

[nuclearcat]

Justas, ну я уже поставил на фуджике бордер, но я прекрасно понимаю архитектуру линукса (да и любой другой OS), и сколько там фигни навешано. Комп хорош для решения нестандартных задач, в особенности ноу-хау типа нестандартных шейперов, но роутинг с высоким PPS в этот список не входит. В данном случае нужна пакетомолотилка в кремнии, система с детерминированным временем обработки пакетов (по крайней мере я так надеюсь) даже на высоких pps. Я хорошо понял, что узкоспециализированные решения нужны и важны - поработав с аппаратными декодерами HD видео, когда маленький чип не чихая пережевывает видеопотоки, на которых спотыкаются достаточно мощные универсальные процессоры.

Есть конечно прикольные вещи типа http://www.liberouter.org/card_combolxt.php , но увы, в продакшн бизнес такое ставить не стоит.

У меня лишь были сомнения, а действительно ли свитч с 24 гиговыми портами перемолотит такую уйму траффика. А про 10G x 24 Foundry так вообще закрадываются неслабые сомнения. Если где-то упрется в шину, лучше заранее это знать.

 

Насколько я понимаю, мне хватит и 3560, отличие от 3750 только в "The 3560G SKUs are the standalone versions of 3750G. The 3560G SKUs do not implement the Cisco StackWise technology found on the Cisco Catalyst 3750 Series."

[caz]

У меня лишь были сомнения, а действительно ли свитч с 24 гиговыми портами перемолотит такую уйму траффика. А про 10G x 24 Foundry так вообще закрадываются неслабые сомнения. Если где-то упрется в шину, лучше заранее это знать.

просто обязан =)

Performance

488 Gbps line speed full-duplex throughput

363 Mpps forwarding capacity

1.5 micro-second latency

 

p.s.

заказали себе такой, предпологаемая нагрузка 40-60гигабит, как запустим отпишусь, помер или нет =)

Изменено 6 ноября, 2011 пользователем caz

[nuclearcat]

Еще вопрос, а кто посоветует недорогого, но надежного поставщика железа где-нить в Европе?

В т.ч. Б/у, но ессно желательно не хлам :-)

[s.lobanov]

У меня лишь были сомнения, а действительно ли свитч с 24 гиговыми портами перемолотит такую уйму траффика. А про 10G x 24 Foundry так вообще закрадываются неслабые сомнения. Если где-то упрется в шину, лучше заранее это знать.

 

Ну это выясняется таким образом: узнаёте сколько там используется ASIC-ов (1 или несколько), если один, то ищите пропускную способность(красивая циферка из брошюрки) и считаете хватит ли её для неблокируемого форвардинга, если ASIC-ов несколько(косвенно это можно выяснить по ограничениям(документация, жалобы на форумах) на порт-ченелы), то всё куда сложнее и тут уже надо выяснять про шины.

[martini]

Ну вродебы как циска6509 даже с суп2 подойдет под задачу, а к приходу 10g и на модуль с супом720 денег насобирается, а если хочется новье, то и ех3200 - 4200 справится

[RussTlt]

Но мучает меня мысль, что надо как-то аппаратно все пророутить, с минимальной latency. Бюджет до 10k вечнозеленых, но естественно выше 3k нужно хорошо обосновать.

Я очень доволен железкой Redback Smartedge-100, в 10к думаю впишитесь но она заменит голову без проблем.

10G нету но 6 имеющихся прожует без проблем. На форуме много обсуждалась сия диковинка.

[jab]

Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-)

 

Зачем же я буду линузятникам секреты выдавать ? :-) Пусть помучаются. Нагрузку я на L3 свичи не выносил, они обеспечивали только L2 транспорт, BGP/OSPF все-равно на

писюках дешевле и проще, а для NAT альтернативы нет. На железяках постоянно какими-то ограничениями по морде получаешь: 16тыщ раутов, 12 тыщ маков,

шаг влево - все прет через CPU.

[Justas]

Немного про каталист 3750 расскажу. Стоит у меня в продакшне 4 года, роутит 2,5 гбит, нагрузка на процессор 10%. Синтетическими тестами попробовал загрузить его, у меня получилось сгенерировать 7 гбит (свитч может 16 по даташиту), нагрузка на процессор осталась на 10%. Есть затык с ACL-ками, при >180 правил на вилане/виланах свитч уходит в softirq, скорость роутинга резко снижается, загрузка процессора 100%. При применении правил на физический порт количество правил без деградации производительности ограничено даташитом, то есть проблем нет. BGP full-view не сможет, но default или принять до 8000 маршрутов сможет.

[KaraVan]

Foundry JetCore с управляющей платой J-BXGMR4

Это получается она Fv принять может? А если нужно пару-тройку таблиц?

Изменено 7 ноября, 2011 пользователем KaraVan

[tartila]

Немного про каталист 3750 расскажу. Стоит у меня в продакшне 4 года, роутит 2,5 гбит, нагрузка на процессор 10%. Синтетическими тестами попробовал загрузить его, у меня получилось сгенерировать 7 гбит (свитч может 16 по даташиту), нагрузка на процессор осталась на 10%. Есть затык с ACL-ками, при >180 правил на вилане/виланах свитч уходит в softirq, скорость роутинга резко снижается, загрузка процессора 100%. При применении правил на физический порт количество правил без деградации производительности ограничено даташитом, то есть проблем нет. BGP full-view не сможет, но default или принять до 8000 маршрутов сможет.

 

Все б хорошо в этих свитчах, еще б памяти по более паяли для BGP - так вообще цены не было бы. А так софт-роутер на Linux и карточка на 82576.

[ivb1232]

3750 в ядре сети тянул не более 3,5-4 Гбит/с.

Посмотрите на Juniper MX80, железка достойная.

И PBR не боится. )

[Justas]

3750 в ядре сети тянул не более 3,5-4 Гбит/с.

 

Возможно, у вас был включен не корректный для своих задач SDM template. Или вы роутили между виланами, а не между физическими портами. Много причин деградации может быть.