nuclearcat Опубликовано 6 ноября, 2011 · Жалоба Вот и приехала оптика в Ливанстан. Начинаем считать лишние миллисекунды и готовиться к высоким pps-ам. Соответственно в первую очередь из ядра выметаем NAT, и оставляем его лишь там, где он исключительно необходим (BRAS или вспомогательные сервера). Попытался зацепить на новый канал древнюю Cisco 7200 NPE-400, которая благополучно умерла на 100 мегабитах (форвардинг и uRPF, через PA-GE, конечно 802.1q), конечно CEF и прочее включал и крутил. Немножко покопавшись в документации, понял, что роутинг там софтверный, хотя и увешанный проприетарными ускорялками. Поставил пока тазик с Gentoo (Fujitsu PRIMERGY RX300 S6, Xeon E5620 + 82575EB) , собрал последнее ядрышко, подкрутил опции, вроде бегает, и думаю успешно прожует до гигабита. А еще на второй работе стоит Cisco 3825, которая скоро будет переваливать за сотню мегабит, и которая делает кучу дел, и чую тоже ей поплохеет. Та 7200 на 80% загрузки CPU стала захлебываться и терять пакеты, а 3825 уже в пиках 50-60% достает. Судя по даташитам от циски где-то у нее тоже скоро потолок производительности. Но мучает меня мысль, что надо как-то аппаратно все пророутить, с минимальной latency. Бюджет до 10k вечнозеленых, но естественно выше 3k нужно хорошо обосновать. Задачи: Чуть ACL (на случай мелких DDoS), чуть source routing (route-map?) - но необязательно, и самое главное минимальная задержка и wirespeed. Реальны ли мои мечты? Я пока одноног, и ввиду монополии гостелекома больше ног не предвидится, потому full view мне не нужен, моих сетей тоже немного. Нужно как минимум пару дырок под SFP. Реально ли мне удовлетворится каким-нить Cisco 3560G-24TS или Juniper EX2200 ? Или нужно ужимать пояса и копить хотя бы на MX-5? В чем могут быть подводные камни? Что лучше? (дада, холивар тоже послушаю) Или смысла мало, и стоит готовить бумажник на покупку 10G карт на вырост в сервер и сервер получше? P.S. Если вырасту до 10G, наверное стоит смотреть на Brocade (Foundry)? Видел тут замечательную штучку на 24x 10G, она L3 и тоже wirespeed? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexmern Опубликовано 6 ноября, 2011 · Жалоба Я пока одноног, и ввиду монополии гостелекома больше ног не предвидится, потому full view мне не нужен, моих сетей тоже немного. Нужно как минимум пару дырок под SFP. Так может тогда L3-свич справится? Что-то типа C3750? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 6 ноября, 2011 · Жалоба Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда. Нюансы в L3 wirespeed свитчах появляются, когда вы на них пытаетесь терминировать абонентов(приводит к проблемам с arp и прочими нагрузками на CPU) или на модульном оборудовании, когда упираетесь в шину между слотами. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 6 ноября, 2011 · Жалоба Вот и приехала оптика в Ливанстан. Начинаем считать лишние миллисекунды и готовиться к высоким pps-ам. Соответственно в первую очередь из ядра выметаем NAT, и оставляем его лишь там, где он исключительно необходим (BRAS или вспомогательные сервера). Но мучает меня мысль, что надо как-то аппаратно все пророутить, с минимальной latency. Бюджет до 10k вечнозеленых, но естественно выше 3k нужно хорошо обосновать. Задачи: Чуть ACL (на случай мелких DDoS), чуть source routing (route-map?) - но необязательно, и самое главное минимальная задержка и wirespeed. Реальны ли мои мечты? Я пока одноног, и ввиду монополии гостелекома больше ног не предвидится, потому full view мне не нужен, моих сетей тоже немного. Нужно как минимум пару дырок под SFP. Реально ли мне удовлетворится каким-нить Cisco 3560G-24TS или Juniper EX2200 ? Или нужно ужимать пояса и копить хотя бы на MX-5? В чем могут быть подводные камни? Что лучше? (дада, холивар тоже послушаю) Или смысла мало, и стоит готовить бумажник на покупку 10G карт на вырост в сервер и сервер получше? P.S. Если вырасту до 10G, наверное стоит смотреть на Brocade (Foundry)? Видел тут замечательную штучку на 24x 10G, она L3 и тоже wirespeed? может стоит посмотреть на Foundry JetCore с управляющей платой J-BXGMR4 и шассиком 4-х слотовым. да и 10G карты под него не за дорого продают, по стоимости получается совсем не много $2000-3000. Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда. а почему про pbr стоит забыть навсегда? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 6 ноября, 2011 · Жалоба Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда. а почему про pbr стоит забыть навсегда? Потому что используя PBR вы ограничиваете себя в выборе оборудования. Какое-то железо его просто не умеет, какое-то умеет через CPU, где-то приходится выбрать профиль tcam с PBR, при этом отключить ipv6, ещё где-то ограничивается кол-во применённых роутмапов. Лучше эту гадость исключить на этапе дизайна, иначе потом(при очередной модернизации сети) у вас голова будет болеть очень сильно, оставьте этот костыль админам средних и крупных предприятий - пусть развлекаются. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Justas Опубликовано 6 ноября, 2011 · Жалоба Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vik75 Опубликовано 6 ноября, 2011 · Жалоба может стоит посмотреть на Foundry JetCore с управляющей платой J-BXGMR4 и шассиком 4-х слотовым. да и 10G карты под него не за дорого продают, по стоимости получается совсем не много $2000-3000. если покупатель не в России... то можно шасси с J-BXGMR4 купить за 600$ с доставкой перевалит трафик за 3Гбита купите еще плату на 16 портов sfp или на 10Гб (сейчас около 500$ к тому времени наверно уже за 100$) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 6 ноября, 2011 · Жалоба Подойдёт любой L3-свитч с соответсвующими интерфейсами. Про PBR лучше забудьте, вообще и навсегда. а почему про pbr стоит забыть навсегда? Потому что используя PBR вы ограничиваете себя в выборе оборудования. Какое-то железо его просто не умеет, какое-то умеет через CPU, где-то приходится выбрать профиль tcam с PBR, при этом отключить ipv6, ещё где-то ограничивается кол-во применённых роутмапов. Лучше эту гадость исключить на этапе дизайна, иначе потом(при очередной модернизации сети) у вас голова будет болеть очень сильно, оставьте этот костыль админам средних и крупных предприятий - пусть развлекаются. да есть маленькие неприятности с PBR у каждого вендора, но все же он есть у многих, а по производительности/фичам надо наверное читать перед покупкой.. вот 2 случая когда мне PBR пригодился: 1. sup2 - раскидывал на 11 NATов абонентов, с резервированием, т.е. 1 нат падает, pbr переключает на другой. 2. надо было раскидать 12-15 гигабит трафика на приблизительно равные части и отзеркалировать на выходе, стояло еще условие, что на выходе сессии не должны пересекаться, причем это надо было сделать быстро, тут опять спас PBR+static route. PBR реализован был на LAG интерфейсе на MLX. Если знаете более правильные/элегантные способы, готов послушать и пойти поэкспериментировать =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mukca Опубликовано 6 ноября, 2011 · Жалоба nuclearcat 2 интеловские сетевушки + freebsd + Quagga гигабит прожует и еще мало будет... если нужно до гигабита и ненужен фул вьив то смотрите Cisco 3560G 3750g там вам портов хватит, главноев чтоб памяти для маршрутов хватило если надо больше ту нуна смотреть на что нибть с 10g (так как на аплинке поднимать LACP или еще какую агрегацию портов нет уж спасибо) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 6 ноября, 2011 · Жалоба ..но так как FW не нужен, и вообще практически ничего не нужно - с головой хватит предложенного им же Cisco 3560G-24TS. И гиг прожует с нулевой загрузкой, и 5, и 10. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mukca Опубликовано 6 ноября, 2011 · Жалоба Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-) как правило главные аргументы подешевле и что работало.. и что тогда по вашему предлагать?? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 6 ноября, 2011 · Жалоба Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-) Помоему он сам часть нагрузки перевел на L3 свитчи. nuclearcat 2 интеловские сетевушки + freebsd + Quagga гигабит прожует и еще мало будет... если нужно до гигабита и ненужен фул вьив то смотрите Cisco 3560G 3750g там вам портов хватит, главноев чтоб памяти для маршрутов хватило если надо больше ту нуна смотреть на что нибть с 10g (так как на аплинке поднимать LACP или еще какую агрегацию портов нет уж спасибо) Я софт-роутеров постараюсь избегать на границе, ибо сначала сетевуха собирает несколько пакетов во внутренний буфер, ибо попакетно передавать по PCI-e - не выйдет. Потом бурстом передает в ring buffer, т.е. опять накапливается какое-то количество пакетов(NAPI/polling) + латентность памяти, потом обработка процессором (гоняем из памяти в процессор и назад), потом и на передачу целая история. Когда фичи софтроутеров не нужны - их стоит избегать. Шейперы/qos и прочее из софтрутеров я потом могу применять уже разбив полосу на более мелкие потоки, а клиентам желающим raw bandwidth могу отдать ее с минимальной задержкой, без прохода через софтроутеры. Потом уже можно найти железяку с PBR и полисерами в железе. Ну и самое главное, если приедет атака по 64байта с высоким pps - софтрутерам плохеет, а так я могу ее в Null завернуть прямо на L3 железяке. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Justas Опубликовано 6 ноября, 2011 (изменено) · Жалоба как правило главные аргументы подешевле и что работало.. и что тогда по вашему предлагать?? jab он даа, он такой %) От себя добавлю. Денис, вы близко знакомы с Linux поэтому за 5 минут настроить новую машину на четырехядерном процессоре с Quad-картой Intel на 82576-чипсете в бондинг для роутинга 4 фуллдуплекс-гигабита для вас не проблема. Затраты 2000 долларов в худшем случае. Если сервер DELL - 3000$, но это, понятно, пижонство. Средний срок работы такого сервера - 5 лет, в лучшем случае - 8 лет. И его всегда можно переместить на другую площадку без серьезных затрат. Про гибкость программного решения молчу, линукс есть линукс, гугл и яндекс в этом смысле не могут ошибаться. Аппаратное решение - Catalyst 3750, не привередлив, умеет почти всё кроме NATа. BGP тоже умеет. Отроутит 16 гигабит, только вопрос - где их взять, да и порты в транки объединять всё равно придется. Б/у в отличном состоянии тоже в районе 2500$. Решения 10GE стоят пока дорого. Я бы планировал до 3-5 гбит сейчас, а к тому времени и 10GE упадут до цены сегодняшнего гигабита. Вопрос вообще не в железе, вопрос в умении с ним обращаться. А вы - умеете. Изменено 6 ноября, 2011 пользователем Justas Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 6 ноября, 2011 · Жалоба Justas, ну я уже поставил на фуджике бордер, но я прекрасно понимаю архитектуру линукса (да и любой другой OS), и сколько там фигни навешано. Комп хорош для решения нестандартных задач, в особенности ноу-хау типа нестандартных шейперов, но роутинг с высоким PPS в этот список не входит. В данном случае нужна пакетомолотилка в кремнии, система с детерминированным временем обработки пакетов (по крайней мере я так надеюсь) даже на высоких pps. Я хорошо понял, что узкоспециализированные решения нужны и важны - поработав с аппаратными декодерами HD видео, когда маленький чип не чихая пережевывает видеопотоки, на которых спотыкаются достаточно мощные универсальные процессоры. Есть конечно прикольные вещи типа http://www.liberouter.org/card_combolxt.php , но увы, в продакшн бизнес такое ставить не стоит. У меня лишь были сомнения, а действительно ли свитч с 24 гиговыми портами перемолотит такую уйму траффика. А про 10G x 24 Foundry так вообще закрадываются неслабые сомнения. Если где-то упрется в шину, лучше заранее это знать. Насколько я понимаю, мне хватит и 3560, отличие от 3750 только в "The 3560G SKUs are the standalone versions of 3750G. The 3560G SKUs do not implement the Cisco StackWise technology found on the Cisco Catalyst 3750 Series." Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
caz Опубликовано 6 ноября, 2011 (изменено) · Жалоба У меня лишь были сомнения, а действительно ли свитч с 24 гиговыми портами перемолотит такую уйму траффика. А про 10G x 24 Foundry так вообще закрадываются неслабые сомнения. Если где-то упрется в шину, лучше заранее это знать. просто обязан =) Performance 488 Gbps line speed full-duplex throughput 363 Mpps forwarding capacity 1.5 micro-second latency p.s. заказали себе такой, предпологаемая нагрузка 40-60гигабит, как запустим отпишусь, помер или нет =) Изменено 6 ноября, 2011 пользователем caz Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 6 ноября, 2011 · Жалоба Еще вопрос, а кто посоветует недорогого, но надежного поставщика железа где-нить в Европе? В т.ч. Б/у, но ессно желательно не хлам :-) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 6 ноября, 2011 · Жалоба У меня лишь были сомнения, а действительно ли свитч с 24 гиговыми портами перемолотит такую уйму траффика. А про 10G x 24 Foundry так вообще закрадываются неслабые сомнения. Если где-то упрется в шину, лучше заранее это знать. Ну это выясняется таким образом: узнаёте сколько там используется ASIC-ов (1 или несколько), если один, то ищите пропускную способность(красивая циферка из брошюрки) и считаете хватит ли её для неблокируемого форвардинга, если ASIC-ов несколько(косвенно это можно выяснить по ограничениям(документация, жалобы на форумах) на порт-ченелы), то всё куда сложнее и тут уже надо выяснять про шины. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
martini Опубликовано 6 ноября, 2011 · Жалоба Ну вродебы как циска6509 даже с суп2 подойдет под задачу, а к приходу 10g и на модуль с супом720 денег насобирается, а если хочется новье, то и ех3200 - 4200 справится Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RussTlt Опубликовано 7 ноября, 2011 · Жалоба Но мучает меня мысль, что надо как-то аппаратно все пророутить, с минимальной latency. Бюджет до 10k вечнозеленых, но естественно выше 3k нужно хорошо обосновать. Я очень доволен железкой Redback Smartedge-100, в 10к думаю впишитесь но она заменит голову без проблем. 10G нету но 6 имеющихся прожует без проблем. На форуме много обсуждалась сия диковинка. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 7 ноября, 2011 · Жалоба Щас придет jab и расскажет тебе про 10GE на FreeBSD, гадкое Foundry-железо и экономию денег в Ливане ,-) Зачем же я буду линузятникам секреты выдавать ? :-) Пусть помучаются. Нагрузку я на L3 свичи не выносил, они обеспечивали только L2 транспорт, BGP/OSPF все-равно на писюках дешевле и проще, а для NAT альтернативы нет. На железяках постоянно какими-то ограничениями по морде получаешь: 16тыщ раутов, 12 тыщ маков, шаг влево - все прет через CPU. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Justas Опубликовано 7 ноября, 2011 · Жалоба Немного про каталист 3750 расскажу. Стоит у меня в продакшне 4 года, роутит 2,5 гбит, нагрузка на процессор 10%. Синтетическими тестами попробовал загрузить его, у меня получилось сгенерировать 7 гбит (свитч может 16 по даташиту), нагрузка на процессор осталась на 10%. Есть затык с ACL-ками, при >180 правил на вилане/виланах свитч уходит в softirq, скорость роутинга резко снижается, загрузка процессора 100%. При применении правил на физический порт количество правил без деградации производительности ограничено даташитом, то есть проблем нет. BGP full-view не сможет, но default или принять до 8000 маршрутов сможет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
KaraVan Опубликовано 7 ноября, 2011 (изменено) · Жалоба Foundry JetCore с управляющей платой J-BXGMR4 Это получается она Fv принять может? А если нужно пару-тройку таблиц? Изменено 7 ноября, 2011 пользователем KaraVan Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tartila Опубликовано 7 ноября, 2011 · Жалоба Немного про каталист 3750 расскажу. Стоит у меня в продакшне 4 года, роутит 2,5 гбит, нагрузка на процессор 10%. Синтетическими тестами попробовал загрузить его, у меня получилось сгенерировать 7 гбит (свитч может 16 по даташиту), нагрузка на процессор осталась на 10%. Есть затык с ACL-ками, при >180 правил на вилане/виланах свитч уходит в softirq, скорость роутинга резко снижается, загрузка процессора 100%. При применении правил на физический порт количество правил без деградации производительности ограничено даташитом, то есть проблем нет. BGP full-view не сможет, но default или принять до 8000 маршрутов сможет. Все б хорошо в этих свитчах, еще б памяти по более паяли для BGP - так вообще цены не было бы. А так софт-роутер на Linux и карточка на 82576. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ivb1232 Опубликовано 7 ноября, 2011 · Жалоба 3750 в ядре сети тянул не более 3,5-4 Гбит/с. Посмотрите на Juniper MX80, железка достойная. И PBR не боится. ) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Justas Опубликовано 7 ноября, 2011 · Жалоба 3750 в ядре сети тянул не более 3,5-4 Гбит/с. Возможно, у вас был включен не корректный для своих задач SDM template. Или вы роутили между виланами, а не между физическими портами. Много причин деградации может быть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...