[mousus]

Под узкую задачу маршрутизации траффика в ядре небольшого кластера с кучей серверов с виртуалками, баз данных и прочих вэб-сервисов (не узел связи) был закуплен маршрутизатор CCR1036-8G-2S+EM (16 Гб памяти), 10 гигабитными портами торчит в коммутаторе и на ура роутит траффик между десятком вланов и нескольких удалённых пользователей кластера подключающихся изредка по VPN.

Купил, настроил, поставил и забыл. Доволен как удав))

 

Мой вопрос : кто где и как использует именно эту железку и аналогичные модели ?

как она показывает себя как BGP border: сколько вышестоящих провайдеров можно зацепить и сколько траффика прогнать в ядро сети?

как эта железка справляется с ролью маршрутизатора ядра вашей сети, сколько траффика удалось пропустить ?

как эта железка справляется в качестве BRAS: сколько абонентов по VPN / PPPoE можно нагрузить ?

 

А так же хочется услышать примеры использования других моделей линейки CCR-1036

[Saab95]

Устройство с префиксом EM покупают, видимо те, кто не представляет себе, для чего эту память можно использовать=)

 

Для 99.9 процентов всех сетевых задач стандартного размера памяти 2гб достаточно. Даже для подключения 10 провайдеров по BGP.

 

Ваши же вопросы по поводу bgp и маршрутизатора это один и тот же вопрос - прокачать на роутинге можно 10 и более гигабит трафика. Все упрется в скорость портов.

Сравнивать VPN без указания типа и PPPoE тоже ошибочно. Если говорить про PPTP, то порядка 1 гига можно прокачать, далее все упрется в процессор, это без других задач. При этом скорость дана при количестве подключений не более 100, т.к. PPTP очень ресурсоемкая штука. L2TP, как и PPPoE можно обслужить 2000-5000 тыс., опять же зависит от скорости. По трафику это 2-3-4 гига. Естественно, без других задач.

 

В любом случае примеров использования много, как и вариантов настройки. Не все варианты правильные, и всегда можно настроить одно и то же разными способами. В любом случае, использование разных устройств для решения разных задач является более эффективным, чем затягивать все на одну железку, пусть и более мощную.

[mousus]

В 04.01.2018 в 20:25, Saab95 сказал:

Устройство с префиксом EM покупают, видимо те, кто не представляет себе, для чего эту память можно использовать=)

Есть надежда, что в 7 версии metarouter наконец то появится и на CCR, очень нужен и память тут как раз пригодится,

вот ещё вопрос по кластеризации 2 таких железок и построению отказоустойчивого кластера с репликацией конфигураций: как этого достичь используя по минимуму танцев с бубном?

[Saab95]

Не желательно нарушать правило - одно устройство - одна задача.

Вы можете навешать на железку много задач, только вот отказоустойчивость и кластеризация очень сильно пострадает. Если нужно решать какие-то околосетевые задачи (например биллинг, веб сервера, базы данных) следует использовать отдельный сервер.

Отказоустойчивость сети нужно делать от абонента - то есть вести несколько независимых линий в центр, максимально использовать L3 на транспорте. Тогда само центральное оборудование будет обрабатывать уже поступающий по этой сети трафик, и поступать он может по разным каналам, и обрабатываться разными устройствами. И если одно выйдет из строя, то трафик пойдет по оставшимся в работе железкам.

 

Если же схема сети не правильная, обычно это бывает, когда стягивают все по L2 в центр, то тут конечно, кроме как кластеризации никаких технологий в голову и не приходит=)

 

В крупных сетях с использованием BRAS порты абонентов по L2 попадают в центр, но они идут не в чистом L2, а поверх MPLS, и легко поддаются управлению.

[myth]

16 часов назад, Saab95 сказал:

порты абонентов по L2 попадают в центр, но они идут не в чистом L2

что мешает?

[NiTr0]

В 04.01.2018 в 15:21, mousus сказал:

как она показывает себя как BGP border

фулвью практически нежизнеспособно. 2 фулвью при флапе всасываются 20 минут, и одно ядрышко постоянно под 100% загружено. не, мож конечно за последний год таки реализовали распараллеливание, но у меня большие сомнения.

 

В 04.01.2018 в 15:21, mousus сказал:

как эта железка справляется в качестве BRAS: сколько абонентов по VPN / PPPoE можно нагрузить ?

ccr1072 (pppoe, шейпинг simple queue, нат) начинает загибаться на 1.6 гбит трафика/2000 абонов. 1036 - половинка от 1072.

с pptp все будет в разы печальнее - т.к. пптп юзерспейс.

[Saab95]

В 07.01.2018 в 05:06, NiTr0 сказал:

фулвью практически нежизнеспособно. 2 фулвью при флапе всасываются 20 минут, и одно ядрышко постоянно под 100% загружено.

У вас какая-то странная информация. CCR загружает маршруты за минуту-две, это зависит от того, какое устройство установлено на второй стороне и с какой скоростью маршруты отдает. Если соединить по BGP 2 микротика, то они друг другу полную таблицу секунд за 20-30 пересылают. Если одно ядро загружено на 100, то на работу остальных это никак не влияет.

[mousus]

1 час назад, Saab95 сказал:

У вас какая-то странная информация. CCR загружает маршруты за минуту-две, это зависит от того, какое устройство установлено на второй стороне и с какой скоростью маршруты отдает. Если соединить по BGP 2 микротика, то они друг другу полную таблицу секунд за 20-30 пересылают. Если одно ядро загружено на 100, то на работу остальных это никак не влияет.

Кстати да, как то раз сидя на ASR1006 c ESP-20 пирился с ТТК на фуллвью (на скорости всего 50 мегабит) и с той стороны у них стояла соответствующая древняя циска 3800 серии и заливались маршруты крайне долго, когда этот же линк перевели на скорость в 400 мегабит с другой стороны уже стояла ASR1002 и фулвью заливался со свистом.

 

Тем не менее интересно для CCR1036 сколько аплинков с фуллвью удавалось максимально поднять и как железка себя ведёт в случае падения bgp сессии:

Например ASR1006 из примера выше при падении интерфейса аплинка и соответственно bgp сессии загружалась на 100% по процессору и отваливались по SNMP и начинала жутко тормозить ssh сессия управления.  Как себя ведёт CCR  в аналогичных ситуациях?

 

[NiTr0]

10 часов назад, Saab95 сказал:

CCR загружает маршруты за минуту-две, это зависит от того, какое устройство установлено на второй стороне и с какой скоростью маршруты отдает

загружает при пустой таблице? или в момент кратковременного флапа линков?

 

2 фуллвью в пустую таблицу - минут за 5 мож и всосет. а вот при рестарте сессий/кратковременном пропадании связи с аплинком - случается жопа минут на 20.

 

и да, нормальный тазик, поставленый вместо некротика на тот аплинк, всасывает маршруты с того конца секунд за 40, так что проблема именно у некротика.

 

9 часов назад, mousus сказал:

как железка себя ведёт в случае падения bgp сессии:

Например ASR1006 из примера выше при падении интерфейса аплинка и соответственно bgp сессии загружалась на 100% по процессору и отваливались по SNMP и начинала жутко тормозить ssh сессия управления.  Как себя ведёт CCR  в аналогичных ситуациях?

начинает медленно и печально пытаться прибить у себя роуты. ну и да, ядрышко отвечающее за бгп там постоянно на 100% загружено - потому как в мире постоянно меняются роуты (кто-то коннектится кто-то отпадает). как это сказывается на трафике, падающем на то ядрышко - не скажу, но вероятно печально.

 

и да, у меня что-то жуткие подозрения что там нет разделения RIB/FIB, и что все роуты пихаются в таблицу ядра без какой-либо агрегации, соответственно, кол-во фуллвью будет прямо влиять на пакетную производительность.

[Saab95]

12 часов назад, NiTr0 сказал:

2 фуллвью в пустую таблицу - минут за 5 мож и всосет. а вот при рестарте сессий/кратковременном пропадании связи с аплинком - случается жопа минут на 20.

 

и да, нормальный тазик, поставленый вместо некротика на тот аплинк, всасывает маршруты с того конца секунд за 40, так что проблема именно у некротика.

Используйте тазики. То, что вы тут пишите - не отражает действительность. В работе стоит много микротиков с BGP, указанных вами странностей на них, почему-то, не обнаруживается.

И если бы все было так плохо, неужели кто-то бы использовал микротик для BGP? Однако это сейчас самое доступное на рынке решение в одной коробочке, где за минимальные средства и без особого опыта в сетях можно предоставлять качественный сервис.

 

21 час назад, mousus сказал:

Как себя ведёт CCR  в аналогичных ситуациях?

На микротике snmp не самое лучшее для сбора информации. Если система мониторинга умеет собирать данные по телнету/ssh с использованием отправки команд, то такой способ меньше нагружает оборудование.

Однако при работе с BGP никаких проблем с отвалом сессий и snmp нет. При работе, довольно часто, одно ядро, отвечающее за BGP, загружено на 100 процентов. Если отваливается один пир, то ничего страшного не происходит - маршруты просто заново загружаются и все. То есть в работе с простыми задачами по BGP микротик отлично справляется.

 

Однако нужно понимать, что, хоть микротик и обладает всеми возможностями по управлению сессиями, однако лучше использовать только навешивание префиксов и фильтров, без каких-то особо хитрых схем работы BGP. Это не тазик с голым линуксом все же.

[NiTr0]

10 часов назад, Saab95 сказал:

То, что вы тут пишите - не отражает действительность.

халва, халва...

 

https://forum.mikrotik.com/viewtopic.php?t=103290#p513174 - пример "прекрасной работы" с бгп и "прекрасного" саппорта ("если у вас два аплинка - вы сначала включите один, пускай роуты загрузятся, а только потом подтыкайте второй, иначе не работает")

 

хотя что еще продаван написать может? :)

 

10 часов назад, Saab95 сказал:

И если бы все было так плохо, неужели кто-то бы использовал микротик для BGP?

а его никто в здравом уме для фулвью и не использует.

 

10 часов назад, Saab95 сказал:

Однако это сейчас самое доступное на рынке решение в одной коробочке, где за минимальные средства и без особого опыта в сетях можно предоставлять качественный сервис.

качественый - нельзя. кое-какой на коленке без знаний - можно. ну как раньше на тупых мыльницах колбаски строили...

 

ну и да, коробочка за 3 килобакса которая загибается на смешных 2 гбитах - это пичаль.

 

[Saab95]

Вы бы еще ссылку на 2010 год привели. Не думаете, что за много лет проблему исправили?

 

40 минут назад, NiTr0 сказал:

ну и да, коробочка за 3 килобакса которая загибается на смешных 2 гбитах - это пичаль.

Я еще не видел CCR1036 или более мощные, которые на задачах роутинга загибались по превышению трафика. Вот CCR1009 на 5 гигабитах трафика вполне нормально себя чувствует. И его стоимость далеко не 3 килобакса. Не даром же ему добавили интерфейсы на 10Г/

[mousus]

CCR1036-8G-2S+EM по пропускной способности в режиме чистого L3 с двумя 10 Гигабитными интерфейсами воткнутыми в коммутатор с минимальной нагрузкой на CPU спокойно 4 гигабита траффика прожевал, навешено немного ната и несколько VPN учёток. Траффик гонял по гигабитным портам того же коммутатора между кучкой виртуалок.

 

Пичаль началась когда попытался подружить по OSPF эту железку с коммутатором Dell N3024 -- очередная китайщина с циско-подобным CLI (дада аля Edge-Core и SNR) и пафосным шильдиком , маршруты приходят и туда и обратно хрен пойми как (то идут то не идут), в целом если бы не на продакшине экспериментировал то может и удалось бы их подружить, по итогу забил, вырубил OSPF и навешал статических маршрутов, благо сеток мало...

[NiTr0]

23 часа назад, Saab95 сказал:

Вы бы еще ссылку на 2010 год привели. Не думаете, что за много лет проблему исправили?

проблема наглядно демонстрирует и качество ПО, и отношение к клиенту. не грузятся два фулла одновременно через 2 года после релиза железки? да и хрен с ним, пускай юзер погасит один аплинк, а потом поднимет снова. делов-то. ребутнулся узел ночью/аплинки падали, и ничего до утра не работает? да и хрен с ними...

 

23 часа назад, Saab95 сказал:

Я еще не видел CCR1036 или более мощные, которые на задачах роутинга загибались по превышению трафика.

задачу я уже написал: пппое + нат + 1 бгп дефолт (ибо фулл нежизнеспособен) + транзитный трафик - и железка за 3 килобакса отыквляется на 2 гбитах/менее 2000 сессий.

 

а как тупая роутилка - кому он нужен, если л3 свичи (в т.ч. 10g) за копейки продаются?

[Saab95]

9 часов назад, NiTr0 сказал:

проблема наглядно демонстрирует и качество ПО, и отношение к клиенту. не грузятся два фулла одновременно через 2 года после релиза железки? да и хрен с ним, пускай юзер погасит один аплинк, а потом поднимет снова. делов-то. ребутнулся узел ночью/аплинки падали, и ничего до утра не работает? да и хрен с ними...

Не знаю что там было после 2 лет, но у меня ни разу не было такой ситуации, что бы на БГП маршруты не загружались.

 

9 часов назад, NiTr0 сказал:

задачу я уже написал: пппое + нат + 1 бгп дефолт (ибо фулл нежизнеспособен) + транзитный трафик - и железка за 3 килобакса отыквляется на 2 гбитах/менее 2000 сессий.

То, что вы указываете, можете на серверах с линуксом делать. В реальных сетях такие задачи на микротике не совмещают, а используют несколько железок.

 

9 часов назад, NiTr0 сказал:

а как тупая роутилка - кому он нужен, если л3 свичи (в т.ч. 10g) за копейки продаются?

И что эти свичи умеют? Ни нормального OSPF нет, ни фильтров, ни управления.

[NiTr0]

В 11.01.2018 в 08:44, Saab95 сказал:

То, что вы указываете, можете на серверах с линуксом делать. В реальных сетях такие задачи на микротике не совмещают, а используют несколько железок.

ну т.е. 3 железки за 3 килобакса на смешных 2000 абонов, да? круто, чо.

 

В 11.01.2018 в 08:44, Saab95 сказал:

Ни нормального OSPF нет,

есть. куда более нормальный чем на микротике. как минимум - роуты не кольцуются, и более одной area нормально поддерживают :)

 

В 11.01.2018 в 08:44, Saab95 сказал:

ни фильтров

есть фильтры. вполне себе работают. на wirespeed, да. в отличие от микротика, который при навешивании фильтров быстро тыквится.

 

В 11.01.2018 в 08:44, Saab95 сказал:

ни управления.

вполне себе нормальное управление.

[Saab95]

13 часов назад, NiTr0 сказал:

ну т.е. 3 железки за 3 килобакса на смешных 2000 абонов, да? круто, чо.

Цены на интернет поднимите, тогда стоимость железок не будет пугать.

Или вы предлагаете 2000 абонентов обслуживать на б/у компе 5 летней давности с линуксом?

[myth]

В 17.01.2018 в 12:03, Saab95 сказал:

Или вы предлагаете 2000 абонентов обслуживать на б/у компе 5 летней давности с линуксом?

обслуживаю, работает

[pppoetest]

В 17.01.2018 в 15:03, Saab95 сказал:

Цены на интернет поднимите, тогда стоимость железок не будет пугать.

Или вы предлагаете 2000 абонентов обслуживать на б/у компе 5 летней давности с линуксом?

Будь у меня 9килобаксов я б взял аср1001-х который может обслужить 8000 абонов, 3 микротика и рядом не стояли.

 

26 минут назад, myth сказал:

обслуживаю, работает

и не две, а четыре тысячи абонентов.

 

 

2 часа назад, Pinkbyte сказал:

Как человек, державший на Mikrotik full-view, заявляю - бросайте вы это дело. Дебаг проблем с маршрутизацией(выборка по нетривиальным критериям из RIB) превращается в такое эпическое тормозилово(100% загрузка одного ядра минут на 5-10), что ну его нафиг. Причем даже один full-view даёт подобный эффект(у меня было 4, так что всё было еще веселее). А уж не дай Б-г вам понадобится там policy based routing и/или VRF...