Вдохновившись опытом своих коллег, решил собрать RouterOS в качестве BRAS на базе сервера. Как раз освободился с ДЦ сервак Asus z8nr-d12.

Поставил: 2 карты x520 (оригинал и китай), последние камни для этого сокета Xeon x5690 (2 шт по 12 ядер с HT, в сумме 24 ядра), оригинальные Intel DAC sfp+. И начал тестить все это дело в разных средах.

Честно говоря, тут должна быть подробная статья с описанием тестирования, но, честно - влом.  

Тесты:

- на гипервизорах: Xen + XCP-NG, Vmware, Proxmox; Hyper-V не тестил, т.к. это, на мой взгдят, перебор - RouterOS на Widows Server с ночными аптейтами :)

- тестил CHR и х86 RouterOS;

- тестил CCR1072 / CCR 1036.

- с использованием SR-IOV;

- с использованием PCI-Passthrough;

- с использованием паравиртуальных сетевых картах.

- гонял реальный трафик

Выводы по виртуальным средам, номер раз:

- SR-IOV не поддерживается RouterOS от слова вообще.

- худшие результаты были на гипервизорах с использованием паравиртуальных сетевых драйверов (Vmxnet3). В ~4-6 раз хуже самых лучших результатов + куча дропов.

- средние результаты были на гипервизорах с проброшенной X520 прямо в виртуалку (PCI-Passthrough). В ~2-3 раз хуже самых лучших результатов. Дропов почти нет.

- самые лучшие результаты были получены на чистом RouterOS для х86. 

Выводы по виртуальным средам, номер два:

- рассматривать CHR в качестве решения для BRAS, с трафиком больше 1G, не стоит.

- CHR с PCI-Passthrough рабочий вариант, но преимуществ в себе никаких не несет, т.к. нельзя использовать фишки виртуализации: миграция, кластеры, High Available. Ну и излишнее расточительство ресурсов имеет место быть.

- Никакие другие тесты даже близко не подходят к возможностям чистого RouterOS на Х86.

- CHR чисто для ДатаЦентров и какого-то количества виртуальных машин, чтобы рулить: роутингом, шейпером, НАТом, bgp/ospf; с аплинком не более 1 Gbps

Выводы по CCR 1072 /1036:

В связи с тем, что эти бордеры стояли и стоят в продакшн давно, могу делать однозначные выводы, с которыми меня никто не переубедит:

- для чистого forward / mpls трафика очень годное решение (гоняю 4-5 Gbps)

- c использованием очередей (queue), получаем повышенный jitter и нагрузку на CPU, небольшие дропы. Про шейпинг при  > 2 Gbps трафика лучше забыть.

- динамическая маршрутизация использует 1 ядро, поэтому 1-3 FV-таблицы не больше. Если BGP-Peer будет флапать, то получите конкретный ****ц из-за того, что префиксы не будут успевать удалятся и добавляться.

- Ядра 1-1.2 Ghz. Даже самый лёгкий DoS/DDoS укладывает CCR на лопатки так, что тот не успевает ничего понять.  Я перепробовал всё: tcp syn cookie, детекцию с занесением в raw и прочую хрень. RAW эффективен, но и он не всегда спасает.

 DDoS влияет на работу сервисов динамической маршрутизации (ospf/bgp), те, в свою очередь, не могут поддерживать сессии из-за высокой нагрузки CPU и падают. x86 c двумя Xeon X5690 держался очень достойно и схавал всё, чем я его ддосил. 

PS: Еще тестил PfSense и VyOS на X86.

 - Понравился VyOS, но для решения пограничного бордера (bgp/ospf).

 - PfSense рабочая лошадка с аналогичными возможностями RouterOS, но ТАКОЕ управление через WEB меня просто вгоняло в ступор. Кстати у PfSense есть крутое решения для High Available. Ни разу не VRRP, а полная синхронизация. 

К вопросу, насчет китайской и оригинальной карты: по результатам тестов разницы никакой. Только физический различия в качестве сборки и пайки. Чип в китайской такой же.

У мобильных операторов существует услуга виртуальной APN.

APN (Access Point Name) - «имя точки доступа», фактически аналог SSID в вашем WiFi.

То-есть оператор выделяет вам виртуальное имя для компании и ваша корпоративная SIM карта подключается к данной базовой станции.

Данную услугу можно купить как на один город/область, так и на несколько, на всю стану и даже в роуминге.

Главной фишкой данного вида подключения является то что ваша SIM карта подключается к вашему же маршрутизатору. 

Есть несколько вариантов как именно трафик от мобильного устройства будет попадать в вашу сеть:
- Между вами и оператором настраивается тоннель GRE, IPSec.
- IP адрес вашего маршрутизатор добавляется в белый лист (я выбрал данную схему, для начальной проверки).
- Возможны другие варианты
 

В данный момент подробно описываю процесс в телеге https://t.me/xren_vsyakaya/96

Первый - Настройка switch чипа через его меню (пробовал так только пару раз, матерился)

Второй - Через vlan на интерфейсе. Далее, по необходимости - бриджевание его с нужным интерфейсом, получая access порт.  (знаю что так не правильно, получаются больше одного бриджа и нагрузка идет через проц. Судя по всему, я не работал с такими конфигурациями, где это могло стать проблемой)

Третий - рекомендуемый со времен csr3** - Создаю бридж, добавляю в него все нужные порты. в Bridge vlan, добавляю vlan. В свойствах добавляю untag=bridgeX+необходимые порты для access портов, в tagged - необходимые транки. Дальнейшие настройки в interface vlan

Вопросы по третьему варианту, расставлению галочек и выбору опций Frame types.

В мануале, после активации vlan filtering на бридже, нужно выбрать вариант frame types между admit all, admit only VLAN tagged и admit only untagged and priority tagged

Для транковых портов выбираю admit only VLAN tagged, для эксес портов – admit only untagged and priority tagged.

Какие минусы если оставить как есть – admit all? Что значит priority tagged в “admit only untagged and priority tagged”?

Ну и дополнительный вопрос:
Чтобы заработали access порты, нужно заменить PVID 1 на необходимый. Если просто заменить PVID на порту, без добавления его во всех действиях выше, он не заработает как access порт для этого PVID?

Собственно столкнулся с непонятной хтонью, один и тот же MAC(08:24:34:3E:3A:BD) выгребает все адреса из пула, примерно 1 в минуту.

Что я попробовал сделать.
1. Сделать статическим и там его в блок, не помогает.
2. Зашел в бридж фильтр(dhcp server висит на нем) и долго упорно пытался там сделать правило, как только не крутил не помогает. Он продолжает получать.

chain=forward action=drop src-mac-address=08:24:34:3E:3A:BD/FF:FF:FF:FF:FF:FF log=no log-prefix=""

Пожалуйста поделитесь отзывами об эксплуатации CCR2004-1G-12S+2XS.

Рассматриваю его как замену бордеру на CCR1016-12S-1S+

Одного 10G порта не хватает.

Железка интересная и для своих характеристик относительно недорогая. Невольно ожидаешь какого то подвоха.

И немного смущает архитектура ARM. Ибо пару лет назад заменял RB1100-AHx2 (powerPC) на RB1100-AHx4 (как раз таки ARM), и после этой замены роутер стал виснуть или ребутаться прим раз в неделю. Конфиг и версия прошивки при замене не менялись. Проблема прошла после замены на какой то CCR.

/ip firewall filter

add action=fasttrack-connection chain=forward connection-state=established,related in-interface=bridge-lan out-interface=ether1
add action=fasttrack-connection chain=forward connection-state=established,related in-interface=ether1 out-interface=bridge-lan

add chain=forward action=accept connection-state=established,related

add chain=forward action=drop connection-state=invalid

Fasttrack — ускорить обработку за счёт обхода фильтрации/анализа в брандмауэре, к TCP и UDP отмеченным в данном случае established и related.

Учитываем, что не все пакеты внутри соединения могут быть обработаны FastTrack, часть всё равно пройдет и пойдет по пути обработки. 

Forward — обрабатывает транзитный трафик, в данном случае так же established и related - accept.

Исходя из описания тогда написанный набор правил выше правильный, хотя если убрать первые два и оставить нижние только forwrd будет так же. Возможно только нагрузит проц +1-2%.

Интерфейсы ether1 - Инет, bridge-lan - локальные, есть еще чуток удал.офис ether3 (так же на микротик)

1. Сервер 192.168.33.200

2. Микротик1 - внешний 192.168.192.2 (eth1), LAN 192.168.33.0.24 (bridge=eth2+eth3+eth4+wifi), есть еще три удаленных сети Микротик2-4 (LAN сеть у них 192.168.31.0/24, 192.168.32.0/24, 192.168.34.0/24).

Есть задача, пользователи удаленных сетей через браузер https://xxxx.xxxx.xxx делают запрос, где xxxx.xxxx.xxx это 192.168.33.200. Вопрос только в сети 192.168.33.0/24 на остальных все ОК. Перестроить сеть 192.168.33.0/24 на например 192.168.35.0/24 это затраты на неделю (пере подключить кучу устройств в данной сети).

Нужна помощь в настройке Микротик1 - правилами dnat/snat сделать так чтоб пользователь с 192.168.33.10 смог сделать запрос на сервер 192.168.33.200, который не в лок.сети данного Микротик1, т.е. вытолкнуть пакетики на 192.168.192.2 на внешний интерфейс и потом получить ответ обратно и отправить его на пользователю 33.10.

Возможно есть и другие решения.

Какие типы очередей выставить для сетевух или оставить hardware. Какие настройки выставить для простых очередей абонентов?

Может еще какие-то моменты и ньюансы есть.

Абонентов ~3000. Трафик в пике ~3.5гбит/с.

На данный момент на сетевухах only-hardware-queue.

Симплы у абонентов default-small, pfifo, queue size=10. Помнится, сааб писал предлагал pcq для очередей абонентов. Стоит ли менять?

Multi CPU Вкл., Hypertraiding Вкл.

Нагрузка в пике 10-11%, прерывания работают нагрузка распределяется.

Заранее спасибо.

NAS - Mikrotik RB4011 (белый IP) -> ... WireGuard ... <- Keenetic KN-3712 (серый IP) - клиент.

Оба устройства внутри одного провайдера. Сервер WireGuard поднят на Mikrotik. Сетевые карты - гигабитные.

Каналы в инет с обеих сторон - 200 мегабит. Проверяю разными измерителями скорости - +/- заявленное дают.

Скорость скачки с NAS на клиента стабильно в разы выше, чем наоборот:

• в среднем соотношение примерно от 3:1 до 4:1. Например, 20 мегабайт с NAS и только 6-8 на него;
• в отдельные периоды времени с NAS качает на скорости около 30 мегабайт (вероятно, у провайдер шейпер работает только на внешние ресурсы).

Скорость пляшет, но соотношение остается стабильным. Тесты проводились, когда от Mikrotik и Keenetic были отключены прочие клиенты.

Загрузка Keenetic по процессору минимальна.

Со стороны Keenetiс особых настроек нет. Грешу на Mikrotik.

Куда копать?

Смущает, что низкая скорость именно в одну сторону.

сейчас не понимаю, где встал на ручник

есть микротик с vlan-per-user сетками по /29. один из абонентских диапазонов вланов/подсетей надо пропустить через другой канал, подключенный к этому микротику

как только вешаю правило

/ip route rule add src-address=10.70.80.0/23 table=uplink2

так сразу во всех абонентских подсетях /29, содержащихся в упомянутом диапазоне /23, микротик перестает отвечать на арп-запросы. вообще наглухо.

в сниффере без выбора снифаемого порта вижу только arp rx, а tx'ов нет ни по какому интерфейсу (я поначалу думал, что он начинает отвечать невтуда).

ребутить пробовал ))

пока идея только в том, что раньше работало (скорее всего, но точно уже не помню) на софте 6.49.10, а сейчас везде 6.49.18

попробую откатиться на днях.

Решил себя занять вот какой темой: мы можем с помошью размера icmp пакета шифровать любую информацию (числа, символы, алфавит и пр.)

Задача поймать этот пакет, как-то сохранить его и затем прочитать.

Собственно создал скрипт отправки и чтения данных на mikrotik.

Получилося забавный месенджер ) Без смс и регистрации.

Подробно описал в канале https://t.me/xren_vsyakaya/85

Я понимаю, что пинги - не гаррантированный вид транспорта. Но если кто не в курсе с ядерными подводными лодками раньше общались азбукой морзе, а это уже UDP трафик )

Сама идея мне показалась интересной, да и реализация заняла всего пару часов.

В общем в разведке пригодится!

Большого опыта общения с Микротик не имею, но вроде на начальном уровне сумел поставить и настроить дома роутер Микротик c52iG- hAPax2. Настроен через quick set.  Загружен контейнер. Настроен Vless. Вроде справился и настроил, что только трафик youtube работает через тунель впн.

По итогу youtube работает и на ноуте и на тв.

Канал от провайдера 100мбит/с. IP не статичный

Имеется арендованный VPS (datacheap, Нидерланды).

Теперь о проблеме:

Youtube нормально работает только в формате 1080HD и ниже, и на ноуте и на тв.

Естественно хочется 4К. Запускаю пробные ролики, которых полно с красивой природой, но в формате 1440HD и 2160HDR несколько секунд работает, а потом начинает лагать и тупить.

Что уже перепробовал:

- что по вайфай, что через шнурок  не важно

- тв по характеристикам тянет (55nanocell776pa), в кинотеатрах 4К фильмы нормально идут.

- Спидтест  на ноуте  шнурок – 97мбит/с, вайфай 47мбит/с, ноут подключал только на 2,4ггц

- Спидтест на ТВ , вайфай 93мбит/с

- тв и на 2,4 и на 5ггц

-  если верить винбоксу. то загрузка проца роутера не более 5%, памяти еще запас есть.

- грешил на VPS сервер, но пробовал через телефон запускать эти же ролики через мобильный интернет , (vpn клиент включен) , всё прекрасно работает, получается VPS сервер не тормозит и не режет.

- но если телефон подключить через вайфай роутера, то опять 4К лагает и подвисает.

Потратил много времени на поиски в интернете подобной проблемы, но решения так и не нашел.

Понимаю, что-то в настройках роутерах скорее всего кроется причина, но что и где искать не знаю.

Подскажите пожалуйста может кто сталкивался с проблемой? с чего начинать поиск проблемы?

Если сделать мастером железный 3011 микротик, то всё доступно как и должно быть.

Ростелеком предоставляет телефонию и интернет на одном кабеле

Интернет по ppoe, для телефонии VLAN 1762

АТС и граничный роутер находятся по разные стороны локальной сети

АТС-Коммутатор Микротик1-Коммутатор Микротик2-Коммутатор Микротик3-Коммутатор Микротик4-Коммутатор Микротик5-Роутер Микротик- Провайдер( ppoe интернет и VLAN 1762 телефония).

Перенести АТС поближе к роутеру нет возможности

сеть 192.168.0.0/24

Собственно вопрос, как организовать это, чтобы работал интернет у всех, работала телефония и АТС была доступна из сети?

Передать VLAN через коммутаторы думаю знаю как, а вот как настроить vlanы на роутере, что на что вешать не могу понять.

будут ли они совместимы с SPF модулями SFP-модуль оптический 1Гбит/с до 10 км (EOLS-BI1312-10-DI EOLS-BI1512-10-DI) компании tfortis

Как вообще микротики работают с SPF модулями сторонних производителей?

Пытаюсь активировать контейнеры на hAP ax^2

закидываю в files пакет container-7.20.6-arm.npk

набираю в консоли 

/system/device-mode
update container=yes

нажимаю на кнопку Mode на роутере

Роутер перезагружается

Вкладка контейнер не появляется не в винбоксе ни в консоли.

Подскажите, пожалуйста, что я делаю не так

Есть микротик, настроен как обычный маршрутизатор: 1 порт входящий, остальные в bridge_lan, входящий порт транковый, приходит 2 влана, 1 и 200. Надо как-то 200 влан пробросить напрямую через микрот на 5 порт, чтоб он пошел дальше. Пока сделал только костыль: в интерфейсах создал влан200 на 1 порту, влан 201 на lan_bridge, объединил их еще в один бридж и дальше пошел уже 201 влан. Но это какая-то коряга. Есть ли способ поизящней и силами только одного микрота?

Сейчас вот так сделано:

/interface bridge
add name=bridge-inet
add name=bridge-lan vlan-filtering=yes
add name=bridge2

/interface vlan
add interface=ether1 name=vlan200 vlan-id=200
add interface=bridge1 name=vlan201 vlan-id=201

/interface bridge port
add bridge=bridge-lan interface=ether2
add bridge=bridge-lan interface=ether3
add bridge=bridge-lan interface=ether4
add bridge=bridge-lan interface=ether5
add bridge=bridge-inet interface=ether1
add bridge=bridge2 interface=vlan200
add bridge=bridge2 interface=vlan201

/interface bridge vlan
add bridge=bridge-lan tagged=bridge-lan,ether5 vlan-ids=201

Все работает, с двух сторон пингуется.

Создаю в таблице маршрутизации маршрут с gateway=адрес соседа

Пишет что шлюз unreacable. При том, что пинги на Gateway проходят!

Может кто-то у себя проверить ?

Есть два относительно отдаленных помещения, с контроллерами скуд(компьютер для управления этими контроллерами стоит на одной из площадок) и видеонаблюдением, есть два роутера кинетик спидстер.

На сегодняшний день два роутера связаны опенконнектом (облачный впн от кинетика) и поверх стоит EOIP.

Столкнулись с тем, что данный впн часто отваливается и долго поднимает соединение, плюс невозможно просматривать записи с камер, очень сильные тормоза.

Уже не знаю как подойти и решить проблему, т.к. роутеры работают на мобильном интернете, поэтому развернуть l2tp сервер или что-то в этом духе не получится.

Дома есть микротик 3011 с белым айпи. Накидал примерно схему как это будет выглядеть. Хочу использовать 3011 как l2tp-сервер, а кинетики как клиенты.

Но хочется сохранить EOIP для скуда между площадками...

Когда дошел до настройки маршрутов в микротике, то столкнулся, что не могу это реализовать, так как адресация сетей пересекается на кинетиках.

Подскажите, кто бы и как решил данную задачу?

Готов услышать ваши мнения и комментарии, но прошу замену роутеров или контроллеров скуд не предлагать

Не знаю как изменить сообщение. На схеме опечатка. где спидстеры, там не ВПН сервер, а ВПН клиент

есть внутренняя сеть 10.10.10.0/24, где 10.10.10.1/24 ip микротика 10.10.10.2/24 ip сервера.

сейчас при запросе страницы на сервере к нему идет обращение с ip микротика (10.10.10.1/24) как сделать так, что бы обращение было с ip абонента находящегося за Hotspot (172.17.0.0/24)

Правила firewall  еще не созданы. Пингуются лишь шлюзы в созданных адресных пространствах. Клиентские устройства в соседних виланах недоступны. 

Конфиг:  # 2025-11-04 13:35:05 by RouterOS 7.20.4
# model = RB5009UG+S+
/interface bridge
add frame-types=admit-only-vlan-tagged name=bridge1 vlan-filtering=yes
/interface vlan
add interface=bridge1 name=vlan6 vlan-id=6
add interface=bridge1 name=vlan7 vlan-id=7
/ip pool
add name=dhcp_pool0 ranges=192.168.6.2-192.168.6.254
add name=dhcp_pool2 ranges=192.168.7.2-192.168.7.254
/ip dhcp-server
add address-pool=dhcp_pool0 interface=vlan6 name=dhcp1
add address-pool=dhcp_pool2 interface=vlan7 name=dhcp2
/interface bridge port
add bridge=bridge1 frame-types=admit-only-vlan-tagged interface=ether2 pvid=6
add bridge=bridge1 frame-types=admit-only-vlan-tagged interface=ether3 pvid=7
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged \
    interface=ether7 pvid=6
add bridge=bridge1 frame-types=admit-only-untagged-and-priority-tagged \
    interface=ether8 pvid=7
/interface bridge vlan
add bridge=bridge1 tagged=bridge1,ether2 untagged=ether7 vlan-ids=6
add bridge=bridge1 tagged=bridge1,ether3 untagged=ether8 vlan-ids=7
/ip address
add address=192.168.6.1/24 interface=vlan6 network=192.168.6.0
add address=192.168.7.1/24 interface=vlan7 network=192.168.7.0
/ip dhcp-server network
add address=192.168.6.0/24 dns-none=yes gateway=192.168.6.1
add address=192.168.7.0/24 dns-none=yes gateway=192.168.7.1

я понимаю, что не украинцу (у которого нет своего аналога) критиковать, но как вам такое?