Периодические обрывы сети на VLAN после замены роутера MikroTik

[joyrax]

Оборудование:

• Старый роутер: MikroTik (8 портов, модель не указана)

• Новый роутер: MikroTik (24 порта, предположительно CRS3xx или CCR2xxx)

• Коммутатор: D-Link (8 SFP портов)

• Клиенты: STB-приставки, стример NetUP TV Gateway

Описание проблемы:
Периодически возникают обрывы сети (drops) только во втором VLAN (VLAN2). В этом VLAN работают IPTV-приставки (STB) и сервер NetUP TV Gateway. Остальные VLAN (их 4, все получают адреса по DHCP) работают стабильно, проблем не наблюдается.

История появления проблемы:
Проблема началась сразу после замены старого 8-портового MikroTik на новый 24-портовый. Конфигурация была перенесена на новый роутер один в один (полностью идентична).

Ключевое изменение в топологии:
Раньше роутер подключался к ядру сети напрямую по меди. Теперь подключение осуществляется через оптоволокно:
[Новый MikroTik] -> SFP-модуль -> Оптика -> SFP-модуль -> [D-Link коммутатор]

Предположение:
Исключаю сетевую петлю, так как в момент возникновения проблемы никаких других изменений в сети, кроме замены роутера, не производилось.

Прошу помощи в решении вопроса:

1. В чём может быть причина нестабильности именно на одном VLAN при полностью идентичных настройках?

2. Может ли быть проблема в совместимости SFP-модулей или настройках порта на новом оборудовании (flow-control, auto-negotiation)?

3. Стоит ли обратить внимание на нагрузку на CPU нового роутера при работе с multicast-трафиком от IPTV?

4. Какие логи и графики на MikroTik стоит посмотреть в первую очередь?

Заранее благодарен за любые советы и рекомендации.

[jffulcrum]

Смотрите статистику на интерфейсе, на SFP, что там с ошибками/дропами.

[joyrax]

если я правильно понял, но вроде нету ошибок

[Savchenko]

Проблема в название треда: "MikroTik"

MikroTik

Оп"

[joyrax]

но это же случилось после замены микротика, в тот момент ничего в сети больше не менялось

[fractal]

5 часов назад, joyrax сказал:

но это же случилось после замены микротика, в тот момент ничего в сети больше не менялось

У вас дропы имеются на sfp

[witch]

И допы по переполнению очереди.

[jffulcrum]

Оборудование MT с мультикастом зачастую дружит плохо. Покажите настройки моста (bridge)

[Morty]

5 часов назад, witch сказал:

И допы по переполнению очереди.

Дропов всего 0.0001% от общего трафика.
Но при этом теряется заметное количество пингов, поэтому сомневаюсь, что причина именно в этом.

При этом видно, что пинг прыгает от 0.4 мс до 50 мс. Да и автор пишет, что проблемы только в одном влане. Я скорее подозреваю, что проблема на самом хосте 10.1.0.56 - стоит проверить его, либо проблема в линии до хоста.
 

Важно помнить, что CRS3xx - это в первую очередь коммутатор, а не роутер. У него действительно есть L3-разгрузка, но с ограниченным числом маршрутов, урезанным firewall и NAT. При превышении этих ограничений весь трафик начинает обрабатываться слабым CPU, что сразу отражается на трафике.

Edited August 26, 2025 by Morty

[joyrax]

Простите что так долго отвечаю, у меня время UTC +10, уже спал

Вот настройки бриджа Main, он у меня один, использую для tagged трафика

 

То есть, если выбрать MikroTik с более мощным процессором, это может решить проблему?

Хотя в наших планах скоро отказаться от второго VLAN'а. Это будет означать, что все клиенты из второго VLAN'а переедут в VLAN 50. Разница в том, что во втором VLAN'е работает наше IPTV с антенны, а в VLAN 50 — IPTV от нашего провайдера.

Примечание: Во втором VLAN'е страдают все устройства. Но интересно вот что: так как наше IPTV изначально не идет через MikroTik, а встроено в L2-коммутатор Cisco, этот трафик чувствует себя нормально. Проблемы затрагивают только интернет и маршрутизацию — то есть то, что проходит через MikroTik.

[Morty]

58 минут назад, joyrax сказал:

Простите что так долго отвечаю, у меня время UTC +10, уже спал

Вот настройки бриджа Main, он у меня один, использую для tagged трафика

 

То есть, если выбрать MikroTik с более мощным процессором, это может решить проблему?

Хотя в наших планах скоро отказаться от второго VLAN'а. Это будет означать, что все клиенты из второго VLAN'а переедут в VLAN 50. Разница в том, что во втором VLAN'е работает наше IPTV с антенны, а в VLAN 50 — IPTV от нашего провайдера.

Примечание: Во втором VLAN'е страдают все устройства. Но интересно вот что: так как наше IPTV изначально не идет через MikroTik, а встроено в L2-коммутатор Cisco, этот трафик чувствует себя нормально. Проблемы затрагивают только интернет и маршрутизацию — то есть то, что проходит через MikroTik.

 

Какая нагрузка на CPU на микротике?

Какой уровень сигнала на sfp порту со стороны длинка?

Есть ли дропы на sfp порту длинка?

Какая модель длинка?

 

Если к порту микротика, настроенному в vlan 2, подключить тестовое устройство (например, ноутбук или роутер) и запустить пинг, будут потери?

Если аналогично подключить тестовое устройство к порту длинка, будут потери?

Edited August 26, 2025 by Morty

[joyrax]

Нагрузка на процессор MikroTik, по моим наблюдениям, не превышает 40-50%. Иногда она поднимается до 60% — как в периоды, когда сеть работает без потерь, так и когда есть проблемы.

А вот найти уровень оптического сигнала в интерфейсе управления D-Link у меня не получилось — ни в статистике, ни в мониторинге.

Однако на MikroTik он отображается:

• Tx Power: -6.605 dBm

• Rx Power: -5.883 dBm

Модель коммутатора: D-Link DGS-1210-12TS/ME.

Если подключить любое устройство (ноутбук, STB-приставку или сервер) в VLAN 2 — независимо от того, через что именно (MikroTik, D-Link или Cisco) — проблема проявляется в полном объёме. То есть сбой затрагивает весь VLAN 2 целиком.

Но мне сейчас пришла в голову идея: попробовать сменить шлюз по умолчанию на одном из устройств в VLAN 2 и посмотреть на результат. Если это сработает, то вина MikroTik будет подтверждена на 100%. В течение рабочего дня постараюсь провести этот эксперимент.

[vurd]

Забавно, что когда появляется тема о проблемах с микротиками, то Сааб почему-то в них ничего никогда не пишет.

 

А по сабжу - поменяйте всё назад, а потом по одному компоненту вперёд. Сразу всё будет понятно.

[Morty]

15 часов назад, joyrax сказал:

Нагрузка на процессор MikroTik, по моим наблюдениям, не превышает 40-50%. Иногда она поднимается до 60%

 

Не должно вообще быть нагрузки на CPU. У вас либо не включена разгрузка L3, либо вы используете функционал, для которого нет L3 разгрузки.

 

У вас разгрузка L3 в настройках свитч чипа включена?

Есть какие-нибудь правила файервола?

 

На вашем скриншоте увидел модель CRS326 - это коммутатор, а не роутер. Он поддерживает L3, но с ограничениями.

Прочитайте внимательно:

https://help.mikrotik.com/docs/spaces/ROS/pages/62390319/L3+Hardware+Offloading

 

15 часов назад, joyrax сказал:

А вот найти уровень оптического сигнала в интерфейсе управления D-Link у меня не получилось — ни в статистике, ни в мониторинге.

 

 

15 часов назад, joyrax сказал:

Однако на MikroTik он отображается

 

Rx со стороны микротика может быть нормальный, а со стороны длинка плохой (например, из-за плохого патчкорда), поэтому лучше проверить.

Edited August 27, 2025 by Morty

[Ivan_83]

Странно что никто ничего не написал про микробёрсты, размеры буферов свитч чипов и конечно же про flow control - то на что надо смотреть в первую очередь с мультикастом.

Во вторую - если используется IGMP снупинг + фильтрация мультикаста без подписки то надо смотреть сколько у вас там мультикаст групп в реале и сколько держит свитч чип, ибо если он держит меньше то оно будет по кругу выкидывать группы и дропать трафик.

[sdy_moscow]

@Ivan_83 Просто все, кто пытался использовать такое железо и мультикаст - или давно ушли из бизнеса, или перешли на 10Г, нормальное железо  и надежные технологии, в т.ч. вами лично @Ivan_83  сделанные ;-).

 

Какой смысл "старым пердунам" обсуждать пионернет? Тема опоздала лет на 10.

[Saab95]

В 22.08.2025 в 03:49, joyrax сказал:

Старый роутер: MikroTik (8 портов, модель не указана)

Там случаем не CCR ранее стоял на 8 портов? А вы заменили на CRS.

 

В 22.08.2025 в 03:49, joyrax сказал:

стример NetUP TV Gateway

Он умеет и по юникасту выдавать потоки, мультикаст можно отключить и все проблемы уйдут.

 

Ну и естественно, нужно сделать экспорт всех настроек микротика и проверить нет ли чего лишнего, может от дефолтного конфига что осталось.

 

К слову сказать, ТВ запускали сразу по юникасту еще в начале 2010 года и никаких проблем с вещанием за все время не возникало, лишь из-за переполнения каналов до абонентов, но это к самому вещанию отношения не имеет.

[Ivan_83]

1 hour ago, sdy_moscow said:

Просто все, кто пытался использовать такое железо и мультикаст - или давно ушли из бизнеса, или перешли на 10Г, нормальное железо  и надежные технологии

Мультикаст имеет смысл внутри своей сети, как раз чтобы на несколько msd трафик распределять.

[joyrax]

Что касается Flow Control, я сразу же проверил его настройки на всём оборудовании — он везде отключен.

С параметрами DDM я не сильно разбираюсь, но приложу к письму скриншот с показаниями.

Я воспользовался руководством и включил аппаратную разгрузку на коммутаторе. Нагрузка на процессор действительно очень сильно снизилась, однако интернет-соединение пропало, и в целом трафик повсеместно начал работать очень медленно. В связи с этим я принял решение отключить эту функцию.

Да раньше у нас использовался MikroTik CCR на 8 портов.

А с NetUp ситуация полностью противоположная: в режиме юникаста он работает гораздо хуже, чем в мультикасте. При использовании юникаста каналы начинают "тупить" в 10-15 раз сильнее.

[Morty]

29 минут назад, joyrax сказал:

В связи с этим я принял решение отключить эту функцию.

 

В этом случае возвращайте CCR и L3 вешайте на него

А CRS используйте чисто как L2

 

В микротиках не разбираюсь, но допустим, у вас был CCR1009 с 9-ядерным CPU на 1.2 ГГц, а вы заменили его на CRS с 2-ядерным CPU 800 МГц, и при этом выключили аппаратную разгрузку L3...

 

29 минут назад, joyrax сказал:

С параметрами DDM я не сильно разбираюсь

 

Какой аплинк порт, 10?

Edited August 27, 2025 by Morty

[Morty]

31 минуту назад, joyrax сказал:

однако интернет-соединение пропало, и в целом трафик повсеместно начал работать очень медленно

 

А вы ребут сделали после включения L3 Hw?

[joyrax]

Да, на D-Link'е это 10-й.
Похоже, придётся уговаривать начальство выделить ещё немного бюджета :)

 

Перезагрузку не выполнял, но, следуя руководству, выполнил следующие настройки:

/interface/ethernet/switch set 0 l3-hw-offloading=yes
/interface/ethernet/switch/port set [find] l3-hw-offloading=no

После этого интернет появился

[Morty]

10 минут назад, joyrax сказал:

Да, на D-Link'е это 10-й.
Похоже, придётся уговаривать начальство выделить ещё немного бюджета :)

 

Перезагрузку не выполнял, но, следуя руководству, выполнил следующие настройки:

/interface/ethernet/switch set 0 l3-hw-offloading=yes
/interface/ethernet/switch/port set [find] l3-hw-offloading=no

После этого интернет появился

 

Так делали?

To enable full hardware routing, enable l3hw on all switch ports:

 

/interface/ethernet/switch set 0 l3-hw-offloading=yes

/interface/ethernet/switch/port set [find] l3-hw-offloading=yes

Edited August 27, 2025 by Morty

[joyrax]

Да, однако интернет также не работал.

К сожалению, перезагрузить устройство сегодня до 15:00 (UTC+10) не могу — в этот период у нас важное мероприятие с большим количеством гостей, и сеть должна быть стабильна. Сделаю это позже.

Хочу уточнить по настройке: правильно ли я понимаю, что аппаратную разгрузку нужно включать на транковых портах, а вот для VLAN-интерфейсов, портов доступа (access) и порта, через который приходит интернет, её нужно отключать, чтобы трафик обрабатывался процессором?

[sdy_moscow]

1 час назад, Ivan_83 сказал:

Мультикаст имеет смысл внутри своей сети, как раз чтобы на несколько msd трафик распределять.

Но точно не на микротике с длинком DGS-1210 в ядре.... сиську надобно и тазик! Старенькую, но сиську. И тазик пусть 7-го поколения, но хотя-бы i7. И буде щасье!