Проблемы с отвалом удаленной LHG 60G по IP и прохождением трафика через радиомост

[QWE]

Всем здравствуйте!

 

В сети применяется VLAN на абонента. Есть радиомост на LHG 60G  между сегментами сети (магистральный канал), одна антенна в режиме CPE (station_bridge) и AP (abonent_bridge) .  Мост настроен в режиме прозрачного прохождения VLAN - в bridge1 собраны ether1 и wlan60-1, создан  менеджмент VLAN интерфейс bridge1.VLAN_ID  на котором поднят IP.   в менеджмент VLAN  порядка 160 IP. с учетом MAC адресов клиентских устройств радиомост видит порядка 225 MAC адресов. Софт на антеннах последний  7.16.1.  Управление сетью находится со стороны CPE.

 

Возникает несколько глюков связанных с доступом на оборудование за этим радиоканалом и хождением трафика абонентов через радиоканал.

 

Глюк_№1  -  стал часто отваливаться доступ по IP на дальнюю антенну с площадки управления сетью,  лечу ребутом (по два раза на дню) антенны CPE.

 

При этом с коммутатора который расположен за дальней антенной AP, антенна AP (со стороны ethernet интерфейса) в момент отвала пингуется  и можно зайти по IP telnet ом с коммутатора.

 

Сегодня зашел winbox ом по RoMON на AP и на радиоинитерфейсе передернул настройку arp  disabled/enabled и доступ по IP на дальнюю  антенну (AP) появился с площадки управления сетью.  

 

Что можно исследовать, проверить в настройках антенны для выяснения причин?

 

PS

Еще бывают глюки -

Когда отваливается дальняя (AP) и , как мне кажется, блокирует прохождение трафика абонентов (возможно не точно) но были звонки абонентов через некоторое время после отвала удаленной антенны. 

 

Иногда отваливается доступ на микротики которые находятся за этим радиомостом, лечится сбросом кэша арп на шлюзе для этих микротиков (только сегодня обнаружил, но  статистики повторяемости пока мало), который находится со стороны CPE  но и ребут половинки радиомоста - помогает!!!

Сложность глюков в том что помогают танцы с бубном на разных сущностях сети, от чего в голове каша.

 

Или эти антенны глюкалово и проще на что то заменить?

[Saab95]

Посмотрите сначала на предмет битых или проблемных портов, интерфейсов за и перед радиомостом.

[QWE]

"Посмотрите сначала на предмет битых или проблемных портов, интерфейсов за и перед радиомостом. "

 

Что значит "битый","проблемный"

 

snmp cчетчики, снимаемые с портов железа (по маршруту от zabbix и до и после радиомоста), ошибки не накапливают, теряют или нет пакеты железки внутри себя (переполнение буферов, настройки qos) не могу сказать.

 

Проблем с доступом по IP на ближайшую антенну по ethernet не было и нет.

[Saab95]

В радио у устройств бридж, который изучает маки. Если он считает, что мак адрес, который должен быть вашим центральным шлюзом, по какой-то причине, уже не со стороны центра сети, а со стороны клиентской антенны, тогда доступа на оборудование не будет.

 

По мак адресу пытались подключиться к микротикам, когда на них доступ по IP пропадает?

 

10 часов назад, QWE сказал:

Что значит "битый","проблемный"

Это значит что при каких-то сочетаниях передает или выдает не верные данные.

 

Если за мостом клиенты с компьютером виндовс, могли создать программный бридж на порту в сторону вашей сети (специально или случайно), и через него могут идти ответы с чужими мак адресами или дубли ARP. Точно так же любой абонентский роутер может такое делать, или кабель в порт LAN роутера подключили.

 

На микротике можно через снифер пакетов посмотреть какие данные ходят, когда еще баловались коммутаторами, бывало что со стороны абонентских портов идет совсем не тот трафик. А так как коммутаторы изучают мак адреса без привязки к вланам (абонент в абонентском влане может выдать мак центрального шлюза от себя), а не на всех коммутаторах установлена защита от такой подмены, или она не верно работает. Вот и вылезают проблемы.

 

Если за радиомостом поставить роутер и приземлить абонентские вланы на нем - проблема с радиоканалом должна уйти.

 

Так же можно приземлить вланы на дальних микротиках, или завернуть вланы, хотя бы, в EoIP туннели, разбив по роутерам и т.п. Что бы найти откуда ноги проблемы идут.

 

10 часов назад, QWE сказал:

Проблем с доступом по IP на ближайшую антенну по ethernet не было и нет.

Просто в сторону вашего центра на порту ближайшей антенны маршрут ближе, чем в сторону абонентской сети, т.к. там радиопролет еще, и мак центрального роутера принимается с сетевого порта, а не беспроводного.

 

Много лет назад была подобная тема про отвалы, только там радиоканал на простых микротиках был, долго обсуждали, а проблема оказалась в битом порте на коммутаторе, который при некоторых стечениях обстоятельств подменял собой мак шлюза.

[QWE]

"В радио у устройств бридж, который изучает маки. Если он считает, что мак адрес, который должен быть вашим центральным шлюзом, по какой-то причине, уже не со стороны центра сети, а со стороны клиентской антенны, тогда доступа на оборудование не будет."

 

это как то видно в админке микротика?

 

"По мак адресу пытались подключиться к микротикам, когда на них доступ по IP пропадает?"

 

Нет

 

"Если за мостом клиенты с компьютером виндовс, могли создать программный бридж на порту в сторону вашей сети (специально или случайно), и через него могут идти ответы с чужими мак адресами или дубли ARP. Точно так же любой абонентский роутер может такое делать, или кабель в порт LAN роутера подключили. "

 

не понятно. Это тоже самое что если бы абонент кабель от провайдера не в wan роутера локалки воткнул, а в локальный свич, и все маки локалки я "вижу" ?

 

" бывало что со стороны абонентских портов идет совсем не тот трафик."

 

не тот трафик - это какой?

 

 

"Софт на антеннах последний  7.16.1." 

 

на ближайшей к центру антенне  обновили софт на последний 7.16.2, через CLI воткнули конфиг.

[Saab95]

В 04.12.2024 в 23:37, QWE сказал:

это как то видно в админке микротика?

В списке хостов на бридже можно посмотреть. На ближнем микротике в ARP определить мак адрес вашего центрального шлюза, на дальнем поиском найти.

 

В 04.12.2024 в 23:37, QWE сказал:

Нет

Обычно по мак телнету стоит проверить связь, если по IP зайти не получается. И если в АРП что-то есть, перед удалением стоит проверить какие там маки указаны.

 

В 04.12.2024 в 23:37, QWE сказал:

не понятно. Это тоже самое что если бы абонент кабель от провайдера не в wan роутера локалки воткнул, а в локальный свич, и все маки локалки я "вижу" ?

Да, абонент мог подключить что-то у себя, что зеркалирует мак адреса обратно. Например он воткнул кабель в ЛАН порт, а на свиче ограничение в 100 маков - для локалки хватит, а со стороны вышей сети может идти больше, вот он и чудит временами. Если есть управляемые коммутаторы или нечто подобное, мониторить абонентские порты на количество мак адресов.

 

В 04.12.2024 в 23:37, QWE сказал:

не тот трафик - это какой?

Да хоть stp определение кольца, вдруг где-то на коммутаторах или на микротиках настроено. Когда создаете бридж в винбоксе, там по умолчанию stp включено.

 

В 04.12.2024 в 23:37, QWE сказал:

на ближайшей к центру антенне  обновили софт на последний 7.16.2, через CLI воткнули конфиг.

В настройках бриджей можно отключить изучение мак адресов на дальней антенне, проблем это не создаст, ведь ближняя антенна будет знать какие маки по кабелю, а какие по радио. Можно и на ближней антенне отключить, перед ней все равно коммутатор установлен.

 

Мы, например, когда предоставляем L2 каналы связи, всегда делаем их через EoIP туннели, и на соответствующих интерфейсах микротиков отключаем изучение мак адресов и ARP. А то тоже бывали странности с прохождением трафика, после отключения изучения маков интерфейсы работают как тупой свич - передавая все без разбора. Пусть уже оборудование абонента смотрит что и куда передавать.

[QWE]

"В настройках бриджей можно отключить изучение мак адресов на дальней антенне," 

 

- на антеннах один бридж, в котором радиоканал и ethernet интерфейс и vlan управления на этом бридже.  Если отключу мак лернинг на антеннах управление по IP останется?  )

 

"Мы, например, когда предоставляем L2 каналы связи, всегда делаем их через EoIP туннели, "  

 

- именно на микротиках-антеннах  делаете  бриджей,vlan интерфейсов сколько vlan абонентов? и на них отключаете мак лернинниг (со стороны абонентов только?) и устанавливаете arp disabled ?   блин, только vlan абонентов дофига чтобы ручками на антеннах, ... ну  придеться

[sirmax]

36 минут назад, QWE сказал:

"В настройках бриджей можно отключить изучение мак адресов на дальней антенне," 

 

- на антеннах один бридж, в котором радиоканал и ethernet интерфейс и vlan управления на этом бридже.  Если отключу мак лернинг на антеннах управление по IP останется?  )

 

"Мы, например, когда предоставляем L2 каналы связи, всегда делаем их через EoIP туннели, "  

 

- именно на микротиках-антеннах  делаете  бриджей,vlan интерфейсов сколько vlan абонентов? и на них отключаете мак лернинниг (со стороны абонентов только?) и устанавливаете arp disabled ?   блин, только vlan абонентов дофига чтобы ручками на антеннах, ... ну  придеться

Можно попробовать вынести управление в отдельный влан
В целом не очень понятно - а что мешает созать дополнительный бридж2 в него сбриджевать только вланы управления с 2 сторон? (только что бы не потерять управление назначить другой влан и другой адрес, отличные от текущего)

Но в целом я б конечно делал бридж на каждый отдельный влан, это не сложно - можно скриптом нагенерить, сколько б их там не было
 

[Saab95]

7 часов назад, QWE сказал:

- на антеннах один бридж, в котором радиоканал и ethernet интерфейс и vlan управления на этом бридже.  Если отключу мак лернинг на антеннах управление по IP останется?  )

Конечно останется. Вы же будете обращаться к устройству по его мак адресу.

 

7 часов назад, QWE сказал:

- именно на микротиках-антеннах  делаете  бриджей,vlan интерфейсов сколько vlan абонентов? и на них отключаете мак лернинниг (со стороны абонентов только?) и устанавливаете arp disabled ?   блин, только vlan абонентов дофига чтобы ручками на антеннах, ... ну  придеться

Нет, мы используем полностью L3 сеть, если абоненту нужен интернет, вешаем его IP адрес на ближайшем микротике прямо на порту, либо на каком-то микротике заводим кучу вланов, которые потом поступают на ПОН или домовую сеть из коммутаторов. В транспортной сети только свой, операторский трафик, где не может быть никаких проблем. Что и подтверждается эксплуатацией огромной по количеству устройств сети в течении 15 лет.

 

Если у вас много вланов - то что мешает на каком-то микротике запаковать все L2 в EoIP и уже подать в центр, а в центре принять этот EoIP и на нем поднять вланы для терминации, или подать на БРАС, если он не микротик. Тогда по радиоканалу пойдет чистый IP и все проблемы уйдут.

 

7 часов назад, sirmax сказал:

Но в целом я б конечно делал бридж на каждый отдельный влан, это не сложно - можно скриптом нагенерить, сколько б их там не было

Радиооборудование это не коммутатор - генерировать кучу вланов не нужно, достаточно следовать шагам:

 

1. Есть ли доступ по мак адресам к микротикам, когда доступа по IP нет.

2. Если доступ есть - значит проблема в IP, то есть в ARP - случается некая подмена адресов - проверить пинги между микротиками за мостом - есть ли доступ там и где он теряется, если только через мост не проходит.

3. Если не проходит только через мост - значит он данные не пропускает - искать причину почему. Можно отключить изучение маков прямо через доступ по мак адресу и проверить, появился ли доступ.

[QWE]

В логах дальней антенны появляются сообщения о смене mac адреса, после чего дальняя антенна отваливается и пожаловался один абонент на отсутствие интернета. Ребут ближней антенны помог.

с чем может быть связано сообщение о смене mac адреса?

 

[SSD]

1 час назад, QWE сказал:

В логах дальней антенны появляются сообщения о смене mac адреса, после чего дальняя антенна отваливается и пожаловался один абонент на отсутствие интернета. Ребут ближней антенны помог.

с чем может быть связано сообщение о смене mac адреса?

 

Какой-то из интерфейсов выпадет из бриджа.

[QWE]

"Какой-то из интерфейсов выпадет из бриджа. "

остальные клиенты не жаловались, и их как бы не мало.  И устройства за радиомостом  доступ по IP не теряли

[Saab95]

У бриджа есть поле admin mac - укажите там мак адрес интерфейса и проблема уйдет.