[Владимир320]

очень нужны советы или свежие мысли куда копать.

Есть OSPF кольцо, построенное на HUAWEI S5720-36C-EI-AC / S6720-30C-EI-24S-AC, на карте отображены как "P"

В качестве PE использую микроты CCR1009/1016/1036 BGP vpls

На карте отобразил между кем и кем подняты bgp сессии, надеюсь читабельно.

BGP подняты на loopback адресах.

Узел P7, PE7 появился в сети буквально неделю назад и подняты сессии между:

PE7<->PE3

PE7<->PE5

PE7<->PE2

vpls на PE7 пока не настроен.

В общем раз в сутки, примерно через 12 часов работы начинают отваливаться bgp на PE7 со всеми тремя пирами одновременно, с логами HoldTimer expired.

Начал копать и понял, что перестает пинговаться loopback на PE7 с любого из соседа, а также c PE7 не пингуются loopback адреса всех железок P, PE. 

bgp сессии падают и пока не передёрну порт на P7 в сторону PE7 сессии не поднимаются, иногда хватало передёрнуть loopback на PE7. 

Между P7 и PE7 была агрегация портов, разобрал ее и проблема осталась, поменял патчи и тоже самое. Никаких страшных логов на Железках нет, кроме HoldTimer expired.

Во время отвала BGP, делаю пинг loopback адреса c P7 на PE7 и пинга нет, делаю пинг ptp интерфейса с P7 на PE7 и пинг есть. При пинге loopback адресов всегда указываю src loopback откуда делаю пинг

На P везде прописана статика в сторону loopback PE и далее забираю все в оспф.

Кидаю конфиги 

PE7 (CCR1036-8G-2S+): 

/ip address
add address=172.17.250.170/30 interface=vlan90 network=172.17.250.168         

add address=172.17.254.113 interface=loopback network=172.17.254.113                                                                                    

/interface bridge
add name=loopback protocol-mode=none

/routing bgp instance
set default client-to-client-reflection=no router-id=172.17.254.113

/routing bgp peer
add address-families=l2vpn name=m9-pe remote-address=172.17.254.198 remote-as=65530 update-source=loopback
add address-families=l2vpn name=mssu-pe remote-address=172.17.254.111 remote-as=65530 update-source=loopback
add address-families=l2vpn name=mspo-pe remote-address=172.17.254.109 remote-as=65530 update-source=loopback

/mpls
set dynamic-label-range=27000-29000
/mpls ldp
set enabled=yes lsr-id=172.17.254.113 transport-address=172.17.254.113
/mpls ldp interface
add interface=vlan90

/ip route
add distance=1 dst-address=172.17.254.101/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.102/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.103/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.107/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.108/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.109/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.110/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.111/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.112/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.198/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.200/32 gateway=172.17.250.169
add distance=1 dst-address=172.17.254.201/32 gateway=172.17.250.169

 

P7(S6720-30C-EI-24S-AC):

interface Vlanif90
 ip address 172.17.250.169 255.255.255.252
 mpls
 mpls mtu 1520
 mpls ldp
 mpls ldp transport-address LoopBack0

 

interface LoopBack0
 ip address 172.17.254.112 255.255.255.255

 

ospf 1 router-id 172.17.254.112
 import-route static route-policy Static-to-OSPF
 area 0.0.0.0
  network 10.1.217.0 0.0.0.255
  network 172.17.250.160 0.0.0.3
  network 172.17.250.164 0.0.0.3
  network 172.17.250.168 0.0.0.3
  network 172.17.254.112 0.0.0.0

 

route-policy Static-to-OSPF permit node 100
 if-match acl 2220

acl number 2220
 rule 5 permit source 172.17.254.113 0

 

mpls lsr-id 172.17.254.112
mpls
 lsp-trigger ip-prefix ldp
#
mpls ldp

 

ip ip-prefix ldp index 10 permit 172.17.254.112 32

 

НА всех остальных узлах настроки примерно идентичные и проблем никаких на них нет, все работает. Начинаю грешить на Huawei P7(заменить?), может сума сходить начинает, непонятно

 

 

На карте правильный адрес loopback PE7 - 172.17.254.113

Изменено 16 марта, 2023 пользователем Владимир320

[BOJIKA]

что происходит с маршрутом на loobpack на других коробках?

[VolanD666]

Сделайте трассировку, запустите сниффер на микроте и посмотрите где траффик теряется. Найдете точку где возникает проблему и оттуда уже можно будет копать.

[Владимир320]

Откуда бы я не запустил трассировку, рвется она на P7 всегда. Доходит до адрес 172.17.250.169 и все

В оспф при этом все сдается и адрес 172.17.254.113 разлетается по всей сети

Думал, что косяк с bgp да врятли дело с ним, как-то же оно работает пол дня потом падает замертво и помогает тока передёргивание loopback или порта.

Гигантского трафика в сети нет, ошибок на портах никаких нет. Может я чет упускаю, по этому и создал тему.

Пока временно переключил PE7 в P1, P7 вообще отрубил. Жду 12 часов)

Изменено 16 марта, 2023 пользователем Владимир320

[VolanD666]

При пинге пакет до микротика долетает? Вы видите его в сниффере?

[Владимир320]

забыл проверял это или нет, припоминается, что долетал пинг, но не уходил

[Владимир320]

После переключения PE7 на P1 пока полет нормалаьный, так долго сессии ещё не держались).  

P7 чет химичит

Изменено 17 марта, 2023 пользователем Владимир320

[Владимир320]

Пользуясь случаем, озвучу вопрос по поводу site-id.

(исходя из официального описания, он должен быть уникальным для каждого сайта)

То есть уникальный site-id для одного vpls или достаточно использовать один site-id на всех vpls в сторону одного соседа?

Из моего примера, между PE1 и PE2 поднята bgp сессия и поднято три bgp vpls интерфейса, и в каждом vpls я указал одинаковые site-id. 

Пример:

PE1:

/interface vpls bgp-vpls
add bridge=bridge_vpls_vlan53 bridge-horizon=5 export-route-targets=65530:53 import-route-targets=65530:53 name=vpls_53 route-distinguisher=65530:53 site-id=50
add bridge=bridge_vpls_vlan800 bridge-horizon=5 export-route-targets=65530:800 import-route-targets=65530:800 name=vpls_800 route-distinguisher=65530:800 site-id=50
add bridge=bridge_vpls_vlan85 bridge-horizon=5 export-route-targets=65530:85 import-route-targets=65530:85 name=vpls_85 route-distinguisher=65530:85 site-id=50

PE2:

/interface vpls bgp-vpls
add bridge=bridge_vpls_vlan53 bridge-horizon=5 export-route-targets=65530:53 import-route-targets=65530:53 name=vpls_53 route-distinguisher=65530:53 site-id=51
add bridge=bridge_vpls_vlan800 bridge-horizon=5 export-route-targets=65530:800 import-route-targets=65530:800 name=vpls_800 route-distinguisher=65530:800 site-id=51
add bridge=bridge_vpls_vlan85 bridge-horizon=5 export-route-targets=65530:85 import-route-targets=65530:85 name=vpls_85 route-distinguisher=65530:85 site-id=51
 

Это нормальная практика? или все-равно лучше указывать разные site-id даже между двумя соседями? У меня как бы все работает при такой схеме, но не совсем понятен этот site-id

Изменено 20 марта, 2023 пользователем Владимир320

[Владимир320]

В общем перепрошил я Huawei P7 и все стабильно