Jump to content

ASR1001 как бордер

Elshad
 Share

Recommended Posts

Elshad

Elshad

Posted
Posted

Добрый день, коллеги!

 

Использовал ли кто-нибудь Cisco ASR1001 в качестве бордера?

Расскажу свою историю.

 

Имеется Cisco ASR1001 с Adv. IP Services (без throughput лицензии)

Пытаюсь залить туда Full View.

Один - спокойно влезает и работает.

При попытке залить второй начинается у роутера истерика - вроде бы ругается на память, но там же ее 4 гига.

Разве этого мало для full view?

 

Вопрос таков: требуется ли "throughput лицензия" для того, что я хочу? Может там какие-то ограничения в FIB без нее?

Люди из Cisco предложили купить в железку 8 гигов памяти, но вот как-то странно: в том же Ericsson SmartEdge 100 всего 1 гиг, но 3 full view спокойно живут.

 

Jan 10 17:26:15 MSK: %IPRT-3-ROUTEINSERTERROR: Error inserting routing entry 209.210.190.0/24 into IP multicast routing table
Jan 10 17:26:15 MSK: %IPRT-3-ROUTEINSERTERROR: Error inserting routing entry 209.210.200.0/22 into IP multicast routing table
Jan 10 17:26:15 MSK: %COMMON_FIB-3-NOMEM: Memory allocation failure for prefix in IPv4 CEF [0x00EF3410] (fatal) (2020 subsequent failures).
Jan 10 17:26:15 MSK: %COMMON_FIB-4-DISABLING: IPv4 CEF is being disabled due to a fatal error.
-Traceback= 1#bcd71d3b721d1a1554cb1f861444d68b  :400000+F41913 :400000+5F652D3 :400000+5F654EF :400000+5F6F9AF :400000+5F99E91 :400000+5F997D3 :400000+5F996AC :400000+5F4C42B :400000+5F4CDD7 :400000+617C113 :400000+6183513 :400000+6181022 :400000+6180CA2 :400000+617C424 :400000+593841 :400000+465A5E
Jan 10 17:26:17 MSK: %COMMON_FIB-4-DISABLING: IPv4 CEF is being disabled due to a fatal error.8b  :400000+F41913 :400000+2C03B55 :400000+2BFC5F0 :400000+2C0CB68 :400000+AF3349 :400000+B52D53 :400000+B52A6C :400000+B52199 :400000+B57129 :400000+B56F84 :400000+C3CFA3 :400000+C3CE09 :400000+C0BE59 :400000+1C488A8 :400000+1C333F9 :400000+1C32F41
Jan 10 17:26:17 MSK: %COMMON_FIB-4-DISABLING: IPv4 CEF is being disabled due to a fatal error.
Jan 10 17:26:38 MSK: %FIB-2-FIBDOWN: CEF has been disabled due to a low memory condition. It can be re-enabled by configuring "ip cef [distributed]"

 

PS:

 

Особенно смутили сообщения типа "Error inserting routing entry 209.210.190.0/24 into IP multicast routing table".

Их очень много. И почему "into IP multicast routing table"?

Elshad

Elshad

Posted
  • Author
Posted

у вас под router bgp какие address family включены? конфиг можно увидеть?

 

3 роутера в кольце: ASR1001 и 2 Ericsson SmartEdge 100.

Поднят MPLS.

Соответственно OSPF, который анонсирует connected-ы и loopback-и.

Между роутерами iBGP - Route Reflector поднимать не стал - при 3х роутерах можно и Full Mesh сделать.

VRF-а всего 2.

Трафика не много - в пике 100 Мегабит пока.

 

К каждому роутеру подключен линк на провайдера (разный провайдер на каждый роутер). От всех Full View приходит.

Ericsson-ы нормально работают - проблем нет, ASR1000 же принял Full View от провайдера и отдал его обоим SE100 без проблем.

Но как только я начинаю с SE100 анонсировать Full View на ASR - начинается то, что описал.

 

Схема конечно не айс, но таковы требования начальства. Типа отказоустойчивость и т.д.

 

router bgp 41259
bgp router-id 193.150.32.6
bgp log-neighbor-changes
neighbor CORE-iBGP peer-group
neighbor CORE-iBGP remote-as 41259
neighbor CORE-iBGP update-source Loopback0
neighbor 193.150.32.4 peer-group CORE-iBGP
neighbor 193.150.32.5 peer-group CORE-iBGP
neighbor 213.80.171.141 remote-as 15974
neighbor 213.80.171.141 description Volga-TTK
!
address-family ipv4
 network 193.150.32.0 mask 255.255.254.0
 redistribute connected route-map CONNECTED-to-BGP
 redistribute static route-map STATIC-to-BGP
 neighbor CORE-iBGP next-hop-self
 neighbor CORE-iBGP default-originate
 neighbor CORE-iBGP soft-reconfiguration inbound
 neighbor 193.150.32.4 activate
 neighbor 193.150.32.5 activate
 neighbor 213.80.171.141 activate
 neighbor 213.80.171.141 soft-reconfiguration inbound
 neighbor 213.80.171.141 route-map map-AS15974-in in
 neighbor 213.80.171.141 route-map map-AS15974-out out
exit-address-family
!
address-family vpnv4
 neighbor CORE-iBGP send-community extended
 neighbor 193.150.32.4 activate
 neighbor 193.150.32.5 activate
exit-address-family
!
address-family ipv4 vrf ASTROBL
 redistribute connected
 redistribute static
 neighbor 172.16.1.1 remote-as 65000
 neighbor 172.16.1.1 activate
 neighbor 172.16.1.1 soft-reconfiguration inbound
exit-address-family
!
address-family ipv4 vrf WAN
 redistribute connected
 neighbor 10.0.2.1 remote-as 35177
 neighbor 10.0.2.1 activate
exit-address-family
ip bgp-community new-format

ingress

ingress

Posted
Posted

видимо они правы, потому что судя по даташитам ESP5 с 4G памяти может 512к маршрутов, а с 8G - 1М.

можно как вариант попробовать отключить soft-reconfiguration inbound

Elshad

Elshad

Posted
  • Author
Posted

видимо они правы, потому что судя по даташитам ESP5 с 4G памяти может 512к маршрутов.

 

Что-то не доглядел в даташите это.

Ну что ж, тогда вместо покупки памяти, лицензии на производительность и доп. платы в ASR1001 лучше куплю еще один SE100.

Спасибо, что ткнули носом))))

ingress

ingress

Posted
Posted

Но пока что их число в FV меньше.....

 

честно говоря я не помню, *давно это было*, отличаются ли у ASR цифры FIB/RIB

но в данном случае должно быть RIB ~ 1,2-1,3М(3 FV), FIB ~ 400-430k.

 

Возможно там ещё vpnv4 префиксов есть чтобы добить ;)

Elshad

Elshad

Posted
  • Author
Posted

Но пока что их число в FV меньше.....

 

В том-то и дело.

 

BGP router identifier 193.150.32.6, local AS number 41259
BGP table version is 2659027, main routing table version 2659027
434752 network entries using 109557504 bytes of memory
867725 path entries using 76359800 bytes of memory
138755/69274 BGP path/bestpath attribute entries using 31081120 bytes of memory
62887 BGP AS-PATH entries using 3038892 bytes of memory
2 BGP community entries using 48 bytes of memory
2 BGP extended community entries using 48 bytes of memory
269 BGP route-map cache entries using 17216 bytes of memory
0 BGP filter-list cache entries using 0 bytes of memory
BGP using 220054628 total bytes of memory
434738 received paths for inbound soft reconfiguration
BGP activity 1672141/1227246 prefixes, 3317019/2449154 paths, scan interval 60 secs

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
193.150.32.4    4        41259    5438  765746  2659027    0    0 3d20h           7
193.150.32.5    4        41259    5548  765760  2659027    0    0 3d20h           4
213.80.171.141  4        15974  685721    4952  2658979    0    0 3d02h      432969

 

Кстати, а "inbound soft reconfiguration" доп. память не съедает?

vpnv4 префиксов мало - порядка сотни (не тысяч))

Elshad

Elshad

Posted
  • Author
Posted

на SE конфигурация BGP как выглядит(в том числе и в контекстах, если она там есть)

 

Вот SE-1:

 

context local
!
router bgp 41259
 router-id 193.150.32.4
 cluster-id 193.150.32.0
 address-family ipv4 unicast
  flap-statistics
  redistribute connected route-map CONNECTED-to-BGP
  redistribute static route-map STATIC-to-BGP
  network 193.150.32.0/23
 address-family ipv4 vpn
!
 neighbor 62.183.103.65 external
   remote-as 35177
   description # Rostelecom #
  address-family ipv4 unicast
     route-map map-AS35177-in in
     route-map map-AS35177-out out
!
 neighbor 193.150.32.5 internal
   description # DC-CORE-R2 #
   update-source Lo0
   next-hop-self
  address-family ipv4 unicast
  address-family ipv4 vpn
!
 neighbor 193.150.32.6 internal
   description # AST-GOV-ASBR1 #
   update-source Lo0
   next-hop-self
  address-family ipv4 unicast
     route-map map-iBGP-out out
  address-family ipv4 vpn
!
! ** End Context **
!
!
vpn-rd 41259:700
!
!
!
context ASTROBL vpn-rd 41259:700
!
router bgp vpn
 address-family ipv4 unicast
  export route-target 41259:700
  import route-target 41259:700
  redistribute connected
  redistribute static
!
! ** End Context **
!
vpn-rd 41259:701
!
!
!
context WAN vpn-rd 41259:701
!
router bgp vpn
 address-family ipv4 unicast
  export route-target 41259:701
  import route-target 41259:701
  redistribute connected
  redistribute static
!
! ** End Context **
!

 

 

Вот SE-2

 

context local
!
router bgp 41259
 router-id 193.150.32.5
 cluster-id 193.150.32.0
 address-family ipv4 unicast
  flap-statistics
  redistribute connected route-map CONNECTED-to-BGP
  redistribute static route-map STATIC-to-BGP
  network 193.150.32.0/23
 address-family ipv4 vpn
!
 neighbor 62.220.48.193 external
   remote-as 48400
   shutdown
  address-family ipv4 unicast
     route-map map-AS48400-in in
     route-map map-AS48400-out out
!
 neighbor 193.150.32.4 internal
   description # DC-CORE-R1 #
   update-source Lo0
   next-hop-self
  address-family ipv4 unicast
  address-family ipv4 vpn
!
 neighbor 193.150.32.6 internal
   description # AST-GOV-ASBR1 #
   update-source Lo0
   next-hop-self
  address-family ipv4 unicast
     route-map map-iBGP-out out
  address-family ipv4 vpn
!
! ** End Context **
!
!
vpn-rd 41259:700
!
!
!
context ASTROBL vpn-rd 41259:700
!
router bgp vpn
 address-family ipv4 unicast
  export route-target 41259:700
  import route-target 41259:700
  redistribute connected
  redistribute static
!
! ** End Context **
!
vpn-rd 41259:701
!
!
!
context WAN vpn-rd 41259:701
!
router bgp vpn
 address-family ipv4 unicast
  export route-target 41259:701
  import route-target 41259:701
  redistribute connected
  redistribute static
!
! ** End Context **
!
end

MaxSmith

MaxSmith

Posted
Posted

Была такая же проблема с ASR 1001 5 ESP. 4GB памяти.

Выяснилось, что FIB на ней в районе 1m маршрутов, как и заявлялось, но в RIB не влезает даже один FullView, о чем на Cisco.com ни слова.

 

Особенность ASR 1001 такова, что из 4 GB на IOS отсается всего 1.3 GB, а на BGP остается еще меньше.

Elshad

Elshad

Posted
  • Author
Posted

Была такая же проблема с ASR 1001 5 ESP. 4GB памяти.

Выяснилось, что FIB на ней в районе 1m маршрутов, как и заявлялось, но в RIB не влезает даже один FullView, о чем на Cisco.com ни слова.

 

Особенность ASR 1001 такова, что из 4 GB на IOS отсается всего 1.3 GB, а на BGP остается еще меньше.

 

Получается Throughput лицензия (FLS-ASR1001-5G=) не влияет и надо 8GB памяти.

Печально.

Cisco ASR1001 8GB DRAM,spare (M-ASR1K-1001-8GB=) стоит $16,000 по GPL.

  • 3 months later...
ZoRRo

ZoRRo

Posted
Posted

Попробуйте такую команду

mpls label mode all-vrfs protocol all-afs per-vrf

Аналогично было у меня на ASR1002 RP1. Данная команда помогла.

Правда у меня full view был в vrf INTERNET.

 

Была такая же проблема с ASR 1001 5 ESP. 4GB памяти.

Выяснилось, что FIB на ней в районе 1m маршрутов, как и заявлялось, но в RIB не влезает даже один FullView, о чем на Cisco.com ни слова.

 

Особенность ASR 1001 такова, что из 4 GB на IOS отсается всего 1.3 GB, а на BGP остается еще меньше.

 

Получается Throughput лицензия (FLS-ASR1001-5G=) не влияет и надо 8GB памяти.

Печально.

Cisco ASR1001 8GB DRAM,spare (M-ASR1K-1001-8GB=) стоит $16,000 по GPL.

Elshad

Elshad

Posted
  • Author
Posted

Попробуйте такую команду

mpls label mode all-vrfs protocol all-afs per-vrf

Аналогично было у меня на ASR1002 RP1. Данная команда помогла.

Правда у меня full view был в vrf INTERNET.

 

 

Нет - не помогает. Да она и не может помочь. У вас был специфичный случай просто.

 

А тут: 

ASBR#show ip bgp summary
BGP table version is 1361033, main routing table version 1361033
447924 network entries using 112876848 bytes of memory
895700 path entries using 78821600 bytes of memory
143893/71855 BGP path/bestpath attribute entries using 32232032 bytes of memory
65177 BGP AS-PATH entries using 3137356 bytes of memory
3 BGP community entries using 72 bytes of memory
2 BGP extended community entries using 48 bytes of memory
72030 BGP route-map cache entries using 4609920 bytes of memory
0 BGP filter-list cache entries using 0 bytes of memory
BGP using 231677876 total bytes of memory
447908 received paths for inbound soft reconfiguration
BGP activity 910098/447040 prefixes, 2674133/1778246 paths, scan interval 60 secs


ASBR#show memory statistics
               Head    Total(b)     Used(b)     Free(b)   Lowest(b)  Largest(b)
Processor  7F15BF47A010   1215531824   1206633036     8898788     2375376     2241756
lsmpi_io  7F15BED721A8     6295128     6294212         916         916         916

 

Дело реально в памяти. Вот и значение Free(b) об этом говорит.

Такой результат выдает коробка после принятия одного Full View. Соответственно для второго уже нет места.

 

Вывод:

ASR1001 может быть бордером и принимать более одного Full View при условии установки в него 8GB памяти.

юзерок

юзерок

Posted
Posted

берите 1002 лучше сразу

 

тут сказано "Offer memory scalability up to 4-GB DRAM on the Cisco ASR 1000 Series Route Processor 1 and 16-GB DRAM on the Cisco ASR 1000 Series Route Processor 2". В ASR1002 можно только RP1 вставлять т.е. там будет лимит в 4Гб памяти. А в ASR1001 отдельного RP нету и можно 16Гб вставить. Тут и вопрос сколько реально FV влезет в ASR1001/16Gb и в ASR1002/RP1_4Gb.

alkanaft

alkanaft

Posted
Posted (edited)

пища для размышления:

 

NAME: "module R0", DESCR: "Cisco ASR1000 Route Processor 1"
PID: ASR1000-RP1       , VID: V06, SN: xxxxxxxxxxxxxxxx

NAME: "module R1", DESCR: "Cisco ASR1000 Route Processor 1"
PID: ASR1000-RP1       , VID: V06, SN: xxxxxxxxxxxxxxxx

NAME: "module F0", DESCR: "Cisco ASR1000 Embedded Services Processor, 10Gbps"
PID: ASR1000-ESP10     , VID: V05, SN: xxxxxxxxxxxxxxxx

NAME: "module F1", DESCR: "Cisco ASR1000 Embedded Services Processor, 10Gbps"
PID: ASR1000-ESP10     , VID: V05, SN: xxxxxxxxxxxxxxxx

 

gw#sh ip bgp summ
BGP router identifier xx.xx.xx.xx, local AS number xxxxx
BGP table version is 14246545, main routing table version 14246545
449553 network entries using 66533844 bytes of memory
1787424 path entries using 114395136 bytes of memory
299454/72065 BGP path/bestpath attribute entries using 40725744 bytes of memory
130206 BGP AS-PATH entries using 5326338 bytes of memory
8984 BGP community entries using 676218 bytes of memory
362 BGP route-map cache entries using 13032 bytes of memory
0 BGP filter-list cache entries using 0 bytes of memory
BGP using 227670312 total bytes of memory
894620 received paths for inbound soft reconfiguration
BGP activity 5909279/5459651 prefixes, 59296021/57508595 paths, scan interval 60 secs

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
xx.xx.xx.xx    4        xxx 7838401   33230 14246538    0    0 2w6d       446823
xx.xx.xx.xx    4        xxx 6795597   33228 14246498    0    0 2w6d       445972

 

памяти 4 гига, третий fv не проблема засадить..

Edited by alkanaft
DVM-Avgoor

DVM-Avgoor

Posted
Posted (edited)

 

Нет - не помогает. Да она и не может помочь. У вас был специфичный случай просто.

 

А тут: 

447908 received paths for inbound soft reconfiguration
BGP activity 910098/447040 prefixes, 2674133/1778246 paths, scan interval 60 secs


ASBR#show memory statistics
               Head    Total(b)     Used(b)     Free(b)   Lowest(b)  Largest(b)
Processor  7F15BF47A010   1215531824   1206633036     8898788     2375376     2241756
lsmpi_io  7F15BED721A8     6295128     6294212         916         916         916

 

Дело реально в памяти. Вот и значение Free(b) об этом говорит.

Такой результат выдает коробка после принятия одного Full View. Соответственно для второго уже нет места.

 

Вывод:

ASR1001 может быть бордером и принимать более одного Full View при условии установки в него 8GB памяти.

 

"NOTE Storage of route updates uses memory. If you enable soft-reconfiguration inbound for multiple neighbors, the amount of memory used can become significant."

 

Как бы всем известно. Вы отключали на пробу soft-reconfiguration inbound?

Edited by DVM-Avgoor
rover-lt

rover-lt

Posted
Posted (edited)

 

Нет - не помогает. Да она и не может помочь. У вас был специфичный случай просто.

 

А тут: 

447908 received paths for inbound soft reconfiguration
BGP activity 910098/447040 prefixes, 2674133/1778246 paths, scan interval 60 secs


ASBR#show memory statistics
               Head    Total(b)     Used(b)     Free(b)   Lowest(b)  Largest(b)
Processor  7F15BF47A010   1215531824   1206633036     8898788     2375376     2241756
lsmpi_io  7F15BED721A8     6295128     6294212         916         916         916

 

Дело реально в памяти. Вот и значение Free(b) об этом говорит.

Такой результат выдает коробка после принятия одного Full View. Соответственно для второго уже нет места.

 

Вывод:

ASR1001 может быть бордером и принимать более одного Full View при условии установки в него 8GB памяти.

 

"NOTE Storage of route updates uses memory. If you enable soft-reconfiguration inbound for multiple neighbors, the amount of memory used can become significant."

 

Как бы всем известно. Вы отключали на пробу soft-reconfiguration inbound?

soft-reconfiguration влияет на размер RIB в основной памяти (которой 4 или 8 гигов).

размер памяти TCAM которая важна для L3-forwarding (FIB) всего 5 мегабайт на ESP5 (http://www.cisco.com/en/US/docs/routers/asr1000/install/guide/asr1routers/asr1ESP3.html#wp1214893)

На 7600 WS-X6700 и ES+ ее по 9 мегабайт. и как правило туда залезает 512k маршрутов, но, подшаманив можно и 1m получить.

Edited by rover-lt
DVM-Avgoor

DVM-Avgoor

Posted
Posted

soft-reconfiguration влияет на размер RIB в основной памяти (которой 4 или 8 гигов).

размер памяти TCAM которая важна для L3-forwarding (FIB) всего 5 мегабайт на ESP5 (http://www.cisco.com/en/US/docs/routers/asr1000/install/guide/asr1routers/asr1ESP3.html#wp1214893)

На 7600 WS-X6700 и ES+ ее по 9 мегабайт. и как правило туда залезает 512k маршрутов, но, подшаманив можно и 1m получить.

 

Ну и беспач еще не превысил вроде 500к да?

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
 Share
Go to topic listing
×
×
  • Create New...
На сайте используются файлы cookie и сервисы аналитики для корректной работы форума и улучшения качества обслуживания. Продолжая использовать сайт, вы соглашаетесь с использованием файлов cookie и с Политикой конфиденциальности.