Elshad Опубликовано 14 января, 2013 · Жалоба Добрый день, коллеги! Использовал ли кто-нибудь Cisco ASR1001 в качестве бордера? Расскажу свою историю. Имеется Cisco ASR1001 с Adv. IP Services (без throughput лицензии) Пытаюсь залить туда Full View. Один - спокойно влезает и работает. При попытке залить второй начинается у роутера истерика - вроде бы ругается на память, но там же ее 4 гига. Разве этого мало для full view? Вопрос таков: требуется ли "throughput лицензия" для того, что я хочу? Может там какие-то ограничения в FIB без нее? Люди из Cisco предложили купить в железку 8 гигов памяти, но вот как-то странно: в том же Ericsson SmartEdge 100 всего 1 гиг, но 3 full view спокойно живут. Jan 10 17:26:15 MSK: %IPRT-3-ROUTEINSERTERROR: Error inserting routing entry 209.210.190.0/24 into IP multicast routing table Jan 10 17:26:15 MSK: %IPRT-3-ROUTEINSERTERROR: Error inserting routing entry 209.210.200.0/22 into IP multicast routing table Jan 10 17:26:15 MSK: %COMMON_FIB-3-NOMEM: Memory allocation failure for prefix in IPv4 CEF [0x00EF3410] (fatal) (2020 subsequent failures). Jan 10 17:26:15 MSK: %COMMON_FIB-4-DISABLING: IPv4 CEF is being disabled due to a fatal error. -Traceback= 1#bcd71d3b721d1a1554cb1f861444d68b :400000+F41913 :400000+5F652D3 :400000+5F654EF :400000+5F6F9AF :400000+5F99E91 :400000+5F997D3 :400000+5F996AC :400000+5F4C42B :400000+5F4CDD7 :400000+617C113 :400000+6183513 :400000+6181022 :400000+6180CA2 :400000+617C424 :400000+593841 :400000+465A5E Jan 10 17:26:17 MSK: %COMMON_FIB-4-DISABLING: IPv4 CEF is being disabled due to a fatal error.8b :400000+F41913 :400000+2C03B55 :400000+2BFC5F0 :400000+2C0CB68 :400000+AF3349 :400000+B52D53 :400000+B52A6C :400000+B52199 :400000+B57129 :400000+B56F84 :400000+C3CFA3 :400000+C3CE09 :400000+C0BE59 :400000+1C488A8 :400000+1C333F9 :400000+1C32F41 Jan 10 17:26:17 MSK: %COMMON_FIB-4-DISABLING: IPv4 CEF is being disabled due to a fatal error. Jan 10 17:26:38 MSK: %FIB-2-FIBDOWN: CEF has been disabled due to a low memory condition. It can be re-enabled by configuring "ip cef [distributed]" PS: Особенно смутили сообщения типа "Error inserting routing entry 209.210.190.0/24 into IP multicast routing table". Их очень много. И почему "into IP multicast routing table"? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingress Опубликовано 14 января, 2013 · Жалоба у вас под router bgp какие address family включены? конфиг можно увидеть? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Elshad Опубликовано 14 января, 2013 · Жалоба у вас под router bgp какие address family включены? конфиг можно увидеть? 3 роутера в кольце: ASR1001 и 2 Ericsson SmartEdge 100. Поднят MPLS. Соответственно OSPF, который анонсирует connected-ы и loopback-и. Между роутерами iBGP - Route Reflector поднимать не стал - при 3х роутерах можно и Full Mesh сделать. VRF-а всего 2. Трафика не много - в пике 100 Мегабит пока. К каждому роутеру подключен линк на провайдера (разный провайдер на каждый роутер). От всех Full View приходит. Ericsson-ы нормально работают - проблем нет, ASR1000 же принял Full View от провайдера и отдал его обоим SE100 без проблем. Но как только я начинаю с SE100 анонсировать Full View на ASR - начинается то, что описал. Схема конечно не айс, но таковы требования начальства. Типа отказоустойчивость и т.д. router bgp 41259 bgp router-id 193.150.32.6 bgp log-neighbor-changes neighbor CORE-iBGP peer-group neighbor CORE-iBGP remote-as 41259 neighbor CORE-iBGP update-source Loopback0 neighbor 193.150.32.4 peer-group CORE-iBGP neighbor 193.150.32.5 peer-group CORE-iBGP neighbor 213.80.171.141 remote-as 15974 neighbor 213.80.171.141 description Volga-TTK ! address-family ipv4 network 193.150.32.0 mask 255.255.254.0 redistribute connected route-map CONNECTED-to-BGP redistribute static route-map STATIC-to-BGP neighbor CORE-iBGP next-hop-self neighbor CORE-iBGP default-originate neighbor CORE-iBGP soft-reconfiguration inbound neighbor 193.150.32.4 activate neighbor 193.150.32.5 activate neighbor 213.80.171.141 activate neighbor 213.80.171.141 soft-reconfiguration inbound neighbor 213.80.171.141 route-map map-AS15974-in in neighbor 213.80.171.141 route-map map-AS15974-out out exit-address-family ! address-family vpnv4 neighbor CORE-iBGP send-community extended neighbor 193.150.32.4 activate neighbor 193.150.32.5 activate exit-address-family ! address-family ipv4 vrf ASTROBL redistribute connected redistribute static neighbor 172.16.1.1 remote-as 65000 neighbor 172.16.1.1 activate neighbor 172.16.1.1 soft-reconfiguration inbound exit-address-family ! address-family ipv4 vrf WAN redistribute connected neighbor 10.0.2.1 remote-as 35177 neighbor 10.0.2.1 activate exit-address-family ip bgp-community new-format Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingress Опубликовано 14 января, 2013 · Жалоба видимо они правы, потому что судя по даташитам ESP5 с 4G памяти может 512к маршрутов, а с 8G - 1М. можно как вариант попробовать отключить soft-reconfiguration inbound Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Elshad Опубликовано 14 января, 2013 · Жалоба видимо они правы, потому что судя по даташитам ESP5 с 4G памяти может 512к маршрутов. Что-то не доглядел в даташите это. Ну что ж, тогда вместо покупки памяти, лицензии на производительность и доп. платы в ASR1001 лучше куплю еще один SE100. Спасибо, что ткнули носом)))) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Дятел Опубликовано 14 января, 2013 · Жалоба Но пока что их число в FV меньше..... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingress Опубликовано 14 января, 2013 · Жалоба Но пока что их число в FV меньше..... честно говоря я не помню, *давно это было*, отличаются ли у ASR цифры FIB/RIB но в данном случае должно быть RIB ~ 1,2-1,3М(3 FV), FIB ~ 400-430k. Возможно там ещё vpnv4 префиксов есть чтобы добить ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Дятел Опубликовано 14 января, 2013 · Жалоба если RIB 512К - тогда понятно.... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Elshad Опубликовано 14 января, 2013 · Жалоба Но пока что их число в FV меньше..... В том-то и дело. BGP router identifier 193.150.32.6, local AS number 41259 BGP table version is 2659027, main routing table version 2659027 434752 network entries using 109557504 bytes of memory 867725 path entries using 76359800 bytes of memory 138755/69274 BGP path/bestpath attribute entries using 31081120 bytes of memory 62887 BGP AS-PATH entries using 3038892 bytes of memory 2 BGP community entries using 48 bytes of memory 2 BGP extended community entries using 48 bytes of memory 269 BGP route-map cache entries using 17216 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory BGP using 220054628 total bytes of memory 434738 received paths for inbound soft reconfiguration BGP activity 1672141/1227246 prefixes, 3317019/2449154 paths, scan interval 60 secs Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 193.150.32.4 4 41259 5438 765746 2659027 0 0 3d20h 7 193.150.32.5 4 41259 5548 765760 2659027 0 0 3d20h 4 213.80.171.141 4 15974 685721 4952 2658979 0 0 3d02h 432969 Кстати, а "inbound soft reconfiguration" доп. память не съедает? vpnv4 префиксов мало - порядка сотни (не тысяч)) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingress Опубликовано 14 января, 2013 · Жалоба на SE конфигурация BGP как выглядит(в том числе и в контекстах, если она там есть) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Elshad Опубликовано 14 января, 2013 · Жалоба на SE конфигурация BGP как выглядит(в том числе и в контекстах, если она там есть) Вот SE-1: context local ! router bgp 41259 router-id 193.150.32.4 cluster-id 193.150.32.0 address-family ipv4 unicast flap-statistics redistribute connected route-map CONNECTED-to-BGP redistribute static route-map STATIC-to-BGP network 193.150.32.0/23 address-family ipv4 vpn ! neighbor 62.183.103.65 external remote-as 35177 description # Rostelecom # address-family ipv4 unicast route-map map-AS35177-in in route-map map-AS35177-out out ! neighbor 193.150.32.5 internal description # DC-CORE-R2 # update-source Lo0 next-hop-self address-family ipv4 unicast address-family ipv4 vpn ! neighbor 193.150.32.6 internal description # AST-GOV-ASBR1 # update-source Lo0 next-hop-self address-family ipv4 unicast route-map map-iBGP-out out address-family ipv4 vpn ! ! ** End Context ** ! ! vpn-rd 41259:700 ! ! ! context ASTROBL vpn-rd 41259:700 ! router bgp vpn address-family ipv4 unicast export route-target 41259:700 import route-target 41259:700 redistribute connected redistribute static ! ! ** End Context ** ! vpn-rd 41259:701 ! ! ! context WAN vpn-rd 41259:701 ! router bgp vpn address-family ipv4 unicast export route-target 41259:701 import route-target 41259:701 redistribute connected redistribute static ! ! ** End Context ** ! Вот SE-2 context local ! router bgp 41259 router-id 193.150.32.5 cluster-id 193.150.32.0 address-family ipv4 unicast flap-statistics redistribute connected route-map CONNECTED-to-BGP redistribute static route-map STATIC-to-BGP network 193.150.32.0/23 address-family ipv4 vpn ! neighbor 62.220.48.193 external remote-as 48400 shutdown address-family ipv4 unicast route-map map-AS48400-in in route-map map-AS48400-out out ! neighbor 193.150.32.4 internal description # DC-CORE-R1 # update-source Lo0 next-hop-self address-family ipv4 unicast address-family ipv4 vpn ! neighbor 193.150.32.6 internal description # AST-GOV-ASBR1 # update-source Lo0 next-hop-self address-family ipv4 unicast route-map map-iBGP-out out address-family ipv4 vpn ! ! ** End Context ** ! ! vpn-rd 41259:700 ! ! ! context ASTROBL vpn-rd 41259:700 ! router bgp vpn address-family ipv4 unicast export route-target 41259:700 import route-target 41259:700 redistribute connected redistribute static ! ! ** End Context ** ! vpn-rd 41259:701 ! ! ! context WAN vpn-rd 41259:701 ! router bgp vpn address-family ipv4 unicast export route-target 41259:701 import route-target 41259:701 redistribute connected redistribute static ! ! ** End Context ** ! end Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MaxSmith Опубликовано 15 января, 2013 · Жалоба Была такая же проблема с ASR 1001 5 ESP. 4GB памяти. Выяснилось, что FIB на ней в районе 1m маршрутов, как и заявлялось, но в RIB не влезает даже один FullView, о чем на Cisco.com ни слова. Особенность ASR 1001 такова, что из 4 GB на IOS отсается всего 1.3 GB, а на BGP остается еще меньше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Elshad Опубликовано 16 января, 2013 · Жалоба Была такая же проблема с ASR 1001 5 ESP. 4GB памяти. Выяснилось, что FIB на ней в районе 1m маршрутов, как и заявлялось, но в RIB не влезает даже один FullView, о чем на Cisco.com ни слова. Особенность ASR 1001 такова, что из 4 GB на IOS отсается всего 1.3 GB, а на BGP остается еще меньше. Получается Throughput лицензия (FLS-ASR1001-5G=) не влияет и надо 8GB памяти. Печально. Cisco ASR1001 8GB DRAM,spare (M-ASR1K-1001-8GB=) стоит $16,000 по GPL. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ZoRRo Опубликовано 28 апреля, 2013 · Жалоба Попробуйте такую команду mpls label mode all-vrfs protocol all-afs per-vrf Аналогично было у меня на ASR1002 RP1. Данная команда помогла. Правда у меня full view был в vrf INTERNET. Была такая же проблема с ASR 1001 5 ESP. 4GB памяти. Выяснилось, что FIB на ней в районе 1m маршрутов, как и заявлялось, но в RIB не влезает даже один FullView, о чем на Cisco.com ни слова. Особенность ASR 1001 такова, что из 4 GB на IOS отсается всего 1.3 GB, а на BGP остается еще меньше. Получается Throughput лицензия (FLS-ASR1001-5G=) не влияет и надо 8GB памяти. Печально. Cisco ASR1001 8GB DRAM,spare (M-ASR1K-1001-8GB=) стоит $16,000 по GPL. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Elshad Опубликовано 28 апреля, 2013 · Жалоба Попробуйте такую команду mpls label mode all-vrfs protocol all-afs per-vrf Аналогично было у меня на ASR1002 RP1. Данная команда помогла. Правда у меня full view был в vrf INTERNET. Нет - не помогает. Да она и не может помочь. У вас был специфичный случай просто. А тут: ASBR#show ip bgp summary BGP table version is 1361033, main routing table version 1361033 447924 network entries using 112876848 bytes of memory 895700 path entries using 78821600 bytes of memory 143893/71855 BGP path/bestpath attribute entries using 32232032 bytes of memory 65177 BGP AS-PATH entries using 3137356 bytes of memory 3 BGP community entries using 72 bytes of memory 2 BGP extended community entries using 48 bytes of memory 72030 BGP route-map cache entries using 4609920 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory BGP using 231677876 total bytes of memory 447908 received paths for inbound soft reconfiguration BGP activity 910098/447040 prefixes, 2674133/1778246 paths, scan interval 60 secs ASBR#show memory statistics Head Total(b) Used(b) Free(b) Lowest(b) Largest(b) Processor 7F15BF47A010 1215531824 1206633036 8898788 2375376 2241756 lsmpi_io 7F15BED721A8 6295128 6294212 916 916 916 Дело реально в памяти. Вот и значение Free(b) об этом говорит. Такой результат выдает коробка после принятия одного Full View. Соответственно для второго уже нет места. Вывод: ASR1001 может быть бордером и принимать более одного Full View при условии установки в него 8GB памяти. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
юзерок Опубликовано 29 апреля, 2013 · Жалоба Хотим приобрести ASR1001 и есть вопрос с принятием трех FV (в перспективе 4). Для ASR1001 возможна установка 16Gb памяти, в таком виде сможет она принять 3-4 FV ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alkanaft Опубликовано 29 апреля, 2013 · Жалоба берите 1002 лучше сразу Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Merridius Опубликовано 29 апреля, 2013 · Жалоба С 16 Гб должна принять. Кстати, с 4 гигами памяти, помимо нескольких фулл-вью, еще и software redundancy не запустить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
юзерок Опубликовано 29 апреля, 2013 · Жалоба берите 1002 лучше сразу тут сказано "Offer memory scalability up to 4-GB DRAM on the Cisco ASR 1000 Series Route Processor 1 and 16-GB DRAM on the Cisco ASR 1000 Series Route Processor 2". В ASR1002 можно только RP1 вставлять т.е. там будет лимит в 4Гб памяти. А в ASR1001 отдельного RP нету и можно 16Гб вставить. Тут и вопрос сколько реально FV влезет в ASR1001/16Gb и в ASR1002/RP1_4Gb. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alkanaft Опубликовано 29 апреля, 2013 (изменено) · Жалоба пища для размышления: NAME: "module R0", DESCR: "Cisco ASR1000 Route Processor 1" PID: ASR1000-RP1 , VID: V06, SN: xxxxxxxxxxxxxxxx NAME: "module R1", DESCR: "Cisco ASR1000 Route Processor 1" PID: ASR1000-RP1 , VID: V06, SN: xxxxxxxxxxxxxxxx NAME: "module F0", DESCR: "Cisco ASR1000 Embedded Services Processor, 10Gbps" PID: ASR1000-ESP10 , VID: V05, SN: xxxxxxxxxxxxxxxx NAME: "module F1", DESCR: "Cisco ASR1000 Embedded Services Processor, 10Gbps" PID: ASR1000-ESP10 , VID: V05, SN: xxxxxxxxxxxxxxxx gw#sh ip bgp summ BGP router identifier xx.xx.xx.xx, local AS number xxxxx BGP table version is 14246545, main routing table version 14246545 449553 network entries using 66533844 bytes of memory 1787424 path entries using 114395136 bytes of memory 299454/72065 BGP path/bestpath attribute entries using 40725744 bytes of memory 130206 BGP AS-PATH entries using 5326338 bytes of memory 8984 BGP community entries using 676218 bytes of memory 362 BGP route-map cache entries using 13032 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory BGP using 227670312 total bytes of memory 894620 received paths for inbound soft reconfiguration BGP activity 5909279/5459651 prefixes, 59296021/57508595 paths, scan interval 60 secs Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd xx.xx.xx.xx 4 xxx 7838401 33230 14246538 0 0 2w6d 446823 xx.xx.xx.xx 4 xxx 6795597 33228 14246498 0 0 2w6d 445972 памяти 4 гига, третий fv не проблема засадить.. Изменено 29 апреля, 2013 пользователем alkanaft Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 29 апреля, 2013 (изменено) · Жалоба Нет - не помогает. Да она и не может помочь. У вас был специфичный случай просто. А тут: 447908 received paths for inbound soft reconfiguration BGP activity 910098/447040 prefixes, 2674133/1778246 paths, scan interval 60 secs ASBR#show memory statistics Head Total(b) Used(b) Free(b) Lowest(b) Largest(b) Processor 7F15BF47A010 1215531824 1206633036 8898788 2375376 2241756 lsmpi_io 7F15BED721A8 6295128 6294212 916 916 916 Дело реально в памяти. Вот и значение Free(b) об этом говорит. Такой результат выдает коробка после принятия одного Full View. Соответственно для второго уже нет места. Вывод: ASR1001 может быть бордером и принимать более одного Full View при условии установки в него 8GB памяти. "NOTE Storage of route updates uses memory. If you enable soft-reconfiguration inbound for multiple neighbors, the amount of memory used can become significant." Как бы всем известно. Вы отключали на пробу soft-reconfiguration inbound? Изменено 29 апреля, 2013 пользователем DVM-Avgoor Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rover-lt Опубликовано 29 апреля, 2013 (изменено) · Жалоба Нет - не помогает. Да она и не может помочь. У вас был специфичный случай просто. А тут: 447908 received paths for inbound soft reconfiguration BGP activity 910098/447040 prefixes, 2674133/1778246 paths, scan interval 60 secs ASBR#show memory statistics Head Total(b) Used(b) Free(b) Lowest(b) Largest(b) Processor 7F15BF47A010 1215531824 1206633036 8898788 2375376 2241756 lsmpi_io 7F15BED721A8 6295128 6294212 916 916 916 Дело реально в памяти. Вот и значение Free(b) об этом говорит. Такой результат выдает коробка после принятия одного Full View. Соответственно для второго уже нет места. Вывод: ASR1001 может быть бордером и принимать более одного Full View при условии установки в него 8GB памяти. "NOTE Storage of route updates uses memory. If you enable soft-reconfiguration inbound for multiple neighbors, the amount of memory used can become significant." Как бы всем известно. Вы отключали на пробу soft-reconfiguration inbound? soft-reconfiguration влияет на размер RIB в основной памяти (которой 4 или 8 гигов). размер памяти TCAM которая важна для L3-forwarding (FIB) всего 5 мегабайт на ESP5 (http://www.cisco.com/en/US/docs/routers/asr1000/install/guide/asr1routers/asr1ESP3.html#wp1214893) На 7600 WS-X6700 и ES+ ее по 9 мегабайт. и как правило туда залезает 512k маршрутов, но, подшаманив можно и 1m получить. Изменено 29 апреля, 2013 пользователем rover-lt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Merridius Опубликовано 30 апреля, 2013 · Жалоба http://www.cisco.com/en/US/prod/collateral/routers/ps9343/data_sheet_c78-450070.html Cisco ASR 1001 500,000 IPv4 or 500,000 IPv6 routes with 4GB Memory 1,000,000 IPv4 or 1,000,000 IPv6 routes with 8GB Memory or 16GB Memory Multicast: 64,000 routes and 1,000 groups Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 1 мая, 2013 · Жалоба soft-reconfiguration влияет на размер RIB в основной памяти (которой 4 или 8 гигов). размер памяти TCAM которая важна для L3-forwarding (FIB) всего 5 мегабайт на ESP5 (http://www.cisco.com/en/US/docs/routers/asr1000/install/guide/asr1routers/asr1ESP3.html#wp1214893) На 7600 WS-X6700 и ES+ ее по 9 мегабайт. и как правило туда залезает 512k маршрутов, но, подшаманив можно и 1m получить. Ну и беспач еще не превысил вроде 500к да? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Дятел Опубликовано 1 мая, 2013 · Жалоба Да. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...