MATPOC Posted August 14, 2014 · Report post В августе не только самолёты падают Пришёл и на нашу улицу трабл. На Opennet.ru прочитал новость http://www.opennet.ru/opennews/art.shtml?num=40384 Суть проблемы в том, что в процессе оптимизации пространства IPv4-адресов, провайдерам стали выделяться небольшие подсети, что привело к росту размера глобальной таблицы маршрутов BGP. При этом во многих устаревших, но ещё находящихся в эксплуатации, маршрутизаторах Cisco и некоторых других производителей для BGP-таблицы глобальных маршрутов IPv4 по умолчанию установлено ограничение в 512K элементов, что обусловлено размером TCAM-памяти, в которой размещается таблица маршрутов. Например, проблеме подвержены серии Cisco 7600, Cisco ASR 9000 с картами Trident, Cisco ASR 1000 с 4GB ОЗУ, Cisco Catalyst 6500. Плохая новость, что Cisco ASR 1000 с 4GB ОЗУ лечится только установкой дополнительной памяти до 8GB ОЗУ. Ага, в пятницу. Хорошая новость, что для каталистов есть workaround. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vurd Posted August 14, 2014 · Report post Что мешает порезать анонсы до /22, например? Или у вас супер-перевалочный-магистарльный узел на ASR1000? :-) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
MATPOC Posted August 14, 2014 (edited) · Report post Что мешает порезать анонсы до /22, например? Или у вас супер-перевалочный-магистарльный узел на ASR1000? :-) Порезать приходящие анонсы? Я уже задавал с пол-года назад моим магистралам вопрос, какого этого ко мне приходит последовательная серия анонсов /24, когда их надо бы сагрегировать. на что мне ответили, что в таком виде им анонсы приходят из интернета и они их не трогают. Edited August 14, 2014 by MATPOC Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
ShyLion Posted August 14, 2014 · Report post Что мешает порезать анонсы до /22, например? Или у вас супер-перевалочный-магистарльный узел на ASR1000? :-) PI блоки энтерпрайзов по боку? Они нигде не агрегируются. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vurd Posted August 14, 2014 · Report post В целом по боку. У вас сколько апстримов FV? 6-7? Или как у всех 2-3? Примите дефолты дополнительно к FV и всё, никаких проблем. Просто реально слабо представляю ситуацию когда тупиковому провайдеру, а именно у них обычно стоят эти 65-ые и asr-1000 реально нужен FV. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
RialCom.ru Posted August 14, 2014 · Report post да в чем проблема то в 65/76 немного уменьшить ipv6 и увеличить ipv4 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted August 14, 2014 · Report post Хорошо что нормальное оборудование не имеет проблем с количеством маршрутов по BGP, и устанавливать дополнительную память не требуется. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vurd Posted August 14, 2014 · Report post Не всем по карману ASR9000 Так-то хорошо конечно, что не придется решать подобные проблемы Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
pfexec Posted August 15, 2014 · Report post Я уже задавал с пол-года назад моим магистралам вопрос, какого этого ко мне приходит последовательная серия анонсов /24, когда их надо бы сагрегировать. на что мне ответили, что в таком виде им анонсы приходят из интернета и они их не трогают.вообще чужие префиксы нельзя агрегировать, т.к. просрутся все bgp атрибуты по пути, а значит и смысла в этом всём не станет. если вам не нужен глобал-вью, то может использовать дефолт ?ну и со своей стороны ничего не мешает покрошить приходящие анонсы как угодно, как минимум на актуальных на сегодня железках это точно не проблема. Хорошо что нормальное оборудование не имеет проблем с количеством маршрутов по BGP, и устанавливать дополнительную память не требуется. Не всем по карману ASR9000это он так намекает на свои любимые некротики, у которых релизнотес читать страшно, в том числе из-за багов в бгп. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted August 15, 2014 · Report post с asr1k все ок. cisco ASR1002 (2RU) processor with 1674205K/6147K bytes of memory. Processor board ID FOX1542GNAS 4 Gigabit Ethernet interfaces 1 Ten Gigabit Ethernet interface 32768K bytes of non-volatile configuration memory. 4194304K bytes of physical memory. 3 fv + ix. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
uxcr Posted August 15, 2014 · Report post Не всем по карману ASR9000 Там по дефолту тоже 512к. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted August 15, 2014 · Report post Не всем по карману ASR9000 Там по дефолту тоже 512к. на первом поколении карт. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alkanaft Posted August 15, 2014 · Report post gw#sh bgp summ BGP router identifier ZZZZZZZZZZZZZZZ, local AS number ZZZZZZZZZ BGP table version is 399168288, main routing table version 399168288 507915 network entries using 75171420 bytes of memory 2017615 path entries using 129127360 bytes of memory 331752/78417 BGP path/bestpath attribute entries using 45118272 bytes of memory 143013 BGP AS-PATH entries using 5909252 bytes of memory 9980 BGP community entries using 748632 bytes of memory 2142 BGP route-map cache entries using 77112 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory BGP using 256152048 total bytes of memory 1009603 received paths for inbound soft reconfiguration BGP activity 17072861/16564795 prefixes, 190894652/188877037 paths, scan interval 60 secs Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd XXXXXXXXXXXXX 4 XXXX 9581770 134620 399168282 0 0 12w0d 503567 YYYYYYYYYYYYY 4 YYYYY 53120179 170424 399168282 0 0 15w2d 504435 asr1006, 4 гига памяти, BGP using 256152048 bytes of memory, тоесть из 4 гиг под бгп жадно сожрано 245 мегабайт памяти, и в чём прикол? бобик такими темпами когда-нибудь сдохнет? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
pliskinsad Posted August 15, 2014 · Report post gw#sh bgp summ BGP router identifier ZZZZZZZZZZZZZZZ, local AS number ZZZZZZZZZ BGP table version is 399168288, main routing table version 399168288 507915 network entries using 75171420 bytes of memory 2017615 path entries using 129127360 bytes of memory 331752/78417 BGP path/bestpath attribute entries using 45118272 bytes of memory 143013 BGP AS-PATH entries using 5909252 bytes of memory 9980 BGP community entries using 748632 bytes of memory 2142 BGP route-map cache entries using 77112 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory BGP using 256152048 total bytes of memory 1009603 received paths for inbound soft reconfiguration BGP activity 17072861/16564795 prefixes, 190894652/188877037 paths, scan interval 60 secs Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd XXXXXXXXXXXXX 4 XXXX 9581770 134620 399168282 0 0 12w0d 503567 YYYYYYYYYYYYY 4 YYYYY 53120179 170424 399168282 0 0 15w2d 504435 asr1006, 4 гига памяти, BGP using 256152048 bytes of memory, тоесть из 4 гиг под бгп жадно сожрано 245 мегабайт памяти, и в чём прикол? бобик такими темпами когда-нибудь сдохнет? http://www.cisco.com/c/en/us/products/collateral/routers/asr-1000-series-aggregation-services-routers/data_sheet_c78-441072.html Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zstas Posted August 15, 2014 · Report post Там по дефолту тоже 512к. По дефолту на трайдентовских картах. Щас уже все тока новые покупают - там 2М. Пардон, 4М. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
artmc Posted August 15, 2014 · Report post Могут быть ограничения на forwarding table, в ASR1000 за это ESP отвечает у него своя память может быть. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Night_Snake Posted August 15, 2014 · Report post Я на asr1001 (не RP1) такое поймал, было неприятно. Вообще циска рекомендует ставить 8Гб при работе с FV Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
denis_vid Posted August 17, 2014 · Report post "Нет все понятно, но шо конкретно..."(с) Все понятно когда есть хардварные ограничения, но может кто просветит при чем в ряде "Cisco ASR 1000 с 4GB ОЗУ". Да в даташите RP1 есть упоминание об этом, но если не ошибаюсь ASR1k это все еще софт-роутер где место чем занять ОЗУ определяется администратором. У меня к примеру к RP 740 МБ свободно(redundancy нет). show platform hardware qfp active tcam resource-manager usageQFP TCAM Usage Information 80 Bit Region Information -------------------------- Name : Leaf Region #0 Number of cells per entry : 1 Current 80 bit entries used : 0 Current used cell entries : 0 Current free cell entries : 0 160 Bit Region Information -------------------------- Name : Leaf Region #1 Number of cells per entry : 2 Current 160 bits entries used : 26706 Current used cell entries : 53412 Current free cell entries : 3932 320 Bit Region Information -------------------------- Name : Leaf Region #2 Number of cells per entry : 4 Current 320 bits entries used : 0 Current used cell entries : 0 Current free cell entries : 4096 Total TCAM Cell Usage Information ---------------------------------- Name : TCAM #0 on CPP #0 Total number of regions : 3 Total tcam used cell entries : 53412 Total tcam free cell entries : 77660 Threshold status : below critical limit вопрос - стоит ли бояться цифры в 512к префиксов? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
artmc Posted August 18, 2014 · Report post А что показывает у вас show platform software status control-processor brief ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
denis_vid Posted August 18, 2014 · Report post А что показывает у вас show platform software status control-processor brief ? show platform software status control-processor brief Load Average Slot Status 1-Min 5-Min 15-Min RP0 Healthy 0.49 0.47 0.59 ESP0 Healthy 0.10 0.07 0.04 SIP0 Healthy 0.00 0.00 0.00 SIP1 Healthy 0.06 0.05 0.01 Memory (kB) Slot Status Total Used (Pct) Free (Pct) Committed (Pct) RP0 Healthy 3874504 2700652 (70%) 1173852 (30%) 2646816 (68%) ESP0 Healthy 2009428 963140 (48%) 1046288 (52%) 748040 (37%) SIP0 Healthy 471832 268144 (57%) 203688 (43%) 235984 (50%) SIP1 Healthy 471832 267732 (57%) 204100 (43%) 235904 (50%) CPU Utilization Slot CPU User System Nice Idle IRQ SIRQ IOwait RP0 0 21.60 3.90 0.00 74.00 0.20 0.30 0.00 ESP0 0 7.60 20.12 0.00 71.77 0.10 0.40 0.00 SIP0 0 1.70 0.80 0.00 97.40 0.10 0.00 0.00 SIP1 0 1.29 0.79 0.00 97.90 0.00 0.00 0.00 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
s.lobanov Posted August 18, 2014 · Report post А есть какие-нибудь нормальные документы по архитектуре ASR1002? А то действительно не очень понятно откуда вылезла цифра в 500000 в даташите на RP1. Ведь даже с soft-reconfiguration на несколько аплинков там и не пахнет исчерпанием памяти Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zi_rus Posted August 18, 2014 · Report post А есть какие-нибудь нормальные документы по архитектуре ASR1002? А то действительно не очень понятно откуда вылезла цифра в 500000 в даташите на RP1. Ведь даже с soft-reconfiguration на несколько аплинков там и не пахнет исчерпанием памяти BRKARC-2001 полистал для себя, в явном виде ничего не увидел, а глубоко копаться лень, у нас таких железок нету Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Smoke Posted August 18, 2014 · Report post А есть какие-нибудь нормальные документы по архитектуре ASR1002? А то действительно не очень понятно откуда вылезла цифра в 500000 в даташите на RP1. Ведь даже с soft-reconfiguration на несколько аплинков там и не пахнет исчерпанием памяти Дык ограничение не колво раутов в bgp table то есть в RAM а в CEF tcam Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
s.lobanov Posted August 18, 2014 · Report post А есть какие-нибудь нормальные документы по архитектуре ASR1002? А то действительно не очень понятно откуда вылезла цифра в 500000 в даташите на RP1. Ведь даже с soft-reconfiguration на несколько аплинков там и не пахнет исчерпанием памяти Дык ограничение не колво раутов в bgp table то есть в RAM а в CEF tcam это справедливо для нормальных свитчей/роутеров типа a9k и c65/c76. Но почему-то Cisco декларирует 500000 маршрутов для RP2 4Gb RAM и 1000000 для RP2 8Gb RAM: http://www.cisco.com/c/en/us/products/collateral/routers/asr-1000-series-aggregation-services-routers/data_sheet_c78-441072.html With 4-GB memory: ● Up to 500,000 IPv4 or 500,000 IPv6 routes With 8-GB or more memory: ● Up to 1,000,000 IPv4 or 1,000,000 IPv6 routes (просто в RP1 больше 4Гб не воткнуть(по крайней мере по даташиту)) Т.е. в RP2 (по даташиту) размер FIB зависит от RAM и это просто планки памяти, а не разные модели RP Да и по документу BRKARC-2001 говорится что tcam у asr1k используется для acl, а про роутинг ни слова Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Smoke Posted August 18, 2014 · Report post А есть какие-нибудь нормальные документы по архитектуре ASR1002? А то действительно не очень понятно откуда вылезла цифра в 500000 в даташите на RP1. Ведь даже с soft-reconfiguration на несколько аплинков там и не пахнет исчерпанием памяти Дык ограничение не колво раутов в bgp table то есть в RAM а в CEF tcam это справедливо для нормальных свитчей/роутеров типа a9k и c65/c76. Но почему-то Cisco декларирует 500000 маршрутов для RP2 4Gb RAM и 1000000 для RP2 8Gb RAM: http://www.cisco.com/c/en/us/products/collateral/routers/asr-1000-series-aggregation-services-routers/data_sheet_c78-441072.html With 4-GB memory: ● Up to 500,000 IPv4 or 500,000 IPv6 routes With 8-GB or more memory: ● Up to 1,000,000 IPv4 or 1,000,000 IPv6 routes (просто в RP1 больше 4Гб не воткнуть(по крайней мере по даташиту)) Т.е. в RP2 (по даташиту) размер FIB зависит от RAM и это просто планки памяти, а не разные модели RP Да и по документу BRKARC-2001 говорится что tcam у asr1k используется для acl, а про роутинг ни слова Вы правы - зачем они маркетингово объединили 9К и 1К не очень понятно. Вот здесь подтвержденье ваших слов cisco-nsp. Толковых доков про хранение FIB тоже не нашел Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...