iValera Posted November 2, 2017 · Report post Добрый день, данные ниже не ЧНН, есть 3 port-channel, подозрение что неправильный дизайн подключения портов 10G привел к упиранию в полку по утилизации фабрики. В частности ранее был 2 port-channel, проблема видимо была, но не замечалась так ярко, когда добавили третий port-channel, тут же начались проблемы. Трафик подобрался к началу ЧНН в 19-20 часов и перестал расти, более того начал падать. У абонентов возрастание пингов и медленная загрузка страниц. Для примера в аттаче 2 скрина. По науке "The port pairs are 1,4; 5,7; 2,3; and 6,8" дают по 16G Сейчас portchannel собраны: 1. 3:6, 3:7, 4:7 2. 3:3, 3:4, 4:3, 4:4 3. 3:1, 3:2, 4:1, 4:6 Прошу подсказать, на сколько верный данный дизайн составления port-chan и если в связи с этим вызваны проблемы, то как правильно? Составлять port-chan на одной карте? Например порты брать 1, 5, 2 ? m9-co-asbr2#show platform hardware capacity System Resources PFC operating mode: PFC3CXL Supervisor redundancy mode: administratively sso, operationally sso Switching resources: Module Part number Series CEF mode 1 WS-X6724-SFP CEF720 dCEF 2 WS-X6704-10GE CEF720 CEF 3 WS-X6708-10GE CEF720 dCEF 4 WS-X6708-10GE CEF720 dCEF 6 RSP720-3CXL-GE supervisor CEF Power Resources Power supply redundancy mode: administratively redundant operationally non-redundant (single power supply) System power: 2669W, 0W (0%) inline, 2296W (86%) total allocated Powered devices: 0 total, 0 Class3, 0 Class2, 0 Class1, 0 Class0, 0 Cisco Flash/NVRAM Resources Usage: Module Device Bytes: Total Used %Used 1 dfc#1-bootflash: 15990784 0 0% 2 dfc#2-bootflash: 15990784 0 0% 3 dfc#3-bootflash: 15990784 0 0% 4 dfc#4-bootflash: 15990784 0 0% 6 SP sup-bootdisk: 518799360 184254464 36% 6 SP const_nvram: 127212 556 1% 6 SP hidden-nvram: 4059328 59112 1% 6 RP nvram: 4059328 59112 1% 6 RP bootdisk: 518799360 150863872 29% CPU Resources CPU utilization: Module 5 seconds 1 minute 5 minutes 1 5% / 1% 5% 5% 2 0% / 0% 0% 0% 3 3% / 0% 5% 5% 4 5% / 1% 4% 5% 6 RP 26% / 1% 8% 8% 6 SP 14% / 0% 13% 14% Processor memory: Module Bytes: Total Used %Used 1 998252464 383355628 38% 2 192946224 53267148 28% 3 998252464 386993508 39% 4 998252464 386861032 39% 6 RP 1692217932 1112518116 66% 6 SP 719286476 378783840 53% I/O memory: Module Bytes: Total Used %Used 6 RP 134217728 50322424 37% 6 SP 67108864 43819112 65% EOBC Resources Module Packets/sec Total packets Dropped packets 1 Rx: 26 614046082 0 Tx: 19 86389991 0 2 Rx: 9 613936807 51 Tx: 3 18494162 0 3 Rx: 31 613605105 0 Tx: 25 95659511 0 4 Rx: 31 613518524 0 Tx: 24 99742985 0 6 RP Rx: 31 149075294 0 Tx: 33 154029051 0 6 SP Rx: 45 228362836 0 Tx: 49 246824341 0 VLAN Resources VLANs: 4094 total, 5 VTP, 0 extended, 44 internal, 4045 free L2 Forwarding Resources MAC Table usage: Module Collisions Total Used %Used 1 0 98304 22 1% 3 0 98304 22 1% 4 0 98304 22 1% 6 0 98304 22 1% VPN CAM usage: Total Used %Used 512 0 0% L3 Forwarding Resources Module FIB TCAM usage: Total Used %Used 1 72 bits (IPv4, MPLS, EoM) 835584 669790 80% 144 bits (IP mcast, IPv6) 106496 2647 2% detail: Protocol Used %Used IPv4 667737 80% MPLS 2053 1% EoM 0 0% IPv6 2331 2% IPv4 mcast 258 1% IPv6 mcast 58 1% Adjacency usage: Total Used %Used 1048576 909 1% L3 Forwarding Resources Module FIB TCAM usage: Total Used %Used 3 72 bits (IPv4, MPLS, EoM) 835584 669790 80% 144 bits (IP mcast, IPv6) 106496 2647 2% detail: Protocol Used %Used IPv4 667737 80% MPLS 2053 1% EoM 0 0% IPv6 2331 2% IPv4 mcast 258 1% IPv6 mcast 58 1% Adjacency usage: Total Used %Used 1048576 909 1% L3 Forwarding Resources Module FIB TCAM usage: Total Used %Used 4 72 bits (IPv4, MPLS, EoM) 835584 669790 80% 144 bits (IP mcast, IPv6) 106496 2647 2% detail: Protocol Used %Used IPv4 667737 80% MPLS 2053 1% EoM 0 0% IPv6 2331 2% IPv4 mcast 258 1% IPv6 mcast 58 1% Adjacency usage: Total Used %Used 1048576 909 1% L3 Forwarding Resources Module FIB TCAM usage: Total Used %Used 6 72 bits (IPv4, MPLS, EoM) 835584 669790 80% 144 bits (IP mcast, IPv6) 106496 2647 2% detail: Protocol Used %Used IPv4 667737 80% MPLS 2053 1% EoM 0 0% IPv6 2331 2% IPv4 mcast 258 1% IPv6 mcast 58 1% Adjacency usage: Total Used %Used 1048576 912 1% Forwarding engine load: Module pps peak-pps peak-time 1 0 8710 11:09:19 MSK Mon Oct 16 2017 3 1608918 4252040 14:47:46 MSK Wed Nov 1 2017 4 1170256 3509004 22:22:07 MSK Sun Oct 29 2017 6 88263 162224 13:20:47 MSK Thu Oct 26 2017 Netflow Resources TCAM utilization: Module Created Failed %Used 1 0 0 0% 3 3 0 0% 4 3 0 0% 6 1 0 0% ICAM utilization: Module Created Failed %Used 1 0 0 0% 3 0 0 0% 4 0 0 0% 6 0 0 0% Flowmasks: Mask# Type Features IPv4: 0 reserved none IPv4: 1 unused none IPv4: 2 unused none IPv4: 3 reserved none IPv6: 0 reserved none IPv6: 1 unused none IPv6: 2 unused none IPv6: 3 reserved none CPU Rate Limiters Resources Rate limiters: Total Used Reserved %Used Layer 3 9 6 1 67% Layer 2 4 2 2 50% ACL/QoS TCAM Resources Key: ACLent - ACL TCAM entries, ACLmsk - ACL TCAM masks, AND - ANDOR, QoSent - QoS TCAM entries, QOSmsk - QoS TCAM masks, OR - ORAND, Lbl-in - ingress label, Lbl-eg - egress label, LOUsrc - LOU source, LOUdst - LOU destination, ADJ - ACL adjacency Module ACLent ACLmsk QoSent QoSmsk Lbl-in Lbl-eg LOUsrc LOUdst AND OR ADJ 1 1% 1% 1% 1% 1% 1% 0% 3% 0% 0% 1% 3 1% 1% 1% 1% 1% 1% 0% 3% 0% 0% 1% 4 1% 1% 1% 1% 1% 1% 0% 3% 0% 0% 1% 6 1% 1% 1% 1% 1% 1% 0% 3% 0% 0% 1% L3 Multicast Resources Replication mode: Egress Replication capability: Module Mode 1 Egress 2 Egress 3 Egress 4 Egress 6 Egress MET table Entries: Module Total Used %Used 1 65526 8 1% 3 65526 12 1% 4 65526 12 1% 6 32752 10 1% QoS Policer Resources Aggregate policers: Module Total Used %Used 1 1024 1 1% 3 1024 1 1% 4 1024 1 1% 6 1024 1 1% Microflow policer configurations: Module Total Used %Used 1 64 1 1% 3 64 1 1% 4 64 1 1% 6 64 1 1% Switch Fabric Resources Bus utilization: current: 0%, peak was 0% at 08:53:09 MSK Thu Nov 2 2017 Fabric utilization: Ingress Egress Module Chanl Speed rate peak rate peak 1 0 20G 0% 1% @12:41 18Sep17 0% 1% @06:55 02Nov17 2 0 20G 0% 1% @14:24 18Oct17 0% 1% @02:14 02Nov17 2 1 20G 0% 1% @09:44 29Oct17 0% 1% @02:14 02Nov17 3 0 20G 21% 75% @23:49 01Nov17 25% 65% @23:42 01Nov17 3 1 20G 26% 70% @22:36 31Oct17 26% 69% @21:00 29Oct17 4 0 20G 11% 68% @22:17 18Oct17 21% 60% @23:37 30Oct17 4 1 20G 23% 71% @23:49 01Nov17 19% 66% @22:44 29Oct17 6 0 20G 2% 7% @13:20 26Oct17 0% 5% @13:20 26Oct17 Switching mode: Module Switching mode 1 compact 2 compact 3 compact 4 compact 6 compact Interface Resources Interface drops: Module Total drops: Tx Rx Highest drop port: Tx Rx 3 0 4945385 0 5 4 0 4474 0 5 6 0 3 0 1 Interface buffer sizes: Module Bytes: Tx buffer Rx buffer 1 1221120 174016 2 14622592 1914304 3 91889216 109296640 4 91889216 109296640 IBC Resources Module Packets/sec Total packets Dropped packets 6 RP Rx: 381 645164989 159 Tx: 62 98774646 0 6 SP Rx: 7 31573573 9 Tx: 51 80682253 0 SPAN Resources Source sessions: 18 maximum, 0 used Type Used Local 0 RSPAN source (max 2) 0 ERSPAN source 0 Service module 0 Destination sessions: 62 maximum, 0 used Type Used RSPAN destination 0 ERSPAN destination (max 24) 0 m9-co-asbr2#show fabric utilization all slot channel speed Ingress % Egress % 1 0 20G 0 0 2 0 20G 0 0 2 1 20G 0 0 3 0 20G 21 21 3 1 20G 21 21 4 0 20G 8 18 4 1 20G 20 20 6 0 20G 2 0 m9-co-asbr2#show fabric switching-mode Global switching mode is Compact dCEF mode is not enforced for system to operate Fabric module is not required for system to operate Modules are allowed to operate in bus mode Truncated mode is allowed, due to presence of DFC, CEF720 module Module Slot Switching Mode 1 dCEF 2 Crossbar 3 dCEF 4 dCEF 6 dCEF m9-co-asbr2#show fabric channel-counters all slot channel rxErrors txErrors txDrops lbusDrops 1 0 0 0 0 0 2 0 0 0 0 0 2 1 0 0 0 0 3 0 0 0 0 0 3 1 0 0 0 0 4 0 0 0 0 0 4 1 0 0 0 0 6 0 3 0 0 0 m9-co-asbr2#show inventory NAME: "CISCO7606", DESCR: "Cisco Systems Cisco 7600 6-slot Chassis System" PID: CISCO7606 , VID: , SN: FOX11100SP1 NAME: "CLK-7600 1", DESCR: "OSR-7600 Clock FRU 1" PID: CLK-7600 , VID: , SN: NWG110701EP NAME: "CLK-7600 2", DESCR: "OSR-7600 Clock FRU 2" PID: CLK-7600 , VID: , SN: NWG110701EP NAME: "module 1", DESCR: "WS-X6724-SFP CEF720 24 port 1000mb SFP Rev. 4.3" PID: WS-X6724-SFP , VID: V06, SN: SAL1406AFD4 NAME: "switching engine sub-module of 1", DESCR: "WS-F6700-DFC3CXL Distributed Forwarding Card 3 Rev. 1.6" PID: WS-F6700-DFC3CXL , VID: V03, SN: SAL1414EFLN NAME: "module 2", DESCR: "WS-X6704-10GE CEF720 4 port 10-Gigabit Ethernet Rev. 2.5" PID: WS-X6704-10GE , VID: V02, SN: SAL1109J94E NAME: "switching engine sub-module of 2", DESCR: "WS-F6700-CFC Centralized Forwarding Card Rev. 3.1" PID: WS-F6700-CFC , VID: V04, SN: SAL1109J8WE NAME: "module 3", DESCR: "WS-X6708-10GE CEF720 8 port 10GE with DFC Rev. 3.5" PID: WS-X6708-10GE , VID: V11, SN: SAL16084SPD NAME: "switching engine sub-module of 3", DESCR: "WS-F6700-DFC3CXL Distributed Forwarding Card 3 Rev. 1.1" PID: WS-F6700-DFC3CXL , VID: V01, SN: SAL12437BCP NAME: "Transceiver Te3/1", DESCR: "Transceiver 10Gbase-LR Te3/1" PID: X2 to SFP+ , VID: V02 , SN: X2C4Q550004 NAME: "Transceiver Te3/2", DESCR: "Transceiver 10Gbase-LR Te3/2" PID: X2-10GB-LR , VID: V02 , SN: X2FB4610039 NAME: "Transceiver Te3/3", DESCR: "Transceiver 10Gbase-LR Te3/3" PID: X2-10GB-LR , VID: V02 , SN: X2FB4610010 NAME: "Transceiver Te3/4", DESCR: "Transceiver 10Gbase-LR Te3/4" PID: X2-10GB-LR , VID: V02 , SN: X2FB4610002 NAME: "Transceiver Te3/5", DESCR: "Transceiver 10Gbase-LR Te3/5" PID: X2-10GB-LR , VID: V03 , SN: XX96L013 NAME: "Transceiver Te3/6", DESCR: "Transceiver 10Gbase-LR Te3/6" PID: MT-X2-31192-LRC , VID: V01 , SN: S1211280511 NAME: "Transceiver Te3/7", DESCR: "Transceiver 10Gbase-LR Te3/7" PID: MT-X2-31192-LRC , VID: V01 , SN: S1211280547 NAME: "module 4", DESCR: "WS-X6708-10GE CEF720 8 port 10GE with DFC Rev. 1.6" PID: WS-X6708-10GE , VID: V06, SN: SAL1310LEU0 NAME: "switching engine sub-module of 4", DESCR: "WS-F6700-DFC3CXL Distributed Forwarding Card 3 Rev. 1.3" PID: WS-F6700-DFC3CXL , VID: V02, SN: SAL1311LRK6 NAME: "Transceiver Te4/1", DESCR: "Transceiver 10Gbase-LR Te4/1" PID: MT-X2-31192-LRC , VID: V01 , SN: S1211280539 NAME: "Transceiver Te4/3", DESCR: "Transceiver 10Gbase-LR Te4/3" PID: X2-10GB-LR , VID: V03 , SN: XX96L006 NAME: "Transceiver Te4/4", DESCR: "Transceiver 10Gbase-LR Te4/4" PID: X2-10GB-LR , VID: V03 , SN: XX96L007 NAME: "Transceiver Te4/5", DESCR: "Transceiver 10Gbase-LR Te4/5" PID: X2-10GB-LR , VID: V03 , SN: XX96L012 NAME: "Transceiver Te4/6", DESCR: "Transceiver 10Gbase-LR Te4/6" PID: X2-10GB-LR , VID: V03 , SN: XX96L003 NAME: "Transceiver Te4/7", DESCR: "Transceiver 10Gbase-LR Te4/7" PID: MT-X2-31192-LRC , VID: V01 , SN: S1211280546 NAME: "module 6", DESCR: "RSP720-3CXL-GE 2 ports Route Switch Processor 720 Rev. 5.6" PID: RSP720-3CXL-GE , VID: V04, SN: JAE1232RB9D NAME: "msfc sub-module of 6", DESCR: "7600-MSFC4 C7600 MSFC4 Daughterboard Rev. 1.1" PID: 7600-MSFC4 , VID: 000, SN: JAE1232RBF8 NAME: "switching engine sub-module of 6", DESCR: "7600-PFC3CXL Policy Feature Card 3 Rev. 1.0" PID: 7600-PFC3CXL , VID: 000, SN: JAE1232R5MX NAME: "Transceiver Gi6/1", DESCR: "Transceiver 1000BaseBX10D Gi6/1" PID: , VID: A , SN: FP201301288002 NAME: "PS 2 PWR-2700-AC", DESCR: "AC power supply, 2700 watt 2" PID: PWR-2700-AC , VID: V02, SN: APQ10330015 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted November 2, 2017 · Report post Это ведь графики с LAG? А есть графики с отдельных портов? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
iValera Posted November 2, 2017 · Report post 7 минут назад, alibek сказал: Это ведь графики с LAG? А есть графики с отдельных портов? Графики портов из port-chan 3 (в котором 4 порта) ps: отредактировал 1 пост, распортовку уточнил. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted November 2, 2017 · Report post 15 минут назад, iValera сказал: Сейчас portchannel собраны: 1. 3:6, 3:7, 4:7 2. 3:2, 3:4, 4:3, 4:4 3. 3:1, 3:2, 4:1, 4:6 Косяк не в выделенном? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
iValera Posted November 2, 2017 · Report post 2 минуты назад, snvoronkov сказал: Косяк не в выделенном? Да, спасибо. поправил Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
cmhungry Posted November 2, 2017 · Report post Первый Po - три порта? Так у него максимальная нагрузка сильно меньше 30. Хэш 4-битный, 0-15, распределяется по портам. 0, 3, 6, 9, 12, 15 - в первый порт 1, 4, 7, 10, 13 - во второй 2, 5, 8, 11, 14 - в третий может, немного поможет включение 4го порта в Po1 Еще надо бы понять размер пакета. 20G линк - это при пакете 1500 байт. При пакете 64 байта там 14 или даже меньше. ну и для 6708 я бы попробовал выключить oversubscription и использовать только по 4 порта на карте Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
iValera Posted November 2, 2017 · Report post 55 минут назад, cmhungry сказал: Первый Po - три порта? Так у него максимальная нагрузка сильно меньше 30. Хэш 4-битный, 0-15, распределяется по портам. 0, 3, 6, 9, 12, 15 - в первый порт 1, 4, 7, 10, 13 - во второй 2, 5, 8, 11, 14 - в третий может, немного поможет включение 4го порта в Po1 Еще надо бы понять размер пакета. 20G линк - это при пакете 1500 байт. При пакете 64 байта там 14 или даже меньше. ну и для 6708 я бы попробовал выключить oversubscription и использовать только по 4 порта на карте 1ый Po 3 порта, у него нагрузка меньше да, но если есть нагрузка на одном из 3ех Po, то абонентов так или иначе это затронет. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Butch3r Posted November 2, 2017 · Report post Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shellsmith Posted November 2, 2017 · Report post Судя по пиковой утилизации fabric channel, перегрузка возникает на одном или нескольких из FPGA. Можно сесть с карандашиком, нарисовать потоки трафика и подсчитать загрузку всех групп. Потом жонглировать портами, чтобы распределить трафик более равномерно. Большого профита от перемещения всех линков etherchannel в один модуль не будет. От etherchannel с нечетным количеством портов лучше избавиться - нагрузка распределяется неравномерно, считать неудобно. В целом, присоединяюсь к предыдущим опраторам - отключать переподписку или подключать в эти модули только ненагруженные линки... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
UglyAdmin Posted November 2, 2017 · Report post Переподписку можно использовать в свою пользу, зачем порты будут проставать? Переподписка там между портами и шиной, а если трафик в основном льётся с одного порта на другой? Тогда надо вставить эти порты в один модуль, и шина вообще не будет загружаться таким трафиком, всё разрулит DFC... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shellsmith Posted November 2, 2017 · Report post Если мне не изменяет память, ASIC передает в DFC только заголовки пакетов для осуществления lookup. Данные между ASIC передаются через фабрику. В случае WS-X6708-10GE это означает, что при нагрузке около 50% Вы упретесь либо в производительность каналов между FPGA и ASIC (2 x 16 Gbps), либо в производительность канала до фабрики (1 x 20 Gbps). К сожалению, мне не удалось найти подходящей картинки из авторитетных источников с пакет флоу между двумя портами 6708 с разных ASIC. Если у кого-то есть контр-примеры - буду очень признателен... Польза от переподписки, на мой взгляд, только в том, что используя WS-6708 можно агрегировать относительно много портов, где гигабита уже мало, а до 10 ГБит еще как до Луны. Как только появляются требования к нагрузке - два порта на левый асик, два порта на правый асик - вуаля, мы получили 6704 с большими пакетными буферами. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Butch3r Posted November 3, 2017 · Report post 12 часов назад, shellsmith сказал: Как только появляются требования к нагрузке - два порта на левый асик, два порта на правый асик - вуаля, мы получили 6704 с большими пакетными буферами. мы именно там 6708 и используем. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted November 3, 2017 · Report post да чот у автора на свитчфабрике 3 0 20G 21% 75% @23:49 01Nov17 25% 65% @23:42 01Nov17 3 1 20G 26% 70% @22:36 31Oct17 26% 69% @21:00 29Oct17 4 0 20G 11% 68% @22:17 18Oct17 21% 60% @23:37 30Oct17 4 1 20G 23% 71% @23:49 01Nov17 19% 66% @22:44 29Oct17 все еще неплохо ) 70% еще далеко до предела. что за портченелами ? может проблема вовсе не в 76? сце случаем нет? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
iValera Posted November 8, 2017 · Report post 1 портченел вниз к абонентам, 1 к аплинкам, 1 на вторую циску (в котором балансится трафик между цисками, тоесть там есть трафик обоих Po) Кому если интересно, аплинковский портченел разобрали, постарались по-другому раскидать порты (хотя и так они подключены более менее правильно), не помогло. Как начинает расти трафик - портченел, который вниз, просаживается, затем боковой Po, затем аплинковский. В итоге все перенесли на вторую циску. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Telesis Posted November 8, 2017 · Report post Просто выросли вы из этого железа. Все танцы могут дать ±2Г Понятно что сейчас (76xx) стоит копейки, но смотрите в будущее. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted November 8, 2017 · Report post у вас там нетфлоу случаем нет? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Pal__74 Posted November 8, 2017 · Report post 3 часа назад, zhenya` сказал: у вас там нетфлоу случаем нет? Или хуже того, мирроринга? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
iValera Posted November 15, 2017 · Report post Ничего нет, только BGP Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
UglyAdmin Posted January 26, 2018 · Report post В 02.11.2017 в 15:35, shellsmith сказал: Если мне не изменяет память, ASIC передает в DFC только заголовки пакетов для осуществления lookup. Данные между ASIC передаются через фабрику. В случае WS-X6708-10GE это означает, что при нагрузке около 50% Вы упретесь либо в производительность каналов между FPGA и ASIC (2 x 16 Gbps), либо в производительность канала до фабрики (1 x 20 Gbps). Я мониторю загрузку портов по 6708, и у меня бывало 27Gbit на 4 портах одного 20G канала фабрики. Стало быть, DFC как-то разбрасывает трафик внутри платы, без обращения к фабрике. Но как оно между портами, висящими на разных каналах фабрики - сказать не могу, не экспериментировал. :) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kingroud Posted February 1, 2018 · Report post В 15.11.2017 в 09:32, iValera сказал: Ничего нет, только BGP Как правильно писал Telesis : Просто выросли вы из этого железа. Все танцы могут дать ±2Г. Понятно что сейчас (76xx) стоит копейки, но смотрите в будущее. В купле/продаже в одном месте шасси продают ASR9010, а в другом начинку для этой железки. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...