Jump to content
Калькуляторы

Реальная скорость LACP (ASR1000, Catalyst 4948e)

Reply to this topic

sirmax   

sirmax
Posted

Доброго времени суток!

Для теста собрал стенд с  ASR1001 (без X)

(хочется проверить реальную работу под нагрузкой, в качестве нагрузки планирую наплодить виртуалок с iperf,  конечная цель - наплодить виртуалок что бы проверить реальную производительность, в том числе ISG с быстрым "набеганием" клиентов,  например после моргания света, виртуалок думаю наплодить пару сотен для теста, но посмотрим как пойдет)

Пока самый простой тест - маршрутизация и все. никакого ната/BGP/OSPF/ISG нет

На железке 4 порта sfp -  собрал из них между ASR и  Catalyst агрегированный линк 
  

interface Loopback101
 ip address 100.64.32.100 255.255.0.0
!
interface Loopback102
 ip address 100.127.32.100 255.255.0.0
!
interface Port-channel1
 no ip address
 no negotiation auto
!
interface Port-channel1.101
 encapsulation dot1Q 101
 ip unnumbered Loopback101 poll
!
interface Port-channel1.132
 encapsulation dot1Q 132
 ip unnumbered Loopback102 poll


  

interface GigabitEthernet0/0/1
 description ---=== c4948e Gi1/28 ===---
 no ip address
 negotiation auto
 channel-group 1 mode active



Виртуальные машины включены в свитч (SR-IOV), в нагрузочном тесте "на маршрутизацию" через SVI на каталисте заббикс нарисовал ровную полку в 10 гиг на одном порту и столько же на другом, из чего делаю вывод что с виртуализацией и производительностью проблем нет

Гоняю через ASR - получаю 3.67 гига (хотя если просуммировать на графиках интерфейсов то будет 3.95)
Распределение по физическим потам ровное : port-channel load-balance-hash-algo src-dst-mixed-ip-port

Загрузки процессора не наблюдаю ни на ASR  ни на каталисте


Вопрос - где врут счетчики? 
Со свитча на Po1 показывает ровно то же самое

Более развернуто вопрос звучит так - как прикинуть на пальцах производительность линка собранного из N линков на скорости X?

Share this post

Link to post
Share on other sites

fractal   

fractal
Posted
10 минут назад, sirmax сказал:

Доброго времени суток!

Для теста собрал стенд с  ASR1001 (без X)

(хочется проверить реальную работу под нагрузкой, в качестве нагрузки планирую наплодить виртуалок с iperf,  конечная цель - наплодить виртуалок что бы проверить реальную производительность, в том числе ISG с быстрым "набеганием" клиентов,  например после моргания света, виртуалок думаю наплодить пару сотен для теста, но посмотрим как пойдет)

Пока самый простой тест - маршрутизация и все. никакого ната/BGP/OSPF/ISG нет

На железке 4 порта sfp -  собрал из них между ASR и  Catalyst агрегированный линк 
  

interface Loopback101
 ip address 100.64.32.100 255.255.0.0
!
interface Loopback102
 ip address 100.127.32.100 255.255.0.0
!
interface Port-channel1
 no ip address
 no negotiation auto
!
interface Port-channel1.101
 encapsulation dot1Q 101
 ip unnumbered Loopback101 poll
!
interface Port-channel1.132
 encapsulation dot1Q 132
 ip unnumbered Loopback102 poll


  

interface GigabitEthernet0/0/1
 description ---=== c4948e Gi1/28 ===---
 no ip address
 negotiation auto
 channel-group 1 mode active



Виртуальные машины включены в свитч (SR-IOV), в нагрузочном тесте "на маршрутизацию" через SVI на каталисте заббикс нарисовал ровную полку в 10 гиг на одном порту и столько же на другом, из чего делаю вывод что с виртуализацией и производительностью проблем нет

Гоняю через ASR - получаю 3.67 гига (хотя если просуммировать на графиках интерфейсов то будет 3.95)
Распределение по физическим потам ровное : port-channel load-balance-hash-algo src-dst-mixed-ip-port

Загрузки процессора не наблюдаю ни на ASR  ни на каталисте


Вопрос - где врут счетчики? 
Со свитча на Po1 показывает ровно то же самое

Более развернуто вопрос звучит так - как прикинуть на пальцах производительность линка собранного из N линков на скорости X?

странновато, при такой нагрузке qfp у asr1001 должен быть 70% примерно, смотрели через sh proc cpu platform sort? (точно не помню, но может еще проще глянуть sh plat resour), по портам трафик размазывается нормально? у меня есть asr1001 но на нем 2 порта на UP и два на DOWN, утилизируются равномерно в LACP, load balance тот же

Share this post

Link to post
Share on other sites

jffulcrum   

jffulcrum
Posted
1 час назад, sirmax сказал:

 port-channel load-balance-hash-algo src-dst-mixed-ip-port

Э-э, каталисты в hash не умеют, вернее, умеют только 6500. 

 

1 час назад, sirmax сказал:

Более развернуто вопрос звучит так - как прикинуть на пальцах производительность линка собранного из N линков на скорости X?

 

Ну если у вас два пары качков друг к другу, то они расползутся каждая на свой порт, будет 50/50. Если у вас с обеих сторон дункан макклауд из кучи каких-нибудь виртуалок и контейнеров, рандомно лазающих друг к другу, то тоже будет где-то 50/50. На практике лично я вполне доволен, если 70/30 удается, потому как на практике никакого расчета для каждого пакета не происходит...свитч один раз выбрал порт для парочки src/dst и записал в FIB/TCAM или что там у него, и его обычно дальше уже не заставишь передумать (без радикальных мер, связанных с прерыванием связности).

Share this post

Link to post
Share on other sites

fractal   

fractal
Posted
9 часов назад, jffulcrum сказал:

Э-э, каталисты в hash не умеют, вернее, умеют только 6500. 

с их стороны можно port-channel load-balance src-dst-ip, раскладывает хорошо, хотя конечно зависит от клиентов и что преобладает в flow больше

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted
8 минут назад, jffulcrum сказал:

Э-э, каталисты в hash не умеют, вернее, умеют только 6500.  

c4948E-lab(config)#port-channel load-balance ?
  dst-ip        Dst IP Addr
  dst-mac       Dst Mac Addr
  dst-port      Dst TCP/UDP Port
  src-dst-ip    Src XOR Dst IP Addr
  src-dst-mac   Src XOR Dst Mac Addr
  src-dst-port  Src XOR Dst TCP/UDP Port
  src-ip        Src IP Addr
  src-mac       Src Mac Addr
  src-port      Src TCP/UDP Port

Со стороны каталиста - src-dst-ip

Но вопрос не в том как распределился трафик - я не вижу полку ни на одном интерфейсе ни с одной железки и сумма слагаемых меньше чем должна быть.


 

1 час назад, fractal сказал:

qfp у asr1001 должен быть 70% примерно


Думаю маловато PPS я сделал, настолько мало что совсем не релевантный тест 
Точнее сказать я просто не понимаю как может быть такое соотношение PPS - надо крутить iperf  похоже (или что то еще есть для тестов?)


  

ASR1001#show interfaces po1
Port-channel1 is up, line protocol is up
  Hardware is GEChannel, address is 7cad.74c9.76c0 (bia 7cad.74c9.76c0)
  MTU 1500 bytes, BW 4000000 Kbit/sec, DLY 10 usec,
     reliability 255/255, txload 200/255, rxload 200/255
  Encapsulation 802.1Q Virtual LAN, Vlan ID  1., loopback not set
  Keepalive set (10 sec)
  ARP type: ARPA, ARP Timeout 04:00:00
    No. of active members in this channel: 4
        Member 0 : GigabitEthernet0/0/0 , Full-duplex, 1000Mb/s
        Member 1 : GigabitEthernet0/0/1 , Full-duplex, 1000Mb/s
        Member 2 : GigabitEthernet0/0/2 , Full-duplex, 1000Mb/s
        Member 3 : GigabitEthernet0/0/3 , Full-duplex, 1000Mb/s
    No. of PF_JUMBO supported members in this channel : 4
  Last input 00:00:11, output never, output hang never
  Last clearing of "show interface" counters never
  Input queue: 0/1500/0/0 (size/max/drops/flushes); Total output drops: 0
  Queueing strategy: fifo
  Output queue: 0/160 (size/max)
  5 minute input rate 3151753000 bits/sec, 324525 packets/sec
  5 minute output rate 3151532000 bits/sec, 324511 packets/sec
     5522220868 packets input, 6877236765220 bytes, 0 no buffer
     Received 16969 broadcasts (0 IP multicasts)
     0 runts, 0 giants, 0 throttles
     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     0 watchdog, 25386 multicast, 0 pause input
     5522112933 packets output, 6877137759550 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
     0 unknown protocol drops
     0 babbles, 0 late collision, 0 deferred
     0 lost carrier, 0 no carrier, 0 pause output
     0 output buffer failures, 0 output buffers swapped out



 

 

16 часов назад, fractal сказал:

sh proc cpu platform sort 

ASR1001# sh proc cpu platform sort
CPU utilization for five seconds:  6%, one minute:  7%, five minutes:  8%
Core 0: CPU utilization for five seconds: 17%, one minute: 14%, five minutes: 15%
Core 1: CPU utilization for five seconds:  1%, one minute:  0%, five minutes:  1%
   Pid    PPid    5Sec    1Min    5Min  Status        Size  Name
--------------------------------------------------------------------------------
 31935   31167      7%      7%      7%  S       1739866112  fman_fp_image
 25780   23512      6%      1%      0%  S       4294967295  linux_iosd-imag
...


 

 

13 часов назад, BOJIKA сказал:

show platform 

SR1001#show platform
Chassis type: ASR1001

Slot      Type                State                 Insert time (ago)
--------- ------------------- --------------------- -----------------
0         ASR1001             ok                    2d19h
 0/0      ASR1001             ok                    2d19h
 0/1      SPA-2XOC3-POS       ok                    2d19h
R0        ASR1001             ok, active            2d19h
F0        ASR1001             ok, active            2d19h
P0        ASR1001-PWR-AC      ps, fail              2d19h
P1        ASR1001-PWR-AC      ok                    2d19h
P2        ASR1001-FANTRAY     ok                    2d19h

Slot      CPLD Version        Firmware Version
--------- ------------------- ---------------------------------------
0         10042219            15.0(1r)S
R0        10042219            15.0(1r)S
F0        10042219            15.0(1r)S

 

13 часов назад, BOJIKA сказал:

show platform resources

  

ASR1001#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource                 Usage                 Max             Warning         Critical        State
----------------------------------------------------------------------------------------------------
RP0 (ok, active)                                                                               H
 Control Processor       13.80%                100%            90%             95%             H
  DRAM                   3436MB(21%)           15959MB         90%             95%             H
ESP0(ok, active)                                                                               H
 QFP                                                                                           H
  TCAM                   12cells(0%)           65536cells      45%             55%             H
  DRAM                   102155KB(38%)         262144KB        80%             90%             H
  IRAM                   10453KB(7%)           131072KB        80%             90%             H

 

13 часов назад, BOJIKA сказал:

sh platform hardware qfp active datapath utilization

 


  

ASR1001#sh platform hardware qfp active datapath utilization
  CPP 0: Subdev 0            5 secs        1 min        5 min       60 min
Input:  Priority (pps)            0            0            0            0
                 (bps)          440          488          488          488
    Non-Priority (pps)       401286       403967       403190       153837
                 (bps)   3856509664   3881741568   3874462736   1523759672
           Total (pps)       401286       403967       403190       153837
                 (bps)   3856510104   3881742056   3874463224   1523760160
Output: Priority (pps)            0            0            0            0
                 (bps)          168          424          424          408
    Non-Priority (pps)       401095       403928       403189       153834
                 (bps)   3854287648   3881342664   3874468968   1523742264
           Total (pps)       401095       403928       403189       153834
                 (bps)   3854287816   3881343088   3874469392   1523742672
Processing: Load (pct)            7            7            7            3


  

ASR1001#sh platform hardware qfp active datapath utilization summary
  CPP 0:                     5 secs        1 min        5 min       60 min
Input:     Total (pps)       405237       401550       402395       157169
                 (bps)   3900459152   3864369376   3867492592   1555823512
Output:    Total (pps)       404969       401480       402379       157165
                 (bps)   3898417960   3863702880   3867364320   1555798488
Processing: Load (pct)            7            7            7            3

 

Share this post

Link to post
Share on other sites

BOJIKA   

BOJIKA
Posted

You can upgrade the throughput of the ESP from 2.5 Gbps to 5 Gbps by applying a software-activated performance upgrade license and then reloading the router. If you want to determine the current throughput level of the ESP, run the show platform hardware throughput level command. The following example shows the output of this command before the performance upgrade license is applied: 

Router# show platform hardware throughput level The current throughput level is 2500000 kb/s

The following example shows the output of this command after the performance upgrade license is applied: 

Router# show platform hardware throughput level The current throughput level is 5000000 kb/s

 

ну вас там средний размер пакетика 1200...
если был бы 1500 - то было бы 4 862 844 000‬ при таком же pps, что близко к 5Gbps

Share this post

Link to post
Share on other sites

BOJIKA   

BOJIKA
Posted 
ASR1001#sh platform hardware qfp active datapath utilization summary
  CPP 0:                     5 secs        1 min        5 min       60 min
Input:     Total (pps)       405237       401550       402395       157169
                 (bps)   3900459152   3864369376   3867492592   1555823512
Output:    Total (pps)       404969       401480       402379       157165
                 (bps)   3898417960   3863702880   3867364320   1555798488
Processing: Load (pct)            7            7            7            3

3900459152  = 3.719 Gbps - что не нравится?‬

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted
1 час назад, fractal сказал:

T-Rex юзаем, хорошо работает

Для DPDK нужен вроде бы Huge Pages  и может еще что-то, вроде бы таймер правильный
не уверен что это будет просто завести в виртуалке в OpenStack (в ручном либирте точно можно, я делал, но все забыл уже)

Попробую для начала просто виртуалок больше создать и наплодить много мелких пакетов тупо пингом -f в дополнение к нагрузке

 

 

4 часа назад, BOJIKA сказал: 
ASR1001#sh platform hardware qfp active datapath utilization summary
  CPP 0:                     5 secs        1 min        5 min       60 min
Input:     Total (pps)       405237       401550       402395       157169
                 (bps)   3900459152   3864369376   3867492592   1555823512
Output:    Total (pps)       404969       401480       402379       157165
                 (bps)   3898417960   3863702880   3867364320   1555798488
Processing: Load (pct)            7            7            7            3

3900459152  = 3.719 Gbps - что не нравится?‬


ну на 4 интерфейса почти 10 процентов ушло неясно на что - хочется заранее знать, что например для 5 гиг надо 6 слотов занять а не 5
ну и конечно оценить нагрузку на железо в целом - как оно меняется от трафика и pps и включенных фич

Share this post

Link to post
Share on other sites

fractal   

fractal
Posted
10 минут назад, sirmax сказал:

ну на 4 интерфейса почти 10 процентов ушло неясно на что - хочется заранее знать, что например для 5 гиг надо 6 слотов занять а не 5
ну и конечно оценить нагрузку на железо в целом - как оно меняется от трафика и pps и включенных фич

а zabbix как часто опрашивает? есть куда netflow слать? точнее будет. Ну и можно на портах load-interval 30 и в момент нагрузки посчитать (qfp за минуту усредняет, хотя по идее если трафик шел минут 10 ровный то должно совпасть)

 

qfp статистику по snmp снимаете? нагрузку в %

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted
1 час назад, fractal сказал:

есть куда netflow слать? точнее будет

Это лаба, железка включена в свитч с Compute Nodе  опенстека, поднять виртуалку для нетфлоу не проблема (НО для отправки - только менеджмент порт, так как все 4 порта используются для тестирования, и я не уверен что так можно/правильно делать, вроде бы там есть вопросы с обработкой трафика процессором)

Всего доступно для тестирования (сейчас) 64 виртуальных машины, на каждые 32 из них - 1 10 гиг порт, остальные карты без SR-IOV, и на них скорости не выйдет получить
В тесте до того гонял трафик на 16 ВМках, 8 с одной стороны, 8 с другой, по 5 потоков. Сейчас пересоздам, по 32 с каждой стороны роуера

 

примерно так выглядит схема

- ВМки из вланов 201-132 терминируются на ASR на Po1.101-132 (ip unnumbered lo 101)

- ВМки из вланов 201-232 терминируются на ASR на Po1.201-232 (ip unnumbered lo 201)

Между ними просто маршрутизация без ната/ACL/еще чего-то


ASR1000-testing.thumb.jpg.e399deb9289eae021382c00d1a46b9e7.jpg

 

1 час назад, fractal сказал:

а zabbix как часто опрашивает?

 

1 час назад, fractal сказал:

(qfp за минуту усредняет, хотя по идее если трафик шел минут 10 ровный то должно совпасть)

Та тест минимум на час запускается, и да на графиках все ровно


 

Screenshot 2023-06-20 at 18.16.52.png

Share this post

Link to post
Share on other sites

fractal   

fractal
Posted
7 минут назад, sirmax сказал:

НО для отправки - только менеджмент порт

не, не пойдет, netflow не заработает с него

 

8 минут назад, sirmax сказал:

а zabbix как часто опрашивает?

данные с 4948 на zabbix?

вообще я замечал что на интерфейсах даже с 30 секундным интервалом данные усредняются - в сравнении с zabbix, обычно я для точного измерения юзаю netflow, Вы кстати можете трафик гонять по двум портам, но в обе стороны, платформа качает 5гбит и на сколько я помню это IN+OUT, то есть в принципе 2х интерфейсов в lacp хватит нагрузить qfp на 80% 

Share this post

Link to post
Share on other sites

fractal   

fractal
Posted

по qfp беру .2, насколько помню это минута

 

.1.3.6.1.4.1.9.9.715.1.1.6.1.14.9026.1 = Gauge32: 4
.1.3.6.1.4.1.9.9.715.1.1.6.1.14.9026.2 = Gauge32: 4
.1.3.6.1.4.1.9.9.715.1.1.6.1.14.9026.3 = Gauge32: 3
.1.3.6.1.4.1.9.9.715.1.1.6.1.14.9026.4 = Gauge32: 2
 

 

мне кажется нагрузка на qfp в зависимости от PPS, покажет наиболее точный результат в Вашем случае

 

вот у меня нагрузка по шифрованию на скорости 1Gb (asr1001 без X)

 

image.thumb.png.a0c2f88089ea87516dcca33abd8017b7.png

 

мне кажется нагрузка на qfp в зависимости от PPS, покажет наиболее точный результат в Вашем случае

 

вот у меня нагрузка по шифрованию на скорости 1Gb

 

image.thumb.png.a0c2f88089ea87516dcca33abd8017b7.png

 

сравнил графики, zabbix показал 989,56, netflow 934.83

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted
17 часов назад, fractal сказал:

по qfp беру .2, насколько помню это минута

 

.1.3.6.1.4.1.9.9.715.1.1.6.1.14.9026.1 = Gauge32: 4
.1.3.6.1.4.1.9.9.715.1.1.6.1.14.9026.2 = Gauge32: 4
.1.3.6.1.4.1.9.9.715.1.1.6.1.14.9026.3 = Gauge32: 3
.1.3.6.1.4.1.9.9.715.1.1.6.1.14.9026.4 = Gauge32: 2
 

 

мне кажется нагрузка на qfp в зависимости от PPS, покажет наиболее точный результат в Вашем случае

 

вот у меня нагрузка по шифрованию на скорости 1Gb (asr1001 без X)

 

image.thumb.png.a0c2f88089ea87516dcca33abd8017b7.png

 

мне кажется нагрузка на qfp в зависимости от PPS, покажет наиболее точный результат в Вашем случае

 

вот у меня нагрузка по шифрованию на скорости 1Gb

 

image.thumb.png.a0c2f88089ea87516dcca33abd8017b7.png

 

сравнил графики, zabbix показал 989,56, netflow 934.83


Очень резонное замечание!

 

Это CISCO-ENTITY-QFP-MIB
Прежде чем продолжать тесты нужно сделать мониторинг параметров из него, запилю темплейт для заббикса (сходу готового не нагуглилось но там вроде все не сложно)
 

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted

Пока тестирование принесло больше вопросов чем ответов.

1. Предположительно недогруз происходит из-за того что Compute Node на которой запущены тестовые ВМки все таки довольно старый и слабый сервер (всего 12 ядер), при запуске 32+32 виртуальных машин наблюдаю упирание в процессор.

Это с одной из ВМок там запущен только ping -f  (32 копии)

 

1953895505_Screenshot2023-06-21at18_16_53.thumb.png.ec8c71e9b350f250efa7d03b6de74a50.png

 

Это в целом не то что бы неожиданность - но сетевая карта с SR-IOV только на этой, так что какое-то время нужно что бы добавить карту

 

2. Полное непонимание как ASR отдает инфу о памяти по SNMP (CISCO-ENTITY-QFP-MIB)

390172415_Screenshot2023-06-21at21_37_33.thumb.png.c217b83546fa73657d14f3697375fe98.png

 

Все что связано с памятью - значения которые я не могу привязать к 16гигам установленной памяти.  Для ASR1001-X  в той же лабе - значения другие но не менее бредовые, добавить множитель 0.1 или 10 - не поможет, что-то совсем не то, но что именно - не ясно

 

 

3. График теста выглядит так:

1279539243_Screenshot2023-06-21at21_37_01.thumb.png.3c736985dcba0912135e8ef839310fa2.png

 

 

И тут 2 вопроса

1 - почему такая низкая нагрузка на CPU?

2 - я думал что cisco считает трафик в обе стороны т е 5 гиг означает что это (например) 4 в одну сторону и 1 в другую, тут я наблюдаю значительно больше. Как так?

 

 

 

 

 

 

Share this post

Link to post
Share on other sites

jffulcrum   

jffulcrum
Posted
2 минуты назад, sirmax сказал:

Все что связано с памятью - значения которые я не могу привязать к 16гигам установленной памяти

Потому что у ESP своя память, у RP своя. А счетчики - накопительные

Share this post

Link to post
Share on other sites

fractal   

fractal
Posted
7 часов назад, sirmax сказал:

2. Полное непонимание как ASR отдает инфу о памяти по SNMP (CISCO-ENTITY-QFP-MIB)

как выше написали в asr деление памяти, если Вы хотите смотреть physical memory (DRAM в RP).

  

cisco ASR1001 (1RU) processor (revision 1RU) with 1067061K/6147K bytes of memory.
Processor board ID SSI1642195Q
4 Gigabit Ethernet interfaces
32768K bytes of non-volatile configuration memory.
4194304K bytes of physical memory.
7741439K bytes of eUSB flash at bootflash:.

 

то берете oid (множитель 1000, единица измерения b)

FREE - .1.3.6.1.4.1.9.9.109.1.1.1.1.19.7 (CISCO-PROCESS-MIB::cpmCPUMemoryHCFree.7 = Counter64: 703268 kilo-bytes)

USED - .1.3.6.1.4.1.9.9.109.1.1.1.1.17.7 (CISCO-PROCESS-MIB::cpmCPUMemoryHCUsed.7 = Counter64: 3271388 kilo-bytes)

 

если хотите смотреть потребление QFP то там другие OID (DRAM в ESP)

  

sh platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource                 Usage                 Max             Warning         Critical        State
----------------------------------------------------------------------------------------------------
RP0 (ok, active)                                                                               H
 Control Processor       12.30%                100%            90%             95%             H
  DRAM                   3194MB(82%)           3881MB          90%             95%             H
ESP0(ok, active)                                                                               H
 QFP                                                                                           H
  TCAM                   36cells(0%)           65536cells      45%             55%             H
  DRAM                   154150KB(58%)         262144KB        80%             90%             H
  IRAM                   46704KB(35%)          131072KB        80%             90%             H

 

к примеру QFP=DRAM (я использую HC счетчики) без предобработки, единица измерения (b)

ceqfpMemoryHCResTotal - 1.3.6.1.4.1.9.9.715.1.1.7.1.9

ceqfpMemoryHCResInUse - 1.3.6.1.4.1.9.9.715.1.1.7.1.11

ceqfpMemoryHCResFree - 1.3.6.1.4.1.9.9.715.1.1.7.1.13

 

По подсчету трафика - хорошая дока https://www.cisco.com/c/en/us/support/docs/routers/asr-1000-series-aggregation-services-routers/200674-Throughput-issues-on-ASR1000-Series-rout.html

Share this post

Link to post
Share on other sites

sirmax   

sirmax
Posted

@fractal 
  Давайте есть этого слона по кусочкам.

Сначала к памяти.

 

7 часов назад, fractal сказал:

FREE - .1.3.6.1.4.1.9.9.109.1.1.1.1.19.7 (CISCO-PROCESS-MIB::cpmCPUMemoryHCFree.7 = Counter64: 703268 kilo-bytes)

USED - .1.3.6.1.4.1.9.9.109.1.1.1.1.17.7 (CISCO-PROCESS-MIB::cpmCPUMemoryHCUsed.7 = Counter64: 3271388 kilo-bytes)

 

У меня (тест запущен) такие данные:

  

snmpget -v2c -c public 10.72.0.50    .1.3.6.1.4.1.9.9.109.1.1.1.1.19.7
CISCO-PROCESS-MIB::cpmCPUMemoryHCFree.7 = Counter64: 12816140 kilo-bytes

snmpget -v2c -c public 10.72.0.50    .1.3.6.1.4.1.9.9.109.1.1.1.1.17.7
CISCO-PROCESS-MIB::cpmCPUMemoryHCUsed.7 = Counter64: 3526248 kilo-bytes

Если верить этим данным то на RP всего  12816140 + 3526248 = 16342388 что приблизительно равно 16Гб памяти установленном в роутере

(16777216K bytes of physical memory.)

При этом процессу IOSd доступно приблизительно 6.9 гиг, из которых израсходовано 427Мб
  

ASR1001#show process memory
Processor Pool Total: 6962990784 Used:  427014384 Free: 6535976400



Одновременно с этим я вижу следующее:

  

# snmpwalk -v2c -c public 10.72.0.50    1.3.6.1.4.1.9.9.715.1.1.7.1.13
CISCO-ENTITY-QFP-MIB::ceqfpMemoryHCResFree.9026.dram = Counter64: 159467520 kilo bytes

snmpwalk -v2c -c public 10.72.0.50    .1.3.6.1.4.1.9.9.715.1.1.7.1.11.9026.1

CISCO-ENTITY-QFP-MIB::ceqfpMemoryHCResInUse.9026.dram = Counter64: 108967936 kilo bytes

# snmpwalk -v2c -c public 10.72.0.50    1.3.6.1.4.1.9.9.715.1.1.7.1.9.9026.1
CISCO-ENTITY-QFP-MIB::ceqfpMemoryHCResTotal.9026.dram = Counter64: 268435456 kilo bytes



Total 268435456 - это очень ровное число  = 256*1024*1024 - и размерность тут точно не в килобайтах а в байтах (ошибка в MIB  сбивает с толку)

То что можно посмотреть в консоли относительно DRAM плюс-минус соответсвует результатам - хотя не ясно где использован множитель 1000 а где 1024 но 
примерное совпадение есть
  

ASR1001#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource                 Usage                 Max             Warning         Critical        State
----------------------------------------------------------------------------------------------------
RP0 (ok, active)                                                                               H
 Control Processor       15.40%                100%            90%             95%             H
  DRAM                   3443MB(21%)           15959MB         90%             95%             H
ESP0(ok, active)                                                                               H
 QFP                                                                                           H
  TCAM                   12cells(0%)           65536cells      45%             55%             H
  DRAM                   106414KB(40%)         262144KB        80%             90%             H
  IRAM                   10453KB(7%)           131072KB        80%             90%             H



Осталось выяснить как работает распределение памяти внутри IOS (который если я все правильно понимаю - виртуальная машина внутри Linux)

  

snmpwalk -v2c -c public 10.72.0.50    1.3.6.1.4.1.9.9.48.1
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolName.1 = STRING: Processor
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolAlternate.1 = INTEGER: 0
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolValid.1 = INTEGER: true(1)
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolUsed.1 = Gauge32: 427015400 bytes
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolFree.1 = Gauge32: 2241008136 bytes
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolLargestFree.1 = Gauge32: 2240097268 bytes


Тут цифры и близко не показывают 6гиг из show process memory

 

Share this post

Link to post
Share on other sites

fractal   

fractal
Posted
38 минут назад, sirmax сказал:

Осталось выяснить как работает распределение памяти внутри IOS (который если я все правильно понимаю - виртуальная машина внутри Linux)

Всё верно, ios в виде демона, так вроде как какой то другой pool, никогда его не мониторил, так как если точно помню, то динамически распределяет

Share this post

Link to post
Share on other sites

fractal   

fractal
Posted
1 час назад, sirmax сказал:

Тут цифры и близко не показывают 6гиг из show process memory

деление вот так

Memory Usage Overview

The route processor (RP) of the Cisco ASR 1000 Series Aggregation Services Router has synchronous dynamic RAM (SDRAM), which provides storage for code, data and packets. The RP offers memory scalability up to 4 GB for ASR1000-RP1 and 16 GB for ASR1000-RP2.

Cisco ASR 1000 Series Aggregation Services Routers introduce the Cisco IOS XE Software as their software architecture. Based on Cisco IOS Software, Cisco IOS XE Software is a modular operating system built on a Linux kernel on route processor. IOS daemon (IOSd) runs as a standard user-level process under Linux and provides the Cisco IOS feature set, which includes routing protocols. Upon startup, IOSd is granted access to a fixed amount of physical memory on the RP typically 50 percent or 1 GB on 2 GB systems and 2 GB on 4 GB systems. Dual IOS operation with 2/4RU chassis with 4GB of Main Memory for software redundancy each consume 1 GB.

 

1 час назад, sirmax сказал:

Total 268435456 - это очень ровное число  = 256*1024*1024 - и размерность тут точно не в килобайтах а в байтах (ошибка в MIB  сбивает с толку)

значение верное (256mb для 1001), а вот snmpwalk что то получает кривое) видимо это прошивка

.1.3.6.1.4.1.9.9.715.1.1.7.1.9.9026.1 = Counter64: 268435456
 

Share this post

Link to post
Share on other sites

fractal   

fractal
Posted
1 час назад, sirmax сказал:

Тут цифры и близко не показывают 6гиг из show process memory

хотя, у меня верно показывает

Used:  438669128 Free:  653767896

 

CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolName.1 = STRING: Processor
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolAlternate.1 = INTEGER: 0
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolValid.1 = INTEGER: true(1)
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolUsed.1 = Gauge32: 438669832 bytes
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolFree.1 = Gauge32: 653767192 bytes
CISCO-MEMORY-POOL-MIB::ciscoMemoryPoolLargestFree.1 = Gauge32: 651197948 bytes
 

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Go to topic listing Активное оборудование Ethernet, IP, MPLS, SDN/NFV...