[denis_vid]

Привет.

 

Железка ASR1006/ESP40/SIP40/SPA10G, юзается LACP.

При флуде пакетами ~2Mpps 28-30 байт растут счетчики input erros/overrun, соответственно теряются пакеты на транзитном трафике.

Судя по тесту RFC 2544 Latency Testing on Cisco ASR 1000 Series на 10G интерфейсах/ESP20 и без сервисов на 64 байтных пакетах достигнуто Max Throughput 5257.14Mbps, латентность 15800 ns.

 

Счетчики дропов растут только на интерфейсах, на SIP/ESP дропы не растут.

Вопрос простой - это ее предел чтоли?

[applx]

The original Ethernet IEEE 802.3 standard defined the minimum Ethernet frame size as 64 bytes and the maximum as 1518 bytes. The maximum was later increased to 1522 bytes to allow for VLAN tagging. The minimum size of an Ethernet frame that carries an ICMP packet is 74 bytes.

[denis_vid]

The original Ethernet IEEE 802.3 standard defined the minimum Ethernet frame size as 64 bytes and the maximum as 1518 bytes. The maximum was later increased to 1522 bytes to allow for VLAN tagging. The minimum size of an Ethernet frame that carries an ICMP packet is 74 bytes.

 

Причем здесь ethernet, где я писал, что 28 bytes ethernet?

А вообще жаль, что злодеи не читают RFC... пуляют udp/ip с нулевым пейлоадом, неучи такие...

 

Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp

2016-07-20 xx:xx:xx 323.951 any x.x.x.x 19.3 M(79.1) 686.1 M(88.0) 19.6 G(23.6) 2.1 M 483.6 M 28

Edited July 21, 2016 by denis_vid

[mildot]

Добрый день!

 

Подниму тему. Имеется ASR1006/ESP40/SIP40/SPA10G, LACP нет, в ЧНН начинает тикать счетчик overrun, тоже растет только на интерфейсах (причем только на входящих, на интерфейсах вниз счетчики не растут). Начинается при приближении трафика (суммарного, вход + выход интерфейсов аплинков, на даунлинках он соответственно зеркально такой-же) к 1.5 MPPS (12 гигабит соответственно).

 

Если я все правильно понимаю, должно пережевывать до 40 гигабит, те проблемы должны начинаться на суммарном трафике по аплинкам порядка 20 гигов. Куда копать?

[Archville]

NAT есть? Особенно policy-based?

[mildot]

8 hours ago, Archville said:

NAT есть? Особенно policy-based?

NAT есть, PBR не используем, из функционала на циске висит:

 

Терминация абонентов на IP unnumbere (на двойных тегах QinQ)

NAT overload

NAT log translation flow export NETFLOW

Три сессии BGP ISP Full view

 

больше никакой функционал не задействован, абоненты получают ip адреса с внешнего DHCP сервера через IP unnumbered интерфейс (vlan per user с двумя тегами QinQ). RADIUS, ISG и т.п. функционал не используем.

[Archville]

Покажите настройки NAT.

И еще покажите в момент перегрузки

sh platform hardware slot 0 plim buffer settings

 

slot укажите соответственно тот, на котором перегрузка.

 

и вот это:

sh platform hardware qfp active datapath utilization

 

[YuryD]

 Да просто ищите флудера. Некоторые неоднозначны, например простой медиаконвертер, без ип и мака. Парочка есть...

[mildot]

Конфигурация NAT:

 

Quote

ip nat log translations flow-export v9 udp destination 109.69.72.78 9995
ip nat translation timeout 300
ip nat translation tcp-timeout 600
ip nat translation pptp-timeout 600
ip nat translation udp-timeout 300
ip nat translation finrst-timeout 10
ip nat translation syn-timeout 10
ip nat translation dns-timeout 10
ip nat translation icmp-timeout 10
ip nat translation max-entries 2000000
ip nat pool 193_188_251 193.188.251.0 193.188.251.255 netmask 255.255.255.0
ip nat inside source list SRCNAT pool 185_34_183 overload
ip forward-protocol nd

 

выводы команд два раза подряд, в ту самую секунду когда счетчик подскочил:

 

Первый блок:

Quote

 

BGW-1#show int ten 2/1/0 | inc overr
     65049197 input errors, 0 CRC, 0 frame, 65049197 overrun, 0 ignored
BGW-1#sh platform hardware slot 2 plim buffer settings
Interface 2/0/0
  RX Low
    Buffer Size 28901376 Bytes
    Drop Threshold Low 28891200 Bytes Hi 28891200 Bytes
    Fill Status Curr/Max 28889088 Bytes / 28889088 Bytes
  TX Low
    Fill Status Curr/Max 0 Bytes / 2368 Bytes
  RX High
    Buffer Size 4128768 Bytes
    Drop Threshold Low 4118592 Bytes Hi 4118592 Bytes
    Fill Status Curr/Max 0 Bytes / 0 Bytes
  TX High
    Fill Status Curr/Max 0 Bytes / 0 Bytes
Interface 2/1/0
  RX Low
    Buffer Size 28901376 Bytes
    Drop Threshold Low 28891200 Bytes Hi 28891200 Bytes
    Fill Status Curr/Max 28889088 Bytes / 28889088 Bytes
  TX Low
    Fill Status Curr/Max 0 Bytes / 2304 Bytes
  RX High
    Buffer Size 4128768 Bytes
    Drop Threshold Low 4118592 Bytes Hi 4118592 Bytes
    Fill Status Curr/Max 0 Bytes / 0 Bytes
  TX High
    Fill Status Curr/Max 0 Bytes / 0 Bytes

BGW-1#sh platform hardware qfp active datapath utilization
  CPP 0: Subdev 0            5 secs        1 min        5 min       60 min
Input:  Priority (pps)            0            0            0            0
                 (bps)          208          176          176          176
    Non-Priority (pps)      1605594      1591030      1575335      1520808
                 (bps)  12367619392  12220701920  12122648736  11617396792
           Total (pps)      1605594      1591030      1575335      1520808
                 (bps)  12367619600  12220702096  12122648912  11617396968
Output: Priority (pps)          380          394          394          389
                 (bps)       313384       326624       326288       322568
    Non-Priority (pps)      1603021      1588218      1572499      1518219
                 (bps)  12387367456  12239197872  12141043624  11634539152
           Total (pps)      1603401      1588612      1572893      1518608
                 (bps)  12387680840  12239524496  12141369912  11634861720
Processing: Load (pct)           49           49           49           45

 

 

Второй блок:

 

Quote

 

BGW-1#show int ten 2/1/0 | inc overr
     65057713 input errors, 0 CRC, 0 frame, 65057713 overrun, 0 ignored
BGW-1#sh platform hardware slot 2 plim buffer settings
Interface 2/0/0
  RX Low
    Buffer Size 28901376 Bytes
    Drop Threshold Low 28891200 Bytes Hi 28891200 Bytes
    Fill Status Curr/Max 28889088 Bytes / 28889088 Bytes
  TX Low
    Fill Status Curr/Max 0 Bytes / 2368 Bytes
  RX High
    Buffer Size 4128768 Bytes
    Drop Threshold Low 4118592 Bytes Hi 4118592 Bytes
    Fill Status Curr/Max 0 Bytes / 0 Bytes
  TX High
    Fill Status Curr/Max 0 Bytes / 0 Bytes
Interface 2/1/0
  RX Low
    Buffer Size 28901376 Bytes
    Drop Threshold Low 28891200 Bytes Hi 28891200 Bytes
    Fill Status Curr/Max 28889088 Bytes / 28889088 Bytes
  TX Low
    Fill Status Curr/Max 0 Bytes / 2304 Bytes
  RX High
    Buffer Size 4128768 Bytes
    Drop Threshold Low 4118592 Bytes Hi 4118592 Bytes
    Fill Status Curr/Max 0 Bytes / 0 Bytes
  TX High
    Fill Status Curr/Max 0 Bytes / 0 Bytes

BGW-1#sh platform hardware qfp active datapath utilization
  CPP 0: Subdev 0            5 secs        1 min        5 min       60 min
Input:  Priority (pps)            0            0            0            0
                 (bps)          208          176          176          176
    Non-Priority (pps)      1605594      1591030      1575335      1520808
                 (bps)  12367619392  12220701920  12122648736  11617396792
           Total (pps)      1605594      1591030      1575335      1520808
                 (bps)  12367619600  12220702096  12122648912  11617396968
Output: Priority (pps)          380          394          394          389
                 (bps)       313384       326624       326288       322568
    Non-Priority (pps)      1603021      1588218      1572499      1518219
                 (bps)  12387367456  12239197872  12141043624  11634539152
           Total (pps)      1603401      1588612      1572893      1518608
                 (bps)  12387680840  12239524496  12141369912  11634861720
Processing: Load (pct)           49           49           49           45

 

 

 

8 minutes ago, YuryD said:

 Да просто ищите флудера. Некоторые неоднозначны, например простой медиаконвертер, без ип и мака. Парочка есть...

Искать флудера тогда надо со стороны ISP, именно на порту наиболее загруженного оператора в моменты ЧНН появляются ошибки overrun. Сомневаюсь я в этом варианте.

[Archville]

У вас кончились буферы на SIP`e. Это скорее всего из за NAT. Такое часто бывает, если через ip nat inside и ip nat outside бежит трафик НЕ ПОПАДАЮЩИЙ в вашем случае в SRCNAT access-list.

[mildot]

3 minutes ago, Archville said:

У вас кончились буферы на SIP`e. Это скорее всего из за NAT. Такое часто бывает, если через ip nat inside и ip nat outside бежит трафик НЕ ПОПАДАЮЩИЙ в вашем случае в SRCNAT access-list.

 

Спасибо! переполненные буферы ранее видел, но объяснений этому не нашел.

 

Действительно, у нас 50% трафика идет не попадая в access list - это абоненты с белыми адресами, а так как сабинтерфейсы у нас созданы через encapsulation dot1Q XXX second-dot1q 1006-3000 на каждом внешнем теге QinQ, разделить их возможности нет, в любой влан может попасть как серый так и белый абонент.

 

Я так понимаю нас спасет внешний NAT, трафик на который выводится посредством PBR и возвращается назад в маршрутизатор оттранслированный. Но не даст ли PBR в этой схеме такой-же эффект? Или есть какие-то еще варианты реализации NAT средствами ASR?

[Archville]

В вашем случае спасет только внешний NAT. По поводу PBR, может и не потребуется. Есть коробки, которые делают прозрачно NAT (тут эти вендоры присутствуют ;) ).

 

и, кстати, попробуйте отPBRить трафик с белыми адресами на интерфейс, который не ip nat outside. Должно полегчать.

 

[zhenya`]

Несколько советов траблшутингу вопросов производительности на полюбившейся в SP сегменте (b2b, b2c) платформе ASR1000:

- в старые SIP-10 не имеет смысла вставлять больше одной SPA-10G не смотря на наличие 4 слотов под SPA.

- старайтесь не пропускать через интерфейсы с ip nat inside/outside много трафика, который не нуждается в трансляции адресов. ip nat outside на интерфейсах, где он не нужен тоже понижает производительность маршрутизатора;

- обязательно собирайте значение по загрузке QFP (Input Priority, Input Non-Priority, Input Total) через SNMP (CISCO-ENTITY-QFP-MIB). В консоли эти цифры можно получить в выводе команды sh platform hardware qfp active datapath utilization.

 

При использовании множества фич (например Netflow, NAT) можно столкнуться с проблемой роста overrun на интерфейсах, при этом также будет характерная полочка на графике загрузке QFP, не смотря на кажущийся запас по производительности.

В данном случае надо вспомнить немного про архитектуру платформы. SIP для входящих пакетов производит классификацию и распределяет их по двум очередям low (Non-Priority) и high (Priority). По умолчанию трафик c с метками TOS, MPLS EXP, CoS 6 и 7 попадает в Priority очередь. Трафик из Priority очереди достигает ESP первым, причем если QFP будет перегружен, то для трафика из low очереди будут генерироваться pause frames до тех пор пора хватает буфера на SIP. В это же время трафик из high очереди будет нормально обрабатываться.

Также есть, предположение, что для high очереди есть выделенный канал в DRAM (подтверждения этой информации нет).

Для того чтобы трафик перенаправить в high очередь:

- покрасить на соседней железке часть трафика метками согласно настройкам по умолчанию;

- если в сети уже настроен и используется QoS, то можно на интерфейсах маршрутизатора изменить настройки по-умолчанию используя команды plim qos input (Подробнее можно почитать на https://www.cisco.com/c/en/us/td/docs/interfaces_modules/shared_port_adapters/configuration/ASR1000/asr1000-sip-spa-book/asr-spa-pkt-class.html)

 

На практике при распределении близком 1 к 1 удавалось достичь более высокие показатели пропускной способности при отсутствии overrun на интерфейсах. Характерная полочка с графика загрузки QFP также ушла.

 

 

Полезные команды:

- show platform

- show platform hardware qfp active datapath utilization

- show platform hardware port ... plim buffer settings detail

- show platform hardware port ... plim statistics