Jump to content
Калькуляторы

ASR-1002X в качестве нат роутера

Добрый день!

 

Тестирую нат на роутере asr-1002x. Роутер терминирует около ~15000 pppoe клиентов. Около ~2000 vlans.

Роутер имеет 3x10G линка.

На роутере имеется шейпинг, netflow.

 

 

Когда роутер начинает набирать pppoe клиентов, начинаются задержки через роутер:

трафик от 300Mbit/s до 12GBit/s: задержки постоянно плавают от 0.35 до 10 msec.

трафик больше чем 12GBit/s: задержки достигают 80msec. Появляется огромное число Overrun ошибок на интерфейсах.

 

Без ната задержки всегда стабильны. Порядка 0.25msec. Трафик может спокойно достигать 26-28Gbit/s.

 

Кто-нибудь замечал подобную проблему с задержками при использовании ната?

Мой тест показывает, что даже с совсем небольшим трафиком имеются задержки при включённом нате. Стоит выключить нат - и всё работает идеально.

 

 

 

конфиг:

 

 

#outgoing interface #########################################

 

interface Port-channel1.5

encapsulation dot1Q 5

ip address IFACE_IP 255.255.255.224

ip nat outside

 

 

 

#user's vlans ~2000 vlans ###############################################

interface Port-channel1.350

description v350

encapsulation dot1Q 350

pppoe enable group global

 

interface Port-channel1.351

description v351

encapsulation dot1Q 351

pppoe enable group global

 

....

 

....

 

interface Port-channel1.2000

description v2000

encapsulation dot1Q 2000

pppoe enable group global

 

 

 

###############################################################

 

ip nat pool main_nat_pool START_IP END_IP netmask 255.255.255.128 type rotary

ip nat inside source list NAT_RULES pool main_nat_pool

 

 

interface Virtual-Template1

ip nat inside

 

bba-group pppoe global

virtual-template 1

 

ip access-list extended NAT_RULES

deny ip 10.0.0.0 0.255.255.255 IP MASK

permit ip 10.0.0.0 0.255.255.255 any

 

 

прошивка: asr1002x-universalk9.03.13.00.S.154-3.S-ext.SPA.bin

Share this post


Link to post
Share on other sites

на обычном 1004 TAC говорит, что эта фигня связана с тем, что утилизируется только один канал взаимодействия с памятью и для решения проблемы нужно подавать примерно половину трафика с 802.1p=6

Share this post


Link to post
Share on other sites

Для CG-NAT характерны такие проблемы?

 

Вчера, когда загрузка интерфейса стала 85-95%, повалили overrun на 1004, есть CG-NAT.

Чтобы проверить разницу с RTT надо ли обязательно отключать NAT или можно сравнить между публичными/приватными?

Share this post


Link to post
Share on other sites

Нетфлоу есть? Оверраны иногда из-за него тоже..

Share this post


Link to post
Share on other sites

Есть, но на том интерфейсе, где есть overrun нет, а на тех, где есть, нет overrun. Или это не обязательно прямая взаимосвязь?

Share this post


Link to post
Share on other sites

offtop: а правда что на 1002-x лицензии покупать не нужно, можно купить коробку и активировать демо лицензии?

Share this post


Link to post
Share on other sites

Есть, но на том интерфейсе, где есть overrun нет, а на тех, где есть, нет overrun. Или это не обязательно прямая взаимосвязь?

Объем?

Share this post


Link to post
Share on other sites

Есть, но на том интерфейсе, где есть overrun нет, а на тех, где есть, нет overrun. Или это не обязательно прямая взаимосвязь?

Объем?

Не совсем понял.

Трафика 8.5-9.5G на интерфейсе.

Overrun за вечер выросли с нуля до:

15908273 input errors, 0 CRC, 0 frame, 15908270 overrun, 0 ignored

Share this post


Link to post
Share on other sites

Точно опишу как мы проводили тест:

 

Заметив проблему с задержками, мы сразу начали раздавать абонентам ТОЛЬКО реальники. Т.е. в данный момент серых IP на asr вообще нет. Следовательно и нет нат трансляция.

Но вот возникла необходимость вернуться к использованию ната и раздавать абонентам серые IP.

Но до раздачи серых ip дело не доходит т.к. включив ip nat outside на исходящем интерфейсе, и ip nat inside на шаблоне для pppoe, мы уже видим задержки.

Раздавать серые ip уже не решаемся, т.к. заранее известна проблема с задержками.

 

Причём если активировать нат командами ip nat outside и ip nat inside то задержки есть на всей железке.

IP интерфейс ASR пингуется с задержками. Трафик через ASR также идёт с задержками. Не важно какой трафик, pppoe или ip. Не важно какой интерфейс - даже если один из 6ти гиговых линков включить и ip на него навесить - проблема также будет.

 

На графике статистика задержек. Подключался тестовым pppoe клиентом и проводил измерения.

https://dropmefiles.com/mjczA

Разница огромная. Примерно в 19-00 достаточно было убрать ip nat outside и всё заработало как часы.

Пропадает желание натить даже совсем немного - 1 или 2 гига.

Edited by 704114

Share this post


Link to post
Share on other sites

offtop: а правда что на 1002-x лицензии покупать не нужно, можно купить коробку и активировать демо лицензии?

 

Да.

 

Собственно, вот начало этой проблемы: http://forum.nag.ru/forum/index.php?showtopic=100044&st=0&p=1058393&fromsearch=1

Edited by atdp03

Share this post


Link to post
Share on other sites

704114

вы прочитали моё сообщение про 802.1p? сделали? проверили с помощью "show platform hardware qfp active datapath utilization" что трафик разбалансировался по HP и LP каналам взаимодействия с памятью?

Share this post


Link to post
Share on other sites

 

прошивка: asr1002x-universalk9.03.13.00.S.154-3.S-ext.SPA.bin

 

Мне один из админов сказал, что на ASR1002 на

universalk9.03.13.02.S.154-3.S2-ext.bin

даже нат нормально работает.

PS: только я не пойму - какой ios - ваш или наш свежее ;)

Share this post


Link to post
Share on other sites

Diman_xxxx

Да, это первый IOS-XE, на котором вот уже почти 2 недели НАТ работает "без единого разрыва" (правда ALG для PPTP, SIP и FTP всё равно страшно включать)

Share this post


Link to post
Share on other sites

S.lobanov, а что делаете с теми кому нужно pptp/sip? На другой нат?

Share this post


Link to post
Share on other sites

rdntw

ничего. наоборот они были выключены после того как абонент пожаловался на нерабочий pptp. sip и pptp умеют нормально работать и без ALG. а пассивный режим для ftp-клиентов уже давно дефолт для почти всех клиентов, а alg нужен только для активного

Share this post


Link to post
Share on other sites

видимо не все:) у нас когда на нате не отрабатывал alg pptp звонков было масса, потом временно pbr завернули этот трафик на другой нат

Share this post


Link to post
Share on other sites

ну хз. я сам пробовал подключиться к pptp с выключенным pptp alg, к стандратному линуксовому pptpd подключался без проблем и тот клиент что пожаловался отчитался, что заработало

 

а вот когда pptp alg включен и не отрабатывает(дропает часть сигнализации), вот тогда и не работает

Share this post


Link to post
Share on other sites

хм надо будет будет сигнализацию послушать

Share this post


Link to post
Share on other sites

rdntw

так вы вводили "no ip nat service pptp" или нет? если не вводили, то, да, pptp не будет работать на бажных иосах(после какого-то времени)

Share this post


Link to post
Share on other sites

у меня немного не asr :) вклинился в тему из-за схожей проблемы с pptp

Share this post


Link to post
Share on other sites

show platform hardware qfp active datapath utilization в ЧНН

asr#show platform hardware qfp active datapath utilization
 CPP 0: Subdev 0            5 secs        1 min        5 min       60 min
Input:  Priority (pps)         1085         1059         1033          942
                (bps)      2639920      2923648      2335152      1970168
   Non-Priority (pps)      2322345      2314971      2301643      2252630
                (bps)  15797451408  15707022192  15730477424  15387226176
          Total (pps)      2323430      2316030      2302676      2253572
                (bps)  15800091328  15709945840  15732812576  15389196344
Output: Priority (pps)           23           24           24           24
                (bps)        27168        31328        30344        29328
   Non-Priority (pps)      2323181      2315788      2302439      2253200
                (bps)  15834458008  15744097136  15767684376  15424031832
          Total (pps)      2323204      2315812      2302463      2253224
                (bps)  15834485176  15744128464  15767714720  15424061160
Processing: Load (pct)           58           58           57           56

asr#

 

В ЧНН, overrun снова начали расти где-то на 8.3G.

Share this post


Link to post
Share on other sites

Провёл тестирование на прошивке 03.13.03.S.

Результат изменился.

 

Проблемы с задержками стали возникать при достижения трафика ~ 7GB/s

На графиках проблема явно заметна в интервале 19:45 - 22:00. После 22:00 выключил ip nat outside и всё заработало без задержек.

На графиках мониторинг задержек, трафика, и вывод show platform hardware qfp active datapath utilization

Очень ощутимо высвобождаются ресурсы qfp при отключении ip nat outside.

 

Также мониторил qfp в момент достижения трафика больше чем 12GBit/s. Как я уже писал, задержки достигают 80msec. Появляется огромное число Overrun ошибок на интерфейсах.

Загрузка qfp в эти моменты упирается в 99 процентов.

 

Балансировку трафика по HP и LP пробовали сделать, но тут сразу возникает проблема:

Часть трафика обрабатывается в HP, часть в LP.

Т.е. тот трафик которому "повезло" и он обрабатывается в HP - задержек не испытывает.

На LP задержки остаются.

 

Этот тест с измерением задержек показывает, что железка может нормально пронатить никак не больше 7 Гигов трафика (а то и меньше).

Кто-нибудь может поделиться подобными измерениями, если имеются большие объёмы трафика?

post-122649-024570900 1436515143_thumb.jpg

post-122649-011047700 1436515149_thumb.jpg

post-122649-001584300 1436515783_thumb.jpg

Share this post


Link to post
Share on other sites

ASR1002-X-2#show platform

Chassis type: ASR1002-X

 

Slot Type State Insert time (ago)

--------- ------------------- --------------------- -----------------

0 ASR1002-X ok 5d19h

0/0 6XGE-BUILT-IN ok 5d19h

0/1 SPA-1X10GE-L-V2 ok 5d19h

0/2 SPA-1X10GE-L-V2 ok 5d19h

0/3 SPA-1X10GE-L-V2 ok 5d19h

R0 ASR1002-X ok, active 5d19h

F0 ASR1002-X ok, active 5d19h

P0 ASR1002-PWR-AC ok 5d19h

P1 ASR1002-PWR-AC ok 5d19h

 

Slot CPLD Version Firmware Version

--------- ------------------- ---------------------------------------

0 14012203 15.3(1r)S

R0 14012203 15.3(1r)S

F0 14012203 15.3(1r)S

 

 

ASR1002-X-2#show interfaces summary

 

*: interface is up

IHQ: pkts in input hold queue IQD: pkts dropped from input queue

OHQ: pkts in output hold queue OQD: pkts dropped from output queue

RXBS: rx rate (bits/sec) RXPS: rx rate (pkts/sec)

TXBS: tx rate (bits/sec) TXPS: tx rate (pkts/sec)

TRTL: throttle count

 

Interface IHQ IQD OHQ OQD RXBS RXPS TXBS TXPS TRTL

-----------------------------------------------------------------------------------------------------------------

GigabitEthernet0/0/0 0 0 0 0 0 0 0 0 0

GigabitEthernet0/0/1 0 0 0 0 0 0 0 0 0

GigabitEthernet0/0/2 0 0 0 0 0 0 0 0 0

GigabitEthernet0/0/3 0 0 0 0 0 0 0 0 0

GigabitEthernet0/0/4 0 0 0 0 0 0 0 0 0

GigabitEthernet0/0/5 0 0 0 0 0 0 0 0 0

* Te0/1/0 0 0 0 0 1625744000 215169 1451805000 197612 0

* Te0/2/0 0 0 0 0 1628155000 222106 1614111000 219049 0

* Te0/3/0 0 0 0 0 1198178000 163138 1353679000 180316 0

GigabitEthernet0 0 0 0 0 0 0 0 0 0

* Loopback0 0 0 0 0 0 0 0 0 0

* Loopback1 0 0 0 0 0 0 0 0 0

* Loopback2 0 0 0 0 0 0 0 0 0

* Loopback3 0 0 0 0 0 0 0 0 0

* Loopback4 0 0 0 0 0 0 0 0 0

* Port-channel1 0 0 0 0 4452077000 600413 4419595000 596977 0

* Port-channel1.5 - - - - - - - - -

* Port-channel1.200 - - - - - - - - -

* Port-channel1.350 - - - - - - - - -

---

---

* Port-channel1.1899

ниже куча Virtual-Access2*

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this