Sergey R. Posted July 2, 2015 Posted July 2, 2015 Добрый день! Тестирую нат на роутере asr-1002x. Роутер терминирует около ~15000 pppoe клиентов. Около ~2000 vlans. Роутер имеет 3x10G линка. На роутере имеется шейпинг, netflow. Когда роутер начинает набирать pppoe клиентов, начинаются задержки через роутер: трафик от 300Mbit/s до 12GBit/s: задержки постоянно плавают от 0.35 до 10 msec. трафик больше чем 12GBit/s: задержки достигают 80msec. Появляется огромное число Overrun ошибок на интерфейсах. Без ната задержки всегда стабильны. Порядка 0.25msec. Трафик может спокойно достигать 26-28Gbit/s. Кто-нибудь замечал подобную проблему с задержками при использовании ната? Мой тест показывает, что даже с совсем небольшим трафиком имеются задержки при включённом нате. Стоит выключить нат - и всё работает идеально. конфиг: #outgoing interface ######################################### interface Port-channel1.5 encapsulation dot1Q 5 ip address IFACE_IP 255.255.255.224 ip nat outside #user's vlans ~2000 vlans ############################################### interface Port-channel1.350 description v350 encapsulation dot1Q 350 pppoe enable group global interface Port-channel1.351 description v351 encapsulation dot1Q 351 pppoe enable group global .... .... interface Port-channel1.2000 description v2000 encapsulation dot1Q 2000 pppoe enable group global ############################################################### ip nat pool main_nat_pool START_IP END_IP netmask 255.255.255.128 type rotary ip nat inside source list NAT_RULES pool main_nat_pool interface Virtual-Template1 ip nat inside bba-group pppoe global virtual-template 1 ip access-list extended NAT_RULES deny ip 10.0.0.0 0.255.255.255 IP MASK permit ip 10.0.0.0 0.255.255.255 any прошивка: asr1002x-universalk9.03.13.00.S.154-3.S-ext.SPA.bin Вставить ник Quote
s.lobanov Posted July 2, 2015 Posted July 2, 2015 на обычном 1004 TAC говорит, что эта фигня связана с тем, что утилизируется только один канал взаимодействия с памятью и для решения проблемы нужно подавать примерно половину трафика с 802.1p=6 Вставить ник Quote
tehmeh Posted July 3, 2015 Posted July 3, 2015 Для CG-NAT характерны такие проблемы? Вчера, когда загрузка интерфейса стала 85-95%, повалили overrun на 1004, есть CG-NAT. Чтобы проверить разницу с RTT надо ли обязательно отключать NAT или можно сравнить между публичными/приватными? Вставить ник Quote
zhenya` Posted July 3, 2015 Posted July 3, 2015 Нетфлоу есть? Оверраны иногда из-за него тоже.. Вставить ник Quote
tehmeh Posted July 3, 2015 Posted July 3, 2015 Есть, но на том интерфейсе, где есть overrun нет, а на тех, где есть, нет overrun. Или это не обязательно прямая взаимосвязь? Вставить ник Quote
Butch3r Posted July 3, 2015 Posted July 3, 2015 offtop: а правда что на 1002-x лицензии покупать не нужно, можно купить коробку и активировать демо лицензии? Вставить ник Quote
zhenya` Posted July 3, 2015 Posted July 3, 2015 Есть, но на том интерфейсе, где есть overrun нет, а на тех, где есть, нет overrun. Или это не обязательно прямая взаимосвязь? Объем? Вставить ник Quote
tehmeh Posted July 3, 2015 Posted July 3, 2015 Есть, но на том интерфейсе, где есть overrun нет, а на тех, где есть, нет overrun. Или это не обязательно прямая взаимосвязь? Объем? Не совсем понял. Трафика 8.5-9.5G на интерфейсе. Overrun за вечер выросли с нуля до: 15908273 input errors, 0 CRC, 0 frame, 15908270 overrun, 0 ignored Вставить ник Quote
denis_vid Posted July 3, 2015 Posted July 3, 2015 show platform hardware qfp active datapath utilization в ЧНН Вставить ник Quote
Sergey R. Posted July 3, 2015 Author Posted July 3, 2015 (edited) Точно опишу как мы проводили тест: Заметив проблему с задержками, мы сразу начали раздавать абонентам ТОЛЬКО реальники. Т.е. в данный момент серых IP на asr вообще нет. Следовательно и нет нат трансляция. Но вот возникла необходимость вернуться к использованию ната и раздавать абонентам серые IP. Но до раздачи серых ip дело не доходит т.к. включив ip nat outside на исходящем интерфейсе, и ip nat inside на шаблоне для pppoe, мы уже видим задержки. Раздавать серые ip уже не решаемся, т.к. заранее известна проблема с задержками. Причём если активировать нат командами ip nat outside и ip nat inside то задержки есть на всей железке. IP интерфейс ASR пингуется с задержками. Трафик через ASR также идёт с задержками. Не важно какой трафик, pppoe или ip. Не важно какой интерфейс - даже если один из 6ти гиговых линков включить и ip на него навесить - проблема также будет. На графике статистика задержек. Подключался тестовым pppoe клиентом и проводил измерения. https://dropmefiles.com/mjczA Разница огромная. Примерно в 19-00 достаточно было убрать ip nat outside и всё заработало как часы. Пропадает желание натить даже совсем немного - 1 или 2 гига. Edited July 3, 2015 by 704114 Вставить ник Quote
atdp03 Posted July 3, 2015 Posted July 3, 2015 (edited) offtop: а правда что на 1002-x лицензии покупать не нужно, можно купить коробку и активировать демо лицензии? Да. Собственно, вот начало этой проблемы: http://forum.nag.ru/forum/index.php?showtopic=100044&st=0&p=1058393&fromsearch=1 Edited July 3, 2015 by atdp03 Вставить ник Quote
s.lobanov Posted July 3, 2015 Posted July 3, 2015 704114 вы прочитали моё сообщение про 802.1p? сделали? проверили с помощью "show platform hardware qfp active datapath utilization" что трафик разбалансировался по HP и LP каналам взаимодействия с памятью? Вставить ник Quote
Diman_xxxx Posted July 3, 2015 Posted July 3, 2015 прошивка: asr1002x-universalk9.03.13.00.S.154-3.S-ext.SPA.bin Мне один из админов сказал, что на ASR1002 на universalk9.03.13.02.S.154-3.S2-ext.bin даже нат нормально работает. PS: только я не пойму - какой ios - ваш или наш свежее ;) Вставить ник Quote
s.lobanov Posted July 3, 2015 Posted July 3, 2015 Diman_xxxx Да, это первый IOS-XE, на котором вот уже почти 2 недели НАТ работает "без единого разрыва" (правда ALG для PPTP, SIP и FTP всё равно страшно включать) Вставить ник Quote
rdntw Posted July 3, 2015 Posted July 3, 2015 S.lobanov, а что делаете с теми кому нужно pptp/sip? На другой нат? Вставить ник Quote
s.lobanov Posted July 3, 2015 Posted July 3, 2015 rdntw ничего. наоборот они были выключены после того как абонент пожаловался на нерабочий pptp. sip и pptp умеют нормально работать и без ALG. а пассивный режим для ftp-клиентов уже давно дефолт для почти всех клиентов, а alg нужен только для активного Вставить ник Quote
rdntw Posted July 3, 2015 Posted July 3, 2015 видимо не все:) у нас когда на нате не отрабатывал alg pptp звонков было масса, потом временно pbr завернули этот трафик на другой нат Вставить ник Quote
s.lobanov Posted July 3, 2015 Posted July 3, 2015 ну хз. я сам пробовал подключиться к pptp с выключенным pptp alg, к стандратному линуксовому pptpd подключался без проблем и тот клиент что пожаловался отчитался, что заработало а вот когда pptp alg включен и не отрабатывает(дропает часть сигнализации), вот тогда и не работает Вставить ник Quote
rdntw Posted July 3, 2015 Posted July 3, 2015 хм надо будет будет сигнализацию послушать Вставить ник Quote
s.lobanov Posted July 3, 2015 Posted July 3, 2015 rdntw так вы вводили "no ip nat service pptp" или нет? если не вводили, то, да, pptp не будет работать на бажных иосах(после какого-то времени) Вставить ник Quote
rdntw Posted July 3, 2015 Posted July 3, 2015 у меня немного не asr :) вклинился в тему из-за схожей проблемы с pptp Вставить ник Quote
tehmeh Posted July 6, 2015 Posted July 6, 2015 show platform hardware qfp active datapath utilization в ЧНН asr#show platform hardware qfp active datapath utilization CPP 0: Subdev 0 5 secs 1 min 5 min 60 min Input: Priority (pps) 1085 1059 1033 942 (bps) 2639920 2923648 2335152 1970168 Non-Priority (pps) 2322345 2314971 2301643 2252630 (bps) 15797451408 15707022192 15730477424 15387226176 Total (pps) 2323430 2316030 2302676 2253572 (bps) 15800091328 15709945840 15732812576 15389196344 Output: Priority (pps) 23 24 24 24 (bps) 27168 31328 30344 29328 Non-Priority (pps) 2323181 2315788 2302439 2253200 (bps) 15834458008 15744097136 15767684376 15424031832 Total (pps) 2323204 2315812 2302463 2253224 (bps) 15834485176 15744128464 15767714720 15424061160 Processing: Load (pct) 58 58 57 56 asr# В ЧНН, overrun снова начали расти где-то на 8.3G. Вставить ник Quote
Sergey R. Posted July 10, 2015 Author Posted July 10, 2015 Провёл тестирование на прошивке 03.13.03.S. Результат изменился. Проблемы с задержками стали возникать при достижения трафика ~ 7GB/s На графиках проблема явно заметна в интервале 19:45 - 22:00. После 22:00 выключил ip nat outside и всё заработало без задержек. На графиках мониторинг задержек, трафика, и вывод show platform hardware qfp active datapath utilization Очень ощутимо высвобождаются ресурсы qfp при отключении ip nat outside. Также мониторил qfp в момент достижения трафика больше чем 12GBit/s. Как я уже писал, задержки достигают 80msec. Появляется огромное число Overrun ошибок на интерфейсах. Загрузка qfp в эти моменты упирается в 99 процентов. Балансировку трафика по HP и LP пробовали сделать, но тут сразу возникает проблема: Часть трафика обрабатывается в HP, часть в LP. Т.е. тот трафик которому "повезло" и он обрабатывается в HP - задержек не испытывает. На LP задержки остаются. Этот тест с измерением задержек показывает, что железка может нормально пронатить никак не больше 7 Гигов трафика (а то и меньше). Кто-нибудь может поделиться подобными измерениями, если имеются большие объёмы трафика? Вставить ник Quote
denis_vid Posted July 10, 2015 Posted July 10, 2015 Покажите еще: show interfaces summary show platform Вставить ник Quote
Sergey R. Posted July 10, 2015 Author Posted July 10, 2015 ASR1002-X-2#show platform Chassis type: ASR1002-X Slot Type State Insert time (ago) --------- ------------------- --------------------- ----------------- 0 ASR1002-X ok 5d19h 0/0 6XGE-BUILT-IN ok 5d19h 0/1 SPA-1X10GE-L-V2 ok 5d19h 0/2 SPA-1X10GE-L-V2 ok 5d19h 0/3 SPA-1X10GE-L-V2 ok 5d19h R0 ASR1002-X ok, active 5d19h F0 ASR1002-X ok, active 5d19h P0 ASR1002-PWR-AC ok 5d19h P1 ASR1002-PWR-AC ok 5d19h Slot CPLD Version Firmware Version --------- ------------------- --------------------------------------- 0 14012203 15.3(1r)S R0 14012203 15.3(1r)S F0 14012203 15.3(1r)S ASR1002-X-2#show interfaces summary *: interface is up IHQ: pkts in input hold queue IQD: pkts dropped from input queue OHQ: pkts in output hold queue OQD: pkts dropped from output queue RXBS: rx rate (bits/sec) RXPS: rx rate (pkts/sec) TXBS: tx rate (bits/sec) TXPS: tx rate (pkts/sec) TRTL: throttle count Interface IHQ IQD OHQ OQD RXBS RXPS TXBS TXPS TRTL ----------------------------------------------------------------------------------------------------------------- GigabitEthernet0/0/0 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/1 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/2 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/3 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/4 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/5 0 0 0 0 0 0 0 0 0 * Te0/1/0 0 0 0 0 1625744000 215169 1451805000 197612 0 * Te0/2/0 0 0 0 0 1628155000 222106 1614111000 219049 0 * Te0/3/0 0 0 0 0 1198178000 163138 1353679000 180316 0 GigabitEthernet0 0 0 0 0 0 0 0 0 0 * Loopback0 0 0 0 0 0 0 0 0 0 * Loopback1 0 0 0 0 0 0 0 0 0 * Loopback2 0 0 0 0 0 0 0 0 0 * Loopback3 0 0 0 0 0 0 0 0 0 * Loopback4 0 0 0 0 0 0 0 0 0 * Port-channel1 0 0 0 0 4452077000 600413 4419595000 596977 0 * Port-channel1.5 - - - - - - - - - * Port-channel1.200 - - - - - - - - - * Port-channel1.350 - - - - - - - - - --- --- * Port-channel1.1899 ниже куча Virtual-Access2* Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.