Sergey R. Опубликовано 2 июля, 2015 · Жалоба Добрый день! Тестирую нат на роутере asr-1002x. Роутер терминирует около ~15000 pppoe клиентов. Около ~2000 vlans. Роутер имеет 3x10G линка. На роутере имеется шейпинг, netflow. Когда роутер начинает набирать pppoe клиентов, начинаются задержки через роутер: трафик от 300Mbit/s до 12GBit/s: задержки постоянно плавают от 0.35 до 10 msec. трафик больше чем 12GBit/s: задержки достигают 80msec. Появляется огромное число Overrun ошибок на интерфейсах. Без ната задержки всегда стабильны. Порядка 0.25msec. Трафик может спокойно достигать 26-28Gbit/s. Кто-нибудь замечал подобную проблему с задержками при использовании ната? Мой тест показывает, что даже с совсем небольшим трафиком имеются задержки при включённом нате. Стоит выключить нат - и всё работает идеально. конфиг: #outgoing interface ######################################### interface Port-channel1.5 encapsulation dot1Q 5 ip address IFACE_IP 255.255.255.224 ip nat outside #user's vlans ~2000 vlans ############################################### interface Port-channel1.350 description v350 encapsulation dot1Q 350 pppoe enable group global interface Port-channel1.351 description v351 encapsulation dot1Q 351 pppoe enable group global .... .... interface Port-channel1.2000 description v2000 encapsulation dot1Q 2000 pppoe enable group global ############################################################### ip nat pool main_nat_pool START_IP END_IP netmask 255.255.255.128 type rotary ip nat inside source list NAT_RULES pool main_nat_pool interface Virtual-Template1 ip nat inside bba-group pppoe global virtual-template 1 ip access-list extended NAT_RULES deny ip 10.0.0.0 0.255.255.255 IP MASK permit ip 10.0.0.0 0.255.255.255 any прошивка: asr1002x-universalk9.03.13.00.S.154-3.S-ext.SPA.bin Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 2 июля, 2015 · Жалоба на обычном 1004 TAC говорит, что эта фигня связана с тем, что утилизируется только один канал взаимодействия с памятью и для решения проблемы нужно подавать примерно половину трафика с 802.1p=6 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tehmeh Опубликовано 3 июля, 2015 · Жалоба Для CG-NAT характерны такие проблемы? Вчера, когда загрузка интерфейса стала 85-95%, повалили overrun на 1004, есть CG-NAT. Чтобы проверить разницу с RTT надо ли обязательно отключать NAT или можно сравнить между публичными/приватными? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 3 июля, 2015 · Жалоба Нетфлоу есть? Оверраны иногда из-за него тоже.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tehmeh Опубликовано 3 июля, 2015 · Жалоба Есть, но на том интерфейсе, где есть overrun нет, а на тех, где есть, нет overrun. Или это не обязательно прямая взаимосвязь? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Butch3r Опубликовано 3 июля, 2015 · Жалоба offtop: а правда что на 1002-x лицензии покупать не нужно, можно купить коробку и активировать демо лицензии? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 3 июля, 2015 · Жалоба Есть, но на том интерфейсе, где есть overrun нет, а на тех, где есть, нет overrun. Или это не обязательно прямая взаимосвязь? Объем? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tehmeh Опубликовано 3 июля, 2015 · Жалоба Есть, но на том интерфейсе, где есть overrun нет, а на тех, где есть, нет overrun. Или это не обязательно прямая взаимосвязь? Объем? Не совсем понял. Трафика 8.5-9.5G на интерфейсе. Overrun за вечер выросли с нуля до: 15908273 input errors, 0 CRC, 0 frame, 15908270 overrun, 0 ignored Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
denis_vid Опубликовано 3 июля, 2015 · Жалоба show platform hardware qfp active datapath utilization в ЧНН Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sergey R. Опубликовано 3 июля, 2015 (изменено) · Жалоба Точно опишу как мы проводили тест: Заметив проблему с задержками, мы сразу начали раздавать абонентам ТОЛЬКО реальники. Т.е. в данный момент серых IP на asr вообще нет. Следовательно и нет нат трансляция. Но вот возникла необходимость вернуться к использованию ната и раздавать абонентам серые IP. Но до раздачи серых ip дело не доходит т.к. включив ip nat outside на исходящем интерфейсе, и ip nat inside на шаблоне для pppoe, мы уже видим задержки. Раздавать серые ip уже не решаемся, т.к. заранее известна проблема с задержками. Причём если активировать нат командами ip nat outside и ip nat inside то задержки есть на всей железке. IP интерфейс ASR пингуется с задержками. Трафик через ASR также идёт с задержками. Не важно какой трафик, pppoe или ip. Не важно какой интерфейс - даже если один из 6ти гиговых линков включить и ip на него навесить - проблема также будет. На графике статистика задержек. Подключался тестовым pppoe клиентом и проводил измерения. https://dropmefiles.com/mjczA Разница огромная. Примерно в 19-00 достаточно было убрать ip nat outside и всё заработало как часы. Пропадает желание натить даже совсем немного - 1 или 2 гига. Изменено 3 июля, 2015 пользователем 704114 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 3 июля, 2015 (изменено) · Жалоба offtop: а правда что на 1002-x лицензии покупать не нужно, можно купить коробку и активировать демо лицензии? Да. Собственно, вот начало этой проблемы: http://forum.nag.ru/forum/index.php?showtopic=100044&st=0&p=1058393&fromsearch=1 Изменено 3 июля, 2015 пользователем atdp03 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 3 июля, 2015 · Жалоба 704114 вы прочитали моё сообщение про 802.1p? сделали? проверили с помощью "show platform hardware qfp active datapath utilization" что трафик разбалансировался по HP и LP каналам взаимодействия с памятью? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Diman_xxxx Опубликовано 3 июля, 2015 · Жалоба прошивка: asr1002x-universalk9.03.13.00.S.154-3.S-ext.SPA.bin Мне один из админов сказал, что на ASR1002 на universalk9.03.13.02.S.154-3.S2-ext.bin даже нат нормально работает. PS: только я не пойму - какой ios - ваш или наш свежее ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 3 июля, 2015 · Жалоба Diman_xxxx Да, это первый IOS-XE, на котором вот уже почти 2 недели НАТ работает "без единого разрыва" (правда ALG для PPTP, SIP и FTP всё равно страшно включать) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rdntw Опубликовано 3 июля, 2015 · Жалоба S.lobanov, а что делаете с теми кому нужно pptp/sip? На другой нат? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 3 июля, 2015 · Жалоба rdntw ничего. наоборот они были выключены после того как абонент пожаловался на нерабочий pptp. sip и pptp умеют нормально работать и без ALG. а пассивный режим для ftp-клиентов уже давно дефолт для почти всех клиентов, а alg нужен только для активного Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rdntw Опубликовано 3 июля, 2015 · Жалоба видимо не все:) у нас когда на нате не отрабатывал alg pptp звонков было масса, потом временно pbr завернули этот трафик на другой нат Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 3 июля, 2015 · Жалоба ну хз. я сам пробовал подключиться к pptp с выключенным pptp alg, к стандратному линуксовому pptpd подключался без проблем и тот клиент что пожаловался отчитался, что заработало а вот когда pptp alg включен и не отрабатывает(дропает часть сигнализации), вот тогда и не работает Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rdntw Опубликовано 3 июля, 2015 · Жалоба хм надо будет будет сигнализацию послушать Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 3 июля, 2015 · Жалоба rdntw так вы вводили "no ip nat service pptp" или нет? если не вводили, то, да, pptp не будет работать на бажных иосах(после какого-то времени) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rdntw Опубликовано 3 июля, 2015 · Жалоба у меня немного не asr :) вклинился в тему из-за схожей проблемы с pptp Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tehmeh Опубликовано 6 июля, 2015 · Жалоба show platform hardware qfp active datapath utilization в ЧНН asr#show platform hardware qfp active datapath utilization CPP 0: Subdev 0 5 secs 1 min 5 min 60 min Input: Priority (pps) 1085 1059 1033 942 (bps) 2639920 2923648 2335152 1970168 Non-Priority (pps) 2322345 2314971 2301643 2252630 (bps) 15797451408 15707022192 15730477424 15387226176 Total (pps) 2323430 2316030 2302676 2253572 (bps) 15800091328 15709945840 15732812576 15389196344 Output: Priority (pps) 23 24 24 24 (bps) 27168 31328 30344 29328 Non-Priority (pps) 2323181 2315788 2302439 2253200 (bps) 15834458008 15744097136 15767684376 15424031832 Total (pps) 2323204 2315812 2302463 2253224 (bps) 15834485176 15744128464 15767714720 15424061160 Processing: Load (pct) 58 58 57 56 asr# В ЧНН, overrun снова начали расти где-то на 8.3G. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sergey R. Опубликовано 10 июля, 2015 · Жалоба Провёл тестирование на прошивке 03.13.03.S. Результат изменился. Проблемы с задержками стали возникать при достижения трафика ~ 7GB/s На графиках проблема явно заметна в интервале 19:45 - 22:00. После 22:00 выключил ip nat outside и всё заработало без задержек. На графиках мониторинг задержек, трафика, и вывод show platform hardware qfp active datapath utilization Очень ощутимо высвобождаются ресурсы qfp при отключении ip nat outside. Также мониторил qfp в момент достижения трафика больше чем 12GBit/s. Как я уже писал, задержки достигают 80msec. Появляется огромное число Overrun ошибок на интерфейсах. Загрузка qfp в эти моменты упирается в 99 процентов. Балансировку трафика по HP и LP пробовали сделать, но тут сразу возникает проблема: Часть трафика обрабатывается в HP, часть в LP. Т.е. тот трафик которому "повезло" и он обрабатывается в HP - задержек не испытывает. На LP задержки остаются. Этот тест с измерением задержек показывает, что железка может нормально пронатить никак не больше 7 Гигов трафика (а то и меньше). Кто-нибудь может поделиться подобными измерениями, если имеются большие объёмы трафика? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
denis_vid Опубликовано 10 июля, 2015 · Жалоба Покажите еще: show interfaces summary show platform Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sergey R. Опубликовано 10 июля, 2015 · Жалоба ASR1002-X-2#show platform Chassis type: ASR1002-X Slot Type State Insert time (ago) --------- ------------------- --------------------- ----------------- 0 ASR1002-X ok 5d19h 0/0 6XGE-BUILT-IN ok 5d19h 0/1 SPA-1X10GE-L-V2 ok 5d19h 0/2 SPA-1X10GE-L-V2 ok 5d19h 0/3 SPA-1X10GE-L-V2 ok 5d19h R0 ASR1002-X ok, active 5d19h F0 ASR1002-X ok, active 5d19h P0 ASR1002-PWR-AC ok 5d19h P1 ASR1002-PWR-AC ok 5d19h Slot CPLD Version Firmware Version --------- ------------------- --------------------------------------- 0 14012203 15.3(1r)S R0 14012203 15.3(1r)S F0 14012203 15.3(1r)S ASR1002-X-2#show interfaces summary *: interface is up IHQ: pkts in input hold queue IQD: pkts dropped from input queue OHQ: pkts in output hold queue OQD: pkts dropped from output queue RXBS: rx rate (bits/sec) RXPS: rx rate (pkts/sec) TXBS: tx rate (bits/sec) TXPS: tx rate (pkts/sec) TRTL: throttle count Interface IHQ IQD OHQ OQD RXBS RXPS TXBS TXPS TRTL ----------------------------------------------------------------------------------------------------------------- GigabitEthernet0/0/0 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/1 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/2 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/3 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/4 0 0 0 0 0 0 0 0 0 GigabitEthernet0/0/5 0 0 0 0 0 0 0 0 0 * Te0/1/0 0 0 0 0 1625744000 215169 1451805000 197612 0 * Te0/2/0 0 0 0 0 1628155000 222106 1614111000 219049 0 * Te0/3/0 0 0 0 0 1198178000 163138 1353679000 180316 0 GigabitEthernet0 0 0 0 0 0 0 0 0 0 * Loopback0 0 0 0 0 0 0 0 0 0 * Loopback1 0 0 0 0 0 0 0 0 0 * Loopback2 0 0 0 0 0 0 0 0 0 * Loopback3 0 0 0 0 0 0 0 0 0 * Loopback4 0 0 0 0 0 0 0 0 0 * Port-channel1 0 0 0 0 4452077000 600413 4419595000 596977 0 * Port-channel1.5 - - - - - - - - - * Port-channel1.200 - - - - - - - - - * Port-channel1.350 - - - - - - - - - --- --- * Port-channel1.1899 ниже куча Virtual-Access2* Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...