[kartashevav]

Коллеги, объясните, пожалуйста, почему так происходит

Cisco ASR1001-X

IOS XE Version 03.16.02.S

 

запустил CG-NAT

 

ip local pool IP-POOL1 100.64.1.2 100.64.31.254

ip nat settings mode cgn

no ip nat settings support mapping outside

ip nat settings pap limit 30 bpa set-size 512

ip nat log translations flow-export v9 udp destination 172.16.5.26 9995 source TenGigabitEthernet0/0/0.11

ip nat translation timeout 3600

ip nat translation tcp-timeout 3600

ip nat translation pptp-timeout 3600

ip nat translation udp-timeout 60

ip nat translation icmp-timeout 30

ip nat translation max-entries all-host 2048

ip nat pool NAT-POOL x.x.205.64 x.x.205.127 prefix-length 26

ip nat inside source list nat-cust pool NAT-POOL overload

 

пользователи PPPOE, online 348

 

по моим расчетам должно быть утилизировано всего 12 адресов из пула НАТ, поскольку ограничил 30 серых на 1 белый

 

по факту так и вижу

sh platform hardware qfp active feature nat datapath pap laddrpergaddr

gaddr х.х.205.64 vrf 0 laddr-per-gaddr 30 mapid 1

gaddr х.х.205.65 vrf 0 laddr-per-gaddr 27 mapid 1

gaddr х.х.205.66 vrf 0 laddr-per-gaddr 30 mapid 1

gaddr х.х.205.67 vrf 0 laddr-per-gaddr 29 mapid 1

gaddr х.х.205.70 vrf 0 laddr-per-gaddr 30 mapid 1

gaddr х.х.205.71 vrf 0 laddr-per-gaddr 30 mapid 1

gaddr х.х.205.72 vrf 0 laddr-per-gaddr 29 mapid 1

gaddr х.х.205.73 vrf 0 laddr-per-gaddr 17 mapid 1

gaddr х.х.205.74 vrf 0 laddr-per-gaddr 30 mapid 1

gaddr х.х.205.75 vrf 0 laddr-per-gaddr 27 mapid 1

gaddr х.х.205.76 vrf 0 laddr-per-gaddr 30 mapid 1

gaddr х.х.205.80 vrf 0 laddr-per-gaddr 15 mapid 1

 

однако

sh ip nat statistics

 

Hits: 5182567677 Misses: 30919887

Expired translations: 31915204

Dynamic mappings:

-- Inside Source

[id: 1] access-list nat-cust pool NAT-POOL refcount 28870

pool NAT-POOL: id 1, netmask 255.255.255.192

start x.x.205.64 end x.x.205.127

type generic, total addresses 64, allocated 31 (48%), misses 0

nat-limit statistics:

max entry: max allowed 0, used 0, missed 0

All Host Max allowed: 2048

In-to-out drops: 949840 Out-to-in drops: 1451

Pool stats drop: 0 Mapping stats drop: 0

Port block alloc fail: 0

IP alias add fail: 0

Limit entry add fail: 0

 

sh ip nat pool name NAT-POOL

 

NAT Pool Statistics

 

Pool name NAT-POOL, id 1

Assigned Available

Addresses 30 46

UDP Low Ports 0 0

TCP Low Ports 0 0

UDP High Ports 324 9252

TCP High Ports 386 9190

 

(Low ports are less than 1024. High ports are greater than or equal to 1024.)

 

утилизация пула почти 50%

 

не понимаю почему так происходит? так и должно быть?

может я с таймаутами что-то намудрил?

и еще смущают Misses: 30919887 и In-to-out drops: 949840 в статистике, жалоб от пользователей не слышно, но хотелось бы понять каков порядок цифр должен быть в этих параметрах

 

первый опыт настройки cgnat, прошу помощи у знающих.

Спасибо.

Изменено 9 марта, 2017 пользователем kartashevav

[dima89]

nat на asr - боль. может не работать просто "потому что идите ***й, вот почему".

Изменено 9 марта, 2017 пользователем dima89

[ShyLion]

nat на asr - боль. может не работать просто "потому что идите ***й, вот почему".

 

Оно со стороны абонента видно, что что-то не работает? Есть реальные жалобы?

 

 

ip nat settings pap limit 30 bpa set-size 512

 

BPA у меня использовать не получилось - начались сходу жалобы. Просто PAP без BPA работает, жалоб нет.

[dima89]

со стороны абонента может выражаться в том, что перестают создаваться трансляции, например. а перестают создаваться - потому что забит пул. а пул забит, потому что ip nat translation max-entries all-host не работает.

[kartashevav]

абоненты до NAT работали за реальными адресами, пока жалоб нет

жду комментарии cisco-водов, может есть у кого опыт cgnat на asr.

 

nat на asr - боль. может не работать просто "потому что идите ***й, вот почему".

 

Оно со стороны абонента видно, что что-то не работает? Есть реальные жалобы?

 

 

ip nat settings pap limit 30 bpa set-size 512

 

BPA у меня использовать не получилось - начались сходу жалобы. Просто PAP без BPA работает, жалоб нет.

 

BPA работает, до продакшена тестил на стенде, причем удалось нагенерить трафика до полной утилизации всех выделенных портов на IP, к тому же объем логов при BPA снижается в разы.

[ShyLion]

BPA работает, до продакшена тестил на стенде, причем удалось нагенерить трафика до полной утилизации всех выделенных портов на IP, к тому же объем логов при BPA снижается в разы.

У меня очень быстро стали появляться ошибки исчерпания пула и жалобы. Даже кейс на циске создавал. Пришли к тому, что выключили эту мегафичу.

Объем логов трансляций на порядок меньше нетфлоу самих потоков, поэтому не критично.

[kartashevav]

BPA работает, до продакшена тестил на стенде, причем удалось нагенерить трафика до полной утилизации всех выделенных портов на IP, к тому же объем логов при BPA снижается в разы.

У меня очень быстро стали появляться ошибки исчерпания пула и жалобы. Даже кейс на циске создавал. Пришли к тому, что выключили эту мегафичу.

Объем логов трансляций на порядок меньше нетфлоу самих потоков, поэтому не критично.

 

а какой софт на ASR был?

[ShyLion]

а какой софт на ASR был?

 

Cisco IOS XE Software, Version 03.13.02.S - Extended Support Release
Cisco IOS Software, ASR1000 Software (X86_64_LINUX_IOSD-UNIVERSALK9-M), Version 15.4(3)S2, RELEASE SOFTWARE (fc3)

 

Вот что мне ответил TAC

I’d suggest removing BPA unless you know that you need it. If not, then I’d suggest you to reduce the port-set size, minimum value is 64. The command would be as :

 

 

- ip nat settings pap bpa set-size 64

 

Regards,

Pawan

[kartashevav]

продолжаю эксперименты)

убрал bpa, оставил только pap

ip nat settings pap limit 30

утилизация пула в пике 60%, тоесть 40 адресов на 360 пользователей

откуда оно берется?

[ShyLion]

Ну захотели пользователи один и тот-же соурс порт, 123 например очень популярный. Она сперва старается соурс-порт удовлетворить. Потом заполняет уже как придется. ИМХО.

 

show platform hardware qfp active feature nat datapath stats

чего кажет?

 

утилизация пула в пике 60%, тоесть 40 адресов на 360 пользователей

т.е. то, что 40 адресов занято еще не значит что все соурс-порты заняты и не будут использованы.

[kartashevav]

show platform hardware qfp active feature nat datapath stats

non_extended 14 entry_timeouts 369 statics 0 static net 0 hits 64970 misses 392

non_natted 27916542

Proxy stats:

ipc_retry_fail 0 cfg_rcvd 3275 cfg_rsp 3281

 

Subcode #7 PARSE_ERR 6521

Subcode #14 SESS_CREATE_FAIL 1516137

Subcode #18 ALLOC_ADDR_PORT_FAIL 4688

Subcode #29 LIMIT 1516137

Subcode #38 PAP_FAIL 4271

Subcode #41 BPA_MALLOC_FAIL 417

[ShyLion]

А за какой период? Попробуй скинуть счетчики и не экспериментировать сколько-то времени.

 

Subcode #6  ALG_PKT_SANITY_FAIL 85
Subcode #7  PARSE_ERR 17722
Subcode #14  SESS_CREATE_FAIL 2370
Subcode #18  ALLOC_ADDR_PORT_FAIL 31
Subcode #29  LIMIT 2370
Subcode #38  PAP_FAIL 31

Аптайм неделя (проблемы с питанием были на узле, аппарат нормально работал, стабильно), пользюков 1200

Изменено 13 марта, 2017 пользователем ShyLion

[kartashevav]

почистил NAT статистику, и drop-subcodes

NAT сейчас с такими настройками

 

ip nat settings mode cgn

no ip nat settings support mapping outside

ip nat settings pap limit 30

ip nat log translations flow-export v9 udp destination 172.16.5.26 9995 source TenGigabitEthernet0/0/0.11

ip nat translation timeout 1800

ip nat translation tcp-timeout 300

ip nat translation pptp-timeout 1000

ip nat translation udp-timeout 60

ip nat translation icmp-timeout 30

ip nat translation max-entries all-host 2048

 

360 пользователей

40 адресов из пула в пике

 

смотрим

[ShyLion]

До включения ПАП пользователи жаловались на то что сбербанк-онлайн у них глючил периодически. Видимо не нравилось ему, что с разных адресов пользователь ломился в пределах одной прикладной сессии. После включения PAP жалобы прекратились.

[buckethead]

Это достаточно очевидно, и аффектит не только банк-клиенты. PAP очень нужная вещь.

[kartashevav]

поэтому я сразу делал с PAP, а для экономии объема логов еще и с BPA, но в ходе экспериментов bpa выключил, размер логов без bpa в среднем 30 Мбайт/сутки в формате netflow, это 360 пользователей

на днях переведу еще порядка 100 пользователей за NAT и увеличу пул до /24

буду наблюдать дальше

[kartashevav]

продолжаю наблюдения

добавил 100 пользователей и расширил пул до /24, теперь online 485 в пике, настройки NAT остались прежние

ip nat settings mode cgn

no ip nat settings support mapping outside

ip nat settings pap limit 30

ip nat log translations flow-export v9 udp destination 172.16.5.26 9995 source TenGigabitEthernet0/0/0.11

ip nat translation timeout 1800

ip nat translation tcp-timeout 300

ip nat translation pptp-timeout 1000

ip nat translation udp-timeout 60

ip nat translation icmp-timeout 30

ip nat translation max-entries all-host 2048

ip nat pool NAT-POOL х.х.204.1 х.х.204.254 prefix-length 24

ip nat inside source list nat-cust pool NAT-POOL overload

 

в пике 40к трансляций и утилизируется 30 адресов из пула

 

жалоб от пользователей не поступает, может так и должно быть?

[ShyLion]

У меня пул в четыре раза меньше и 1000 пользователей и никто не жалуется :)

[kartashevav]

У меня пул в четыре раза меньше и 1000 пользователей и никто не жалуется :)

1000 это в пике? скажи пожалуйста сколько адресов утилизируется и какие настройки NAT?

[ShyLion]

Соврал, не 64, а 128 адресов в пуле, забыл что добавлял.

[id: 1] access-list nat pool nat_pool refcount 78959
pool nat_pool: id 1, netmask 255.255.255.0
       start x.x.x.65 end x.x.x.191
       type generic, total addresses 127, allocated 52 (40%), misses 0

 

asr-1002x-621#show subscriber session | count .*
Number of lines which match regexp = 1248

asr-1002x-621#show platform hardware qfp active feature nat datapath pap | count .*
Number of lines which match regexp = 1013

 

ip nat settings mode cgn
no ip nat settings support mapping outside
ip nat settings pap limit 30
ip nat log translations flow-export v9 udp destination x.x.x.8 8889 source Loopback0
ip nat translation timeout 3600
ip nat translation tcp-timeout 3600
ip nat translation pptp-timeout 3600
ip nat translation udp-timeout 60
ip nat translation icmp-timeout 30
ip nat translation max-entries all-host 2000
no ip nat service sip tcp port 5060
no ip nat service sip udp port 5060
ip nat pool nat_pool x.x.x.65 x.x.x.191 netmask 255.255.255.0
ip nat inside source list nat pool nat_pool overload

[kartashevav]

Интересная штука получается

смотрим

show platform hardware qfp active feature nat datapath pool | i x.x.204.21

addr x.x.204.21 refcnt 4 flags 0x0 vrfid 0 next 0x0

 

4 трансляций на адресе x.x.204.21

 

show platform hardware qfp active feature nat datapath bind | i x.x.204.21

bind 0x2f3e3340 oaddr 100.64.22.133 taddr x.x.204.21 oport 54445 tport 54445 vrfid 0 tableid 0 proto 6 domain 0 create time 1189523 refcnt 1 mask 0x2ef46c60 flags 20004800 timeout 60 ifhandle 29 wlan_info 0x0 flags 0x1000000 mapping 0x2c5ccdc0 cp_mapping_id 1 limit_type 4 last_use_ts 1229837 mibp 0x0 rg 0nak_retry 0

bind 0x2f43f500 oaddr 100.64.22.133 taddr x.x.204.21 oport 54445 tport 54445 vrfid 0 tableid 0 proto 17 domain 0 create time 1187135 refcnt 1 mask 0x2ef46c60 flags 0 timeout 60 ifhandle 29 wlan_info 0x0 flags 0x1000000 mapping 0x2c5ccdc0 cp_mapping_id 1 limit_type 4 last_use_ts 1229837 mibp 0x0 rg 0nak_retry 0

bind 0x2ef46c60 oaddr 100.64.22.133 taddr x.x.204.21 oport 0 tport 0 vrfid 0 tableid 0 proto 0 domain 0 create time 1128276 refcnt 3 mask 0x0 flags 0 timeout 2 ifhandle 162 wlan_info 0x0 flags 0x0 mapping 0x2c5ccdc0 cp_mapping_id 1 limit_type 4 last_use_ts 1229774 mibp 0x0 rg 0nak_retry 0

bind 0x2f374300 oaddr 100.64.22.133 taddr x.x.204.21 oport 143 tport 143 vrfid 0 tableid 0 proto 6 domain 0 create time 1229836 refcnt 1 mask 0x2ef46c60 flags 20004000 timeout 60 ifhandle 29 wlan_info 0x0 flags 0x1000000 mapping 0x2c5ccdc0 cp_mapping_id 1 limit_type 4 last_use_ts 1229848 mibp 0x0 rg 0nak_retry 0

 

 

sh ip nat translations | i x.x.204.21

tcp x.x.204.21:54445 100.64.22.133:54445 --- ---

udp x.x.204.21:54445 100.64.22.133:54445 --- ---

--- x.x.204.21 100.64.22.133 --- ---

tcp x.x.204.21:143 100.64.22.133:143 --- ---

 

вроде все сходится, НО

 

show platform hardware qfp active feature nat datapath pap laddrpergaddr | i x.x.204.21

в РАР этого адреса нет и вообще

 

sh users | i 100.64.22.133

онлайн юзера нет с таким ИПшником

вот они адреса, которые утилизаруются сверх PAP

Это типа если пользователь некорректно разорвал сессию и трансляции не освободились, то они и висят и их долбят снаружи?

или просто бага? где-то на форуме проскакивала инфа, уже не найду

Изменено 20 марта, 2017 пользователем kartashevav

[Chai]

Коллеги, оказалось, что опция

ip nat settings pap limit 

не на всех устройствах циско есть.

Cisco IOS Software, 3700 Software (C3725-ADVIPSERVICESK9-M), Version 12.4(3) - опции settings отсутствует.

Возникает проблема - а как тогда ограничить количество адресов трансляций на один адрес из публичного пула?