[Andrei]

Для тех абонентов, которые тарифицируются агентом LBucd, использую. База пухнет - да. :( Правда задачи учитывать порты не стоит, только ресурсы.

Но у меня используется ЛБ для авторизации абонентов по pptp/pppoe (основная масса абонентов), это делает другой агент - LBarcd, а он не умеет собирать netflow. Вариант скрестить LBarcd и LBucd обсуждался вот тут http://forum.nag.ru/forum/index.php?showtopic=97064&view=findpost&p=1132660 , но я на него так и не решился, т.к. не откликнулся никто из тех, кто его на практике использовал. Представитель разработчика ЛБ тоже высказался супер кратко. Из всего этого я сделал вывод, что может функционал и есть, но быть его бета-тестером мне не захотелось.

 

У нас используется как раз в режиме эмуляции, то есть переносить учётки не требуется, но итог тот же самый от БД.

Тот же самый - это какой? Пухнет база?

 

P.S: Netams насколько я понял не opensource решение и стоит денег. А денег нет) Нужно opensource :)

Ставили что-то последних доступных опенсорсных сборок. Так и работаем.

[hsvt]

У нас используется как раз в режиме эмуляции, то есть переносить учётки не требуется, но итог тот же самый от БД.

Тот же самый - это какой? Пухнет база?

 

Да, от большого кол-ва записей. Еще не пробовали mysql 5.6 правда...

Изменено 23 ноября, 2015 пользователем hsvt

[iostream]

Вообщем "эпопея" у меня продолжается :-)

 

При честном CGN с NetFlow v9 ASR1k отдает всего два IP адреса, что логично (Inside Local & Outside Local). Но мне все мало и уже нужно по требованиям безопасности - 3 IP адреса в логировании трансляции (Inside Local & Insdie Global + Outside Global).

 

Я так понял, что при CGN нормально "слогировать" все 3 IP адреса в трансляции можно только при использовании Syslog.

 

Вопрос - кто-нибудь пользуется Syslog для записи трансляций CGN ? Если да - то как оно? Много места жрет на сервере? Как сказывается на производительности ASR1k и сервера?)

 

Или все пользуются NetFlow в связке с CGN и как-то по-другому логируют связку "внешний" IP - "внутренний" IP с возможностью однозначной трактовки ответа на вопрос: Кто посещал сайт X с IP-адресом "внешним" во время Y ?

 

И вообще такая "трактовка" нужна при обращении ФСБ? Обязан ли провайдер логировать все трансляции NAT или достаточно будет дать "пачку" абонентов, которые находились с одним и тем же "внешним" IP, в определенный момент времени? Я просто не нашел единого регламента, как обрабатываются эти запросы от ФСБ провайдером....

[Sonne]

Note on NEL support

-------------------

 

nfdump-1.6.9 includes a new module for decoding the CISCO NEL ( NAT event

logging ) records. It's considered to be experimantal, as no official

documentation can be found. Let me know otherwise.

To build nfdump, add --enable-nel to the configure command. By enabling

the NEL option, nfdump processes normal flows as well NEL records

likewise. nfcapd adds by default all required NEL extesions equivalent

to '-Tnel'

[mikezzzz]

Вообщем "эпопея" у меня продолжается :-)

 

При честном CGN с NetFlow v9 ASR1k отдает всего два IP адреса, что логично (Inside Local & Outside Local). Но мне все мало и уже нужно по требованиям безопасности - 3 IP адреса в логировании трансляции (Inside Local & Insdie Global + Outside Global).

 

Я так понял, что при CGN нормально "слогировать" все 3 IP адреса в трансляции можно только при использовании Syslog.

 

Вопрос - кто-нибудь пользуется Syslog для записи трансляций CGN ? Если да - то как оно? Много места жрет на сервере? Как сказывается на производительности ASR1k и сервера?)

 

Или все пользуются NetFlow в связке с CGN и как-то по-другому логируют связку "внешний" IP - "внутренний" IP с возможностью однозначной трактовки ответа на вопрос: Кто посещал сайт X с IP-адресом "внешним" во время Y ?

 

И вообще такая "трактовка" нужна при обращении ФСБ? Обязан ли провайдер логировать все трансляции NAT или достаточно будет дать "пачку" абонентов, которые находились с одним и тем же "внешним" IP, в определенный момент времени? Я просто не нашел единого регламента, как обрабатываются эти запросы от ФСБ провайдером....

 

не понял, как 3 адреса логировать у CGN, если там в таблице только два адреса SRC original и SRC translated? откуда Destination при CGN взять?

 

насчет CGN + syslog - пропадает фича BPA, она вроде как только с NETFLOW работает, то есть записей будет гораздо больше и чаще, потребуется больше места

 

сам сейчас развернул mongodb+fluentd+netflow plugin, после ковыряний с парсером нетфлоу - валятся записи вида

{
       "_id" : ObjectId("565c4c0e77a8d36a00000001"),
       "version" : 9,
       "flow_seq_num" : 69684,
       "flowset_id" : 273,
       "ipv4_src_addr" : "172.21.1.191",
       "ipv4_src_Nat_addr" : "333.333.333.333",
       "protocol" : 6,
       "Nat_Event" : 2,
       "BPAportRangeStart" : 1024,
       "BPAportRangeStep" : 1,
       "BPAportRangeSize" : 1024,
       "host" : "192.168.10.56",
       "time" : ISODate("2015-11-30T13:15:55Z")
}

 

пока не ясно сильно ли большие будут объемы так как даже не в продакшене..

[Sonne]

mikezzzz

 

Будут десятки мегабайт текстовых логов в минуту, у вас диск загнется.

 

Если вы настроили уже эту хрень: fluentd+netflow plugin скажите, можно ли ее заставить писать логи в бинарном формате?

[mikezzzz]

Sonne

 

mongodb вроде как в BSON хранит данные, + возможность использовать zlib для сжатия данных и последующего хранения.

 

касательно fluentd - http://www.fluentd.org/plugins/all тут все плагины для него перечислены. Он хорош тем, что фильтрует и буфферизирует данные перед отправкой на хранение. Нет необходимости сохранять весь объем данных из нетфлоу пакета, а только интересующие поля + уменьшение кол-ва I/O за счет буфферизации.

 

p.s. еще раз повторюсь, что это пока только по "мануалам и буклетам" :) в продакшене еще не запущенно

[lumenok]

А нас asr1001x у кого-нибудь работает?

 

ip nat log translations flow-export v9 udp destination 10.0.0.122 9995 source TenGigabitEthernet0/0/0Cisco IOS XE Software, Version 03.15.00.S - Standard Support ReleaseCisco IOS Software, ASR1000 Software (X86_64_LINUX_IOSD-UNIVERSALK9-M), Version 15.5(2)S, RELEASE SOFTWARE (fc3)

 

 

Я в tcpdum'е не вижу пакетов на netflow коллекторе.

[lumenok]

А роли не играет что у меня разные адреса коллекторов для 5 и 9 версии.

[mikezzzz]

А нас asr1001x у кого-нибудь работает?

ip nat log translations flow-export v9 udp destination 10.0.0.122 9995 source TenGigabitEthernet0/0/0

Cisco IOS XE Software, Version 03.15.00.S - Standard Support Release
Cisco IOS Software, ASR1000 Software (X86_64_LINUX_IOSD-UNIVERSALK9-M), Version 15.5(2)S, RELEASE SOFTWARE (fc3)

 

Я в tcpdum'е не вижу пакетов на netflow коллекторе.

 

было, угу

https://tools.cisco.com/quickview/bug/CSCut57229

[lumenok]

Спасибо, только в пятницу искал на баг трекере.

Вот что пишут

Symptom:
ASR is doing "NAT High-Speed Logging"; but the flows are not exported to netflow collector.

Conditions:
Running code:

ip nat log translations flow-export v9 udp destination source 
ip nat log translations flow-export v9 vrf on

But all the management interfaces (like) are put into dedicated vrf and is reachable via the VRF only.

Workaround:
Configure static host route to /32 via physical interface of proper VRF, like following

interface Tunnel1
vrf forwarding MGMT_VRF
...

ip route 255.255.255.255 Tunnel1
(if the interface is no P2P, include next-hop as well)

 

Не пойму как это в моем случае может решить проблему, я не использую vrf(только для управления),

ip nat log translations flow-export v9 udp destination 10.0.0.122 9995 source TenGigabitEthernet0/0/0
ip nat log translations flow-export v9 vrf 0 on
ip route 10.0.0.122 255.255.255.255 TenGigabitEthernet0/0/0

[mikezzzz]

next-hop ip еще добавьте после указания интерфейса, авось сожрет "ip route 10.0.0.122 255.255.255.255 TenGigabitEthernet0/0/0 x.y.z.й"

Изменено 14 декабря, 2015 пользователем mikezzzz

[lumenok]

Не спасло к сожалению.

Ситуация следующая, указал netflow коллектор как и для 5 версии, увидел трафик))

То есть если коллекторы совпадают, то работает.

[sanoka]

Настроена пересылка нат трансляций при помощи:

ip nat log translations flow-export v9 udp destination x.x.x.x

На коллектор приходят записи с полями:

Field (1/8): IP_SRC_ADDR

Field (2/8): postNATSourceIPv4Address

Field (3/8): L4_SRC_PORT

Field (4/8): postNAPTSourceTransportPort

Field (5/8): ingressVRFID

Field (6/8): PROTOCOL

Field (7/8): natEvent

Field (8/8): observationTimeMilliseconds

 

Отсутствуют поля с адресом и портом назначения. Хотя в доке они есть, да и сам список полей гораздо больше - https://www.cisco.com/c/en/us/td/docs/ios-xml/ios/ipaddr_nat/configuration/xe-16/nat-xe-16-book/iadnat-hsl-vrf.html

Это как-то настраивается? Или может от версии софта зависит?

У нас такая версия:

Cisco IOS XE Software, Version 03.16.05.S - Extended Support Release
Cisco IOS Software, ASR1000 Software (PPC_LINUX_IOSD-ADVENTERPRISEK9-M), Version 15.5(3)S5, RELEASE SOFTWARE (fc2)

[darkagent]

18 минут назад, sanoka сказал:

Отсутствуют поля с адресом и портом назначения

cg-nat ? это нормально.

железкой повыше снимаете flow, сопоставляете с pap/bpa. 

[sanoka]

1 час назад, darkagent сказал:

cg-nat ? это нормально.

железкой повыше снимаете flow, сопоставляете с pap/bpa. 

Просто хотелось обойтись минимальными издержками. Тем более, что в доке написано, что эти данные должны быть.

Хотите сказать, что без cg-nat сливаться будет в том числе и dst ip? 

[zhenya`]

В классик переводите и будет полный набор.

[vurd]

Ну правильно, это же запись трансляции. Она может использоваться не только для единичного подключения, full cone и вот эти вот слова.

[mirex]

В 19.09.2019 в 17:09, darkagent сказал:

cg-nat ? это нормально.

железкой повыше снимаете flow, сопоставляете с pap/bpa. 

А можно по подробнее ? 

 

[shafiev]

Коллеги а кто чем записывает и потом просматривает эти postNATSourceIPv4Address ? Желательно опенсорсное решение ?

[YuryD]

 Если логгировать пренат, то вопросов вообще нету, flow-tools, отчего с точки зрения меня, проще логгировать и нетфлоуить  между серверами доступа и натом. фуражки дозволяют. Охотно, если у вас  нигде нету dhcp. И почти все биллинги позволяют авторизовать клиента и по локальному ip, и по впнному, если они статически выданы клиенту. Это проще, чем рыться в нат-трансляциях. Т.е. ленивость операторов-подключателей ведет к высшему геморрою сисадминов, закупу новых функционалов биллинга и прочее.