loginex Posted March 2, 2011 (edited) · Report post Есть задача: снимать netflow с интерфейса vlan299 и передавать его на коллектор. железо: Router#show module Mod Ports Card Type Model Serial No. --- ----- -------------------------------------- ------------------ ----------- 1 2 Supervisor Engine 720 (Active) WS-SUP720-3BXL SAD08300D2T 2 24 CEF720 24 port 1000mb SFP WS-X6724-SFP SAD10290BEP 3 4 CEF720 4 port 10-Gigabit Ethernet WS-X6704-10GE SAL114561KH 4 1 Application Control Engine Module ACE10-6500-K9 SAD1031044E Mod MAC addresses Hw Fw Sw Status --- ---------------------------------- ------ ------------ ------------ ------- 1 0011.21a0.ffdc to 0011.21a0.ffdf 4.0 8.1(3) 12.2(33)SRC3 Ok 2 000a.b866.1694 to 000a.b866.16ab 2.3 12.2(14r)S5 12.2(33)SRC3 Ok 3 0017.0e6d.a8f8 to 0017.0e6d.a8fb 2.2 12.2(18r)S1 12.2(33)SRC3 Ok 4 0018.b9a6.9024 to 0018.b9a6.902b 1.1 8.6(0.252-En 3.0(0)A1(2) Ok Mod Sub-Module Model Serial Hw Status ---- --------------------------- ------------------ ----------- ------- ------- 1 Policy Feature Card 3 WS-F6K-PFC3BXL SAD083006GY 1.3 Ok 1 MSFC3 Daughterboard WS-SUP720 SAD082905W8 2.1 Ok 2 Centralized Forwarding Card WS-F6700-CFC SAL09402A90 2.0 Ok 3 Centralized Forwarding Card WS-F6700-CFC SAL091275K4 2.1 Ok прошивка c7600s72033-advipservicesk9-mz.122-33.SRC3.bin в конфиге настраивал так: ip flow-cache entries 128000 mls ip slb purge global mls ip multicast flow-stat-timer 9 no mls ip multicast mls aging fast time 8 threshold 3 mls aging long 500 mls aging normal 32 mls flow ip interface-destination-source no mls flow ipv6 mls nde sender version 5 mls sampling packet-based 1024 8000 no mls acl tcam share-global mls cef error action reset interface Vlan299 description Localnet Downstream ip vrf forwarding localnet-vrf ip address 192.168.0.1 255.255.255.252 ip flow ingress ip flow egress ip ospf cost 1 mls netflow sampling ! ip flow-export version 5 ip flow-export destination 10.10.10.1 1670 vrf localnet-vrf если посмотреть show mls netflow ip или show ip cache flow, то там все в порядке - показывает транзитные передачи: откуда, куда и сколько, но на коллекторе вот такая картина: 947129994578 192.168.33.108 35691 0.0.0.1 53402 95 43 0 947130020690 192.168.0.9 19638 0.0.0.1 33215 116 43 0 947130020690 192.168.32.33 10036 0.0.0.1 40562 116 43 0 947130058730 192.168.37.98 4265 0.0.0.1 53679 144 43 0 947130084746 192.168.132.113 25131 0.0.0.1 32211 232 43 0 947130103750 192.168.32.33 1687 0.0.0.1 40562 96 43 0 947130103750 192.168.132.113 25131 0.0.0.1 32211 95 43 0 947130232918 192.168.38.170 2353 0.0.0.1 35691 144 43 0 947130118750 192.168.133.115 35691 0.0.0.1 27002 116 43 0 947130173874 192.168.146.41 6881 0.1.0.4 6881 48 43 0 947130173874 192.168.132.113 25131 0.0.0.1 32211 174 43 0 947130173874 192.168.146.41 4992 0.1.0.4 6881 96 43 0 947130213910 192.168.0.2 0 224.0.0.5 0 940 43 0 947130213910 192.168.146.144 6881 0.1.0.3 6881 93 43 0 947130213910 192.168.41.11 52768 0.0.0.1 19647 95 43 0 947130252918 192.168.132.113 1403 0.0.0.1 32211 144 43 0 upd: vlan299 на TE3/1 Edited March 2, 2011 by loginex Share this post Link to post Share on other sites
Tosha Posted March 3, 2011 (edited) · Report post А зачем у Вас - mls flow ip interface-destination-source - mls sampling packet-based 1024 8000 - mls netflow sampling Хотите грубо прикинуть пролетающий трафик? ip flow egress - я не уверен, но вроде бы 76-я не заточена под учет исходящего трафика... Что показывают sh mls nde sh mls netflow table-contention summ sh mls netflow flowmask Edited March 3, 2011 by Tosha Share this post Link to post Share on other sites
loginex Posted March 3, 2011 · Report post А зачем у Вас - mls flow ip interface-destination-source - mls sampling packet-based 1024 8000 - mls netflow sampling Хотите грубо прикинуть пролетающий трафик? нет, грубо не надо. советуете убрать ? ip flow egress - я не уверен, но вроде бы 76-я не заточена под учет исходящего трафика...да, судя по всему так оно и есть, но это ладно, повешу ip flow ingress на другом интерфейсе для учета "исходящего траффика".Что показываютsh mls nde sh mls netflow table-contention summ sh mls netflow flowmask #show mls nde Netflow Data Export enabled Exporting flows to 10.10.10.1 (1670) Exporting flows from 192.168.0.1 (62384) Version: 5 Layer2 flow creation is disabled Layer2 flow export is disabled Include Filter not configured Exclude Filter not configured Total Netflow Data Export Packets are: 639 packets, 0 no packets, 17676 records Total Netflow Data Export Send Errors: IPWRITE_NO_FIB = 0 IPWRITE_ADJ_FAILED = 0 IPWRITE_PROCESS = 0 IPWRITE_ENQUEUE_FAILED = 0 IPWRITE_IPC_FAILED = 0 IPWRITE_OUTPUT_FAILED = 0 IPWRITE_MTU_FAILED = 0 IPWRITE_ENCAPFIX_FAILED = 0 IPWRITE_CARD_FAILED = 0 Netflow Aggregation Disabled #sh mls netflow table-contention summ Earl in Module 1 Summary of Netflow CAM Utilization (as a percentage) ==================================================== TCAM Utilization : 10% ICAM Utilization : 0% Netflow Creation Failures : 0 Netflow CAM aliases : 0 #sh mls netflow flowmask current ip flowmask for unicast: if-dst-src current ipv6 flowmask for unicast: null Share this post Link to post Share on other sites
Tosha Posted March 3, 2011 (edited) · Report post Удалите все samling, mls flow egress Чтобы записывалась статистика с детализацией до портов надо более подробную flow-mask mls flow ip interface-full Сделайте на двух портах ip flow ingress Рекомендую снести с интерфейсов и снова назначить Layer2 flow creation is disabledА вот если надо считать Layer2 - почитайте руководство как включать :) Как сделаете - тестируйте как работает Если не заработает попробуйте без опции ip vrf forwarding localnet-vrf И если опять не заработает давайте посмотрим что там с tcam sh tcam int Vlan299 acl in ip Ну и для второго интерфейса тоже Edited March 3, 2011 by Tosha Share this post Link to post Share on other sites
loginex Posted March 3, 2011 · Report post Удалите все samling, mls flow egress Чтобы записывалась статистика с детализацией до портов надо более подробную flow-mask mls flow ip interface-full Сделайте на двух портах ip flow ingress Рекомендую снести с интерфейсов и снова назначить сделал Layer2 flow creation is disabledА вот если надо считать Layer2 - почитайте руководство как включать :) Как сделаете - тестируйте как работает Если не заработает попробуйте без опции ip vrf forwarding localnet-vrf И если опять не заработает давайте посмотрим что там с tcam sh tcam int Vlan299 acl in ip Ну и для второго интерфейса тоже меня вот немного смущает то, что траф считается то в общем-то говоря правильно, только вот dst-ip везде какой-то кривой, если только это не был ip адрес интерфейса на циске.... т.е. тут видимо какие-то особенности при работе с msfc/pfc, которые мне непонятны. Share this post Link to post Share on other sites
loginex Posted March 3, 2011 · Report post без vrf не могу, все равно не заработало(точнее работает, но dstip по прежнему кривой) Router#sh tcam int Vlan299 acl in ip * Global Defaults not shared Entries from Bank 0 Entries from Bank 1 permit ip any any (1892418603 matches) Router#sh tcam int Vlan10 acl in ip * Global Defaults not shared Entries from Bank 0 Entries from Bank 1 permit ip any any (1894228044 matches) Share this post Link to post Share on other sites
Tosha Posted March 4, 2011 · Report post Сделайте пару тестовых интерфейсов и погоняйте трафик без vrf Как работает NDE + vrf я лично не знаю, у нас без таких изысков. Вот нагуглил что-то про NDE + VRF Гуглите дальше, и глубже. Похоже, что с настройкой NDE + VRF надо пару верных команд добавить... Share this post Link to post Share on other sites
loginex Posted March 11, 2011 · Report post Сделайте пару тестовых интерфейсов и погоняйте трафик без vrfКак работает NDE + vrf я лично не знаю, у нас без таких изысков. Вот нагуглил что-то про NDE + VRF Гуглите дальше, и глубже. Похоже, что с настройкой NDE + VRF надо пару верных команд добавить... пока выяснил точно, что то, что мне приходит по netflow - это от MSFC, а вот с PFC ничего не приходит. Share this post Link to post Share on other sites
loginex Posted March 11, 2011 · Report post в общем глюк заключается в том, что экспорт нетфлоу с PFC не работает с интерфейса, находящегося в vrf(причем MSFC экспортируется нормально), если использовать интерфейс из глобальной таблицы - то все в порядке. возможно это баг прошивки, но на цискокоме про это ничего пока не нашел. Share this post Link to post Share on other sites
secandr Posted March 11, 2011 · Report post А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг. мы их долго мучали, в итоге перенесли netFlow на бордер. Share this post Link to post Share on other sites
Tosha Posted March 11, 2011 · Report post Ну там есть пара грабель, но если не зеркалить порт (при учете Layer2 трафика) и, как мы тут выяснили, не использовать VRF то вроде все нормально... А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.Скажите пожалуйста, а Вы на что именно там "наступили"? Share this post Link to post Share on other sites
loginex Posted March 11, 2011 · Report post Ну там есть пара грабель, но если не зеркалить порт (при учете Layer2 трафика) и, как мы тут выяснили, не использовать VRF то вроде все нормально... А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.Скажите пожалуйста, а Вы на что именно там "наступили"? ну в vrf она траффик считает нормально, просто интерфейс, с которого она льет нетфлоу траффик на коллектор не должен находиться в vrf, и да, я пробовал указывать vrf в команде ip flow-export $IP $UDP_PORT vrf localnet - так с PFC не экспортируются данные. А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.мы их долго мучали, в итоге перенесли netFlow на бордер. 7600 ? а разве оборудование не к 6700 серии принадлежит ? Это я к тому, что когда читал на цискокоме солюшены по настройке нетфлоу, нигде не говорилось, что у них есть какой-то баг. Share this post Link to post Share on other sites
Tosha Posted March 11, 2011 (edited) · Report post 6700 фигурирует в названиях модулей. Маршрутизатор 7600 на уровне шасси и модулей во многом наследник коммутатора 6500. Но все же мозги у него, особенно в виде WS-SUP720-3BXL именно 7600 серия маршрутизаторов. А многие модули универсальны. Они и в 7600 и 6500 встают. Но надо читать раздел совместимости и требования к версиям железа и прошивок (IOS) Edited March 11, 2011 by Tosha Share this post Link to post Share on other sites
secandr Posted March 11, 2011 · Report post на 7600 записи нетфлоу агрегируются на каком-то внутреннем насителе, а потом отправляются на сервер так вот там пропадаю записи из-за маленького объёма а забирать слишком часто данные нельзя, в итоге нетфлоу на 7600 при нагрузке в несколько гбит будет работать почти как sFlow :) только более непредсказуемо. Share this post Link to post Share on other sites
loginex Posted March 11, 2011 · Report post на 7600 записи нетфлоу агрегируются на каком-то внутреннем насителе, а потом отправляются на сервертак вот там пропадаю записи из-за маленького объёма а забирать слишком часто данные нельзя, в итоге нетфлоу на 7600 при нагрузке в несколько гбит будет работать почти как sFlow :) только более непредсказуемо. если не сложно, можно ссылку на описание бага ? Share this post Link to post Share on other sites
loginex Posted March 11, 2011 · Report post у меня, кстати, сейчас вот такая картина при 2гбит\с full duplex(т.е. 4гб\с) Router#sh mls netflow table-contention summary Earl in Module 1 Summary of Netflow CAM Utilization (as a percentage) ==================================================== TCAM Utilization : 100% ICAM Utilization : 4% Netflow Creation Failures : 29478 Netflow CAM aliases : 0 Share this post Link to post Share on other sites
loginex Posted March 11, 2011 · Report post еще немного уличной магии Router#show running-config | i aging mls aging fast time 5 threshold 32 mls aging long 64 mls aging normal 32 Router#sh mls netflow table-contention summary Earl in Module 1 Summary of Netflow CAM Utilization (as a percentage) ==================================================== TCAM Utilization : 65% ICAM Utilization : 0% Netflow Creation Failures : 0 Netflow CAM aliases : 0 Share this post Link to post Share on other sites
YaroslavR Posted March 12, 2011 · Report post у меня, кстати, сейчас вот такая картина при 2гбит\с full duplex(т.е. 4гб\с) Router#sh mls netflow table-contention summary Earl in Module 1 Summary of Netflow CAM Utilization (as a percentage) ==================================================== TCAM Utilization : 100% ICAM Utilization : 4% Netflow Creation Failures : 29478 Netflow CAM aliases : 0 До боли знакомая картина... В реализации Netflow на Sup32/Sup720 всех модификаций есть 4 аппаратных ограничения связанные со спецификой чипа EARL7: 1. Нет пакетного семплирования. Все пакеты попадают в кеш, а оттуда уже семплируются. При 100% загрузке TCAM информация о новых сессиях не сохраняется - соответственно данные Netflow становятся полностью недостоверными. К сожалению этот процесс не зависит напрямую от объема трафика: важна специфика - сколько сессий проходит через железку, насколько удачно их хеши ложатся в TCAM и проч. Решения этой проблемы нет - в качестве временных методов способных ненадолго улучшить ситуацию можно посоветовать отключение семплинга и выкручивание aging таймеров в минимум, а так же установку DFC модулей; 2. Во flow записях не отдаются TCP флаги. Для определенных задач это важно; 3. Netflow не поддерживается для пакетов с MPLS метками. Несмотря на то что соответствующие команды CLI есть: 4. Netflow не экспортируется для отброшенного трафика Если вам важен Netflow - не выбирайте Cisco 7600/6500. Из цисколенда смотрите в сторону ASR1000/ASR9000/Nexus7000 - там с flow /по крайней мере на аппаратном уровне/ все более-менее хорошо. Share this post Link to post Share on other sites
secandr Posted March 12, 2011 (edited) · Report post loginex а TAC ничего по этому поводу официально не отвечает и бага таког нет, насколько я знаю. В личной беседе инженеры говорят что-то вроде поста выше. На аср серии тоже не всё гладко, но по крайней мере нетфлоу там собирается :) Edited March 12, 2011 by secandr Share this post Link to post Share on other sites
