loginex Опубликовано 2 марта, 2011 (изменено) Есть задача: снимать netflow с интерфейса vlan299 и передавать его на коллектор. железо: Router#show module Mod Ports Card Type Model Serial No. --- ----- -------------------------------------- ------------------ ----------- 1 2 Supervisor Engine 720 (Active) WS-SUP720-3BXL SAD08300D2T 2 24 CEF720 24 port 1000mb SFP WS-X6724-SFP SAD10290BEP 3 4 CEF720 4 port 10-Gigabit Ethernet WS-X6704-10GE SAL114561KH 4 1 Application Control Engine Module ACE10-6500-K9 SAD1031044E Mod MAC addresses Hw Fw Sw Status --- ---------------------------------- ------ ------------ ------------ ------- 1 0011.21a0.ffdc to 0011.21a0.ffdf 4.0 8.1(3) 12.2(33)SRC3 Ok 2 000a.b866.1694 to 000a.b866.16ab 2.3 12.2(14r)S5 12.2(33)SRC3 Ok 3 0017.0e6d.a8f8 to 0017.0e6d.a8fb 2.2 12.2(18r)S1 12.2(33)SRC3 Ok 4 0018.b9a6.9024 to 0018.b9a6.902b 1.1 8.6(0.252-En 3.0(0)A1(2) Ok Mod Sub-Module Model Serial Hw Status ---- --------------------------- ------------------ ----------- ------- ------- 1 Policy Feature Card 3 WS-F6K-PFC3BXL SAD083006GY 1.3 Ok 1 MSFC3 Daughterboard WS-SUP720 SAD082905W8 2.1 Ok 2 Centralized Forwarding Card WS-F6700-CFC SAL09402A90 2.0 Ok 3 Centralized Forwarding Card WS-F6700-CFC SAL091275K4 2.1 Ok прошивка c7600s72033-advipservicesk9-mz.122-33.SRC3.bin в конфиге настраивал так: ip flow-cache entries 128000 mls ip slb purge global mls ip multicast flow-stat-timer 9 no mls ip multicast mls aging fast time 8 threshold 3 mls aging long 500 mls aging normal 32 mls flow ip interface-destination-source no mls flow ipv6 mls nde sender version 5 mls sampling packet-based 1024 8000 no mls acl tcam share-global mls cef error action reset interface Vlan299 description Localnet Downstream ip vrf forwarding localnet-vrf ip address 192.168.0.1 255.255.255.252 ip flow ingress ip flow egress ip ospf cost 1 mls netflow sampling ! ip flow-export version 5 ip flow-export destination 10.10.10.1 1670 vrf localnet-vrf если посмотреть show mls netflow ip или show ip cache flow, то там все в порядке - показывает транзитные передачи: откуда, куда и сколько, но на коллекторе вот такая картина: 947129994578 192.168.33.108 35691 0.0.0.1 53402 95 43 0 947130020690 192.168.0.9 19638 0.0.0.1 33215 116 43 0 947130020690 192.168.32.33 10036 0.0.0.1 40562 116 43 0 947130058730 192.168.37.98 4265 0.0.0.1 53679 144 43 0 947130084746 192.168.132.113 25131 0.0.0.1 32211 232 43 0 947130103750 192.168.32.33 1687 0.0.0.1 40562 96 43 0 947130103750 192.168.132.113 25131 0.0.0.1 32211 95 43 0 947130232918 192.168.38.170 2353 0.0.0.1 35691 144 43 0 947130118750 192.168.133.115 35691 0.0.0.1 27002 116 43 0 947130173874 192.168.146.41 6881 0.1.0.4 6881 48 43 0 947130173874 192.168.132.113 25131 0.0.0.1 32211 174 43 0 947130173874 192.168.146.41 4992 0.1.0.4 6881 96 43 0 947130213910 192.168.0.2 0 224.0.0.5 0 940 43 0 947130213910 192.168.146.144 6881 0.1.0.3 6881 93 43 0 947130213910 192.168.41.11 52768 0.0.0.1 19647 95 43 0 947130252918 192.168.132.113 1403 0.0.0.1 32211 144 43 0 upd: vlan299 на TE3/1 Изменено 2 марта, 2011 пользователем loginex Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 3 марта, 2011 (изменено) А зачем у Вас - mls flow ip interface-destination-source - mls sampling packet-based 1024 8000 - mls netflow sampling Хотите грубо прикинуть пролетающий трафик? ip flow egress - я не уверен, но вроде бы 76-я не заточена под учет исходящего трафика... Что показывают sh mls nde sh mls netflow table-contention summ sh mls netflow flowmask Изменено 3 марта, 2011 пользователем Tosha Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
loginex Опубликовано 3 марта, 2011 А зачем у Вас - mls flow ip interface-destination-source - mls sampling packet-based 1024 8000 - mls netflow sampling Хотите грубо прикинуть пролетающий трафик? нет, грубо не надо. советуете убрать ? ip flow egress - я не уверен, но вроде бы 76-я не заточена под учет исходящего трафика...да, судя по всему так оно и есть, но это ладно, повешу ip flow ingress на другом интерфейсе для учета "исходящего траффика".Что показываютsh mls nde sh mls netflow table-contention summ sh mls netflow flowmask #show mls nde Netflow Data Export enabled Exporting flows to 10.10.10.1 (1670) Exporting flows from 192.168.0.1 (62384) Version: 5 Layer2 flow creation is disabled Layer2 flow export is disabled Include Filter not configured Exclude Filter not configured Total Netflow Data Export Packets are: 639 packets, 0 no packets, 17676 records Total Netflow Data Export Send Errors: IPWRITE_NO_FIB = 0 IPWRITE_ADJ_FAILED = 0 IPWRITE_PROCESS = 0 IPWRITE_ENQUEUE_FAILED = 0 IPWRITE_IPC_FAILED = 0 IPWRITE_OUTPUT_FAILED = 0 IPWRITE_MTU_FAILED = 0 IPWRITE_ENCAPFIX_FAILED = 0 IPWRITE_CARD_FAILED = 0 Netflow Aggregation Disabled #sh mls netflow table-contention summ Earl in Module 1 Summary of Netflow CAM Utilization (as a percentage) ==================================================== TCAM Utilization : 10% ICAM Utilization : 0% Netflow Creation Failures : 0 Netflow CAM aliases : 0 #sh mls netflow flowmask current ip flowmask for unicast: if-dst-src current ipv6 flowmask for unicast: null Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 3 марта, 2011 (изменено) Удалите все samling, mls flow egress Чтобы записывалась статистика с детализацией до портов надо более подробную flow-mask mls flow ip interface-full Сделайте на двух портах ip flow ingress Рекомендую снести с интерфейсов и снова назначить Layer2 flow creation is disabledА вот если надо считать Layer2 - почитайте руководство как включать :) Как сделаете - тестируйте как работает Если не заработает попробуйте без опции ip vrf forwarding localnet-vrf И если опять не заработает давайте посмотрим что там с tcam sh tcam int Vlan299 acl in ip Ну и для второго интерфейса тоже Изменено 3 марта, 2011 пользователем Tosha Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
loginex Опубликовано 3 марта, 2011 Удалите все samling, mls flow egress Чтобы записывалась статистика с детализацией до портов надо более подробную flow-mask mls flow ip interface-full Сделайте на двух портах ip flow ingress Рекомендую снести с интерфейсов и снова назначить сделал Layer2 flow creation is disabledА вот если надо считать Layer2 - почитайте руководство как включать :) Как сделаете - тестируйте как работает Если не заработает попробуйте без опции ip vrf forwarding localnet-vrf И если опять не заработает давайте посмотрим что там с tcam sh tcam int Vlan299 acl in ip Ну и для второго интерфейса тоже меня вот немного смущает то, что траф считается то в общем-то говоря правильно, только вот dst-ip везде какой-то кривой, если только это не был ip адрес интерфейса на циске.... т.е. тут видимо какие-то особенности при работе с msfc/pfc, которые мне непонятны. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
loginex Опубликовано 3 марта, 2011 без vrf не могу, все равно не заработало(точнее работает, но dstip по прежнему кривой) Router#sh tcam int Vlan299 acl in ip * Global Defaults not shared Entries from Bank 0 Entries from Bank 1 permit ip any any (1892418603 matches) Router#sh tcam int Vlan10 acl in ip * Global Defaults not shared Entries from Bank 0 Entries from Bank 1 permit ip any any (1894228044 matches) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 4 марта, 2011 Сделайте пару тестовых интерфейсов и погоняйте трафик без vrf Как работает NDE + vrf я лично не знаю, у нас без таких изысков. Вот нагуглил что-то про NDE + VRF Гуглите дальше, и глубже. Похоже, что с настройкой NDE + VRF надо пару верных команд добавить... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
loginex Опубликовано 11 марта, 2011 Сделайте пару тестовых интерфейсов и погоняйте трафик без vrfКак работает NDE + vrf я лично не знаю, у нас без таких изысков. Вот нагуглил что-то про NDE + VRF Гуглите дальше, и глубже. Похоже, что с настройкой NDE + VRF надо пару верных команд добавить... пока выяснил точно, что то, что мне приходит по netflow - это от MSFC, а вот с PFC ничего не приходит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
loginex Опубликовано 11 марта, 2011 в общем глюк заключается в том, что экспорт нетфлоу с PFC не работает с интерфейса, находящегося в vrf(причем MSFC экспортируется нормально), если использовать интерфейс из глобальной таблицы - то все в порядке. возможно это баг прошивки, но на цискокоме про это ничего пока не нашел. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
secandr Опубликовано 11 марта, 2011 А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг. мы их долго мучали, в итоге перенесли netFlow на бордер. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 11 марта, 2011 Ну там есть пара грабель, но если не зеркалить порт (при учете Layer2 трафика) и, как мы тут выяснили, не использовать VRF то вроде все нормально... А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.Скажите пожалуйста, а Вы на что именно там "наступили"? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
loginex Опубликовано 11 марта, 2011 Ну там есть пара грабель, но если не зеркалить порт (при учете Layer2 трафика) и, как мы тут выяснили, не использовать VRF то вроде все нормально... А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.Скажите пожалуйста, а Вы на что именно там "наступили"? ну в vrf она траффик считает нормально, просто интерфейс, с которого она льет нетфлоу траффик на коллектор не должен находиться в vrf, и да, я пробовал указывать vrf в команде ip flow-export $IP $UDP_PORT vrf localnet - так с PFC не экспортируются данные. А cisco вообще не советует юзать netFlow на 7600, заявляет, что там хардварный баг.мы их долго мучали, в итоге перенесли netFlow на бордер. 7600 ? а разве оборудование не к 6700 серии принадлежит ? Это я к тому, что когда читал на цискокоме солюшены по настройке нетфлоу, нигде не говорилось, что у них есть какой-то баг. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 11 марта, 2011 (изменено) 6700 фигурирует в названиях модулей. Маршрутизатор 7600 на уровне шасси и модулей во многом наследник коммутатора 6500. Но все же мозги у него, особенно в виде WS-SUP720-3BXL именно 7600 серия маршрутизаторов. А многие модули универсальны. Они и в 7600 и 6500 встают. Но надо читать раздел совместимости и требования к версиям железа и прошивок (IOS) Изменено 11 марта, 2011 пользователем Tosha Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
secandr Опубликовано 11 марта, 2011 на 7600 записи нетфлоу агрегируются на каком-то внутреннем насителе, а потом отправляются на сервер так вот там пропадаю записи из-за маленького объёма а забирать слишком часто данные нельзя, в итоге нетфлоу на 7600 при нагрузке в несколько гбит будет работать почти как sFlow :) только более непредсказуемо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
loginex Опубликовано 11 марта, 2011 на 7600 записи нетфлоу агрегируются на каком-то внутреннем насителе, а потом отправляются на сервертак вот там пропадаю записи из-за маленького объёма а забирать слишком часто данные нельзя, в итоге нетфлоу на 7600 при нагрузке в несколько гбит будет работать почти как sFlow :) только более непредсказуемо. если не сложно, можно ссылку на описание бага ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
loginex Опубликовано 11 марта, 2011 у меня, кстати, сейчас вот такая картина при 2гбит\с full duplex(т.е. 4гб\с) Router#sh mls netflow table-contention summary Earl in Module 1 Summary of Netflow CAM Utilization (as a percentage) ==================================================== TCAM Utilization : 100% ICAM Utilization : 4% Netflow Creation Failures : 29478 Netflow CAM aliases : 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
loginex Опубликовано 11 марта, 2011 еще немного уличной магии Router#show running-config | i aging mls aging fast time 5 threshold 32 mls aging long 64 mls aging normal 32 Router#sh mls netflow table-contention summary Earl in Module 1 Summary of Netflow CAM Utilization (as a percentage) ==================================================== TCAM Utilization : 65% ICAM Utilization : 0% Netflow Creation Failures : 0 Netflow CAM aliases : 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YaroslavR Опубликовано 12 марта, 2011 у меня, кстати, сейчас вот такая картина при 2гбит\с full duplex(т.е. 4гб\с) Router#sh mls netflow table-contention summary Earl in Module 1 Summary of Netflow CAM Utilization (as a percentage) ==================================================== TCAM Utilization : 100% ICAM Utilization : 4% Netflow Creation Failures : 29478 Netflow CAM aliases : 0 До боли знакомая картина... В реализации Netflow на Sup32/Sup720 всех модификаций есть 4 аппаратных ограничения связанные со спецификой чипа EARL7: 1. Нет пакетного семплирования. Все пакеты попадают в кеш, а оттуда уже семплируются. При 100% загрузке TCAM информация о новых сессиях не сохраняется - соответственно данные Netflow становятся полностью недостоверными. К сожалению этот процесс не зависит напрямую от объема трафика: важна специфика - сколько сессий проходит через железку, насколько удачно их хеши ложатся в TCAM и проч. Решения этой проблемы нет - в качестве временных методов способных ненадолго улучшить ситуацию можно посоветовать отключение семплинга и выкручивание aging таймеров в минимум, а так же установку DFC модулей; 2. Во flow записях не отдаются TCP флаги. Для определенных задач это важно; 3. Netflow не поддерживается для пакетов с MPLS метками. Несмотря на то что соответствующие команды CLI есть: 4. Netflow не экспортируется для отброшенного трафика Если вам важен Netflow - не выбирайте Cisco 7600/6500. Из цисколенда смотрите в сторону ASR1000/ASR9000/Nexus7000 - там с flow /по крайней мере на аппаратном уровне/ все более-менее хорошо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
secandr Опубликовано 12 марта, 2011 (изменено) loginex а TAC ничего по этому поводу официально не отвечает и бага таког нет, насколько я знаю. В личной беседе инженеры говорят что-то вроде поста выше. На аср серии тоже не всё гладко, но по крайней мере нетфлоу там собирается :) Изменено 12 марта, 2011 пользователем secandr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...