serg_sk Опубликовано 30 ноября, 2012 (изменено) · Жалоба Приветствую. Есть проблема. Но начну с оборудования. Имеется Cisco 6509 + Sup7203B. Mod Ports Card Type Model Serial No.--- ----- -------------------------------------- ------------------ ----------- 1 1 1 port 10-Gigabit Ethernet Module WS-X6502-10GE SAD063102CJ 2 48 48 port 10/100 mb RJ45 WS-X6348-RJ-45 SAL0605HBEM 3 16 16 port 1000mb GBIC ethernet WS-X6416-GBIC SAD05060THH 4 16 16 port 1000mb GBIC ethernet WS-X6416-GBIC SAL0540CS1A 5 2 Supervisor Engine 720 (Active) WS-SUP720-BASE SAD080403YE 6 1 1 port 10-Gigabit Ethernet Module WS-X6502-10GE SAD0617007T Mod Sub-Module Model Serial Hw Status ---- --------------------------- ------------------ ----------- ------- ------- 1 10GBASE-LR Serial 1310nm lo WS-G6488 SAD0631017B 1.1 Ok 2 Inline Power Module WS-F6K-VPWR 1.0 Ok 5 Policy Feature Card 3 WS-F6K-PFC3B SAD0914053A 2.1 Ok 5 MSFC3 Daughterboard WS-SUP720 SAD072504WS 1.5 Ok 6 10GBASE-LR Serial 1310nm lo WS-G6488 SAD0729064P 1.1 Ok System Resources PFC operating mode: PFC3B Supervisor redundancy mode: administratively sso, operationally sso Switching resources: Module Part number Series CEF mode 1 WS-X6502-10GE CEF256 CEF 2 WS-X6348-RJ-45 classic CEF 3 WS-X6416-GBIC classic CEF 4 WS-X6416-GBIC classic CEF 5 WS-SUP720-BASE supervisor CEF 6 WS-X6502-10GE CEF256 CEF Для сбора статистики для биллинга запущен netflow, который отжирает 100% TCAM. Netflow Resources TCAM utilization: Module Created Failed %Used 5 130946 0 100% ICAM utilization: Module Created Failed %Used 5 2 247451 1% Flowmasks: Mask# Type Features IPv4: 0 reserved none IPv4: 1 Intf Ful Intf NDE L3 Feature IPv4: 2 unused none IPv4: 3 reserved none IPv6: 0 reserved none IPv6: 1 unused none IPv6: 2 unused none IPv6: 3 reserved none # show mls netflow table-contention detailed Earl in Module 5Detailed Netflow CAM (TCAM and ICAM) Utilization ================================================ TCAM Utilization : 100% ICAM Utilization : 3% Netflow TCAM count : 130948 Netflow ICAM count : 4 Netflow Creation Failures : 5309 Netflow CAM aliases : 0 netflow собирает со всех юзерских вланов, + на вланах на первом модуле. 10г аплинк. Конфигурация такая: ip flow-cache timeout inactive 120 ip flow-cache timeout active 1 mls ip nat netflow-frag-l4-zero no mls acl tcam share-global mls aging fast time 16 threshold 50 mls aging long 300 mls aging normal 64 mls netflow interface mls flow ip interface-full mls nde sender version 5 mls qos mls cef error action reset Подскажите как можно разгрузить TCAM. Изменено 30 ноября, 2012 пользователем serg_sk Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
uxcr Опубликовано 1 декабря, 2012 (изменено) · Жалоба Манипуляции с aging редко дают результат, уменьшение таймеров вызывает опять нагрузку на проц, из-за учащения выдёргивания данных начинает проваливаться io. Может помочь, но обычно никому не нужно, сохранение только полей dst ip+dst-port. Переходите на DFC, там нетфлоу собирается на каждой карте отдельно, но и то на практике установленного dfc на обычного интернет-трафика хватает на 400мбит/с, потом те же беды. Вдвое большей ёмкостью обладают 3bxl, это означает замену супервизора тьфу, pfc, и установку соответствующих dfc. Почесав репу, в своё время забили на эти изыски, и отправили траф в span для разбора на 8-core ng_netflow. Изменено 1 декабря, 2012 пользователем uxcr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dignity Опубликовано 1 декабря, 2012 · Жалоба только через span, мне кажется может быть даже проще заменять железку на что-то с поддержкой sflow, если Вас погрешность не смущает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
avtomax.com.ua Опубликовано 1 декабря, 2012 · Жалоба Только перешли с суп2 на суп720, так что заменить суп неу возможности. Кроме того топикстартер не сказал главное. Как поставили новый суп720б и плату с портом 10Г, циска стала падать рандомно. Вот и обратили внимание на вышеуказаную проблему, думая о том что циска падает именно из за этого. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
uxcr Опубликовано 2 декабря, 2012 · Жалоба Вряд ли, есть такой же перегруженный суп720, терминирует в L2 ~7-8гбит , стоит без ребута несколько лет. А в "show platform hardware capacity" никакого криминала? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
serg_sk Опубликовано 3 декабря, 2012 · Жалоба #show platform hardware capacity System Resources PFC operating mode: PFC3B Supervisor redundancy mode: administratively sso, operationally sso Switching resources: Module Part number Series CEF mode 1 WS-X6502-10GE CEF256 CEF 2 WS-X6348-RJ-45 classic CEF 4 WS-X6416-GBIC classic CEF 5 WS-SUP720-BASE supervisor CEF 6 WS-X6502-10GE CEF256 CEF 7 WS-X6516A-GBIC CEF256 CEF Power Resources Power supply redundancy mode: administratively redundant operationally redundant System power: 2331W, 0W (0%) inline, 1108W (48%) total allocated Powered devices: 0 total, 0 Class3, 0 Class2, 0 Class1, 0 Class0, 0 Cisco Flash/NVRAM Resources Usage: Module Device Bytes: Total Used %Used 5 SP disk0: 256540672 184492032 72% 5 SP disk1: 127840256 73547776 58% 5 SP sup-bootflash: 65536000 34933760 53% 5 SP const_nvram: 129004 30324 24% 5 SP nvram: 1964024 121557 6% 5 RP bootflash: 65536000 1558868 2% CPU Resources CPU utilization: Module 5 seconds 1 minute 5 minutes 5 RP 70% / 3% 46% 37% 5 SP 20% / 2% 27% 27% Processor memory: Module Bytes: Total Used %Used 5 RP 391739920 109179292 28% 5 SP 367044960 107497804 29% I/O memory: Module Bytes: Total Used %Used 5 RP 67108864 13902404 21% 5 SP 67108864 15705560 23% EOBC Resources Module Packets/sec Total packets Dropped packets 5 RP Rx: 56 29231731 789 Tx: 44 25099734 0 5 SP Rx: 31 26649825 235 Tx: 38 30779608 0 VLAN Resources VLANs: 4094 total, 501 VTP, 7 extended, 14 internal, 3572 free L2 Forwarding Resources MAC Table usage: Module Collisions Total Used %Used 5 0 65536 3569 5% VPN CAM usage: Total Used %Used 512 0 0% L3 Forwarding Resources FIB TCAM usage: Total Used %Used 72 bits (IPv4, MPLS, EoM) 196608 13778 7% 144 bits (IP mcast, IPv6) 32768 8 1% detail: Protocol Used %Used IPv4 13778 7% MPLS 0 0% EoM 0 0% IPv6 1 1% IPv4 mcast 4 1% IPv6 mcast 3 1% Adjacency usage: Total Used %Used 1048576 3345 1% Forwarding engine load: Module pps peak-pps peak-time 5 231063 783847 20:20:13 Ukraine Wed Nov 28 2012 Netflow Resources TCAM utilization: Module Created Failed %Used 5 130947 0 100% ICAM utilization: Module Created Failed %Used 5 3 731319 2% Flowmasks: Mask# Type Features IPv4: 0 reserved none IPv4: 1 Intf Ful Intf NDE L3 Feature IPv4: 2 unused none IPv4: 3 reserved none IPv6: 0 reserved none IPv6: 1 unused none IPv6: 2 unused none IPv6: 3 reserved none CPU Rate Limiters Resources Rate limiters: Total Used Reserved %Used Layer 3 9 4 1 44% Layer 2 5 3 3 60% ACL/QoS TCAM Resources Key: ACLent - ACL TCAM entries, ACLmsk - ACL TCAM masks, AND - ANDOR, QoSent - QoS TCAM entries, QOSmsk - QoS TCAM masks, OR - ORAND, Lbl-in - ingress label, Lbl-eg - egress label, LOUsrc - LOU source, LOUdst - LOU destination, ADJ - ACL adjacency Module ACLent ACLmsk QoSent QoSmsk Lbl-in Lbl-eg LOUsrc LOUdst AND OR ADJ 5 15% 17% 1% 1% 1% 1% 0% 0% 0% 0% 1% L3 Multicast Resources IPv4 replication mode: ingress Bi-directional PIM Designated Forwarder Table usage: 4 total, 0 (0%) used Replication capability: Module IPv4 IPv6 1 ingress - 2 ingress - 4 ingress - 5 egress - 6 ingress - 7 egress - MET table Entries: Module Total Used %Used 5 65516 6 1% QoS Policer Resources Aggregate policers: Module Total Used %Used 5 1024 1 1% Microflow policer configurations: Module Total Used %Used 5 64 1 1% Switch Fabric Resources Bus utilization: not supported Fabric utilization: Ingress Egress Module Chanl Speed rate peak rate peak 1 0 8G 9% 0% 10% 0% 5 0 20G 1% 0% 1% 0% 6 0 8G 0% 0% 0% 0% 7 0 8G 7% 0% 10% 0% Switching mode: Module Switching mode 1 crossbar 5 bus 6 crossbar 7 crossbar Interface Resources Interface drops: Module Total drops: Tx Rx Highest drop port: Tx Rx 1 0 83145 0 1 2 1133 0 6 0 4 7054 2303 2 2 5 578 2051 1 1 7 639 382 9 7 Interface buffer sizes: Module Bytes: Tx buffer Rx buffer 1 67107840 262080 2 112640 80896 4 442368 81920 6 67107840 262080 7 901120 147456 IBC Resources Module Packets/sec Total packets Dropped packets 5 RP Rx: 311 131447394 0 Tx: 87 29554480 0 5 SP Rx: 14 6450212 0 Tx: 427 189957767 0 SPAN Resources Source sessions: 16 maximum, 0 used Type Max Used Local 2(*) 0 Local-tx 14 0 RSPAN source 2(*) 0 ERSPAN source 2(*) 0 Service module 1(*) 0 OAM loopback 1(*) 0 * - shared source sessions and the total can not exceed 2 Destination sessions: 64 maximum, 0 used Type Max Used RSPAN destination 64(*) 0 ERSPAN destination 24(*) 0 * - shared destination sessions and the total can not exceed 64 Multicast LTL Resources Usage: 30656 Total, 2051 Used Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alks Опубликовано 3 декабря, 2012 · Жалоба Убирайте netflow с тазика, что 6500 что 7600 серия не тянет его в больших объемах Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
serg_sk Опубликовано 3 декабря, 2012 · Жалоба И каким образом тогда собирать статистику? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dignity Опубликовано 3 декабря, 2012 · Жалоба SPAN на linux и там же netflow генератор и сенсор... Кстати WS-X6502-10GE - это экзотичная экзотика... Вам бы WS-x6704-10GE, и SPAN по 2м десяткам на linux. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alks Опубликовано 3 декабря, 2012 · Жалоба И каким образом тогда собирать статистику? :) ну как выше предлагали, ну или вынести на другую железку 650 760 реально быстро плохеет от netflow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
avtomax.com.ua Опубликовано 3 декабря, 2012 · Жалоба У нас (serg_sk это коллега) в циске сейчас две платы по 10Г стоит. В каждой свой аплинк. Это сейчас надо ставить третью, из нее в какой то тазик с линухом... Может есть другой вариант? Да и основной вопрос это не 100% загрузка, а то что циска падает тогда когда ей захотелось. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ajar Опубликовано 26 декабря, 2012 · Жалоба У вас циска работает неоптимально т.е. на ней почти все кроме ната , покупка 6502 модуля ситуацию не спасет . В скайпе я не писал , но вам нужно сделать планирование сети . Почти те же задачи у нас в одной домомсети делает старый древний SUP2 c массой аггрегированных портов , acl - мы убрали . Итого вам нужно принципиально вынести доступ с этой циски , оставить на ней только аггрегацию и внешнюю маршрутизацию. Доступ сделайте на обычном X86 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...