pchol

И не у кого нет идей ? =(

Снизил количество входящего трафика на аплинк. И о чудо. Никаких скачков. Звонки в ТП прекратиились. Выходные прошли спокойно. ag3#sh processes cpu history 11111 9999955555777774444466666444440000044444666665555555555333 100 90 80 70 60 50 40 30 20 10 *************** ***** ***** *************** 0....5....1....1....2....2....3....3....4....4....5....5.... 0 5 0 5 0 5 0 5 0 5 CPU% per second (last 60 seconds) 111111111 114 1 11 1 1 21111 1 8000101010802098829779896871086616777092001289880887799588 100 90 80 70 60 50 40 * 30 * 20 * * 10 ########################**###***#***########***####**##*** 0....5....1....1....2....2....3....3....4....4....5....5.... 0 5 0 5 0 5 0 5 0 5 CPU% per minute (last 60 minutes) * = maximum CPU% # = average CPU% 2521221121124211342111121222222221123121111222232422311121234111221232 2806007767862387062789646024090327961949956302551428875505063584057223 100 90 80 70 60 * 50 * * 40 * * * * * * ** 30 * * ** ** * ** ** * ** ** * * 20 *************************************************************** ****** 10 ######*******#**##############********#################*******######## 0....5....1....1....2....2....3....3....4....4....5....5....6....6....7. 0 5 0 5 0 5 0 5 0 5 0 5 0 CPU% per hour (last 72 hours) * = maximum CPU% # = average CPU% Вопрос отчего же такой порог в 500мбит ? Честно говоря походит как бы на дуплекс. Но порты на обоих сторонах 1000fdx, да и не бывает вродебы гигабита hdx...

Странно что проблема возникает в том случае когда трафик достигает 500мбит. Как будто ударяется в полку и выключается / блокируется интерфейс. Завтра попробую вынести частично нагрузку с порта и поглядеть на ситуацию.

storm control multicast 0 storm control broadcast 5 Хорош уменьшу. STP было отключено вооообще. Но в связи с советом в начале темы включил stp. Участвует только цыска. Рутом она сама для себя =) ag3#sh spanning-tree MST0 Spanning tree enabled protocol mstp Root ID Priority 24576 Address 00d0.002a.d800 This bridge is the root Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec Bridge ID Priority 24576 (priority 24576 sys-id-ext 0) Address 00d0.002a.d800 Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec Interface Role Sts Cost Prio.Nbr Type ---------------- ---- --- --------- -------- -------------------------------- Gi1/2 Desg FWD 20000 128.2 P2p Gi8/1 Desg FWD 20000 128.897 P2p Gi8/2 Desg FWD 20000 128.898 P2p Gi8/3 Desg FWD 20000 128.899 P2p Gi8/4 Desg FWD 20000 128.900 P2p Gi8/5 Desg FWD 20000 128.901 P2p Gi8/6 Desg FWD 20000 128.902 P2p Gi8/7 Desg FWD 20000 128.903 P2p Gi8/8 Desg FWD 20000 128.904 P2p Gi8/9 Desg FWD 20000 128.905 P2p Gi8/10 Desg FWD 20000 128.906 P2p Gi8/11 Desg FWD 20000 128.907 P2p Gi8/12 Desg FWD 20000 128.908 P2p Gi8/13 Desg FWD 20000 128.909 P2p Gi8/14 Desg FWD 20000 128.910 P2p Gi8/15 Desg FWD 20000 128.911 P2p Gi8/16 Desg FWD 20000 128.912 P2p Gi9/2 Desg FWD 20000 128.1026 P2p Gi9/7 Desg FWD 20000 128.1031 P2p Gi9/8 Desg FWD 20000 128.1032 P2p Gi9/9 Desg FWD 20000 128.1033 P2p Gi9/10 Desg FWD 20000 128.1034 P2p Gi9/11 Desg FWD 20000 128.1035 P2p Gi9/12 Desg FWD 20000 128.1036 P2p Gi9/13 Desg FWD 20000 128.1037 P2p Gi9/14 Desg FWD 20000 128.1038 P2p Gi9/15 Desg FWD 20000 128.1039 P2p Gi9/16 Desg FWD 20000 128.1040 P2p

Там обычное дерево. STP... все в одном дереве, цыска рутом. все как то так... Interface Role Sts Cost Prio.Nbr Type ---------------- ---- --- --------- -------- -------------------------------- Gi1/2 Desg FWD 20000 128.2 P2p

Вчера включил STP в режиме mstp в 1 инстанс засунул все вланы. Однако лаги продолжаются. Loopguard включен. В логах тихо. По прежнему stp ?

Да нет их там я более чем уверен

И каковы же должны быть мои "правильные" дейсвтия ? Настроить логирование в режиме info / debug именно для stp (если возможно) и помотреть где же корни проблемы ? Настроить таки нормально до конца stp на этом узле с учётом совместимости с другими версиями (не юзать к примеру pvst ) ? Или есть каие то альтерантивные действия которые стоит совершить ? Кстати при включенном bpdu filter проблема не исчезла и sh proc cpu hist показывает скачки нагрузки.

Но почему тогда проблема возникает только вечермо когда трафик достигает порога в 500-600мбит ? Транки если имеете ввиду link agregation не настраивал. native vlan действительно присутствует на некоторых портах. Но что я не так мог указать ?

Наверно Вы правы. =) Спасибо, попробую.

STP то stp. Но оно же отключено =) Router#sh spanning-tree No spanning tree instance exists. Router#sh spanning-tree summary Switch is in pvst mode Root bridge for: none EtherChannel misconfig guard is disabled Extended system ID is enabled Portfast Default is disabled PortFast BPDU Guard Default is disabled Portfast BPDU Filter Default is disabled Loopguard Default is disabled UplinkFast is disabled BackboneFast is disabled Pathcost method used is short Name Blocking Listening Learning Forwarding STP Active ---------------------- -------- --------- -------- ---------- ---------- Total 0 0 0 0 0 чудеса ?

Однако ! После отключения всей этой бодяги в логах замечены следующие записи. 03:01:01: %MCAST-SP-6-IGMP_PKT_DROPPED: IGMP: IGMP Queue full (high packet rate/CPU busy), dropped 5021 packet(s) in las t 5 minutes 06:51:46: %SPANTREE-SP-2-RECV_PVID_ERR: Received BPDU with inconsistent peer vlan id 331 on GigabitEthernet1/2 VLAN364. 06:51:46: %SPANTREE-SP-2-BLOCK_PVID_PEER: Blocking GigabitEthernet1/2 on VLAN0331. Inconsistent peer vlan. 06:51:46: %SPANTREE-SP-2-BLOCK_PVID_LOCAL: Blocking GigabitEthernet1/2 on VLAN0364. Inconsistent local vlan. 06:51:47: %SPANTREE-SP-2-RECV_PVID_ERR: Received BPDU with inconsistent peer vlan id 1111 on GigabitEthernet8/11 VLAN331 . 06:51:47: %SPANTREE-SP-2-BLOCK_PVID_PEER: Blocking GigabitEthernet8/11 on VLAN1111. Inconsistent peer vlan. 06:51:47: %SPANTREE-SP-2-BLOCK_PVID_LOCAL: Blocking GigabitEthernet8/11 on VLAN0331. Inconsistent local vlan. 06:51:47: %SPANTREE-SP-2-RECV_PVID_ERR: Received BPDU with inconsistent peer vlan id 1 on GigabitEthernet1/2 VLAN364. 06:51:47: %SPANTREE-SP-2-BLOCK_PVID_PEER: Blocking GigabitEthernet1/2 on VLAN0001. Inconsistent peer vlan. 06:52:01: %SPANTREE-SP-2-UNBLOCK_CONSIST_PORT: Unblocking GigabitEthernet1/2 on VLAN0331. Port consistency restored. 06:52:02: %SPANTREE-SP-2-UNBLOCK_CONSIST_PORT: Unblocking GigabitEthernet8/11 on VLAN1111. Port consistency restored. 06:52:02: %SPANTREE-SP-2-UNBLOCK_CONSIST_PORT: Unblocking GigabitEthernet8/11 on VLAN0331. Port consistency restored. 06:52:02: %SPANTREE-SP-2-UNBLOCK_CONSIST_PORT: Unblocking GigabitEthernet1/2 on VLAN0001. Port consistency restored. 06:52:02: %SPANTREE-SP-2-UNBLOCK_CONSIST_PORT: Unblocking GigabitEthernet1/2 on VLAN0364. Port consistency restored.

Убрал pbr / udld / stp. тож самое. Стало чуть красивее но не суть. Router#sh proc cpu hist 111122222 1111111111222221111111111 11111111111111 4444333337777733333444440000000000000007777733333111112222 100 90 80 70 60 50 40 30 20 ***** ***** 10 ********************************************************** 0....5....1....1....2....2....3....3....4....4....5....5.... 0 5 0 5 0 5 0 5 0 5 CPU% per second (last 60 seconds) 2111111111111111111111111111111111111 15122111111216112211 0023564403332327445556562322293484640928477366222952880332 100 90 80 70 60 * * 50 * * 40 * * 30 * ** * * 20 * ** * ****** * * * # ** ** **#**** 10 ########################################################## 0....5....1....1....2....2....3....3....4....4....5....5.... 0 5 0 5 0 5 0 5 0 5 CPU% per minute (last 60 minutes) * = maximum CPU% # = average CPU% 612222679 261410150 100 90 * 80 ** 70 ** 60 * *** 50 * *** 40 * *** 30 * *** 20 ********* 10 ######### 0....5....1....1....2....2....3....3....4....4....5....5....6....6....7. 0 5 0 5 0 5 0 5 0 5 0 5 0 CPU% per hour (last 72 hours) * = maximum CPU% # = average CPU%

Оно не включено.

aggregate-policer объявлен но не используется. удлд попробую отключить.

Router#sh proc cpu hist 11111 11111 1111111111111111111111 9777770000055555222229999988888999991111144444999991111100 100 90 80 70 60 50 40 30 20 ***** 10 ********************************************************** 0....5....1....1....2....2....3....3....4....4....5....5.... 0 5 0 5 0 5 0 5 0 5 CPU% per second (last 60 seconds) 1211 1 111212211111112111221211111121111111211112112211121 9488938145071331969371965397012544344472574213345443094709 100 90 80 70 60 50 40 30 * * 20 **** ***** *** ********* * * * ** * * *** *** 10 ########################################################## 0....5....1....1....2....2....3....3....4....4....5....5.... 0 5 0 5 0 5 0 5 0 5 CPU% per minute (last 60 minutes) * = maximum CPU% # = average CPU% 1 2222223332389204322222232232221111222233222232222222223212222222989822 7487985259184605486545942642637879035842364106495217473690100485062827 100 * 90 ** * **** 80 ** * **** 70 ** * **** 60 ** * **** 50 ** ** **** 40 * * ** ** **** 30 * ****************** *** ** * **** * ** ** * *** ****** * 20 **************##*********************###****************************** 10 ###################################################################### 0....5....1....1....2....2....3....3....4....4....5....5....6....6....7. 0 5 0 5 0 5 0 5 0 5 0 5 0 CPU% per hour (last 72 hours) * = maximum CPU% # = average CPU% Конфиг http://pastebin.com/vCXsPhFG

STP включено. UDLD по портам тоже. В логах по поводу колец ничего не заметно. ИОС вроде бы как "ходовой". Router#sh ver Cisco Internetwork Operating System Software IOS (tm) s222_rp Software (s222_rp-IPSERVICESK9_WAN-M), Version 12.2(18)SXF17, RELEASE SOFTWARE (fc1) На какти не грешу потому что я реально вижу перебои просто напросто пингуя удалённую машину. По поводу STP опять же... Router#sh spanning-tree summary totals ..... Name Blocking Listening Learning Forwarding STP Active ---------------------- -------- --------- -------- ---------- ---------- 115 vlans 0 0 0 2990 2990 То есть вроде бы нигде ничего не перестраивается.

Не помогает. Уже пробовал.

Добрый день. Имеем следующее cisco 6500 / sup2 / pfc2 / msfc2 / 2 карты WS-X6516-GBIC Она выступает агрегацией ~110 виланов. Статическая маршрутизация. ACL нет. PBR простенький (по ацлу из ~200 правил), болтается на _всех_ вилан интерфейсах. qos в режиме queueing-only mode Вечером наблюдаем картинку (в аттаче). Данная картинка наблюдается на _аплинке_ Почитал вот тут http://www.cisco.com/en/US/products/hw/swi...0807347ab.shtml Оказалось что pfc2 не умеет mac-address-table synchronize Всё остальное пытался проделывать. Безрезультатно. Для клиентов эти перебои видны в виде примерно 15-20% потерь. Причём перебои идут интервалами, то есть 300 пакетов может пройти без потерь, а потом 50 подряд потеряются. sh proc cpu показывает примерно следующее CPU utilization for five seconds: 13%/3%; one minute: 14%; five minutes: 13% PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process 9 12180624 20019761 608 5.43% 5.68% 5.62% 0 ARP Input 167 4330144 13483388 321 1.75% 2.00% 1.55% 0 SNMP ENGINE 116 3416540 28660688 119 0.87% 0.86% 0.78% 0 IP Input 134 2214860 24864773 89 0.79% 0.70% 0.52% 0 IP SNMP 26 1145544 82877 13822 0.39% 0.38% 0.39% 0 HC Counter Timer 155 367356 477310 769 0.31% 0.14% 0.15% 0 DHCPD Receive 261 897076 5629709 159 0.31% 0.21% 0.20% 0 Port manager per 76 1657644 98301 16862 0.23% 0.21% 0.17% 0 Compute load avg 157 361956 73091 4952 0.23% 0.18% 0.16% 0 Adj Manager 162 281840 125446 2246 0.07% 0.07% 0.06% 0 IPC LC Message H 163 610836 12442306 49 0.07% 0.20% 0.16% 0 PDU DISPATCHER 166 224476 586077 383 0.07% 0.07% 0.07% 0 CEF process 44 36 62 580 0.07% 0.00% 0.00% 1 Virtual Exec Не подскажите ли куда смотреть и как отмониторить проблему ?

Согласен с предыдущим автором но так сделаны все "китайские" медики (planet / snr / fibertool и т д)

Ставили когда то такие. http://ctsystem.ru/vcd-1247-1-3337/goodsinfo.osg С СФПшками corelink / multico / nag проблем не наблюдалось. Если FTTH почему не сразу свитч с SFP ?

Я не понял =( Можно подробнее ? 5 минутные значения чего ?

Вроде как один пропиретарный цыскин, второй так сказать открытый. Вот и всё по большому счёту.

Я понимаю, вопрос был как снизить нагрузку уже сейчас, не дожидаясь полного ухода от НАТа.

shicoy, Что вы, какой BRAS =) маловаты ещё. Кругом linux (nat, nas, shaper), vlan агрегирует 6500(sup32). SokolovS, Кому как.