a.mihalich Posted January 29, 2020 Posted January 29, 2020 Добрый день! Обнаружилась проблема с broadcast. Существует сегмент сети, топология звезда. В сети порядка 80 коммутаторов типа SNR-S2982G-24T. На свитчах настроено 4 вилана, 3 для клиентов и один для управления оборудованием. Вилан управления поднят на маршрутизаторе cisco 1921(по умолчанию arp хранится 10 минут). Все свитчи опрашиваются системой мониторинга 1 раз в 5 минут, следовательно связка мас-ip на роутере постоянная и производить arp запрос нет нужды. Однако на интерфейс управления свитчом постоянно летит broadcast в больших количествах: interface Vlan200 description manager ip address 10.192.107.68 255.255.255.224 sw-26#sh interface Vlan200 Vlan200 is up, line protocol is up, dev index is 11200 Device flag 0x1003(UP BROADCAST MULTICAST) Time since last status change:1w-1d-11h-8m-25s (731305 seconds) IPv4 address is: 10.192.107.68 255.255.255.224 (Primary) VRF Bind: Not Bind Hardware is EtherSVI, address is f8-f0-82-77-0c-f4 MTU is 1500 bytes , BW is 0 Kbit Encapsulation ARPA, loopback not set 5 minute input rate 12775992 bits/sec, 1259 packets/sec 5 minute output rate 394482 bits/sec, 423 packets/sec The last 5 second input rate 14156779 bits/sec, 1134 packets/sec The last 5 second output rate 306154 bits/sec, 310 packets/sec Input packets statistics: Input queue 0/1200, 0 drops 702654171 packets input, 3339504570 bytes, 5541280 no buffer 0 input errors, 0 CRC, 0 oversize, 0 undersize 0 jabber, 0 fragments Output packets statistics: 363144182 packets output, 3205913784 bytes, 0 underruns 0 output errors, 0 collisions sw-26#sh ver SNR-S2985G-24T Device, Compiled on Jan 13 21:16:58 2016 CPU Mac f8:f0:82:77:0c:f5 Vlan MAC f8:f0:82:77:0c:f4 SoftWare Version 7.0.3.5(R0241.0085) BootRom Version 7.2.25 HardWare Version 1.0.2 CPLD Version N/A Serial No.:SW067210H316000434 Copyright (C) 2016 NAG LLC All rights reserved Last reboot is warm reset. Uptime is 1 weeks, 1 days, 11 hours, 23 minutes Периодически из за этого свитч перестает нормально работать, telnet виснит, cpu 100% В данном сегменте, стоят так же свитчи cisco и huawei и с ними ни чего подобного не происходит. Вопрос: как решить данную проблему? Как отловить этот трафик и понять что за пакеты? C уважением Андрей Ботов a.mihalich@gmail.com Вставить ник Quote
Aleksey Sonkin Posted January 29, 2020 Posted January 29, 2020 @a.mihalich Добрый день! счетчики на интерфейсе не показательны, в данном выводе показываются суммарный pps трафика, куда данный vlan добавлен, возможности просматривать данные по L3-интерфейсу нет, это все-таки L2-коммутатор. Проблема может быть связана со многими факторами. Необходимы выводы команд 'sh cpu usage', 'sh cpu-rx protocol all', 'sh log' , снятые сразу после возникновения проблемы. Эти данные + 'sh run' и 'sh ver' просьба приложить к обращению на support.nag.ru Вставить ник Quote
a.mihalich Posted January 29, 2020 Author Posted January 29, 2020 Собрал вывод команд 'sh cpu usage ', 'sh cpu-rx protocol all ', 'sh lo g ' , 'sh run' и 'sh ver' а так же в реальном времени график загрузки интерфейса управления по broadcast config-sw-broadcast.txt Вставить ник Quote
a.mihalich Posted January 29, 2020 Author Posted January 29, 2020 У меня есть предположение, что на интерфейс управления влетает трафик с бродкастом из других виланов. Вставить ник Quote
passer Posted January 29, 2020 Posted January 29, 2020 Зеркалировать порт и глянуть wireshark или другим снифером. А потом что-то предполагать. Вставить ник Quote
Aleksey Sonkin Posted January 29, 2020 Posted January 29, 2020 @a.mihalich Проблема по логам была в какое время? Не увидел 'sh cpu-rx protocol all' и 'sh ver'. Вижу, что используется версия ПО R0241.0085 - это одна из самых первых версий, с момента ее выхода было огромное количество исправлений и доработок. Поэтому обновитесь до последней версии, которая доступна здесь. Также проверьте какая именно модель у вас используется, здесь написали SNR-S2982G, в логах вижу SNR-S2985G. Если проблема сохранится после обновления, пожалуйста, для оперативности создайте обращение на support.nag.ru и приложите запрошенные данные. В данной теме мы отпишемся, в чем была проблема и как она решилась. Вставить ник Quote
a.mihalich Posted January 29, 2020 Author Posted January 29, 2020 Спасибо, заменю софт, по результатам отпишусь. 25 минут назад, passer сказал: Зеркалировать порт и глянуть wireshark или другим снифером. А потом что-то предполагать. Если не секрет, каким образом зеркалировать ? interface Vlan200 description manager ip address 10.192.107.68 255.255.255.224 Вставить ник Quote
pppoetest Posted January 29, 2020 Posted January 29, 2020 1 час назад, a.mihalich сказал: Если не секрет, каким образом зеркалировать ? monitor session 1 source cpu rx monitor session 1 destination interface Ethernet1/0/номер порта с вайршарком Вставить ник Quote
a.mihalich Posted January 31, 2020 Author Posted January 31, 2020 Добрый день! Данные снифером собрал, софт заменил. Результаты в файлах. sw23.pcapng snr-статистика-config.txt Вставить ник Quote
pppoetest Posted January 31, 2020 Posted January 31, 2020 Ну судя по дампу кто-то срёт ethertype 0x8899, я бы на доступе вообще всё зарезал кроме 0х800 и 0х806, если конечно у вас нет всяких pppoe, например так: mac-access-list extended drop_non_ipv4_arp permit any-source-mac any-destination-mac untagged-eth2 ethertype 2048 permit any-source-mac any-destination-mac untagged-eth2 ethertype 2054 deny any-source-mac any-destination-mac int Ethernet1/0/1-... switchport mode access switchport access vlan ... mac access-group drop_non_ipv4_arp in Вставить ник Quote
passer Posted January 31, 2020 Posted January 31, 2020 В порядке бреда: это могут быть и свитчи с RRCP Вставить ник Quote
a.mihalich Posted January 31, 2020 Author Posted January 31, 2020 В том то и дело что pppoe работает Вставить ник Quote
pppoetest Posted January 31, 2020 Posted January 31, 2020 Так добавьте. Eсли rfc 2516 не врёт, вам должно помочь нечто такое mac-access-list extended drop_non_ipv4_arp_pppoe permit any-source-mac any-destination-mac untagged-eth2 ethertype 2048 permit any-source-mac any-destination-mac untagged-eth2 ethertype 2054 permit any-source-mac any-destination-mac untagged-eth2 ethertype 34915 permit any-source-mac any-destination-mac untagged-eth2 ethertype 34916 deny any-source-mac any-destination-mac int Ethernet1/0/1-... switchport mode access switchport access vlan ... mac access-group drop_non_ipv4_arp_pppoe in Вставить ник Quote
Aleksey Sonkin Posted January 31, 2020 Posted January 31, 2020 @a.mihalich Данных с 'sh cpu-rx protocol' так и не увидел. Также ответа на вопрос об утилизации и выводе 'sh cpu usage'. Повторюсь, готовы оперативно помочь на портале support.nag.ru, который создан именно для решения подобных проблем. Вставить ник Quote
a.mihalich Posted January 31, 2020 Author Posted January 31, 2020 pyatnitskaya-5-sw-23#sh cpu-rx protocol all Type Rate-limit TotPkts DropPkts DelayCount CurState ARP 300 3582 0 0 allowed BFD 400 0 0 0 allowed BFD6 400 0 0 0 allowed BPDU_TUNNEL 100 0 0 0 allowed CFMOAM-CCM 300 0 0 0 allowed CFMOAM-OTHER 200 0 0 0 allowed CLUSTER-DP 300 0 0 0 allowed CLUSTER-DR 300 0 0 0 allowed DHCP 200 0 0 0 allowed DHCP-SNOOPING 500 6121215 0 1 allowed DHCP_SUPPRESS 200 0 0 0 allowed DHCPv6 200 0 0 0 allowed DHCPv6-GUARD 200 0 0 0 allowed DHCPv6-SNOOPING 200 0 0 0 allowed DMAC-CPU 300 0 0 0 allowed DOT1x 100 0 0 0 allowed EFM-OAM 40 0 0 0 allowed ERPS 100 0 0 0 allowed FTP 500 0 0 0 allowed FTP6 500 0 0 0 allowed GVRP 20 0 0 0 allowed HTTP 200 0 0 0 allowed HTTP6 200 0 0 0 allowed HTTPS/SSL 200 0 0 0 allowed HTTPS6/SSL6 200 0 0 0 allowed IGMP 200 234564 0 0 allowed IPv6-NTP-M 50 0 0 0 allowed LACP 40 0 0 0 allowed LLDP 20 0 0 0 allowed LOCAL-IPUC 200 1585 0 0 allowed LOCAL-IPV6UC 200 0 0 0 allowed LOOPBACK 20 0 0 0 allowed MLD 200 0 0 0 allowed MRPP 20 0 0 0 allowed NDP-SNOOPING 400 0 0 0 allowed NORMAL 200 0 0 0 allowed NS-NA 400 24 0 0 allowed NTP 50 5241 0 0 allowed PPPoE 200 0 0 0 allowed RA-SNOOPING 100 0 0 0 allowed RADIUS 100 0 0 0 allowed RADIUS6 100 0 0 0 allowed SFLOW 50 0 0 0 allowed SNMP 500 725 0 0 allowed SNMP6 500 0 0 0 allowed SSH 100 0 0 0 allowed SSH6 100 0 0 0 allowed STP 80 0 0 0 allowed TACAS 100 0 0 0 allowed TACAS6 100 0 0 0 allowed TELNET 250 2296 0 1 allowed TELNET6 100 0 0 0 allowed TFTP 500 0 0 0 allowed TFTP6 500 0 0 0 allowed ULDP 20 0 0 0 allowed ULPP 300 0 0 0 allowed UNKNOW-SMAC 400 0 0 1 allowed TOTAL-LIMIT 1200 allowed pyatnitskaya-5-sw-23# Спасибо за mac-access-list! настрою на объекте.... , отпишусь по результатам. Вставить ник Quote
Aleksey Sonkin Posted January 31, 2020 Posted January 31, 2020 @a.mihalich вероятно, вы следуете не в том направлении при диагностике. Мы продиагностировали дамп в лаборатории с вашей конфигурацией, влияния на CPU нет. Повторюсь в третий раз, лучше проблему решать в рамках support.nag.ru :) Вставить ник Quote
a.mihalich Posted January 31, 2020 Author Posted January 31, 2020 Отправил запрос на доступ Вставить ник Quote
a.mihalich Posted January 31, 2020 Author Posted January 31, 2020 Получил логин - пароль, дальнейшее общение перенести туда? Вставить ник Quote
Aleksey Sonkin Posted January 31, 2020 Posted January 31, 2020 @a.mihalichДа, приложив 'sh run', 'sh ver' и описание проблемыИсходя из указанных вами данных сейчас не очевидно, что проблема с CPU. Можете, пожалуйста, именно в момент либо сразу после возникновения проблемы собрать логи и выводы утилизации CPU ('sh cpu-usage' и два вывода 'sh cpu-rx protocol all' с промежутком 10-20 секунд). Также там уточните, для каких целей повысили лимит пакетов DHCP Snooping в CPU-RX. Вставить ник Quote
a.mihalich Posted February 3, 2020 Author Posted February 3, 2020 Добрый день! Собрал данные, те что указанны в последнем сообщении. Прицепил их в файле. Относительно почему увеличил параметры cpu-rx-ratelimit protocol DHCP-SNOOPING 500 В сети клиенты пользуются услугой IPTV, для работы необходимо приставкам получать ip по dhcp. Параметр DHCP-SNOOPING по умолчанию (200) не справлялся и приставки получали ip очень длительный промежуток времени. При данном параметре приставки получают ip в нормальном режиме На данном объекте рекомендуемые вами mac-access-list не успел настроить пока. Как сделаю сравним результат pyatnitskaya-5-sw-23-03-02-2020.txt Вставить ник Quote
Aleksey Sonkin Posted February 3, 2020 Posted February 3, 2020 @a.mihalich Я не вижу тикет в нашей системе. С этим возникли какие-то проблемы? Вставить ник Quote
a.mihalich Posted February 3, 2020 Author Posted February 3, 2020 Написал https://support.nag.ru/issues/74153 Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.