a.mihalich Опубликовано 29 января, 2020 · Жалоба Добрый день! Обнаружилась проблема с broadcast. Существует сегмент сети, топология звезда. В сети порядка 80 коммутаторов типа SNR-S2982G-24T. На свитчах настроено 4 вилана, 3 для клиентов и один для управления оборудованием. Вилан управления поднят на маршрутизаторе cisco 1921(по умолчанию arp хранится 10 минут). Все свитчи опрашиваются системой мониторинга 1 раз в 5 минут, следовательно связка мас-ip на роутере постоянная и производить arp запрос нет нужды. Однако на интерфейс управления свитчом постоянно летит broadcast в больших количествах: interface Vlan200 description manager ip address 10.192.107.68 255.255.255.224 sw-26#sh interface Vlan200 Vlan200 is up, line protocol is up, dev index is 11200 Device flag 0x1003(UP BROADCAST MULTICAST) Time since last status change:1w-1d-11h-8m-25s (731305 seconds) IPv4 address is: 10.192.107.68 255.255.255.224 (Primary) VRF Bind: Not Bind Hardware is EtherSVI, address is f8-f0-82-77-0c-f4 MTU is 1500 bytes , BW is 0 Kbit Encapsulation ARPA, loopback not set 5 minute input rate 12775992 bits/sec, 1259 packets/sec 5 minute output rate 394482 bits/sec, 423 packets/sec The last 5 second input rate 14156779 bits/sec, 1134 packets/sec The last 5 second output rate 306154 bits/sec, 310 packets/sec Input packets statistics: Input queue 0/1200, 0 drops 702654171 packets input, 3339504570 bytes, 5541280 no buffer 0 input errors, 0 CRC, 0 oversize, 0 undersize 0 jabber, 0 fragments Output packets statistics: 363144182 packets output, 3205913784 bytes, 0 underruns 0 output errors, 0 collisions sw-26#sh ver SNR-S2985G-24T Device, Compiled on Jan 13 21:16:58 2016 CPU Mac f8:f0:82:77:0c:f5 Vlan MAC f8:f0:82:77:0c:f4 SoftWare Version 7.0.3.5(R0241.0085) BootRom Version 7.2.25 HardWare Version 1.0.2 CPLD Version N/A Serial No.:SW067210H316000434 Copyright (C) 2016 NAG LLC All rights reserved Last reboot is warm reset. Uptime is 1 weeks, 1 days, 11 hours, 23 minutes Периодически из за этого свитч перестает нормально работать, telnet виснит, cpu 100% В данном сегменте, стоят так же свитчи cisco и huawei и с ними ни чего подобного не происходит. Вопрос: как решить данную проблему? Как отловить этот трафик и понять что за пакеты? C уважением Андрей Ботов a.mihalich@gmail.com Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Aleksey Sonkin Опубликовано 29 января, 2020 · Жалоба @a.mihalich Добрый день! счетчики на интерфейсе не показательны, в данном выводе показываются суммарный pps трафика, куда данный vlan добавлен, возможности просматривать данные по L3-интерфейсу нет, это все-таки L2-коммутатор. Проблема может быть связана со многими факторами. Необходимы выводы команд 'sh cpu usage', 'sh cpu-rx protocol all', 'sh log' , снятые сразу после возникновения проблемы. Эти данные + 'sh run' и 'sh ver' просьба приложить к обращению на support.nag.ru Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 29 января, 2020 · Жалоба Собрал вывод команд 'sh cpu usage ', 'sh cpu-rx protocol all ', 'sh lo g ' , 'sh run' и 'sh ver' а так же в реальном времени график загрузки интерфейса управления по broadcast config-sw-broadcast.txt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 29 января, 2020 · Жалоба У меня есть предположение, что на интерфейс управления влетает трафик с бродкастом из других виланов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
passer Опубликовано 29 января, 2020 · Жалоба Зеркалировать порт и глянуть wireshark или другим снифером. А потом что-то предполагать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Aleksey Sonkin Опубликовано 29 января, 2020 · Жалоба @a.mihalich Проблема по логам была в какое время? Не увидел 'sh cpu-rx protocol all' и 'sh ver'. Вижу, что используется версия ПО R0241.0085 - это одна из самых первых версий, с момента ее выхода было огромное количество исправлений и доработок. Поэтому обновитесь до последней версии, которая доступна здесь. Также проверьте какая именно модель у вас используется, здесь написали SNR-S2982G, в логах вижу SNR-S2985G. Если проблема сохранится после обновления, пожалуйста, для оперативности создайте обращение на support.nag.ru и приложите запрошенные данные. В данной теме мы отпишемся, в чем была проблема и как она решилась. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 29 января, 2020 · Жалоба Спасибо, заменю софт, по результатам отпишусь. 25 минут назад, passer сказал: Зеркалировать порт и глянуть wireshark или другим снифером. А потом что-то предполагать. Если не секрет, каким образом зеркалировать ? interface Vlan200 description manager ip address 10.192.107.68 255.255.255.224 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 29 января, 2020 · Жалоба 1 час назад, a.mihalich сказал: Если не секрет, каким образом зеркалировать ? monitor session 1 source cpu rx monitor session 1 destination interface Ethernet1/0/номер порта с вайршарком Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 31 января, 2020 · Жалоба Добрый день! Данные снифером собрал, софт заменил. Результаты в файлах. sw23.pcapng snr-статистика-config.txt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 31 января, 2020 · Жалоба Ну судя по дампу кто-то срёт ethertype 0x8899, я бы на доступе вообще всё зарезал кроме 0х800 и 0х806, если конечно у вас нет всяких pppoe, например так: mac-access-list extended drop_non_ipv4_arp permit any-source-mac any-destination-mac untagged-eth2 ethertype 2048 permit any-source-mac any-destination-mac untagged-eth2 ethertype 2054 deny any-source-mac any-destination-mac int Ethernet1/0/1-... switchport mode access switchport access vlan ... mac access-group drop_non_ipv4_arp in Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
passer Опубликовано 31 января, 2020 · Жалоба В порядке бреда: это могут быть и свитчи с RRCP Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 31 января, 2020 · Жалоба В том то и дело что pppoe работает Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 31 января, 2020 · Жалоба Так добавьте. Eсли rfc 2516 не врёт, вам должно помочь нечто такое mac-access-list extended drop_non_ipv4_arp_pppoe permit any-source-mac any-destination-mac untagged-eth2 ethertype 2048 permit any-source-mac any-destination-mac untagged-eth2 ethertype 2054 permit any-source-mac any-destination-mac untagged-eth2 ethertype 34915 permit any-source-mac any-destination-mac untagged-eth2 ethertype 34916 deny any-source-mac any-destination-mac int Ethernet1/0/1-... switchport mode access switchport access vlan ... mac access-group drop_non_ipv4_arp_pppoe in Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Aleksey Sonkin Опубликовано 31 января, 2020 · Жалоба @a.mihalich Данных с 'sh cpu-rx protocol' так и не увидел. Также ответа на вопрос об утилизации и выводе 'sh cpu usage'. Повторюсь, готовы оперативно помочь на портале support.nag.ru, который создан именно для решения подобных проблем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 31 января, 2020 · Жалоба pyatnitskaya-5-sw-23#sh cpu-rx protocol all Type Rate-limit TotPkts DropPkts DelayCount CurState ARP 300 3582 0 0 allowed BFD 400 0 0 0 allowed BFD6 400 0 0 0 allowed BPDU_TUNNEL 100 0 0 0 allowed CFMOAM-CCM 300 0 0 0 allowed CFMOAM-OTHER 200 0 0 0 allowed CLUSTER-DP 300 0 0 0 allowed CLUSTER-DR 300 0 0 0 allowed DHCP 200 0 0 0 allowed DHCP-SNOOPING 500 6121215 0 1 allowed DHCP_SUPPRESS 200 0 0 0 allowed DHCPv6 200 0 0 0 allowed DHCPv6-GUARD 200 0 0 0 allowed DHCPv6-SNOOPING 200 0 0 0 allowed DMAC-CPU 300 0 0 0 allowed DOT1x 100 0 0 0 allowed EFM-OAM 40 0 0 0 allowed ERPS 100 0 0 0 allowed FTP 500 0 0 0 allowed FTP6 500 0 0 0 allowed GVRP 20 0 0 0 allowed HTTP 200 0 0 0 allowed HTTP6 200 0 0 0 allowed HTTPS/SSL 200 0 0 0 allowed HTTPS6/SSL6 200 0 0 0 allowed IGMP 200 234564 0 0 allowed IPv6-NTP-M 50 0 0 0 allowed LACP 40 0 0 0 allowed LLDP 20 0 0 0 allowed LOCAL-IPUC 200 1585 0 0 allowed LOCAL-IPV6UC 200 0 0 0 allowed LOOPBACK 20 0 0 0 allowed MLD 200 0 0 0 allowed MRPP 20 0 0 0 allowed NDP-SNOOPING 400 0 0 0 allowed NORMAL 200 0 0 0 allowed NS-NA 400 24 0 0 allowed NTP 50 5241 0 0 allowed PPPoE 200 0 0 0 allowed RA-SNOOPING 100 0 0 0 allowed RADIUS 100 0 0 0 allowed RADIUS6 100 0 0 0 allowed SFLOW 50 0 0 0 allowed SNMP 500 725 0 0 allowed SNMP6 500 0 0 0 allowed SSH 100 0 0 0 allowed SSH6 100 0 0 0 allowed STP 80 0 0 0 allowed TACAS 100 0 0 0 allowed TACAS6 100 0 0 0 allowed TELNET 250 2296 0 1 allowed TELNET6 100 0 0 0 allowed TFTP 500 0 0 0 allowed TFTP6 500 0 0 0 allowed ULDP 20 0 0 0 allowed ULPP 300 0 0 0 allowed UNKNOW-SMAC 400 0 0 1 allowed TOTAL-LIMIT 1200 allowed pyatnitskaya-5-sw-23# Спасибо за mac-access-list! настрою на объекте.... , отпишусь по результатам. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Aleksey Sonkin Опубликовано 31 января, 2020 · Жалоба @a.mihalich вероятно, вы следуете не в том направлении при диагностике. Мы продиагностировали дамп в лаборатории с вашей конфигурацией, влияния на CPU нет. Повторюсь в третий раз, лучше проблему решать в рамках support.nag.ru :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 31 января, 2020 · Жалоба Отправил запрос на доступ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 31 января, 2020 · Жалоба Получил логин - пароль, дальнейшее общение перенести туда? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Aleksey Sonkin Опубликовано 31 января, 2020 · Жалоба @a.mihalichДа, приложив 'sh run', 'sh ver' и описание проблемыИсходя из указанных вами данных сейчас не очевидно, что проблема с CPU. Можете, пожалуйста, именно в момент либо сразу после возникновения проблемы собрать логи и выводы утилизации CPU ('sh cpu-usage' и два вывода 'sh cpu-rx protocol all' с промежутком 10-20 секунд). Также там уточните, для каких целей повысили лимит пакетов DHCP Snooping в CPU-RX. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 3 февраля, 2020 · Жалоба Добрый день! Собрал данные, те что указанны в последнем сообщении. Прицепил их в файле. Относительно почему увеличил параметры cpu-rx-ratelimit protocol DHCP-SNOOPING 500 В сети клиенты пользуются услугой IPTV, для работы необходимо приставкам получать ip по dhcp. Параметр DHCP-SNOOPING по умолчанию (200) не справлялся и приставки получали ip очень длительный промежуток времени. При данном параметре приставки получают ip в нормальном режиме На данном объекте рекомендуемые вами mac-access-list не успел настроить пока. Как сделаю сравним результат pyatnitskaya-5-sw-23-03-02-2020.txt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Aleksey Sonkin Опубликовано 3 февраля, 2020 · Жалоба @a.mihalich Я не вижу тикет в нашей системе. С этим возникли какие-то проблемы? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a.mihalich Опубликовано 3 февраля, 2020 · Жалоба Написал https://support.nag.ru/issues/74153 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
