artplanet Posted January 22, 2020 Posted January 22, 2020 ночью один из свитчей Cisco Nexus 3064 начал плеваться в консоль кучей флуда: 2020 Jan 22 14:15:20 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:21 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:21 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:21 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:21 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:22 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:22 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:22 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:23 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:23 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:23 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:24 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:24 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:24 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:25 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:25 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:25 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:26 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:26 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:26 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:27 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:27 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:27 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:28 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:28 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:28 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 При этом через свитч проходит только трафик от piterix и пару аплинков, трафик пропускается в режиме l2 количество маков - 450 штук,по документации свитч может переварить 32.000 мак адресов. команда: show consistency-checker l2 module 1 выводит результат: Consistency check: FAILED Legend: * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC age - seconds since last seen, + - primary entry using vPC Peer-Link, (T) - True, (F) - False Missing entries in the HW MAC Table VLAN MAC Address Type age Secure NTFY Ports ---------+-----------------+--------+---------+------+----+------------------ Extra and Discrepant entries in the HW MAC Table VLAN MAC Address Type age Secure NTFY Ports ---------+-----------------+--------+---------+------+----+------------------ 3095 0017.0fad.3000 dynamic 0 F F Po2 3096 001c.b0c9.1700 dynamic 0 F F Po4 444 001c.b0c9.1700 dynamic 0 F F Po4 445 001c.b0c9.1700 dynamic 0 F F Po4 448 001c.b0c9.1700 dynamic 0 F F Po4 самое главное тут - Consistency check: FAILED на других 3064 Consistency check - PASSED перезагружать свитч очень не хочется. Да и хочется разобраться в проблеме кто сталкивался с подобным ? куда копать, в гугле почти ничего нет по поиску Вставить ник Quote
Pinkbyte Posted January 22, 2020 Posted January 22, 2020 Очистка таблицы MAC-ов как я понимаю не помогает? Вставить ник Quote
artplanet Posted January 22, 2020 Author Posted January 22, 2020 (edited) 15 минут назад, Pinkbyte сказал: Очистка таблицы MAC-ов как я понимаю не помогает? не помогает, причем после очистки все мак адреса что обрабатывались "аппаратно" появились в списке "Extra and Discrepant entries in the HW MAC Table" и теперь тут около 150 маков вместо тех 4-5 штук которые были в начале проблемы. (очищал не все а определенный влан) Edited January 22, 2020 by artplanet Вставить ник Quote
artplanet Posted January 22, 2020 Author Posted January 22, 2020 (edited) Смог реанимировать свитч без перезагрузки но все равно было немного больно а именно - я сначала удалил все вланы - в который бли мак адреса 3095 0017.0fad.3000 dynamic 0 F F Po2 3096 001c.b0c9.1700 dynamic 0 F F Po4 444 001c.b0c9.1700 dynamic 0 F F Po4 445 001c.b0c9.1700 dynamic 0 F F Po4 448 001c.b0c9.1700 dynamic 0 F F Po4 no vlan 3095 no vlan 444 no vlan 445 no vlan 448 после чего убедился что по команде "show consistency-checker l2 module 1 " нет ни одного мак адреса потом ввел команду test consistency-checker forwarding Если вводить команду без удаления вланов или без удаления всех проблемных маков из памяти - то команда выдает ошибку в итоге после этого: 2020 Jan 22 16:10:23 nexus3064 %L2FM-2-CONSISTENCY_CHECK_L2: CC_L2: Consistency Check: SUCCESS show consistency-checker l2 module 1 Consistency check: PASSED Legend: * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC age - seconds since last seen, + - primary entry using vPC Peer-Link, (T) - True, (F) - False Missing entries in the HW MAC Table VLAN MAC Address Type age Secure NTFY Ports ---------+-----------------+--------+---------+------+----+------------------ Extra and Discrepant entries in the HW MAC Table VLAN MAC Address Type age Secure NTFY Ports ---------+-----------------+--------+---------+------+----+------------------ и нагрузка на процессор ушла в 0 Edited January 22, 2020 by artplanet Вставить ник Quote
andryas Posted January 22, 2020 Posted January 22, 2020 38 minutes ago, artplanet said: Смог реанимировать свитч без перезагрузки но все равно было немного больно Какой софт? Вставить ник Quote
artplanet Posted January 22, 2020 Author Posted January 22, 2020 (edited) Software BIOS: version 4.1.0 NXOS: version 7.0(3)I6(1) BIOS compile time: 02/02/2017 NXOS image file is: bootflash:///nxos.7.0.3.I6.1.bin NXOS compile time: 5/16/2017 22:00:00 [05/17/2017 09:21:28] Kernel uptime is 927 day(s), 15 hour(s), 40 minute(s), 8 second(s) Edited January 22, 2020 by artplanet Вставить ник Quote
AAS Posted January 22, 2020 Posted January 22, 2020 (edited) Интересный глючек-с... ради интереса сейчас пробежался по десятку коммутаторов у нас.... но такого нет нигде и в логах такого тоже нет в мониторинге. но мы на NX-OS v9 сидим и тоже тупые молотилки L2 (вланы) и по несколько тысяч маков бывает, но такого невидел пока... может беда в старом ПО где-то закралась? Edited January 22, 2020 by AAS Вставить ник Quote
artplanet Posted January 22, 2020 Author Posted January 22, 2020 55 минут назад, AAS сказал: Интересный глючек-с... ради интереса сейчас пробежался по десятку коммутаторов у нас.... но такого нет нигде и в логах такого тоже нет в мониторинге. но мы на NX-OS v9 сидим и тоже тупые молотилки L2 (вланы) и по несколько тысяч маков бывает, но такого невидел пока... может беда в старом ПО где-то закралась? не ПО 100%. Мы уже научились воспроизводить данное поведение(вводить свитч в "глюк") . Нужно чтоб на свитч прилетело много пакетов с его же мак адресом. То есть реально где то появилась петля. на тестовом стенде воспроизвели, вот софт тестового стенда: BIOS: version 4.5.0 NXOS: version 7.0(3)I7(3) BIOS compile time: 11/09/2017 NXOS image file is: bootflash:///nxos.7.0.3.I7.3.bin NXOS compile time: 2/12/2018 13:00:00 [02/12/2018 22:13:48] Вставить ник Quote
Azamat Posted January 27, 2020 Posted January 27, 2020 Всем доброго дня. Насчет кол-ва маков, которые может переварить 3064 - там явно не 32К, ибо сейчас на одном таком: show mac address-table count MAC Entries for all vlans: Dynamic Address Count: 105384 Вланов порядка 470. Софт еще 6 ветки, но нареканий нет - поэтому не меняем. С подобным глюком за 3 года эксплуатации ни разу не встречались, хотя петли бывали. Вставить ник Quote
wWpapYwKHD Posted July 8, 2020 Posted July 8, 2020 Появился такой же глюк, софт свежий: Software BIOS: version 5.0.0 NXOS: version 9.3(4) BIOS compile time: 06/06/2018 NXOS image file is: bootflash:///nxos.9.3.4_compact.bin NXOS compile time: 4/28/2020 21:00:00 [04/29/2020 14:28:31] Hardware cisco Nexus3064 Chassis Маков всего 8 тысяч, петель вроде нет, но команда show consistency-checker l2 module 1 показывает от 100 до 200 мак адресов. Если какой-то из интерфейсов делает DOWN-UP, то количество маков в этой таблице увеличивается. Вставить ник Quote
nixx Posted September 16, 2023 Posted September 16, 2023 какие эти нексусы нежные железки... словил аналогичное при впуливании на вход влана с 300 маками NXOS: version 9.3(5) Total MAC Addresses in Use (DLAC + DRAC + SLAC + SRAC + SAC): 956 спасибо artplanet за решение. Вставить ник Quote
surgeon Posted September 29, 2023 Posted September 29, 2023 Такое поведение на 3064 у нас возникает, если возникает петля в сети. Как только петлю блокируем - проблема решается. Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.