artplanet Опубликовано 22 января, 2020 · Жалоба ночью один из свитчей Cisco Nexus 3064 начал плеваться в консоль кучей флуда: 2020 Jan 22 14:15:20 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:21 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:21 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:21 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:21 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:22 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:22 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:22 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:23 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:23 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:23 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:24 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:24 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:24 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:25 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:25 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:25 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:26 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:26 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:26 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:27 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:27 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:27 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 2020 Jan 22 14:15:28 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0 2020 Jan 22 14:15:28 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify. 2020 Jan 22 14:15:28 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0 При этом через свитч проходит только трафик от piterix и пару аплинков, трафик пропускается в режиме l2 количество маков - 450 штук,по документации свитч может переварить 32.000 мак адресов. команда: show consistency-checker l2 module 1 выводит результат: Consistency check: FAILED Legend: * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC age - seconds since last seen, + - primary entry using vPC Peer-Link, (T) - True, (F) - False Missing entries in the HW MAC Table VLAN MAC Address Type age Secure NTFY Ports ---------+-----------------+--------+---------+------+----+------------------ Extra and Discrepant entries in the HW MAC Table VLAN MAC Address Type age Secure NTFY Ports ---------+-----------------+--------+---------+------+----+------------------ 3095 0017.0fad.3000 dynamic 0 F F Po2 3096 001c.b0c9.1700 dynamic 0 F F Po4 444 001c.b0c9.1700 dynamic 0 F F Po4 445 001c.b0c9.1700 dynamic 0 F F Po4 448 001c.b0c9.1700 dynamic 0 F F Po4 самое главное тут - Consistency check: FAILED на других 3064 Consistency check - PASSED перезагружать свитч очень не хочется. Да и хочется разобраться в проблеме кто сталкивался с подобным ? куда копать, в гугле почти ничего нет по поиску Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Pinkbyte Опубликовано 22 января, 2020 · Жалоба Очистка таблицы MAC-ов как я понимаю не помогает? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
artplanet Опубликовано 22 января, 2020 (изменено) · Жалоба 15 минут назад, Pinkbyte сказал: Очистка таблицы MAC-ов как я понимаю не помогает? не помогает, причем после очистки все мак адреса что обрабатывались "аппаратно" появились в списке "Extra and Discrepant entries in the HW MAC Table" и теперь тут около 150 маков вместо тех 4-5 штук которые были в начале проблемы. (очищал не все а определенный влан) Изменено 22 января, 2020 пользователем artplanet Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
artplanet Опубликовано 22 января, 2020 (изменено) · Жалоба Смог реанимировать свитч без перезагрузки но все равно было немного больно а именно - я сначала удалил все вланы - в который бли мак адреса 3095 0017.0fad.3000 dynamic 0 F F Po2 3096 001c.b0c9.1700 dynamic 0 F F Po4 444 001c.b0c9.1700 dynamic 0 F F Po4 445 001c.b0c9.1700 dynamic 0 F F Po4 448 001c.b0c9.1700 dynamic 0 F F Po4 no vlan 3095 no vlan 444 no vlan 445 no vlan 448 после чего убедился что по команде "show consistency-checker l2 module 1 " нет ни одного мак адреса потом ввел команду test consistency-checker forwarding Если вводить команду без удаления вланов или без удаления всех проблемных маков из памяти - то команда выдает ошибку в итоге после этого: 2020 Jan 22 16:10:23 nexus3064 %L2FM-2-CONSISTENCY_CHECK_L2: CC_L2: Consistency Check: SUCCESS show consistency-checker l2 module 1 Consistency check: PASSED Legend: * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC age - seconds since last seen, + - primary entry using vPC Peer-Link, (T) - True, (F) - False Missing entries in the HW MAC Table VLAN MAC Address Type age Secure NTFY Ports ---------+-----------------+--------+---------+------+----+------------------ Extra and Discrepant entries in the HW MAC Table VLAN MAC Address Type age Secure NTFY Ports ---------+-----------------+--------+---------+------+----+------------------ и нагрузка на процессор ушла в 0 Изменено 22 января, 2020 пользователем artplanet Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
andryas Опубликовано 22 января, 2020 · Жалоба 38 minutes ago, artplanet said: Смог реанимировать свитч без перезагрузки но все равно было немного больно Какой софт? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
artplanet Опубликовано 22 января, 2020 (изменено) · Жалоба Software BIOS: version 4.1.0 NXOS: version 7.0(3)I6(1) BIOS compile time: 02/02/2017 NXOS image file is: bootflash:///nxos.7.0.3.I6.1.bin NXOS compile time: 5/16/2017 22:00:00 [05/17/2017 09:21:28] Kernel uptime is 927 day(s), 15 hour(s), 40 minute(s), 8 second(s) Изменено 22 января, 2020 пользователем artplanet Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AAS Опубликовано 22 января, 2020 (изменено) · Жалоба Интересный глючек-с... ради интереса сейчас пробежался по десятку коммутаторов у нас.... но такого нет нигде и в логах такого тоже нет в мониторинге. но мы на NX-OS v9 сидим и тоже тупые молотилки L2 (вланы) и по несколько тысяч маков бывает, но такого невидел пока... может беда в старом ПО где-то закралась? Изменено 22 января, 2020 пользователем AAS Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
artplanet Опубликовано 22 января, 2020 · Жалоба 55 минут назад, AAS сказал: Интересный глючек-с... ради интереса сейчас пробежался по десятку коммутаторов у нас.... но такого нет нигде и в логах такого тоже нет в мониторинге. но мы на NX-OS v9 сидим и тоже тупые молотилки L2 (вланы) и по несколько тысяч маков бывает, но такого невидел пока... может беда в старом ПО где-то закралась? не ПО 100%. Мы уже научились воспроизводить данное поведение(вводить свитч в "глюк") . Нужно чтоб на свитч прилетело много пакетов с его же мак адресом. То есть реально где то появилась петля. на тестовом стенде воспроизвели, вот софт тестового стенда: BIOS: version 4.5.0 NXOS: version 7.0(3)I7(3) BIOS compile time: 11/09/2017 NXOS image file is: bootflash:///nxos.7.0.3.I7.3.bin NXOS compile time: 2/12/2018 13:00:00 [02/12/2018 22:13:48] Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Azamat Опубликовано 27 января, 2020 · Жалоба Всем доброго дня. Насчет кол-ва маков, которые может переварить 3064 - там явно не 32К, ибо сейчас на одном таком: show mac address-table count MAC Entries for all vlans: Dynamic Address Count: 105384 Вланов порядка 470. Софт еще 6 ветки, но нареканий нет - поэтому не меняем. С подобным глюком за 3 года эксплуатации ни разу не встречались, хотя петли бывали. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
wWpapYwKHD Опубликовано 8 июля, 2020 · Жалоба Появился такой же глюк, софт свежий: Software BIOS: version 5.0.0 NXOS: version 9.3(4) BIOS compile time: 06/06/2018 NXOS image file is: bootflash:///nxos.9.3.4_compact.bin NXOS compile time: 4/28/2020 21:00:00 [04/29/2020 14:28:31] Hardware cisco Nexus3064 Chassis Маков всего 8 тысяч, петель вроде нет, но команда show consistency-checker l2 module 1 показывает от 100 до 200 мак адресов. Если какой-то из интерфейсов делает DOWN-UP, то количество маков в этой таблице увеличивается. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nixx Опубликовано 16 сентября, 2023 · Жалоба какие эти нексусы нежные железки... словил аналогичное при впуливании на вход влана с 300 маками NXOS: version 9.3(5) Total MAC Addresses in Use (DLAC + DRAC + SLAC + SRAC + SAC): 956 спасибо artplanet за решение. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
surgeon Опубликовано 29 сентября, 2023 · Жалоба Такое поведение на 3064 у нас возникает, если возникает петля в сети. Как только петлю блокируем - проблема решается. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...