Перейти к содержимому
Калькуляторы

Кто сталкивался с проблемой на Cisco Nexus 3064 - MTM buffers are full for unit

ночью один из свитчей Cisco Nexus 3064 начал плеваться в консоль кучей флуда:

 


2020 Jan 22 14:15:20 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0
2020 Jan 22 14:15:21 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify.
2020 Jan 22 14:15:21 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0
2020 Jan 22 14:15:21 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify.
2020 Jan 22 14:15:21 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0
2020 Jan 22 14:15:22 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0
2020 Jan 22 14:15:22 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify.
2020 Jan 22 14:15:22 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0
2020 Jan 22 14:15:23 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0
2020 Jan 22 14:15:23 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0
2020 Jan 22 14:15:23 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify.
2020 Jan 22 14:15:24 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0
2020 Jan 22 14:15:24 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify.
2020 Jan 22 14:15:24 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0
2020 Jan 22 14:15:25 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0
2020 Jan 22 14:15:25 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify.
2020 Jan 22 14:15:25 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0
2020 Jan 22 14:15:26 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0
2020 Jan 22 14:15:26 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify.
2020 Jan 22 14:15:26 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0
2020 Jan 22 14:15:27 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0
2020 Jan 22 14:15:27 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify.
2020 Jan 22 14:15:27 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0
2020 Jan 22 14:15:28 nexus3064 %-SLOT1-5-BCM_L2_LEARN_ENABLE: MAC Learning Enabled unit=0
2020 Jan 22 14:15:28 nexus3064 %MTM-SLOT1-2-MTM_BUFFERS_FULL: MTM buffers are full for unit 0. MAC tables might be inconsistent. Pls use l2 consistency-checker to verify.
2020 Jan 22 14:15:28 nexus3064 %-SLOT1-5-BCM_L2_LEARN_DISABLE: MAC Learning Disabled unit=0

 

При этом через свитч проходит только трафик от piterix и пару аплинков, трафик пропускается в режиме l2

количество маков - 450 штук,по документации свитч может переварить 32.000 мак адресов.

 

 

команда: show consistency-checker l2 module 1 

выводит результат:


Consistency check: FAILED
Legend: 
        * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
        age - seconds since last seen, + - primary entry using vPC Peer-Link,
        (T) - True, (F) - False
Missing entries in the HW MAC Table
   VLAN     MAC Address      Type      age     Secure NTFY    Ports
---------+-----------------+--------+---------+------+----+------------------
Extra and Discrepant entries in the HW MAC Table
   VLAN     MAC Address      Type      age     Secure NTFY    Ports
---------+-----------------+--------+---------+------+----+------------------
  3095     0017.0fad.3000    dynamic   0          F    F  Po2
  3096     001c.b0c9.1700    dynamic   0          F    F  Po4
  444      001c.b0c9.1700    dynamic   0          F    F  Po4
  445      001c.b0c9.1700    dynamic   0          F    F  Po4
  448      001c.b0c9.1700    dynamic   0          F    F  Po4

 

самое главное тут - Consistency check: FAILED

на других 3064 Consistency check - PASSED

 

перезагружать свитч очень не хочется.  Да и хочется разобраться в проблеме

 

кто сталкивался с подобным ? куда копать, в гугле почти ничего нет по поиску 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Очистка таблицы MAC-ов как я понимаю не помогает?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

15 минут назад, Pinkbyte сказал:

Очистка таблицы MAC-ов как я понимаю не помогает?

не помогает, причем после очистки все мак адреса что обрабатывались "аппаратно" появились в списке "Extra and Discrepant entries in the HW MAC Table"

и теперь тут около 150 маков вместо тех 4-5 штук которые были в начале проблемы. (очищал не все а определенный влан)

Изменено пользователем artplanet

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Смог реанимировать свитч без перезагрузки

но все равно было немного больно

 

а именно - я сначала удалил все вланы - в который бли мак адреса 


 3095     0017.0fad.3000    dynamic   0          F    F  Po2
  3096     001c.b0c9.1700    dynamic   0          F    F  Po4
  444      001c.b0c9.1700    dynamic   0          F    F  Po4
  445      001c.b0c9.1700    dynamic   0          F    F  Po4
  448      001c.b0c9.1700    dynamic   0          F    F  Po4

 

no vlan 3095

no vlan 444

no vlan 445

no vlan 448

 

после чего убедился что по команде "show consistency-checker l2 module 1 " нет ни одного мак адреса

потом ввел команду 

test consistency-checker forwarding 

Если вводить команду без удаления вланов или без удаления всех проблемных маков из памяти - то команда выдает ошибку

 

в итоге после этого:

2020 Jan 22 16:10:23 nexus3064 %L2FM-2-CONSISTENCY_CHECK_L2: CC_L2: Consistency Check: SUCCESS 

 

show consistency-checker l2 module 1 
Consistency check: PASSED
Legend: 
        * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
        age - seconds since last seen, + - primary entry using vPC Peer-Link,
        (T) - True, (F) - False
Missing entries in the HW MAC Table
   VLAN     MAC Address      Type      age     Secure NTFY    Ports
---------+-----------------+--------+---------+------+----+------------------
Extra and Discrepant entries in the HW MAC Table
   VLAN     MAC Address      Type      age     Secure NTFY    Ports
---------+-----------------+--------+---------+------+----+------------------

 

 

и нагрузка на процессор ушла в 0

Изменено пользователем artplanet

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

38 minutes ago, artplanet said:

Смог реанимировать свитч без перезагрузки

но все равно было немного больно

 

Какой софт?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Software
  BIOS: version 4.1.0
  NXOS: version 7.0(3)I6(1)
  BIOS compile time:  02/02/2017
  NXOS image file is: bootflash:///nxos.7.0.3.I6.1.bin
  NXOS compile time:  5/16/2017 22:00:00 [05/17/2017 09:21:28]

Kernel uptime is 927 day(s), 15 hour(s), 40 minute(s), 8 second(s)
Изменено пользователем artplanet

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересный глючек-с...

 

ради интереса сейчас пробежался по десятку коммутаторов у нас.... но такого нет нигде и в логах такого тоже нет в мониторинге.
но мы на NX-OS v9 сидим и тоже тупые молотилки L2 (вланы) и по несколько тысяч маков бывает, но такого невидел пока... может беда в старом ПО где-то закралась?
 

Изменено пользователем AAS

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

55 минут назад, AAS сказал:

Интересный глючек-с...

 

ради интереса сейчас пробежался по десятку коммутаторов у нас.... но такого нет нигде и в логах такого тоже нет в мониторинге.
но мы на NX-OS v9 сидим и тоже тупые молотилки L2 (вланы) и по несколько тысяч маков бывает, но такого невидел пока... может беда в старом ПО где-то закралась?
  

 

не ПО 100%. Мы уже научились воспроизводить данное поведение(вводить свитч в "глюк") .  Нужно чтоб на свитч прилетело много пакетов с его же мак адресом.  То есть реально где то появилась петля.

 

на тестовом стенде воспроизвели, вот софт тестового стенда:

  BIOS: version 4.5.0
  NXOS: version 7.0(3)I7(3)
  BIOS compile time:  11/09/2017
  NXOS image file is: bootflash:///nxos.7.0.3.I7.3.bin
  NXOS compile time:  2/12/2018 13:00:00 [02/12/2018 22:13:48]

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всем доброго дня.

Насчет кол-ва маков, которые может переварить 3064 - там явно не 32К, ибо сейчас на одном таком:

show mac address-table count 
MAC Entries for all vlans:
Dynamic Address Count: 105384

 

Вланов порядка 470. Софт еще 6 ветки, но нареканий нет - поэтому не меняем. С подобным глюком за 3 года эксплуатации ни разу не встречались, хотя петли бывали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Появился такой же глюк, софт свежий:

 

Software
  BIOS: version 5.0.0
 NXOS: version 9.3(4)
  BIOS compile time:  06/06/2018
  NXOS image file is: bootflash:///nxos.9.3.4_compact.bin
  NXOS compile time:  4/28/2020 21:00:00 [04/29/2020 14:28:31]


Hardware
  cisco Nexus3064 Chassis
 

Маков всего 8 тысяч, петель вроде нет, но команда

show consistency-checker l2 module 1

показывает от 100 до 200 мак адресов.

 

Если какой-то из интерфейсов делает DOWN-UP, то количество маков в этой таблице увеличивается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

какие эти нексусы нежные железки...

словил аналогичное при впуливании на вход влана с 300 маками

 

NXOS: version 9.3(5)

Total MAC Addresses in Use (DLAC + DRAC + SLAC + SRAC + SAC):    956

 

спасибо artplanet за решение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Такое поведение на 3064 у нас возникает, если возникает петля в сети. Как только петлю блокируем - проблема решается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.