[artplanet]

Приехал Nexus 3048 - загрузился - все нормально.

Решили обновить софт до 7-ой версии. Но изначально стоял ооочень древний софт в котором нету команд для обновления nx-os до 7ой версии.

Поэтому решили обновить 6ую ветку.

записали на бутфлеш версию по новее - отредактировали boot, сохранили конфиг и отправили в ребут.

Старый софт не удаляли.

 

 

switch(boot)# init system check-filesystem 
This command is going to erase your startup-config, licenses as well as the contents of your bootflash:.
Do you want to continue? (y/n)  [n] y
Initializing the system
mke2fs 1.35 (28-Feb-2004)
Could not stat /dev/hd-bootloader --- No such file or directory

The device apparently does not exist; did you specify it correctly?

 

так же по команде

switch(boot)# dir bootflash:

Usage for bootflash: filesystem 
 103391232 bytes used
 316039168 bytes free
 419430400 bytes total

 

отображается что 400 мегабайт свободно - но скачать по tftp прошивку не получается

 

switch(boot)# copy tftp://x.y.z.0/n3000-uk9.6.0.2.U6.6.bin bootflash:
Destination: error opening bootflash: Device unavailable or corrupted

 

format bootflash делали - не помогает.

 

 

Лог загрузки:

(c) Copyright 2011, Cisco Systems.
N3000 BIOS v.1.2.0, Thu 08/25/2011, 03:37 PM 

GRUB Loading stage2                                                       
Image verification OKge: bootflash:/n3000-uk9-kickstart.6.0.2.U6.6.bin...

[    0.000000] Fastboot Memory at 0c100000 of size 2013265922.U6.6.bin....      
ÿUsage: init 0123POST INIT Starts at Fri Jan 20 19:32:35 UTC 2017               
Starting Nexus 3000 Platform POST.....                                          
 Executing Mod 1 1 SEEPROM Test:...done (0 seconds)                            
 Executing Mod 1 1 GigE Port Test:.done (9 seconds)                            
 Executing Mod 1 1 PCIE Test:.................done (0 seconds)                 
 Mod 1 1 Post Completed Successfully                                           
POST is completed                                                               
Reconfiguring links to dev files.                                               
.... done.                                                                      
##############################################################                  
Boot has been interrupted or internal disk is not initialized!                  
##############################################################   

Do you want to initialize it? (y/n) y                                           
Initializing the system                                                         
mke2fs 1.35 (28-Feb-2004)                                                       
Could                                                                           

Cisco Nexus Operating System (NX-OS) Software
TAC support: http://www.cisco.com/tac
Copyright (c) 2002-2016, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained in this software are
owned by other third parties and used and distributed under
license. Certain components of this software are licensed under
the GNU General Public License (GPL) version 2.0 or the GNU
Lesser General Public License (LGPL) Version 2.1. A copy of each
such license is available at
http://www.opensource.org/licenses/gpl-2.0.php and
http://www.opensource.org/licenses/lgpl-2.1.php          

 

Кто что подскажет? как поменять kickstart конфиг - чтобы попытаться загрузить старую версию ?

как мы понимаем начинает грузиться новый софт и что то ему не нравится с флеш памятью.

 

лог форматирования

switch(boot)# format bootflash: 
This command is going to erase the contents of your bootflash:.
Do you want to continue? (y/n)  [n] y
Formatting bootflash:
Formatting started at:  Fri Jan 20 19:35:34 UTC 2017
mke2fs 1.35 (28-Feb-2004)
Could not stat /dev/hd-bootflash --- No such file or directory

The device apparently does not exist; did you specify it correctly?
Formatting finished at:  Fri Jan 20 19:35:34 UTC 2017
mount: special device /dev/hd-bootflash does not exist
Formatting completed
switch(boot)# 

[CNick]

У вас при этом внешний USB диск в коммутатор вставлен? Если да то возможно https://bst.cloudapps.cisco.com/bugsearch/bug/CSCva96755 и нужно вытащить внешний USB и бутнуть коммутатор еще раз.

[artplanet]

Огромное спасибо - удаленно не мог вытащить USB флешку - сейчас вынул и софт начал корректно грузиться.

Доступа конечно в саму циску нету - не могли бы показать что там пишут и как это править? или просто обновление софта решает проблему ?

 

на nxos 7.0 такой проблемы нету (проверяли на Nexus 3064), а вот на 3048 на старой версии софта появилось

[artplanet]

обновил до 7ой версии софта, теперь корректно грузиться с флешкой

Software
 BIOS: version 3.8.0
 NXOS: version 7.0(3)I5(1)
 BIOS compile time:  01/25/2016
 NXOS image file is: bootflash:///nxos.7.0.3.I5.1.bin
 NXOS compile time:  10/29/2016 6:00:00 [10/29/2016 13:46:41]


Hardware
 cisco Nexus 3048 Chassis 
 Intel(R) Celeron(R) CPU        P4505  @ 1.87GHz with 3903376 kB of memory.
 Processor Board ID FOC191427A4

[CNick]

Огромное спасибо - удаленно не мог вытащить USB флешку - сейчас вынул и софт начал корректно грузиться.

Доступа конечно в саму циску нету - не могли бы показать что там пишут и как это править? или просто обновление софта решает проблему ?

 Да, это просто баг где внутренний диск не определяется в бутлоадере во время загрузки с использованием "recoverymode" (когда NX-OS не может загрузиться или вы сами вызвали этот режим) если вставлен внешний USB.

 

Вот детали:

Symptom:

When customer has an external USB connected to the N3k box, or when he is facing any bootflash corruption issue and needs to recover the system via booting it into "switch(boot)#" using "cmdline recoverymode=1" from loader prompt so that "init system" command can be issued; the partitioning of the eUSB does not happen properly.

 

Conditions:

This was a collateral that got introduced in 6.0(2)U6(1)

 

Workaround:

None. Please request customers to upgrade to a release having fix for this bug.

 

Further Problem Description:

When an external USB is connected into the system, system bootup will go into this message:

"Boot has been interrupted or internal disk is not initialized!" and asks whether to go ahead with initialization

Once the admin proceeds to reinitialize the disk, this does not go through, and on subsequent reboot switch boots up into "switch(boot)" recoverymode.

 

Also, when external USB is not connected, and admin wants to reinit the system by booting from loader prompt using cmdline="recoverymode=1" , and calling "init system" from switch(boot) prompt, switch reinitialization does no t happen properly.

 

 

Баг есть начиная с версии 6.0(2)U6(1) до 6.0(2)U6, а исправлен начиная с 6.0(2)U6(8), 6.0(2)A8(3) и 6.0(2)A6(9).

 

Ну и на будущее обновление Cisco Nexus изменением "boot" конфигурации это обычно плохая идея, очень часто она приводит к различным проблемам. Лучше использовать install all даже когда коммутатор не в работе.

[artplanet]

Привычка от Cisco IOS - но спасибо за совет.

 

Остается только найти 6.0(2)U6(8)

[CNick]

Привычка от Cisco IOS - но спасибо за совет.

 

Остается только найти 6.0(2)U6(8)

Ну это в зависимости от фич которые вам нужны. Версия 7.х на этой серии это на самом деле софт от nexus9000 который очень быстро развивается, если вам специфических фич не нужно, а просто стабильный 10г коммутатор то версия 7.0.3.i5.x в самый раз.

[artplanet]

6.0(2)U6(8) нужен для того чтобы обновлять софт на новых нексусах которые приедут, и не натыкаться на ту проблему что была в данной теме. Например сейчас закупаем Nexus 3048 в каждую стойку. А софт там такой же.

 

И для людей - я все таки выкачал с китайского обменника версию 6.0(2)U6(8) - прошу любить и жаловать:

http://sfree.ws/files/n3000-uk9-kickstart.6.0.2.U6.8.bin

http://sfree.ws/files/n3000-uk9.6.0.2.U6.8.bin

 

и собственно версия 7.0.3.I5.1

http://sfree.ws/files/nxos.7.0.3.I5.1.bin

[dignity]

Одному надо надпомнить, второй разбувается, а третий никак не грузиться, прошу прощения за оффтоп, мой грамманацист негодует...

[Azamat]

А есть ли разница между 7 и 6 ветками ОС, чтобы ради этого в обязательном порядке переводить на 7 ?

[artplanet]

для начала, 6 версия не может загрузиться с USB флешки, 7 может грузиться с USB даже если форматнуть бутфлеш

Ну и во вторых - была тема что на 6ой версии у людей не заводились китайские модули 40Gb/s, у нас же они завились без проблем. Правда может партия другая. Но все же завелись.

Да и в принципе мы нексусы только ставим, смысл сразу искать глюки 6ой версии, можно и 7ую поставить. В продакшене пока только один Nexus 3064 и то пару недель

[Azamat]

китайские модули с правильной прошивкой работают и на 6 версии. А с корявой вряд ли бы запустились и на 7. Остальное видать не критично настолько.

Edited January 24, 2017 by Azamat

[alexey63rus]

Добрый день уважаемые.

пишу может не в тот раздел, но суть есть Nexus 3048 в качестве ядра сети использовать?

catalyst 3560-48PSS х 2 шт, 3750-48PSS х 3 шт. ASA5520 всё в NEXUS будет по оптике.

задачи VLAN, VTP, OSPF, ACL, сервера 6 шт primary = slave DC-AD, видеосервер на 100 - 130 IP камер от 2 до 5 Mpx, ещё несколько серверов, сервера с карточками на 10Gb

 

данные задачи понимаю что не ЦОД, что скажете?

Edited March 18, 2017 by alexey63rus

[andryas]

Агрегацию на нём можно.

С Вашими задачами должен справится.

[zoro]

но суть есть Nexus 3048 в качестве ядра сети использовать?

задачи VLAN, VTP, OSPF, ACL, сервера 6 шт primary = slave DC-AD, видеосервер на 100 - 130 IP камер от 2 до 5 Mpx, ещё несколько серверов, сервера с карточками на 10Gb

 

данные задачи понимаю что не ЦОД, что скажете?

Vlan OSPF нет проблем... VTP зло.. :) ACL- в принципе нормально, но это не много не тот уровень задач для такого коммутатора, обычно на портах доступа уже срезают не нужное... Но в любом случае справится и на 6.х.х версии софта... Все остальные софты это добавление плюшек и глюков борьбы с глюками в плюшках :)

[Mechanic]

подскажите как там вопрос с лицензиями решается ?

Можно ли раздобыть халявно или только через магазин ?

[kapydan]

Только на нексусах нельзя создавать dhcp пулы. многие про это забывают.

И, как написали выше, vtp лучше б выключить...

[iMPoSsibLe_iT]

8 часов назад, Mechanic сказал:

подскажите как там вопрос с лицензиями решается ?

Можно ли раздобыть халявно или только через магазин ?

На Nexus 3064 - RTU.  У меня на одном из Нексусов после того как сбойнул флеш и я потерял лицензии он так и работает без них с BGP и прочими плюшками.

[Mechanic]

хотим Nexus 3048 

RTU - это что ?

 

[StSphinx]

17 минут назад, Mechanic сказал:

хотим Nexus 3048 

RTU - это что ?

 

Right to use. Типа - пользуйся, если совесть позволяет) Но что-то есть сомнения, что там RTU лицензии. Кто-то из владельцев 3048/3064 может подтвердить?

UPD: Вот что сходу нашел по поводу лицензирования на NX-OS: NX-OS licensing guide

[Mechanic]

судя по всему для Feature-Based Licenses for the Cisco Nexus 3000 Series

на 48 портов не нужны особых лицензий ?!

L2-vlan и L3 функционал

 

[StSphinx]

Цитирую с cisco.com

System default (no license required):

● Comprehensive Layer 2 feature set: VLAN, IEEE 802.1Q Trunking, vPC, Link Aggregation Control Protocol (LACP), Unidirectional Link Detection (UDLD; standard and aggressive), Multiple Spanning Tree Protocol (MSTP), Rapid Spanning Tree Protocol (RSTP), Spanning Tree Protocol guards, and Transparent VLAN Trunk Protocol (VTP)
●  Security: Authentication, authorization, and accounting (AAA); Dynamic Host Configuration Protocol (DHCP) snooping; storm control; configurable Control-Plane Policing (CoPP); and private VLAN (PVLAN)
●  Management features: Cisco DCNM support, console, Secure Shell Version 2 (SSHv2) access, Cisco Discovery Protocol, SNMP, and syslog

 

Base license (N3K‑C3048‑BAS1K9):

●  Layer 3 IP routing: Inter-VLAN routing (IVR), static routes, RIPv2, access control list (ACLs), OSPFv2 (limited to 256 routes), EIGRP stub, Hot Standby Router Protocol (HSRP), Virtual Router Redundancy Protocol (VRRP), and Unicast Reverse-Path Forwarding (uRPF)
●  Multicast: PIM-SM, SSM, and MSDP

 

Nexus 3048 detesheet

[iMPoSsibLe_iT]

В 22.11.2018 в 12:49, StSphinx сказал:

Right to use. Типа - пользуйся, если совесть позволяет) Но что-то есть сомнения, что там RTU лицензии. Кто-то из владельцев 3048/3064 может подтвердить?

UPD: Вот что сходу нашел по поводу лицензирования на NX-OS: NX-OS licensing guide

По поводу сомнений:

Software
  BIOS: version 4.1.0
  NXOS: version 7.0(3)I6(1)
  BIOS compile time:  02/02/2017
  NXOS image file is: bootflash:///nxos.7.0.3.I6.1.bin
  NXOS compile time:  5/16/2017 22:00:00 [05/17/2017 06:21:28]

Hardware
  cisco Nexus3064 Chassis
  Intel(R) Celeron(R) CPU        P4505  @ 1.87GHz with 3903112 kB of memory.
  Processor Board ID FOC16174PFN

  Device name: Core-AVIA
  bootflash:    1877208 kB
  usb1:               0 kB (expansion flash)

 

Core-AVIA# sh license usage
Feature                      Ins  Lic   Status Expiry Date Comments
                                 Count
--------------------------------------------------------------------------------
LAN_BASE_SERVICES_PKG         Yes   -   Unused Never       license missing
LAN_ENTERPRISE_SERVICES_PKG   Yes   -   In use Never       license missing
--------------------------------------------------------------------------------
**** WARNING: License file(s) missing. ****

 

Edited November 23, 2018 by iMPoSsibLe_iT

[StSphinx]

16 минут назад, iMPoSsibLe_iT сказал:

По поводу сомнений:

Software
  BIOS: version 4.1.0
  NXOS: version 7.0(3)I6(1)
  BIOS compile time:  02/02/2017
  NXOS image file is: bootflash:///nxos.7.0.3.I6.1.bin
  NXOS compile time:  5/16/2017 22:00:00 [05/17/2017 06:21:28]

Hardware
  cisco Nexus3064 Chassis
  Intel(R) Celeron(R) CPU        P4505  @ 1.87GHz with 3903112 kB of memory.
  Processor Board ID FOC16174PFN

  Device name: Core-AVIA
  bootflash:    1877208 kB
  usb1:               0 kB (expansion flash)

 

Core-AVIA# sh license usage
Feature                      Ins  Lic   Status Expiry Date Comments
                                 Count
--------------------------------------------------------------------------------
LAN_BASE_SERVICES_PKG         Yes   -   Unused Never       license missing
LAN_ENTERPRISE_SERVICES_PKG   Yes   -   In use Never       license missing
--------------------------------------------------------------------------------
**** WARNING: License file(s) missing. ****

 

 

Может все дело в том, что , как вы писали, лицензия у вас была, но файл потерялся?

Тут было бы показательно, если бы у вас изначально не было LAN_ENTERPRISE лицензии, но были в работе фичи, которые под эту лицензию попадают.

[iMPoSsibLe_iT]

Согласен.   К сожалению,проверить вариант совсем без лицензий пока не начем.