BabiyPetr

Спасибо всем за советы, не стал мучать нексус маршрутизацией, переложил ее на VirtualRouter от OpenNebula , на всех нодах настроил VPN доступ во внутреннюю сеть, все IP для IPMI перенес в серую сеть, а IP нод прикрыл фаерволом.

Порты аплинков включены в L2 (mode access) Совершенно верно Сейчас так и сделано Vlan 1 - в него приходит от аплинка наш /23 блок Vlan 5 - 10.10.0.0/24 - это сеть комуникации гипервизора (10Г) Vlan 10 - 10.0.0.0/24 - это сеть синхронизации DRBD хранилища, от каждой ноды в этот влан по два 10Г порта входит и я их объединил при помощи lacp (L2) что бы обеспечить канал в 20Г на ноду для синхронизации массива (планировался ceph , но из-за того что все железки в одной стойке пока отказались от него) И по сути меня эта схема устраивает, есдинственное чего не хватает это что бы из сети 10.10.0.0/24 (влан 5) можно было выходить в интернет Вот это да, мне очень хочется это сделать, сейчас IPMI подключен через каталист свитч и в принципе нет проблем переключить линк на него в 5 влан что бы использовать там 10.10.0.0/24 сетку. Вопрос в том как лучше доступ к этой сети снаружи сделать? Понятно что я могу в принципе поднять ВПН в самом облаке и через него получать доуступ в эту приватную сеть, в принципе то вероятность того что все ноды облака умрут одновременно и исчезнет этот впн доступ достаточно минимальны. Что касается нод, то тут у меня вероятно явный недостаток знаний, допустим мостовой интерфейс vmbr0 на котором сейчас висит публичный адрес и который воткнут в влан 1 , я переведу во влан 5 где живет сетка 10.10.0.0/24 , но как тогда трафик пришедший на влан 1 (где живет наш блок /23) доберется до виртуалок которые включены через мост во влан 5 ? Если этот мост оставлять в первом влане то как на нем применить приватные адреса?

Тут сложно сказать , NAT то не панацея. По сути ведь можно разрулить все и маршрутизацией, а для доступа к приватным сетям снаружи поднять IPSEC VPN вроди же можно такое на цисках? вчера находил какие то древние статьи на эту тему, но более и менее актуальное касается IPSEC типа точка - точка VPN был бы удобнее чем NAT для доступа к инфраструктурным нодам ну а исходящий трафик наверное можно и без NAT разрулить Вопрос только как правильно сделать... OpenNebula поддерживает Open Switch и VXLAN может это как то можно применить для достижения цели..

Совершенно верно, то есть на ноде мост на мосту висит серый ip , она в сеть ходит через NAT , на виртуалках которые к этому мосту подключены можно использовать и серые и белые адреса   В идеале на виртуалке всегда висит приватный ип и шлюз от него , и с 32 префиксом можно прописать публичный ип и тогда на эту виртуалку можно попасть по нему

Приветствую ребята. Делаем частное облако на базе OpenNebula , под это дело была приобретена Cisco Nexus 9000 C9372PX, отдельное человеческое спасибо всем кто помог перепрошить ее и поднять аплинки)) Суть такова сейчас на этот свитч захидит два линка по 10Г от дата центра, линки агрегированы lacp , весь этот трафик идет в Vlan1 Создано еще два Vlan один для приватной сети между виртуалками а второй для синхронизации хранилища В целом Cisco сейчас работает в L2 режиме, но вот хочется использовать весь потенциал этого свитча и высвободить белые IP которых не так то и много спрятав все за NAT , но только вот таким хитрым способом, что если на виртуалке прописан белый IP то она должна быть доступна без NAT , если не прописан, то в интернет она ходить может через NAT. Высвободить хочется преимущественно ip для нод и IPMI пронатив это все по портам (PAT) Вчера пробовал и vrf и просто пытался трафик между вланами занатить, ну что то все тчетно.... Может посоветуете можно ли как то организовать то что я хочу?

Да, проблема была именно в этом, как только оба линка переставили в Nexus так сразу же все заработало. В итоге получился небольшой даунтайм (2-3 минутки) пока перетыкнули сервера в новый свитч.

Дело в том что это Сингапурское отделение одного из крупных мировых ДЦ, но инженеры которые там находятся похоже того же уровня что и я)) Общение с ними у нас идет очень туго... когда поднимали аплинк с каталистом то потратили две недели пока не достучались до европейской сетевой команды и они уже дали разъяснения и нам и им)) Сейчас я затрудняюсь сказать как сконфигурирован этот линк на их стороне, выведен ли он из LACP или нет, то что он поднимается без LACP может свидетельствовать что он выведен? Но меня смущает то что когда линк поднят то пинги к дефолтному шлюзу нашей сети не идут.. ну и сосбвенно так же нельзя достучаться до IP адреса который прописан для менеджмента Наверное не стану отнимать Ваше время, попробую достучаться до европейского офиса , возможно получится оперативно уточнить детали) Спасибо за посильную помощь

И еще такой момент я обновлял прошивку там стояла aci-n9000-dk9.11.2.1m.bin А я поставил nxos.9.3.5.bin

Ну другого нет, при заказе специально просил поставщика предоставить подходящие трансиверы и в документации он вроди как числится среди допустимых, подробности о транивере: sh int e 1/48 transceiver details Ethernet1/48 transceiver is present type is 10Gbase-LR name is Arista Networks part number is SFP-10G-LR revision is 0002 serial number is XDP150401719 nominal bitrate is 10300 MBit/sec Link length supported for 9/125um fiber is 10 km cisco id is 3 cisco extended id number is 4 SFP Detail Diagnostics Information (internal calibration) ---------------------------------------------------------------------------- Current Alarms Warnings Measurement High Low High Low ---------------------------------------------------------------------------- Temperature 45.23 C 85.00 C -15.00 C 80.00 C -10.00 C Voltage 3.27 V 3.79 V 2.79 V 3.70 V 2.90 V Current 29.21 mA 90.00 mA 2.00 mA 80.00 mA 3.00 mA Tx Power -2.95 dBm 1.99 dBm -10.22 dBm 1.00 dBm -9.20 dBm Rx Power -1.86 dBm 0.99 dBm -20.00 dBm 0.00 dBm -19.20 dBm Transmit Fault Count = 0 ---------------------------------------------------------------------------- Note: ++ high-alarm; + high-warning; -- low-alarm; - low-warning just-sw1# sh int e 1/48 transceiver calibrations Ethernet1/48 transceiver is present type is 10Gbase-LR name is Arista Networks part number is SFP-10G-LR revision is 0002 serial number is XDP150401719 nominal bitrate is 10300 MBit/sec Link length supported for 9/125um fiber is 10 km cisco id is 3 cisco extended id number is 4 SFP is internally calibrated По поддержке модуля заявлено как поддерживаемый

Другая сторона не в моем подчинении, ДЦ требует что бы порты были агрегированы..

Привет ребята! Я новичек в Cisco , но задачу мне все же поставили и я должен ее решить, но столкнулся с проблемкой и прошу Вашей помощи. Задача стоит перенести аплинки со свитча Cisco Catalyst c2960x-48ts (два линка по 1 Gbps агрегированных LACP ) на свитч Cisco Nexus 9372PX-E (тут уже будет два линка по 10Gbps так же агрегированных с LACP) и так как за catalyst еще живут клиенты то переносить нужно поочередно. Причем делается это все удаленно без физического контакта с оборудованием... В этом дата центра аплинком выступает Arista 7260cx3 и даже при конфигурировании старого доброго catalyst тоже были проблемы которые решились добавлением следующих опций в конфигурацию: service unsupported-transceive spanning-tree mode rapid-pvst spanning-tree extend system-id no errdisable detect cause gbic-invalid no errdisable detect cause sfp-config-mismatch errdisable recovery cause gbic-invalid Ну и конфигурация интерфейсов тоже специфична: interface Port-channel1 switchport mode access switchport nonegotiate speed nonegotiate interface GigabitEthernet1/0/49 switchport mode access switchport nonegotiate speed nonegotiate channel-protocol lacp channel-group 1 mode active ! interface GigabitEthernet1/0/50 switchport mode access switchport nonegotiate speed nonegotiate channel-protocol lacp channel-group 1 mode active ! Только в такой конфигурации это все завелось и работает по сей день. Сейчас линк из 50 го интерфейса переставили в Nexus , пока я не добавляю новый интерфейс в channel-group он вроди бы работает исправно: sh int e 1/48 Ethernet1/48 is up admin state is up, Dedicated Interface Hardware: 1000/10000 Ethernet, address: 00c8.8bcc.4091 (bia 00c8.8bcc.4091) MTU 1500 bytes, BW 10000000 Kbit , DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is access full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 00:00:15 Last clearing of "show interface" counters 01:23:34 4 interface resets Load-Interval #1: 30 seconds 30 seconds input rate 720 bits/sec, 0 packets/sec 30 seconds output rate 344 bits/sec, 0 packets/sec input rate 720 bps, 0 pps; output rate 344 bps, 0 pps Load-Interval #2: 5 minute (300 seconds) 300 seconds input rate 16 bits/sec, 0 packets/sec 300 seconds output rate 16 bits/sec, 0 packets/sec input rate 16 bps, 0 pps; output rate 16 bps, 0 pps RX 0 unicast packets 375 multicast packets 0 broadcast packets 375 input packets 64968 bytes 0 jumbo packets 0 storm suppression packets 0 runts 0 giants 0 CRC 0 no buffer 0 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause TX 0 unicast packets 266 multicast packets 0 broadcast packets 266 output packets 44686 bytes 0 jumbo packets 0 output error 0 collision 0 deferred 0 late collision 0 lost carrier 0 no carrier 0 babble 0 output discard 0 Tx pause но стоит добавить его в channel-group как он тут же переходит в статус suspend: sh int e 1/48 Ethernet1/48 is down (suspended) admin state is up, Dedicated Interface Belongs to Po1 Hardware: 1000/10000 Ethernet, address: 00c8.8bcc.4091 (bia 00c8.8bcc.4091) MTU 1500 bytes, BW 10000000 Kbit , DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is access auto-duplex, auto-speed, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 00:00:31 Last clearing of "show interface" counters 00:00:33 4 interface resets Load-Interval #1: 30 seconds 30 seconds input rate 800 bits/sec, 0 packets/sec 30 seconds output rate 312 bits/sec, 0 packets/sec input rate 800 bps, 0 pps; output rate 312 bps, 0 pps Load-Interval #2: 5 minute (300 seconds) 300 seconds input rate 48 bits/sec, 0 packets/sec 300 seconds output rate 200 bits/sec, 0 packets/sec input rate 48 bps, 0 pps; output rate 200 bps, 0 pps RX 0 unicast packets 27 multicast packets 0 broadcast packets 27 input packets 3557 bytes 0 jumbo packets 0 storm suppression packets 0 runts 0 giants 0 CRC 0 no buffer 0 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause TX 0 unicast packets 6 multicast packets 0 broadcast packets 6 output packets 1146 bytes 0 jumbo packets 0 output error 0 collision 0 deferred 0 late collision 0 lost carrier 0 no carrier 0 babble 0 output discard 0 Tx pause на новом месте конфигурировать пытаюсь так: - int e1/47-48 - switchport - switchport mode access - channel-group 1 mode active - no shutdown - int port-channel 1 - switchport - switchport mode access - no shutdown Состояние этого порта сейчас такое: sh port-channel summary Flags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed b - BFD Session Wait S - Switched R - Routed U - Up (port-channel) p - Up in delay-lacp mode (member) M - Not in use. Min-links not met -------------------------------------------------------------------------------- Group Port- Type Protocol Member Ports Channel -------------------------------------------------------------------------------- 1 Po1(SD) Eth LACP Eth1/47(D) Eth1/48(s) В логах есть одна неприятная строчка: 2011 Jan 5 03:00:08 just-sw1 %ETHPORT-3-IF_UNSUPPORTED_TRANSCEIVER: Transceiver on interface Ethernet1/48 is not supported Но меня смущает что при этом интерфейс то поднимается без LACP .... Лог предшестующий остановке интерфейса выглядит так: 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-SPEED: Interface Ethernet1/48, operatio nal speed changed to 10 Gbps 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/48, oper ational duplex mode changed to Full 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1 /48, operational Receive Flow Control state changed to off 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1 /48, operational Transmit Flow Control state changed to off 2011 Jan 5 04:57:17 just-sw1 %ETHPORT-5-IF_UP: Interface Ethernet1/48 is up in mode access 2011 Jan 5 04:59:19 just-sw1 %ETHPORT-5-IF_DOWN_CHANNEL_MEMBERSHIP_UPDATE_IN_PR OGRESS: Interface Ethernet1/48 is down (Channel membership update in progress) 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-SPEED: Interface Ethernet1/48, operatio nal speed changed to 10 Gbps 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/48, oper ational duplex mode changed to Full 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1 /48, operational Receive Flow Control state changed to off 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1 /48, operational Transmit Flow Control state changed to off 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-SPEED: Interface port-channel1, operati onal speed changed to 10 Gbps 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_DUPLEX: Interface port-channel1, ope rational duplex mode changed to Full 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface port-chan nel1, operational Receive Flow Control state changed to off 2011 Jan 5 04:59:21 just-sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface port-chan nel1, operational Transmit Flow Control state changed to off 2011 Jan 5 04:59:46 just-sw1 %ETH_PORT_CHANNEL-5-PORT_SUSPENDED: Ethernet1/48: Ethernet1/48 is suspended Вот и вся вводная информация, подскажите пожалуйста в какую сторону копать, что можно попробовать?

Большое спасибо, а версии для обновления я правильные выбрал ?

Привет ребята, нужна Ваша помощь, прикупили свитч N9K-C9372PX-E как выяснилось на нем установлена ACI версия программы... мне под мои цели нужна обычная nxos , нашел все инструкции решил сменить, но не могу скачать, нет контракта Подробности по свитчу: (none)# show version Cisco Nexus Operating System (NX-OS) Software TAC support: http://www.cisco.com/tac Documents: http://www.cisco.com/en/US/products/ps9372/tsd_products_support_series_home.html Copyright (c) 2002-2014, Cisco Systems, Inc. All rights reserved. The copyrights to certain works contained in this software are owned by other third parties and used and distributed under license. Certain components of this software are licensed under the GNU General Public License (GPL) version 2.0 or the GNU Lesser General Public License (LGPL) Version 2.1. A copy of each such license is available at http://www.opensource.org/licenses/gpl-2.0.php and http://www.opensource.org/licenses/lgpl-2.1.php Software BIOS: version 07.41 kickstart: version 11.2(1m) [build 11.2(1m)] system: version 11.2(1m) [build 11.2(1m)] PE: version 1.2(1m) BIOS compile time: 10/12/2015 kickstart image file is: /bootflash/aci-n9000-dk9.11.2.1m.bin kickstart compile time: 01/29/2016 06:12:28 [01/29/2016 06:12:28] system image file is: /bootflash/auto-s system compile time: 01/29/2016 06:12:28 [01/29/2016 06:12:28] Hardware cisco N9K-C9372PX-E ("supervisor") Intel(R) Core(TM) i3- CPU @ 2.50GHz with 16400384 kB of memory. Processor Board ID SAL2006Y5VR Device name: none bootflash: 62522368 kB Kernel uptime is 00 day(s), 00 hour(s), 14 minute(s), 24 second(s) Last reset at 145000 usecs after Sun Jan 02 02:15:31 2011 Reason: reset-requested-by-cli-command-reload System version: version 11.2(1m) [build 11.2(1m)] Service: PolicyElem Ch reload plugin Core Plugin, Ethernet Plugin Насколько я понимаю мне нужна версия nxos.7.0.3.I7.8.bin или nxos.9.3.5.bin , возможно ошибаюсь, буду благодарен если подскажите какую именно прошивку нужно использовать что бы свитч оставался рабочим (я про лицензирование) ну и конечно же нужна сама прошивка , которую я увы не могу скачать с офф сайта. Заранее благодарен.