Jump to content
Калькуляторы

Port-channel Cisco и Supermicro

Reply to this topic

artplanet   

artplanet
Posted

Есть Cisco 4948E - на ней сделали портчанел:

interface Port-channel12
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 89
switchport mode trunk
end

interface GigabitEthernet1/0/43
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 89
switchport mode trunk
channel-group 12 mode on
end
interface GigabitEthernet1/0/44
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 89
switchport mode trunk
channel-group 12 mode on
end

 

в таком режиме со стороны Cisco портчанел поднимается, и даже принимает трафик со стороны оборудования которое подключено в свитч Supermicro (смотрели по tcpdump))

А вот трафик со стороны оборудования подключенного в Cisco не доходит до оборудования которое подключено в свитч Supermicro

если на Cisco поменять channel-group 12 mode на active/passive/auto - то int portchannel уходит в статус не коннектед

 

настройки на свитче supermicro:

89 влан смотрит транком в порты 1,2,3,4 и смотрит untagged в сторону портов 11-24

http://owncloud.su/index.php/s/HJBu3fEV9fJENLT

так же создан некий транк(именно там в супермикро обозвали агригацию)

и в него добавлены порты 1 и 2

http://owncloud.su/index.php/s/rsOkwwo8JgNRWCE

на стороне свитча супермикро пытались менять Distribution Criterion на все варианты - не помогает. трафик не принимается.

 

у кого был в опыт с таким оборудованием, кто что подскажет ?

 

PS. Без портчанел у нас всё работает, но нужно сделать портчанел чтобы увеличить пропускную способность.

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

прописали на cisco в int po12

ситуация не поменялась (при channel-group 12 mode on )

если ставить channel-group 12 mode active - то портчанел не поднимается

Po12 notconnect trunk auto auto

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

Port-channel на Supermicro поддерживает LACP?

 

 

все настройки которые доступны на supermicro я показал на скринах, слов с названием LACP я не нашел

 

вот настройки со стороны supermicro через телнет

ecos>TRUNK       
Command (TRUNK) Usages:
  trunk init                                - Initialzie trunking function
  trunk add <Id=val> <Rtag=val> <Pbmp=val>  - Add ports and create a trunk
  trunk remove <Id=val> <Pbmp=val>          - Remove ports from a trunk
  trunk show [<Id=val>]                     - Display trunk information
  trunk psc <Id=val> <Rtag=val>             - Change Rtag (for testing ONLY)
* TRUNK save  - To save the new configuration into NVRAM

ecos>TRUNK show
trunk 0: 2 ports=ge0,ge1 dlf=ge0 mc=any ipmc=any psc=srcmac (1)

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

Вот из описания свитча с сайта супермикро

Trunking (Static Link Aggregation) Increase bandwidth and redundancy.
Up to 8 ports per trunk, 4 trunks per switch.

 

и еще из документации

 

NOTE: You will see “BMB-GEM-003” on most of these screens. This the board
model number for the SBM-GEM-001 switch and is sometimes used
interchangeably with it in describing the product.

 

то есть у нас свитч SBM-GEM-001

 

Trunking	
Link aggregation support (802.3ad-static)

 

http://owncloud.su/index.php/s/FvXIqblZuOZbURq

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

вот видео прокликивания всех меню на свитче

http://owncloud.su/index.php/s/bKaQ1ouPikhVnOX

нет тут настройки - какие вланы в каком транке, походу настройка берется из привязки вланов к порту

Share this post

Link to post
Share on other sites

UglyAdmin   

UglyAdmin
Posted

PS. Без портчанел у нас всё работает, но нужно сделать портчанел чтобы увеличить пропускную способность.

Вы знаете, как это портченел работает? Он поможет, когда у Вас хотя бы с одной стороны около сотни хостов, тогда можно распределить трафик более-менее равномерно.

Для одного хоста - полосы больше пропускной способности одного порта не будет. Не получится его нормально распределить по двум портам, особенно на таком убогом оборудовании...

Может, он уже и не нужен? :)

Share this post

Link to post
Share on other sites

v_r   

v_r
Posted

На свитче Supermicro прошивка свежая?

Бывало на Дилинках ловились глюки с агрегациями типа петель или остутствия трафика, лечилось обновлением прошивки.

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

А через телнет нет никаких ещё настроек?

 

 

ecos>?
AGE		  Set hardware age timer
CABLEdiag	  Run Cable Diagnotics
COS		  Manage classes of service
counters	  Displays CPU counter
dot1x		  Displays/configure 802.1x
exit		  exit shell
help		  Displays Help information
?		  Displays Help information
httpd		  Enable/disable HTTPd at startup
hwm		  Check HW Monitor status
IGMP		  Displays/Configure IGMP Snooping
JUMbo		  Enable/disable Jumbo Frame support
L2		  Manage L2 (MAC) addresses
load		  Load configurations
MIRror		  Manage port mirroring
PORT		  Set/Display port characteristics
PortRate	  Set/Display port rate metering characteristics
PortStat	  Display port status in table
PVlan		  Port VLAN settings
RATE		  Manage packet rate controls (Storm Controls)
reboot		  Reboot System
rstp		  Displays/configure RSTP
save		  Save configurations
showMem		  displays memory info
showThreads	  Displays running threads information
telnetd		  Enable/disable telnet daemon
TRUNK		  Manage port aggregation
VLAN		  Manage virtual LANs
ifconfig	  configure interface
ecos>VLAN ?
Command (VLAN) Usages:
  vlan create <id> [PortBitMap=<pbmp> UntagBitMap=<pbmp>]
                                       - Create a VLAN
  vlan destroy <id>                    - Destroy a VLAN
  vlan clear                           - Destroy all VLANs
  vlan add <id> [PortBitMap=<pbmp> UntagBitMap=<pbmp>
                                       - Add port(s) to a VLAN
  vlan remove <id> [PortBitMap=<pbmp>] - Remove ports from a VLAN
  vlan show                            - Display all VLANs
  vlan default [<id>]                  - Show or set the default VLAN
* VLAN save  - To save the new configuration into NVRAM
ecos>PVlan ?
Command (PVlan) Usages:
  pvlan show <pbmp>
        - Show PVLAN info for these ports.
  pvlan set <pbmp> <vid>
        - Set default VLAN tag for port(s)
          Port bitmaps are read from the VTABLE entry for the VID.
          <vid> must have been created and all ports in <pbmp> must
          belong to that VLAN.
* PVlan save  - To save the new configuration into NVRAM
ecos>PVlan show
Port ge0 default VLAN is 1
Port ge1 default VLAN is 1
Port ge2 default VLAN is 1
Port ge3 default VLAN is 1
Port ge4 default VLAN is 1
Port ge5 default VLAN is 1
Port ge6 default VLAN is 1
Port ge7 default VLAN is 1
Port ge8 default VLAN is 1
Port ge9 default VLAN is 1
Port ge10 default VLAN is 89
Port ge11 default VLAN is 89
Port ge12 default VLAN is 89
Port ge13 default VLAN is 89
Port ge14 default VLAN is 89
Port ge15 default VLAN is 89
Port ge16 default VLAN is 89
Port ge17 default VLAN is 89
Port ge18 default VLAN is 89
Port ge19 default VLAN is 89
Port ge20 default VLAN is 89
Port ge21 default VLAN is 89
Port ge22 default VLAN is 89
Port ge23 default VLAN is 89

 

Вы знаете, как это портченел работает? Он поможет, когда у Вас хотя бы с одной стороны около сотни хостов, тогда можно распределить трафик более-менее равномерно.

Для одного хоста - полосы больше пропускной способности одного порта не будет. Не получится его нормально распределить по двум портам, особенно на таком убогом оборудовании...

Может, он уже и не нужен? :)

 

как раз знаем - и портчанел как раз нужен

в блейде будет 14 серверов (это уже 14 разных мак адресов)

а на каждом сервере будет нода с виртуалками от 30 до 50 штук. у каждой виртуалки свой мак.

 

итого через порт чанел будет работать 600-700 виртуалок

 

На свитче Supermicro прошивка свежая?

Бывало на Дилинках ловились глюки с агрегациями типа петель или остутствия трафика, лечилось обновлением прошивки.

 

последняя с сайта супермикро

 

Device Name BMB-GEM-003

Firmware Version WSS: 2.00 SDK: sdk-modena-5.2.1-dev Upgrade

Build Date Wed Jul 2 18:46:32 2008

MAC address 00-30-48-A0-09-9B

DHCP Client Disabled

IP Address 10.10.30.5

Subnet mask 255.255.255.0

Gateway 10.10.30.254

L2 Table Aging Disabled

 

скачивали с ftp://ftp.supermicro.com/Firmware/Blade/GEM-003/

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted (edited)

 

спасибо за ссылку - только она не поможет.

В документации свитчи которые поддерживают полноценно LACP, а у нас модель которая поддерживает только Static (Link aggregation support (802.3ad-static))

у нас даже нет команды "configure terminal" как указанно в документации Выше.

Edited by artplanet

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

Похоже для такого кол-ва хостов лучше поставить что нибудь поприличнее.

 

 

вопрос только что? свитч имеет спец интерфейс и вставляется в блейд шасси. циску туда не запихнуть

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

http://owncloud.su/index.php/s/2NSsHBVtQR58ow2

 

свитч стоит слева сверху с задней стороны (как раз курсор мышки на скрине на него наведен)

Share this post

Link to post
Share on other sites

zhenya`   

zhenya`
Posted

врядли это единственная возможная опция.

в хпшный блейд вот вставляется и циска старая и хпшный свитч ) и ваще кусок нексуса можно вставить.

Share this post

Link to post
Share on other sites

UglyAdmin   

UglyAdmin
Posted

Простой вариант - развести серверы на 2 вилана, каждый вилан пустить через отдельный порт.

Хотя цискин портчаннел статик нормально работает с длинками, например.

 

Что циска говорит на портчаннел? (show etherchannel 12 detail, show int po12).

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

врядли это единственная возможная опция.

в хпшный блейд вот вставляется и циска старая и хпшный свитч ) и ваще кусок нексуса можно вставить.

 

не единственная - но более современный свитч стоит дороже 2000$ и ехать будет месяца полтора.

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

Простой вариант - развести серверы на 2 вилана, каждый вилан пустить через отдельный порт.

Хотя цискин портчаннел статик нормально работает с длинками, например.

 

Что циска говорит на портчаннел? (show etherchannel 12 detail, show int po12).

 

 

разводить тоже не вариант - так как на серверах будут виртуалки - и будет такое понятие как живая миграция с ноды на ноду виртуальной машины - то в этом случае будет трафик 1 гиг в полку с одного сервера на другой, и чтобы он мешался не такому большому количеству клиентов - лучше все же портчанел, хоть и статик

 

и сейчас случилась магия - вчера ради интереса просто перезагрузил свитч и ушел спать, просыпаюсь - портчанел работает. http://test.artplanet.su/magic.webm

 

how etherchannel 12 detail
Group state = L2 
Ports: 2   Maxports = 8
Port-channels: 1 Max Port-channels = 1
Protocol:    -
Minimum Links: 0
	Ports in the group:
	-------------------
Port: Gi1/0/43
------------

Port state    = Up Mstr In-Bndl 
Channel group = 12          Mode = On              Gcchange = -
Port-channel  = Po12        GC   =   -             Pseudo port-channel = Po12
Port index    = 0           Load = 0x00            Protocol =    -

Age of the port in the current state: 0d:00h:00m:44s

Port: Gi1/0/44
------------

Port state    = Up Mstr In-Bndl 
Channel group = 12          Mode = On              Gcchange = -
Port-channel  = Po12        GC   =   -             Pseudo port-channel = Po12
Port index    = 0           Load = 0x00            Protocol =    -

Age of the port in the current state: 0d:00h:00m:43s

	Port-channels in the group: 
	---------------------------

Port-channel: Po12
------------

Age of the Port-channel   = 1d:00h:30m:56s
Logical slot/port   = 10/12          Number of ports = 2
GC                  = 0x00000000      HotStandBy port = null
Port state          = Port-channel Ag-Inuse 
Protocol            =    -
Port security       = Disabled

Ports in the Port-channel: 

Index   Load   Port     EC state        No of bits
------+------+------+------------------+-----------
 0     00     Gi1/0/43 On                 0
 0     00     Gi1/0/44 On                 0

Time since last port bundled:    0d:00h:00m:43s    Gi1/0/44
Time since last port Un-bundled: 0d:00h:00m:49s    Gi1/0/44

Share this post

Link to post
Share on other sites

UglyAdmin   

UglyAdmin
Posted

и сейчас случилась магия - вчера ради интереса просто перезагрузил свитч и ушел спать, просыпаюсь - портчанел работает.

Бывает. :)

Share this post

Link to post
Share on other sites

UglyAdmin   

UglyAdmin
Posted

Варианты есть и без port-channel.

Например, сделать в циске оба порта в одном вилане, access. А на Супермикро - в разных, но тоже в access.

Если у Вас обмен данными между виртуалками не планируется в сколь-нибудь значительных объёмах...

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

Варианты есть и без port-channel.

Например, сделать в циске оба порта в одном вилане, access. А на Супермикро - в разных, но тоже в access.

Если у Вас обмен данными между виртуалками не планируется в сколь-нибудь значительных объёмах...

 

рассматривали вариант - но сразу минус - блейдов 14, то есть 14 портов по гигу нужно. А аплинков всего 10ть.

Да и витух сразу нужно 10 штук тянуть вместо 3-4. А порты не резиновые на л3 свитчах

 

а саппорт супермикро что говорит?

 

 

ничего - даже не спрашивали их. Быстрее тут подумать чем ответа дождаться.

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Followers 0
Go to topic listing Активное оборудование Ethernet, IP, MPLS, SDN/NFV...