Jump to content
Калькуляторы

Cisco Nexus 3048 - низкая скорость роутинга

Reply to this topic

artplanet   

artplanet
Posted (edited)

Подключили в тест первую 3048, завели первый тестовый сервер через него.

Установили ОС и стали тестировать скорость интернета на самом сервере

В итоге во время тестирования обычная команда 

wget http://mirror.yandex.ru/ubuntu-releases/16.10/ubuntu-16.10-server-amd64.iso

показала очень низкую скорость

ubuntu-16.10-server-amd6   0%[                                 ]   1.05M   323KB/s    eta 34m 13s

 

настройки на нексусе 3048. Сначала сброс к заводским настройкам.

Далее:

interface Vlan3103
 description ru363
 no shutdown
 medium p2p
 ip unnumbered loopback0
 ip proxy-arp
 ip dhcp relay address x.y.x.2 

ip route x.y.x.209/32 Vlan3103

 

То есть создаем обычный int vlan

далее, с нексуса поднят bgp до ядра сети, все на внешних ip

по трассировке потерь нету

 

Если мы вынимаем сервер из nexus и тоже самое делаем на 3750 - ip на сервере не меняется. то скорость становиться:

разумеется int vlan опускаем на nexus и поднимаем на 3750. 

ubuntu-16.10-server-amd64.iso         10%[======>                                                                ]  71.96M  71.9MB/s

никаких шейперов, qos и т.д. нигде не настроено.

 

единственное что нас смущает - это не понятный copp на nexus - где куча ACL и шейперов. http://test.artplanet.su/nexus.txt

Edited by artplanet

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted (edited)

теперь - мы переделали int vlan с ip unnumbered loopback0 на стандартный int vlan - и проблема пропала.

В итоге на Cisco Nexus низкая скорость только в случае использования ip unnumbered

 

interface Vlan3100
 no shutdown
 no ip redirects
 ip address x.y.z.233/30

Edited by artplanet

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

на сервере запустили скачивание 10ти разных файлов. Суммарная скорость не поднимается выше 5 мегабит (в случае ip unnumbered)

Share this post

Link to post
Share on other sites

CNick   

CNick
Posted

Снова я :)

 

http://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/7-x/interfaces/configuration/guide/b_Cisco_Nexus_9000_Series_NX-OS_Interfaces_Configuration_Guide_7x/b_Cisco_Nexus_9000_Series_NX-OS_Interfaces_Configuration_Guide_7x_chapter_0101.html#concept_458D4BA2B01941D89D5F5936664516A5

 

 

IP Unnumbered

The IP unnumbered feature enables the processing of IP packets on a point to point (p2p) interface without explicitly configuring a unique IP address on it. This approach borrows an IP address from another interface and conserves address space on point to point links.

 

Any interface which conforms to the point to point mode can be used as an IP unnumbered interface. For 7.0(3)I3(1) and later, the IP unnumbered feature is supported only on Ethernet interfaces and sub-interfaces. The borrowed interface can only be a loopback interface and is known as the numbered interface.

 

A loopback interface is ideal as a numbered interface in that it is always functionally up. However, because loopback interfaces are local to a switch/router, the reachability of unnumbered interfaces first needs to be established through static routes or by using an interior gateway protocol, such as OSPF or ISIS.

 

 

Другими словами Nexus не поддерживает ip unnumbered функцию на SVI или тунельных интерфейсах, она будет работать только на Ethernet и Ethernet сабинтерфейсах. В противном случае трафик будет роутится через CPU, что не поддерживается на этой платформе.

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

Спасибо огромное

сделал на тест машине на физическом порту

ubuntu-16.10-server-amd64.iso         28%[==================>                                                  ] 188.18M   104MB/s

теперь остается ждать пока циска допилит это до момента когда будет работать на int vlan и допилит ли вообще

 

конфиг:

interface Ethernet1/3
 description ru363
 no switchport
 medium p2p
 ip unnumbered loopback0
 ip proxy-arp
 ip dhcp relay address x.y.x.2 

ip route x.y.z.209/32 Ethernet1/3 x.y.z.209

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

написано же - полные.

и на OSPF и на BGP стоят лицензии. По команде show licence пишет что все возможные лицухи установлены .

И два блока питания.

Ценник - предлагайте в личку - я сам не могу с ориентироваться.

Share this post

Link to post
Share on other sites

CNick   

CNick
Posted

А с какими лицензиями и почем?

Я не хочу расстраивать artplanet, но с N9k софтом лицензии идут в Right To Use, то есть функцию можно включить даже без лицензии...

Share this post

Link to post
Share on other sites

v_r   

v_r
Posted

Пишут что на N5K и N7K есть grace period 120 дней и в show license usage свитч показывает сколько дней осталось до окончания.

На N3K ничего похожего свитч не пишет:

# sh license usage 
Feature                      Ins  Lic   Status Expiry Date Comments
                                Count
--------------------------------------------------------------------------------
TP_SERVICES_PKG               No    -   Unused             -
NETWORK_SERVICES_PKG          No    -   Unused             -
LAN_BASE_SERVICES_PKG         No    -   Unused             -
LAN_ENTERPRISE_SERVICES_PKG   No    -   Unused             -
--------------------------------------------------------------------------------

Что конечно не исключает возможности отключения фич спустя время или в новой версии ОС.

Share this post

Link to post
Share on other sites

dignity   

dignity
Posted

Не очень понимаю зачем ToR свичу вся эта шняга и в чем заключается ценность... ЦОД свич - нужен максимально быстрый L2 с cut-through.

А вся маршрутизация уже на более старших Nexus-ах. Это же, по сути, port extender (ну только поумнее).

Share this post

Link to post
Share on other sites

v_r   

v_r
Posted (edited)

сделайте feater bgp и сделайте router bgp 65000

Включен OSPF, в логе:

clis[*]: !!!!!!  WARNING: 'LAN_ENTERPRISE_SERVICES_PKG' LICENSE NOT FOUND ON THE SYSTEM  !!!!!!.
You have tried to enable a licensed feature [ospf] without installing the 'LAN_ENTERPRISE_SERVICES_PKG' license,
which has not been found on the system.

Edited by v_r

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

Не очень понимаю зачем ToR свичу вся эта шняга и в чем заключается ценность... ЦОД свич - нужен максимально быстрый L2 с cut-through.

А вся маршрутизация уже на более старших Nexus-ах. Это же, по сути, port extender (ну только поумнее).

 

Кто как строит, у нас маршрутизация уже прямо на свитче в стойке. То есть клиентские SVI терминируются прямо на коммутаторе в стойке.

Далее от такого свитча идут два линка по ospf/bgp через разные 10ге порты в разные два ядра сети. (резервирование).

То есть если у нас не дай боже упадет ядро сети - все пойдет через резервное в короткие сроки (1-2 минуты на автомате)

 

 

Включен OSPF, в логе:

clis[*]: !!!!!!  WARNING: 'LAN_ENTERPRISE_SERVICES_PKG' LICENSE NOT FOUND ON THE SYSTEM  !!!!!!.

You have tried to enable a licensed feature [ospf] without installing the 'LAN_ENTERPRISE_SERVICES_PKG' license,

which has not been found on the system.

 

Какой софт стоит? работают ли фичи OSPF ? а что будет с BGP ?

Share this post

Link to post
Share on other sites

v_r   

v_r
Posted

Стоит NXOS: version 7.0(3)I2(2d). Включил для проверки BGP.

# sh feature | i bgp|ospf
bgp                    1          enabled 
ospf                   1          enabled 
ospf                   2          enabled (not-running)
ospf                   3          enabled (not-running)
ospf                   4          enabled (not-running)
ospfv3                 1          disabled
ospfv3                 2          disabled
ospfv3                 3          disabled
ospfv3                 4          disabled

В логах:

* clis[*]: !!!!!! WARNING: 'LAN_ENTERPRISE_SERVICES_PKG' LICENSE NOT FOUND ON THE SYSTEM !!!!!!.

You have tried to enable a licensed feature [ospf] without installing the 'LAN_ENTERPRISE_SERVICES_PKG'

license, which has not been found on the system.

* clis[*]: If you have enabled this feature in error, please disable the feature. If you have not

purchased the license, please contact your Cisco account team to order the license. It is in violation

of Cisco's Terms of Use to use this feature without purchasing the license.

* clis[*]: !!!!!! WARNING: 'LAN_ENTERPRISE_SERVICES_PKG' LICENSE NOT FOUND ON THE SYSTEM !!!!!!.

You have tried to enable a licensed feature [bgp] without installing the 'LAN_ENTERPRISE_SERVICES_PKG'

license, which has not been found on the system.

* clis[*]: If you have enabled this feature in error, please disable the feature. If you have not

purchased the license, please contact your Cisco account team to order the license. It is in violation

of Cisco's Terms of Use to use this feature without purchasing the license.

 

Все-все фичи OSPF не тестировал, базовые вещи работают.

На свитче в качестве теста маршрутизируется немного служебного трафика, до 500 маршрутов, чем-то более серьезным не нагружали.

Share this post

Link to post
Share on other sites

dignity   

dignity
Posted

Чем тогда nexus отличается от 3560e-48t с двумя десятками? Там прекрасно все работает вроде бы. Разве что БП одна штука.

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

количеством БП, а так же умением делать роутинг на int unnamered в int vlan(nexus не умеет)

ну и софт - в 3560e стоит IOS а тут NX-OS (меньшая задержка в работе) а именно IOS пока не примет целиком пакет - не начнет отправлять его в в пункт назначения, в свое время Nexus приняв первые 64 байта начинает уже отправку пакета.

 

а так - теже грабли - только в кось.

 

If you have enabled this feature in error, please disable the feature. If you have not

purchased the license, please contact your Cisco account team to order the license. It is in violation

of Cisco's Terms of Use to use this feature without purchasing the license.

 

как часто ругается ? или разок сказал и забыл ?

 

И да - 3560E плохо - ставим у себя 3750E - в 3560E память заканчивается рано.

Share this post

Link to post
Share on other sites

v_r   

v_r
Posted

как часто ругается ? или разок сказал и забыл ?

Один раз при активации фичи, и каждый раз после ребута.

 

а так - теже грабли - только в кось.

В документации по IOS на сайте Cisco явных несоответствий описания и фичи не встречал.

В документации по NX-OS ошибок полно, например описывают команды которых нету в данном режиме настройки и т.п.

Share this post

Link to post
Share on other sites

CNick   

CNick
Posted

В документации по NX-OS ошибок полно, например описывают команды которых нету в данном режиме настройки и т.п.

Есть такое, но это скорее связано с тем что Nexus быстро развивается и постоянно выходят новые версии HW/SW.

Share this post

Link to post
Share on other sites

artplanet   

artplanet
Posted

добавлю - версия софта nxos.9.2.4 - проблема пропала, нормально работает, конфиг прежний

  


ubuntu-20.04-desktop-amd64.i  13%[=====>                                       ] 354.35M  80.6MB/s    eta 32s    

2020-07-30 12:04:03 (68.4 MB/s) - ‘ubuntu-20.04-desktop-amd64.iso’ saved [2715254784/2715254784]

 

на интерфейсе сервера около 800Mb/s

 

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Followers 0
Go to topic listing Активное оборудование Ethernet, IP, MPLS, SDN/NFV...