Перейти к содержимому
Калькуляторы

Cisco Nexus 3048 - низкая скорость роутинга

Подключили в тест первую 3048, завели первый тестовый сервер через него.

Установили ОС и стали тестировать скорость интернета на самом сервере

В итоге во время тестирования обычная команда

wget http://mirror.yandex.ru/ubuntu-releases/16.10/ubuntu-16.10-server-amd64.iso

показала очень низкую скорость

ubuntu-16.10-server-amd6   0%[                                 ]   1.05M   323KB/s    eta 34m 13s

 

настройки на нексусе 3048. Сначала сброс к заводским настройкам.

Далее:

interface Vlan3103
 description ru363
 no shutdown
 medium p2p
 ip unnumbered loopback0
 ip proxy-arp
 ip dhcp relay address x.y.x.2 

ip route x.y.x.209/32 Vlan3103

 

То есть создаем обычный int vlan

далее, с нексуса поднят bgp до ядра сети, все на внешних ip

по трассировке потерь нету

 

Если мы вынимаем сервер из nexus и тоже самое делаем на 3750 - ip на сервере не меняется. то скорость становиться:

разумеется int vlan опускаем на nexus и поднимаем на 3750.

ubuntu-16.10-server-amd64.iso         10%[======>                                                                ]  71.96M  71.9MB/s

никаких шейперов, qos и т.д. нигде не настроено.

 

единственное что нас смущает - это не понятный copp на nexus - где куча ACL и шейперов. http://test.artplanet.su/nexus.txt

Изменено пользователем artplanet

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

теперь - мы переделали int vlan с ip unnumbered loopback0 на стандартный int vlan - и проблема пропала.

В итоге на Cisco Nexus низкая скорость только в случае использования ip unnumbered

 

interface Vlan3100
 no shutdown
 no ip redirects
 ip address x.y.z.233/30

Изменено пользователем artplanet

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

на сервере запустили скачивание 10ти разных файлов. Суммарная скорость не поднимается выше 5 мегабит (в случае ip unnumbered)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Снова я :)

 

http://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/7-x/interfaces/configuration/guide/b_Cisco_Nexus_9000_Series_NX-OS_Interfaces_Configuration_Guide_7x/b_Cisco_Nexus_9000_Series_NX-OS_Interfaces_Configuration_Guide_7x_chapter_0101.html#concept_458D4BA2B01941D89D5F5936664516A5

 

 

IP Unnumbered

The IP unnumbered feature enables the processing of IP packets on a point to point (p2p) interface without explicitly configuring a unique IP address on it. This approach borrows an IP address from another interface and conserves address space on point to point links.

 

Any interface which conforms to the point to point mode can be used as an IP unnumbered interface. For 7.0(3)I3(1) and later, the IP unnumbered feature is supported only on Ethernet interfaces and sub-interfaces. The borrowed interface can only be a loopback interface and is known as the numbered interface.

 

A loopback interface is ideal as a numbered interface in that it is always functionally up. However, because loopback interfaces are local to a switch/router, the reachability of unnumbered interfaces first needs to be established through static routes or by using an interior gateway protocol, such as OSPF or ISIS.

 

 

Другими словами Nexus не поддерживает ip unnumbered функцию на SVI или тунельных интерфейсах, она будет работать только на Ethernet и Ethernet сабинтерфейсах. В противном случае трафик будет роутится через CPU, что не поддерживается на этой платформе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо огромное

сделал на тест машине на физическом порту

ubuntu-16.10-server-amd64.iso         28%[==================>                                                  ] 188.18M   104MB/s               

теперь остается ждать пока циска допилит это до момента когда будет работать на int vlan и допилит ли вообще

 

конфиг:

interface Ethernet1/3
 description ru363
 no switchport
 medium p2p
 ip unnumbered loopback0
 ip proxy-arp
 ip dhcp relay address x.y.x.2 

ip route x.y.z.209/32 Ethernet1/3 x.y.z.209

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а пока ждем - продамим ка мы 3048 с полными лицензиями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

написано же - полные.

и на OSPF и на BGP стоят лицензии. По команде show licence пишет что все возможные лицухи установлены .

И два блока питания.

Ценник - предлагайте в личку - я сам не могу с ориентироваться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А с какими лицензиями и почем?

Я не хочу расстраивать artplanet, но с N9k софтом лицензии идут в Right To Use, то есть функцию можно включить даже без лицензии...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

N9k - это что за софт такой? 7ая серия ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вроде бы даже на 6й версии лицензии RTU. На 7й точно RTU, проверено.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На нексусах вроде есть ограничение RTU по времени

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Пишут что на N5K и N7K есть grace period 120 дней и в show license usage свитч показывает сколько дней осталось до окончания.

На N3K ничего похожего свитч не пишет:

# sh license usage 
Feature                      Ins  Lic   Status Expiry Date Comments
                                Count
--------------------------------------------------------------------------------
TP_SERVICES_PKG               No    -   Unused             -
NETWORK_SERVICES_PKG          No    -   Unused             -
LAN_BASE_SERVICES_PKG         No    -   Unused             -
LAN_ENTERPRISE_SERVICES_PKG   No    -   Unused             -
--------------------------------------------------------------------------------

Что конечно не исключает возможности отключения фич спустя время или в новой версии ОС.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А он у Вас и не пишет - потому что у вас фичи не включены

сделайте feater bgp и сделайте router bgp 65000

а потом смотрите

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не очень понимаю зачем ToR свичу вся эта шняга и в чем заключается ценность... ЦОД свич - нужен максимально быстрый L2 с cut-through.

А вся маршрутизация уже на более старших Nexus-ах. Это же, по сути, port extender (ну только поумнее).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

сделайте feater bgp и сделайте router bgp 65000

Включен OSPF, в логе:

clis[*]: !!!!!!  WARNING: 'LAN_ENTERPRISE_SERVICES_PKG' LICENSE NOT FOUND ON THE SYSTEM  !!!!!!.
You have tried to enable a licensed feature [ospf] without installing the 'LAN_ENTERPRISE_SERVICES_PKG' license,
which has not been found on the system.

Изменено пользователем v_r

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не очень понимаю зачем ToR свичу вся эта шняга и в чем заключается ценность... ЦОД свич - нужен максимально быстрый L2 с cut-through.

А вся маршрутизация уже на более старших Nexus-ах. Это же, по сути, port extender (ну только поумнее).

 

Кто как строит, у нас маршрутизация уже прямо на свитче в стойке. То есть клиентские SVI терминируются прямо на коммутаторе в стойке.

Далее от такого свитча идут два линка по ospf/bgp через разные 10ге порты в разные два ядра сети. (резервирование).

То есть если у нас не дай боже упадет ядро сети - все пойдет через резервное в короткие сроки (1-2 минуты на автомате)

 

 

Включен OSPF, в логе:

clis[*]: !!!!!!  WARNING: 'LAN_ENTERPRISE_SERVICES_PKG' LICENSE NOT FOUND ON THE SYSTEM  !!!!!!.

You have tried to enable a licensed feature [ospf] without installing the 'LAN_ENTERPRISE_SERVICES_PKG' license,

which has not been found on the system.

 

Какой софт стоит? работают ли фичи OSPF ? а что будет с BGP ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Стоит NXOS: version 7.0(3)I2(2d). Включил для проверки BGP.

# sh feature | i bgp|ospf
bgp                    1          enabled 
ospf                   1          enabled 
ospf                   2          enabled (not-running)
ospf                   3          enabled (not-running)
ospf                   4          enabled (not-running)
ospfv3                 1          disabled
ospfv3                 2          disabled
ospfv3                 3          disabled
ospfv3                 4          disabled

В логах:

* clis[*]: !!!!!! WARNING: 'LAN_ENTERPRISE_SERVICES_PKG' LICENSE NOT FOUND ON THE SYSTEM !!!!!!.

You have tried to enable a licensed feature [ospf] without installing the 'LAN_ENTERPRISE_SERVICES_PKG'

license, which has not been found on the system.

* clis[*]: If you have enabled this feature in error, please disable the feature. If you have not

purchased the license, please contact your Cisco account team to order the license. It is in violation

of Cisco's Terms of Use to use this feature without purchasing the license.

* clis[*]: !!!!!! WARNING: 'LAN_ENTERPRISE_SERVICES_PKG' LICENSE NOT FOUND ON THE SYSTEM !!!!!!.

You have tried to enable a licensed feature [bgp] without installing the 'LAN_ENTERPRISE_SERVICES_PKG'

license, which has not been found on the system.

* clis[*]: If you have enabled this feature in error, please disable the feature. If you have not

purchased the license, please contact your Cisco account team to order the license. It is in violation

of Cisco's Terms of Use to use this feature without purchasing the license.

 

Все-все фичи OSPF не тестировал, базовые вещи работают.

На свитче в качестве теста маршрутизируется немного служебного трафика, до 500 маршрутов, чем-то более серьезным не нагружали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Чем тогда nexus отличается от 3560e-48t с двумя десятками? Там прекрасно все работает вроде бы. Разве что БП одна штука.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

количеством БП, а так же умением делать роутинг на int unnamered в int vlan(nexus не умеет)

ну и софт - в 3560e стоит IOS а тут NX-OS (меньшая задержка в работе) а именно IOS пока не примет целиком пакет - не начнет отправлять его в в пункт назначения, в свое время Nexus приняв первые 64 байта начинает уже отправку пакета.

 

а так - теже грабли - только в кось.

 

If you have enabled this feature in error, please disable the feature. If you have not

purchased the license, please contact your Cisco account team to order the license. It is in violation

of Cisco's Terms of Use to use this feature without purchasing the license.

 

как часто ругается ? или разок сказал и забыл ?

 

И да - 3560E плохо - ставим у себя 3750E - в 3560E память заканчивается рано.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

как часто ругается ? или разок сказал и забыл ?

Один раз при активации фичи, и каждый раз после ребута.

 

а так - теже грабли - только в кось.

В документации по IOS на сайте Cisco явных несоответствий описания и фичи не встречал.

В документации по NX-OS ошибок полно, например описывают команды которых нету в данном режиме настройки и т.п.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В документации по NX-OS ошибок полно, например описывают команды которых нету в данном режиме настройки и т.п.

Есть такое, но это скорее связано с тем что Nexus быстро развивается и постоянно выходят новые версии HW/SW.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

добавлю - версия софта nxos.9.2.4 - проблема пропала, нормально работает, конфиг прежний

 


ubuntu-20.04-desktop-amd64.i  13%[=====>                                       ] 354.35M  80.6MB/s    eta 32s    

2020-07-30 12:04:03 (68.4 MB/s) - ‘ubuntu-20.04-desktop-amd64.iso’ saved [2715254784/2715254784]

 

на интерфейсе сервера около 800Mb/s

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А работает ли Unnumbered, если навесить secondary адрес на Lo0 и выдать из этой сети адрес ? 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.