[a_andry]

Добрый день!

 

Есть очень простая схема сети - все разбито на ~200 вланов, все эти вланы доброшены до 14 пппое серверов. Долгое время использовали младшую модель в линейке - brocade SX в качестве свича. Все было ок, но начали подходить в лимиту в 16К мак адресов, свич превращался в хаб, получали перегрузку по портам. Пытались на нем включить flow based mac leaning + увеличение таблицы маков до 32К, но он почему-то так и не заработал нормально.

 

В итоге решили заменить на brocade RX, у него заявлена поддержка таблицы в 65К маков. Заменили. Сразу же получили аналогичную картину. К примеру, включен один из пппое серверов, реально трафика на нем под 500Мбит/с, при снятии статистики с RX видим полку в гигабит.

 

Вот один из вланов на пппое-

 

pppoe4 ~ # ip addr ls dev eth0.44

496253: eth0.44@eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP

link/ether 00:1b:21:45:d9:b8 brd ff:ff:ff:ff:ff:ff

 

слушаем трафик, кот. не предназначен этому интерфейсу -

 

pppoe4 ~ # tcpdump -c 10 -e -ni eth0 not ether host 00:1b:21:45:d9:b8

tcpdump: WARNING: eth0: no IPv4 address assigned

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on eth0, link-type EN10MB (Ethernet), capture size 68 bytes

11:27:37.971128 00:1b:21:aa:e0:81 > 00:1f:16:43:e5:4a, ethertype 802.1Q (0x8100), length 66: vlan 183, p 0, ethertype PPPoE S, PPPoE [ses 0xac4] IP (0x0021), length 42: 131.216.192.152.443 > 172.16.183.121.51851: [|tcp]

11:27:37.971129 00:15:17:36:c5:d0 > f0:7d:68:48:fa:71, ethertype 802.1Q (0x8100), length 74: vlan 5, p 0, ethertype PPPoE S, PPPoE [ses 0x1578] IP (0x0021), length 50: 31.163.95.217.57944 > 46.149.83.2.1566: UDP, length 20

11:27:37.971479 00:15:17:8a:f3:68 > 00:0b:6a:a1:6a:1f, ethertype 802.1Q (0x8100), length 1479: vlan 40, p 0, ethertype PPPoE S, PPPoE [ses 0x848d] IP (0x0021), length 1455: 81.198.244.182.60057 > 172.16.80.90.36046: UDP, length 1425

11:27:37.971777 00:1b:21:9d:da:e8 > e8:03:9a:ae:6a:4b, ethertype 802.1Q (0x8100), length 74: vlan 8, p 0, ethertype PPPoE S, PPPoE [ses 0xc70] IP (0x0021), length 50: 94.153.241.114.50562 > 172.16.166.240.58007: UDP, length 20

11:27:37.971779 00:1b:21:aa:e0:81 > 00:1a:4d:dd:fd:cb, ethertype 802.1Q (0x8100), length 1506: vlan 34, p 0, ethertype PPPoE S, PPPoE [ses 0xb02b] IP (0x0021), length 1482: 87.240.172.213.80 > 172.16.78.205.1080: [|tcp]

11:27:37.971780 00:1b:21:ae:78:c0 > 00:1e:58:c5:58:92, ethertype 802.1Q (0x8100), length 161: vlan 47, p 0, ethertype PPPoE S, PPPoE [ses 0xce22] IP (0x0021), length 137: 84.15.178.112.37784 > 172.16.142.117.43541: UDP, length 107

11:27:37.971783 00:15:17:8a:f3:68 > 00:0b:6a:a1:6a:1f, ethertype 802.1Q (0x8100), length 1479: vlan 40, p 0, ethertype PPPoE S, PPPoE [ses 0x848d] IP (0x0021), length 1455: 176.8.202.114.57854 > 172.16.80.90.36046: UDP, length 1425

11:27:37.971785 00:15:17:36:c5:d0 > 64:70:02:56:60:97, ethertype 802.1Q (0x8100), length 1476: vlan 98, p 0, ethertype PPPoE S, PPPoE [ses 0x10f] IP (0x0021), length 1452: 94.100.190.95.443 > 172.16.141.105.52080: [|tcp]

11:27:37.971786 00:15:17:36:c5:d0 > 64:70:02:56:60:97, ethertype 802.1Q (0x8100), length 221: vlan 98, p 0, ethertype PPPoE S, PPPoE [ses 0x10f] IP (0x0021), length 197: 94.100.190.95.443 > 172.16.141.105.52080: [|tcp]

11:27:37.971787 00:1b:21:4d:11:08 > 00:24:8c:59:5b:07, ethertype 802.1Q (0x8100), length 134: vlan 15, p 0, ethertype PPPoE S, PPPoE [ses 0xde3] IP (0x0021), length 110: 172.16.125.128.41378 > 172.16.64.231.13751: UDP, length 80

10 packets captured

128 packets received by filter

0 packets dropped by kernel

 

этот трафик реально предназначается другим серверам в соседних портах. Т.е. опять же, очень похоже что свич становится хабом, есть какие-то проблемы с изучением новых мак адресов или еще что-то ... это все начинается уже при 14к изученных маках.

 

в это время на этом же порту RX:

SSH@coreRX#show mac-address ethernet 2/4

Total active entries from slot/port 2/4 = 98

Type Code-CCL:Cluster Client Local CCR:Cluster Client Remote CL:Local CR:Remote

 

MAC Address Port Age VLAN Type

 

001b.2145.d9b8 2/4 0 34

001b.2145.d9b8 2/4 0 193

001b.2145.d9b8 2/4 270 1016

001b.2145.d9b8 2/4 0 181

001b.2145.d9b8 2/4 0 197

001b.2145.d9b8 2/4 0 106

001b.2145.d9b8 2/4 0 227

001b.2145.d9b8 2/4 0 30

001b.2145.d9b8 2/4 0 104

...

присутствует только 1 правильный мак.

 

 

Может кто-то сталкивался с аналогичной ситуацией, может есть какие-то идеи?

Заранее спасибо!

 

пс. запрос на brocade через продавцов отправили, но ответ от них идет очень долго (

[nashvill]

А смысл нам показывать маки на этом же порту куда включена железка с которой опубликован дамп?

Вы покажите маки на том порту, на который, по вашему мнению, должен был литься этот трафик.

[a_andry]

cpu-flooding unknown-unicast

вроде помогло. Будем дальше смотреть.

 

 

пс. nashvill, спасибо за ответ. Смысл - показать что на порту есть лишний трафик. Для примера (но это уже после включения)

11:27:37.971128 00:1b:21:aa:e0:81 > 00:1f:16:43:e5:4a, ethertype 802.1Q (0x8100), length 66: vlan 183, p 0, ethertype PPPoE S, PPPoE [ses 0xac4] IP (0x0021), length 42: 131.216.192.152.443 > 172.16.183.121.51851: [|tcp]

 

SSH@coreRX(config)#show mac-address 001f.1643.e54a

Total active entries from all ports = 13908

Type Code-CCL:Cluster Client Local CCR:Cluster Client Remote CL:Local CR:Remote

 

MAC Address Port Age VLAN Type

 

001f.1643.e54a 10/3 0 183

 

SSH@coreRX(config)#show mac-address eth 10/3

Total active entries from slot/port 10/3 = 605

Type Code-CCL:Cluster Client Local CCR:Cluster Client Remote CL:Local CR:Remote

 

MAC Address Port Age VLAN Type

 

0003.0f15.af88 10/3 0 22

0018.e792.f189 10/3 155 22

3408.0436.4196 10/3 0 183

001d.600f.d76a 10/3 0 184

84c9.b257.277c 10/3 0 1211

001a.4d98.3ae1 10/3 0 183

0011.5b4e.5dd5 10/3 0 1211

14da.e979.c7f8 10/3 0 183

c8be.19b7.6c4a 10/3 0 183

6cf0.49b7.3cbd 10/3 0 170

001f.1fa1.e6c1 10/3 0 175

000f.ea64.22dc 10/3 0 170

b048.7aeb.b3eb 10/3 0 45

....

 

10/3 - абонентский порт с кучей вланов

[Lynx10]

Foundry SX

 

#sh default values

 

System Parameters Default Maximum Current

mac 16384 32768 32768

[YuryD]

Foundry SX

#sh default values

System Parameters Default Maximum Current

mac 16384 32768 32768

Foundry CER

mac 65536 131072 65536 65536 65536

Edited June 7, 2013 by YuryD

[g_alex]

Foundry SX

 

#sh default values

 

System Parameters Default Maximum Current

mac 16384 32768 32768

А дайте посмотреть на Ваш конфиг, плз. Лучше, наверное, в ЛС.

[Lynx10]

Foundry SX

 

#sh default values

 

System Parameters Default Maximum Current

mac 16384 32768 32768

А дайте посмотреть на Ваш конфиг, плз. Лучше, наверное, в ЛС.

он очччень болшой

вас наверное интересует это

 

system-max mac 32768

[g_alex]

Наверное, да ) . А еще интересует, сколько у вас ВЛАНов прописано (примерно).

[Lynx10]

Наверное, да ) . А еще интересует, сколько у вас ВЛАНов прописано (примерно).

 

#sh default values

vlan 64 4095 4095

 

system-max vlan 4095

 

РЕально на железе крутится около 2500 вланов

[g_alex]

#sh default values

vlan 64 4095 4095

 

system-max vlan 4095

 

РЕально на железе крутится около 2500 вланов

 

Спасибо за наводку. Будем пробовать на досуге включать еще раз.