a_andry Опубликовано 6 июня, 2013 · Жалоба Добрый день! Есть очень простая схема сети - все разбито на ~200 вланов, все эти вланы доброшены до 14 пппое серверов. Долгое время использовали младшую модель в линейке - brocade SX в качестве свича. Все было ок, но начали подходить в лимиту в 16К мак адресов, свич превращался в хаб, получали перегрузку по портам. Пытались на нем включить flow based mac leaning + увеличение таблицы маков до 32К, но он почему-то так и не заработал нормально. В итоге решили заменить на brocade RX, у него заявлена поддержка таблицы в 65К маков. Заменили. Сразу же получили аналогичную картину. К примеру, включен один из пппое серверов, реально трафика на нем под 500Мбит/с, при снятии статистики с RX видим полку в гигабит. Вот один из вланов на пппое- pppoe4 ~ # ip addr ls dev eth0.44 496253: eth0.44@eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP link/ether 00:1b:21:45:d9:b8 brd ff:ff:ff:ff:ff:ff слушаем трафик, кот. не предназначен этому интерфейсу - pppoe4 ~ # tcpdump -c 10 -e -ni eth0 not ether host 00:1b:21:45:d9:b8 tcpdump: WARNING: eth0: no IPv4 address assigned tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on eth0, link-type EN10MB (Ethernet), capture size 68 bytes 11:27:37.971128 00:1b:21:aa:e0:81 > 00:1f:16:43:e5:4a, ethertype 802.1Q (0x8100), length 66: vlan 183, p 0, ethertype PPPoE S, PPPoE [ses 0xac4] IP (0x0021), length 42: 131.216.192.152.443 > 172.16.183.121.51851: [|tcp] 11:27:37.971129 00:15:17:36:c5:d0 > f0:7d:68:48:fa:71, ethertype 802.1Q (0x8100), length 74: vlan 5, p 0, ethertype PPPoE S, PPPoE [ses 0x1578] IP (0x0021), length 50: 31.163.95.217.57944 > 46.149.83.2.1566: UDP, length 20 11:27:37.971479 00:15:17:8a:f3:68 > 00:0b:6a:a1:6a:1f, ethertype 802.1Q (0x8100), length 1479: vlan 40, p 0, ethertype PPPoE S, PPPoE [ses 0x848d] IP (0x0021), length 1455: 81.198.244.182.60057 > 172.16.80.90.36046: UDP, length 1425 11:27:37.971777 00:1b:21:9d:da:e8 > e8:03:9a:ae:6a:4b, ethertype 802.1Q (0x8100), length 74: vlan 8, p 0, ethertype PPPoE S, PPPoE [ses 0xc70] IP (0x0021), length 50: 94.153.241.114.50562 > 172.16.166.240.58007: UDP, length 20 11:27:37.971779 00:1b:21:aa:e0:81 > 00:1a:4d:dd:fd:cb, ethertype 802.1Q (0x8100), length 1506: vlan 34, p 0, ethertype PPPoE S, PPPoE [ses 0xb02b] IP (0x0021), length 1482: 87.240.172.213.80 > 172.16.78.205.1080: [|tcp] 11:27:37.971780 00:1b:21:ae:78:c0 > 00:1e:58:c5:58:92, ethertype 802.1Q (0x8100), length 161: vlan 47, p 0, ethertype PPPoE S, PPPoE [ses 0xce22] IP (0x0021), length 137: 84.15.178.112.37784 > 172.16.142.117.43541: UDP, length 107 11:27:37.971783 00:15:17:8a:f3:68 > 00:0b:6a:a1:6a:1f, ethertype 802.1Q (0x8100), length 1479: vlan 40, p 0, ethertype PPPoE S, PPPoE [ses 0x848d] IP (0x0021), length 1455: 176.8.202.114.57854 > 172.16.80.90.36046: UDP, length 1425 11:27:37.971785 00:15:17:36:c5:d0 > 64:70:02:56:60:97, ethertype 802.1Q (0x8100), length 1476: vlan 98, p 0, ethertype PPPoE S, PPPoE [ses 0x10f] IP (0x0021), length 1452: 94.100.190.95.443 > 172.16.141.105.52080: [|tcp] 11:27:37.971786 00:15:17:36:c5:d0 > 64:70:02:56:60:97, ethertype 802.1Q (0x8100), length 221: vlan 98, p 0, ethertype PPPoE S, PPPoE [ses 0x10f] IP (0x0021), length 197: 94.100.190.95.443 > 172.16.141.105.52080: [|tcp] 11:27:37.971787 00:1b:21:4d:11:08 > 00:24:8c:59:5b:07, ethertype 802.1Q (0x8100), length 134: vlan 15, p 0, ethertype PPPoE S, PPPoE [ses 0xde3] IP (0x0021), length 110: 172.16.125.128.41378 > 172.16.64.231.13751: UDP, length 80 10 packets captured 128 packets received by filter 0 packets dropped by kernel этот трафик реально предназначается другим серверам в соседних портах. Т.е. опять же, очень похоже что свич становится хабом, есть какие-то проблемы с изучением новых мак адресов или еще что-то ... это все начинается уже при 14к изученных маках. в это время на этом же порту RX: SSH@coreRX#show mac-address ethernet 2/4 Total active entries from slot/port 2/4 = 98 Type Code-CCL:Cluster Client Local CCR:Cluster Client Remote CL:Local CR:Remote MAC Address Port Age VLAN Type 001b.2145.d9b8 2/4 0 34 001b.2145.d9b8 2/4 0 193 001b.2145.d9b8 2/4 270 1016 001b.2145.d9b8 2/4 0 181 001b.2145.d9b8 2/4 0 197 001b.2145.d9b8 2/4 0 106 001b.2145.d9b8 2/4 0 227 001b.2145.d9b8 2/4 0 30 001b.2145.d9b8 2/4 0 104 ... присутствует только 1 правильный мак. Может кто-то сталкивался с аналогичной ситуацией, может есть какие-то идеи? Заранее спасибо! пс. запрос на brocade через продавцов отправили, но ответ от них идет очень долго ( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nashvill Опубликовано 6 июня, 2013 · Жалоба А смысл нам показывать маки на этом же порту куда включена железка с которой опубликован дамп? Вы покажите маки на том порту, на который, по вашему мнению, должен был литься этот трафик. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
a_andry Опубликовано 6 июня, 2013 · Жалоба cpu-flooding unknown-unicast вроде помогло. Будем дальше смотреть. пс. nashvill, спасибо за ответ. Смысл - показать что на порту есть лишний трафик. Для примера (но это уже после включения) 11:27:37.971128 00:1b:21:aa:e0:81 > 00:1f:16:43:e5:4a, ethertype 802.1Q (0x8100), length 66: vlan 183, p 0, ethertype PPPoE S, PPPoE [ses 0xac4] IP (0x0021), length 42: 131.216.192.152.443 > 172.16.183.121.51851: [|tcp] SSH@coreRX(config)#show mac-address 001f.1643.e54a Total active entries from all ports = 13908 Type Code-CCL:Cluster Client Local CCR:Cluster Client Remote CL:Local CR:Remote MAC Address Port Age VLAN Type 001f.1643.e54a 10/3 0 183 SSH@coreRX(config)#show mac-address eth 10/3 Total active entries from slot/port 10/3 = 605 Type Code-CCL:Cluster Client Local CCR:Cluster Client Remote CL:Local CR:Remote MAC Address Port Age VLAN Type 0003.0f15.af88 10/3 0 22 0018.e792.f189 10/3 155 22 3408.0436.4196 10/3 0 183 001d.600f.d76a 10/3 0 184 84c9.b257.277c 10/3 0 1211 001a.4d98.3ae1 10/3 0 183 0011.5b4e.5dd5 10/3 0 1211 14da.e979.c7f8 10/3 0 183 c8be.19b7.6c4a 10/3 0 183 6cf0.49b7.3cbd 10/3 0 170 001f.1fa1.e6c1 10/3 0 175 000f.ea64.22dc 10/3 0 170 b048.7aeb.b3eb 10/3 0 45 .... 10/3 - абонентский порт с кучей вланов Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Lynx10 Опубликовано 6 июня, 2013 · Жалоба Foundry SX #sh default values System Parameters Default Maximum Current mac 16384 32768 32768 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 7 июня, 2013 (изменено) · Жалоба Foundry SX #sh default values System Parameters Default Maximum Current mac 16384 32768 32768 Foundry CER mac 65536 131072 65536 65536 65536 Изменено 7 июня, 2013 пользователем YuryD Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
g_alex Опубликовано 7 июня, 2013 · Жалоба Foundry SX #sh default values System Parameters Default Maximum Current mac 16384 32768 32768 А дайте посмотреть на Ваш конфиг, плз. Лучше, наверное, в ЛС. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Lynx10 Опубликовано 7 июня, 2013 · Жалоба Foundry SX #sh default values System Parameters Default Maximum Current mac 16384 32768 32768 А дайте посмотреть на Ваш конфиг, плз. Лучше, наверное, в ЛС. он очччень болшой вас наверное интересует это system-max mac 32768 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
g_alex Опубликовано 7 июня, 2013 · Жалоба Наверное, да ) . А еще интересует, сколько у вас ВЛАНов прописано (примерно). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Lynx10 Опубликовано 8 июня, 2013 · Жалоба Наверное, да ) . А еще интересует, сколько у вас ВЛАНов прописано (примерно). #sh default values vlan 64 4095 4095 system-max vlan 4095 РЕально на железе крутится около 2500 вланов Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
g_alex Опубликовано 8 июня, 2013 · Жалоба #sh default values vlan 64 4095 4095 system-max vlan 4095 РЕально на железе крутится около 2500 вланов Спасибо за наводку. Будем пробовать на досуге включать еще раз. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...