Проблемы в сети. Уже не знаю что делать

[alexcom]

Доброго времени суток коллеги!

Исходный условия: Используется PPPoE (mpd). Насы на freebsd. В центре несколько 3100 в стэке.

"Внешними" интерфейсами насы включены в 3612, "внутренними" в 3100. Также в эти 3100 включены коммутаторы уровня доступа (3028, 3526, 3200).

На коммутаторах уровня доступа настроен traffic control, loopdetect и несколько acl.

Теперь о проблеме:

Восновном после гроз возникает полный капец. Все pppoe-шнки отпадают. В логах mpd в секунду по несколько десятков строк

PPPoE connection timeout after 9 seconds

.

На "внутренние" интерфейсы насов повесил ип. ПРи возникновении проблем- они перестают по локали пиноговаться. Хотя естественно интерфейсы подняты.

Иногда проблему удается детектировать при помощи пришедшего трапа о лупдетекте/или шторме на порту (при этом Multicast RX/Broadcast RX на порту имеет значение в несколько тысяч пакетов). А иногда на первый взгляд все ок (Multicast RX/Broadcast RX в пределах нормы). А проблема пристствует. ПОтом сама по себе решается. Через некоторое время опять повторяется.

Уже не знаю что делать...

Понимаю что чтото недоделываю :) Но что?

[vlad11]

Покажите

uname -a

pciconf -lv | grep card

[alexcom]

uname -a

FreeBSD vpn1 8.2-RELEASE-p6 FreeBSD 8.2-RELEASE-p6 #0: Sun Mar 25 22:58:15 UTC 2012 noc@:/usr/src/sys/amd64/compile/VPN1 amd64

 

pciconf -lv | grep card

em0@pci0:1:0:0: class=0x020000 card=0x135e8086 chip=0x105e8086 rev=0x06 hdr=0x00

em1@pci0:1:0:1: class=0x020000 card=0x135e8086 chip=0x105e8086 rev=0x06 hdr=0x00

em2@pci0:2:0:0: class=0x020000 card=0x135e8086 chip=0x105e8086 rev=0x06 hdr=0x00

em3@pci0:2:0:1: class=0x020000 card=0x135e8086 chip=0x105e8086 rev=0x06 hdr=0x00

 

Это на первом. Второй практически такой же.

Третий с обычными pci intel'ами.

Edited May 12, 2012 by alexcom

[Ivan_83]

люпбак детекты стоят на магистральных портах? - снять.

[alexcom]

люпбак детекты стоят на магистральных портах? - снять.

 

Не стоят конечно. Стоят только на клиентских портах.

Edited May 12, 2012 by alexcom

[Ivan_83]

stp?

в логи коммутаторов нужно смотреть, которые в них самих хранятся.

[alexcom]

stp?

в логи коммутаторов нужно смотреть, которые в них самих хранятся.

stp выключен.

В логах на коммутаторах как раз все гуд.

[terrible]

Во время гроз может быть отпадает большой район и MPD начинает тупить когда ей приходится позакрывать все отвалившиеся PPPoE коннекты.

Может быть после этого она тупит из-за того, что на неё валится шквал PPPoE PADI, т.к. район поднялся, и ей опять становится хреново.

 

Петли тоже актуально. Вы их у себя каким образом обнаруживаете?

[alexcom]

Во время гроз может быть отпадает большой район и MPD начинает тупить когда ей приходится позакрывать все отвалившиеся PPPoE коннекты.

Не думаю. Т.к.:

1. Только весь "флуд" пропадает, несколько сот человек заходит практически моментально.

2. Во время "флуда" сервера по внутренним IP не пингуются.

 

Петли тоже актуально. Вы их у себя каким образом обнаруживаете?

LoopDetect на длинках. При обнаружении- тушится порт и приходит трап. Далее нагиос обрабатывает и информирует.

Edited May 13, 2012 by alexcom

[terrible]

Во время флуда, с внешнего интерфейса посмотрите на top

[alexcom]

Во время флуда, с внешнего интерфейса посмотрите на top

~0%-1% общая загрузка cpu.

Edited May 13, 2012 by alexcom

[Abram]

Сколько адресов в fdb 3100?

[alexcom]

Сколько адресов в fdb 3100?

~800-1300

[Abram]

Сколько адресов в fdb 3100?

~800-1300

Вполне возможна коллизия.

Ради интереса - попробуйте забить статикой MAC-и серверов.

[alexcom]

Вполне возможна коллизия.

Именно в моменты возникновения "проблем"?

Ради интереса - попробуйте забить статикой MAC-и серверов.

Спасибо. Как вариант конечно попробую.

[Abram]

Именно в моменты возникновения "проблем"?

Как вариант - во время грозы где-то глючит порт (порты), прилетает куча левых ARP, отчего и возникает коллизия.

Прибейте, а там будет видно; поможет - хоть узнаете, куда копать.