MPD5.5 отваливается PPPoE линк от vlan if

[terrible]

Прошу помощи, сам уже не знаю что делать. Отваливается от vlan интерфейса линк PPPoE сервера MPD.

Машинка: пара ксеонов, не помню каких. Конфигурация машинки такая:

 

# cat /boot/loader.conf | grep -vE '^#|^$'

if_igb_load="YES"

net.graph.recvspace=81920

net.graph.maxdgram=81920

net.graph.maxdata=10266

net.graph.maxalloc=10266

kern.maxusers=2048

kern.ipc.maxpipekva=134217728

kern.ipc.nmbclusters=65536

# cat /etc/sysctl.conf | grep -vE '^#|^$'

kern.smp.active=2

kern.smp.disabled=0

net.inet.tcp.blackhole=2

net.inet.udp.blackhole=1

kern.corefile=/tmp/%U.%N.%P.core

net.inet.tcp.sendspace=65535

net.inet.tcp.recvspace=65535

net.inet.udp.recvspace=65535

kern.maxfiles=65536

kern.maxfilesperproc=32768

kern.ipc.somaxconn=4096

net.inet.ip.fastforwarding=1

net.inet.icmp.icmplim=500

# uname -a

FreeBSD 7.3-RELEASE-p1 FreeBSD 7.3-RELEASE-p1 #9: Thu Jun 17 19:12:47 MSD 2010 root@:/usr/obj/usr/src/sys/MYCONF amd64

#

 

Всё вроде как работает нормально:

 

# vmstat -z | grep -E 'ITEM|NetGraph'

ITEM SIZE LIMIT USED FREE REQUESTS FAILURES

NetGraph items: 72, 10305, 27, 918, 1547350621, 0

NetGraph data items: 72, 10305, 0, 900, 6026124940, 0

 

На ipfw 15 правил, нат есть, но в очень малом количестве.

# ifconfig | grep 172.16.153. | wc -l

38

 

Всего нагрузка небольшая, 600 клиентов, по вечер доходит до 1000:

 

# ifconfig | grep ng | wc -l

594

#

 

PPPoE линк MPD на vlan интерфейс просто отваливается и всё, если зайти в консоль - там всё ок, пересоздаю линк - всё работает.

Что делать? Куда копать?

[Ivan_83]

net.inet.ip.fastforwarding=1

попробуйте 0, нагрузка должна упасть.

 

vmstat -z - нужно на файлурес смотреть.

 

net.inet.tcp. - это вообще не при делах, у вас L2 там и IP от L3, до тсп не доходит, пока вы сами ссш на машину не цепляетесь :)

 

В качестве альтернативного решения могу предложить заюзать нетграф для работы с вланами - подцепится к ether хуку на сетевухе, нодой vlan и на неё насажать ngeth нод по одной на каждый влан.

 

Ещё не плохо бы обновится.

[terrible]

vmstat -z - нужно на файлурес смотреть.

Я привёл вывод по нетграфу, там по нулям. Если в общей массе, то файлуры есть только вот тут:

32 Bucket:                280,        0,      176,      104,      324,        2
64 Bucket:                536,        0,      312,       73,      589,        4
128 Bucket:              1048,        0,     1609,        2,     6737,    20089

 

В качестве альтернативного решения могу предложить заюзать нетграф для работы с вланами - подцепится к ether хуку на сетевухе, нодой vlan и на неё насажать ngeth нод по одной на каждый влан.

А pppoe линки mpd уже к ngeth цеплять?

[Ivan_83]

Да, к ним, это будут сетевые интерфейсы для вланов.

 

Но у вас памяти не хватает, потому и отваливается.

 

 

[terrible]

Обновился до 8-ки, в ядро запихнул подгружаемые модули (в частности ng_pppoe), посмотрим, как будет себя чуствовать.

фаилуры по vmstat -z так и остались на 128 Bucket: и 64 Bucket:

:(

[Ivan_83]

Посмотрел в свои роутеры, тоже есть в небольших колличествах.

 

В выходные ещё в исходниках покапаюсь на предмет откуда берутся.

 

 

[dadv]

Обновился до 8-ки, в ядро запихнул подгружаемые модули (в частности ng_pppoe), посмотрим, как будет себя чуствовать.

фаилуры по vmstat -z так и остались на 128 Bucket: и 64 Bucket:

:(

 

http://dadv.livejournal.com/137221.html

[terrible]

Тюнинг системы и обновление до 8 Stable не помогли.

Основная причина в падении линков PPPoE, как выяснилось, заключается в образовании петель внутри вланов на доступе: MPD тупо забразывается огромным количеством PADI пакетов за очень которкое время, не успевает их обработать и роняет PPPoE линк. В случае, если петель образуется сразу несколько - демон mpd тупо падает.

[dadv]

Тюнинг системы и обновление до 8 Stable не помогли.

Основная причина в падении линков PPPoE, как выяснилось, заключается в образовании петель внутри вланов на доступе: MPD тупо забразывается огромным количеством PADI пакетов за очень которкое время, не успевает их обработать и роняет PPPoE линк.

 

Если ещё только этап обработки PADI-пакета, то линка ещё никакого нет и ронять нечего.

 

В случае, если петель образуется сразу несколько - демон mpd тупо падает.

 

У меня были случаи, когда более 9Kpps бродкастами флудило mpd - ничего не падало, нормально всё обрабатывало.

[terrible]

Был глупцом. Оттюнинговал систему правильно и больше ничего не падает и не отваливается.

[mcsim_ck]

Добрый день всем. Столкнулся возможно с похожей проблемой, иногда время от времени на сервере доступа падает трафик в сторону одного из вланов, при этом у абонентов видны потери в инет, думал проблема в середине влана, но нет по локальноу ip адресу абонент пингуеться без потерь. Подскажите куда копать как лечить.

[Ivan_83]

Пингуете большими пакетами или п 32-64 байта?

[mcsim_ck]

ping -s 1024 -A XX.XX.XX.XX

во время того как начинаються потери смотрю на сервер доступа

netstat -w1 -h -IvlanXXX

вижу что трафик падает до 10 - 30К в нормальном режиме 1 - 10M.

[Ivan_83]

Проверьте ещё порты и логи на комутаторах, не факт что дело именно в софт роутере.

[mcsim_ck]

Для эксперимента переключил один дом с проблемного влана на другой сервер доступа, проблемы нету. Логи и коммутаторы смотрел, нечего не вижу.

 

Могут ли не справляться сетевухи?

em0@pci0:5:0:0: class=0x020000 card=0x10a48086 chip=0x10a48086 rev=0x06 hdr=0x00

vendor = 'Intel Corporation'

device = '82571EB Gigabit Ethernet Controller'

class = network

subclass = ethernet

em1@pci0:5:0:1: class=0x020000 card=0x10a48086 chip=0x10a48086 rev=0x06 hdr=0x00

vendor = 'Intel Corporation'

device = '82571EB Gigabit Ethernet Controller'

class = network

subclass = ethernet

em2@pci0:6:0:0: class=0x020000 card=0x10a48086 chip=0x10a48086 rev=0x06 hdr=0x00

vendor = 'Intel Corporation'

device = '82571EB Gigabit Ethernet Controller'

class = network

subclass = ethernet

em3@pci0:6:0:1: class=0x020000 card=0x10a48086 chip=0x10a48086 rev=0x06 hdr=0x00

vendor = 'Intel Corporation'

device = '82571EB Gigabit Ethernet Controller'

class = network

subclass = ethernet

em4@pci0:8:0:0: class=0x020000 card=0x34848086 chip=0x10968086 rev=0x01 hdr=0x00

vendor = 'Intel Corporation'

device = 'Intel PRO/1000 EB (Intel PRO/1000 EB)'

class = network

subclass = ethernet

em5@pci0:8:0:1: class=0x020000 card=0x34848086 chip=0x10968086 rev=0x01 hdr=0x00

vendor = 'Intel Corporation'

device = 'Intel PRO/1000 EB (Intel PRO/1000 EB)'

class = network

subclass = ethernet

 

netstat -w1 -h

input (Total) output

packets errs bytes packets errs bytes colls

177K 0 135M 185K 0 148M 0

169K 0 130M 177K 0 141M 0

165K 0 125M 173K 0 139M 0

164K 0 125M 171K 0 137M 0

172K 0 132M 181K 0 146M 0

Edited August 12, 2011 by mcsim_ck