FreeBSD 7.2 + mpd 5.3 + pppoe

[Karl Kory]

есть три сервера. процы q9550, q9400, q9300, мамы asus p5q-pro.

сервера работали полгода примерно, как часы, никаких претензий абсолютно не было. начали падать неделю назад. как начали падать - всё железо перетряхнули вплоть до замены БП и корпусов.

 

нагрузка 300-350мбит в пике. 50-60к пакетов на lagg0 интерфейсе в пике. падают очень произвольно. 4-5 раз в день. могут в прайм-тайм упасть, а могут и в 3 часа ночи. могут работать 16-17 часов а могут упасть повторно через 3-4 минуты после предыдущего ребута. в логи написать ничего не успевают. иногда ребутаются сами через 15 секунд после трапа, а иногда виснут. когда виснут на экране ошибка trap12 или trap18 про em0 (em1, em2, em3)

 

ната нет. полинга нет. дамминета нет. quagga нет.

 

loader.conf

kern.maxusers="2048"
kern.ipc.maxpipekva=50331648
ng_ipfw_load="YES"
hw.em.rxd=4096
hw.em.txd=4096

 

sysctl.conf

net.inet.ip.fw.one_pass=0
kern.ipc.maxsockbuf=1048576
kern.maxfiles=65000
kern.maxfilesperproc=32000
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.point_to_point=0
kern.random.sys.harvest.interrupt=0
net.graph.maxdgram=524288
net.graph.recvspace=524288
net.inet.ip.random_id=1
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
net.inet.ip.fastforwarding=1
dev.em.0.rx_int_delay=500
dev.em.0.tx_int_delay=500
dev.em.0.rx_abs_int_delay=500
dev.em.0.tx_abs_int_delay=500
dev.em.0.rx_processing_limit=5000
dev.em.1.rx_int_delay=500
dev.em.1.tx_int_delay=500
dev.em.1.rx_abs_int_delay=500
dev.em.1.tx_abs_int_delay=500
dev.em.1.rx_processing_limit=5000
dev.em.2.rx_int_delay=500
dev.em.2.tx_int_delay=500
dev.em.2.rx_abs_int_delay=500
dev.em.2.tx_abs_int_delay=500
dev.em.2.rx_processing_limit=5000
dev.em.3.rx_int_delay=500
dev.em.3.tx_int_delay=500
dev.em.3.rx_abs_int_delay=500
dev.em.3.tx_abs_int_delay=500
dev.em.3.rx_processing_limit=5000

 

mpd.conf

startup:
         set user admin temporaryMPD
#       set console self 192.168.0.14 5005
#       set console open
#       set web self 192.168.0.14 5006
#       set web open

default:
        load pppoe_server

pppoe_server:
        create bundle template B
        set bundle enable compression
        set iface enable tcpmssfix
        set ccp yes mppc
        set mppc yes e40
        set mppc yes e128
        set mppc yes stateless
        set ipcp ranges 192.168.160.1/32 192.168.160.0/21
        set ipcp ranges 192.168.168.1/32 192.168.168.0/21
        set ipcp ranges 192.168.176.1/32 192.168.176.0/21
        set ipcp dns 192.168.128.10 192.168.128.3

        create link template common pppoe
        set link mtu 1492
        set link keep-alive 5 60
        set link no pap eap
        set link enable chap
        set link disable check-magic
        set link enable report-mac
        set link action bundle B
        load radius

        create link template vlan104 common
        set link max-children 1000
        set pppoe iface vlan104
        set link enable incoming

        create link template vlan105 common
        set link max-children 1000
        set pppoe iface vlan105
        set link enable incoming

        create link template vlan106 common
        set link max-children 100
        set pppoe iface vlan106
        set link enable incoming

        create link template vlan107 common
        set link max-children 1000
        set pppoe iface vlan107
        set link enable incoming

radius:
        set radius server 192.168.128.9 secret 1812 1813
        set radius retries 1
        set radius timeout 5
        set radius me 192.168.128.14
        set auth acct-update 600
        set auth enable radius-auth
        set auth enable radius-acct
        set radius enable message-authentic

 

помогите люди добрые. куда копать? работало же всё, бед не знало :(

[andriko]

вспоминать что поменялось в сети неделю назад.....

[IvanI]

Или какой скрипт поставили/изменили

[Alexey K]

Отдаются ли mpd5 какие-либо специфичные RADIUS-атрибуты?

[photon]

помогите люди добрые. куда копать? работало же всё, бед не знало :(

Вот у человека есть похожая проблема: http://forum.sysfaq.ru/lofiversion/index.php/t24708.html. Даже до разбора исходников ng_pppoe и PR дело дошло. Может быть спасет откат к предыдущим версиям FreeBSD и mpd.

 

И кстати говоря, проблемы, возникающие на самодельных BRAS, при том что на брендовые денег нет -- это еще одна причина не пользоваться PPPoE. Open source довольно часто лажает в сложных вещах, но элементарную маршрутизацию и DHCP там редко ломают.

Edited November 20, 2009 by photon

[nevzorofff]

В релизе 7.2 были ошибки в ng_pptp/ng_pppoe, которые исправлены в STABLE примерно в июне

[jab]

И кстати говоря, проблемы, возникающие на самодельных BRAS, при том что на брендовые денег нет -- это еще одна причина не пользоваться PPPoE. Open source довольно часто лажает в сложных вещах, но элементарную маршрутизацию и DHCP там редко ломают.

Это причина не пользоваться непроверенными релизами, а не PPPoE. У меня все работает много лет.

[Karl Kory]

И кстати говоря, проблемы, возникающие на самодельных BRAS, при том что на брендовые денег нет -- это еще одна причина не пользоваться PPPoE. Open source довольно часто лажает в сложных вещах, но элементарную маршрутизацию и DHCP там редко ломают.

Это причина не пользоваться непроверенными релизами, а не PPPoE. У меня все работает много лет.

пересобрали всё на последние 8ки. ничего не изменилось. неподелится ли многоуважаемый мною jab версиями которыми он пользуется? думаю многим было бы интересно, если это не является коммерческой тайной. спасибо.

[jab]

mpd4, работает на всех 6.x, 7.0-STABLE, 7.2-STABLE с поллингом и без поллинга, lagg нету. maxpipekva я бы увеличил раза в два для начала.

[Giga-Byte]

Karl Kory

надо дампы и трейсы смотреть

на вскидку: попробуйте убрать весь тюнинг. вообще весь. (трафик то смешной)

поработать, получить пару дампов, запостить, поразбираться.

 

сколько оперативной памяти на борту?

 

 

ну и к делу возиожно не относится:

какой глубокий смысл использовать внутри сети компрессию и шифрование?

лишняя нагрузка. м.б. даже лишняя точка отказа.