accel pptpd

martin74

Опубликовано 26 марта, 2013 · Жалоба

[root@vpn30 accel-ppp]# lsmod | grep pptp

pptp 16502 0

pppox 2696 1 pptp

ppp_generic 25059 3 ppp_mppe,pptp,pppox

в том то и дело ;)

и depmod делал, и перегружал модуль... И сервер перегрузил. Что не так? ;)

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Abram

Опубликовано 26 марта, 2013 · Жалоба

в том то и дело ;)

и depmod делал, и перегружал модуль... И сервер перегрузил. Что не так? ;)

Тут уже xeb-а нужно :).

Но лично мне не нравится почему-то PPPD-Downstream-Speed-Limit.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

xeb

Опубликовано 26 марта, 2013 · Жалоба

[2013-03-26 15:10:40]: error: libnetlink: RTNETLINK answers: No such device

это что-то новенькое...

лог level=5 нужно

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Victor Safronov

Опубликовано 26 марта, 2013 · Жалоба

Ой, а у меня тоже такие ошибки есть, всё забывал спросить откуда они :)

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

martin74

Опубликовано 27 марта, 2013 · Жалоба

Abram, эти атрибуты я сам определил в словаре радиуса и обрабатываю ip-up скриптами. Так сложилось исторически ;)

вот лог

[2013-03-27 09:13:35]: info: pptp: new connection from 10.0.20.5

[2013-03-27 09:13:35]: info: : recv [PPTP Start-Ctrl-Conn-Request <Version 1> <Framing 1> <Bearer 1> <Max-Chan 0>]

[2013-03-27 09:13:35]: info: : send [PPTP Start-Ctrl-Conn-Reply <Version 1> <Result 1> <Error 0> <Framing 3> <Bearer 3> <Max-Chan 1>]

[2013-03-27 09:13:35]: info: : recv [PPTP Outgoing-Call-Request <Call-ID 866e> <Call-Serial 38> <Min-BPS 300> <Max-BPS 100000000> <Bearer 3> <Framing 3> <Window-Size 64> <Delay 0>]

[2013-03-27 09:13:35]: info: : send [PPTP Outgoing-Call-Reply <Call-ID 3> <Peer-Call-ID 866e> <Result 1> <Error 0> <Cause 0> <Speed 100000000> <Window-Size 64> <Delay 0> <Channel 0>]

[2013-03-27 09:13:35]: info: ppp0: connect: ppp0 <--> pptp(10.0.20.5)

[2013-03-27 09:13:35]: debug: ppp0: lcp_layer_init

[2013-03-27 09:13:35]: debug: ppp0: auth_layer_init

[2013-03-27 09:13:35]: debug: ppp0: ccp_layer_init

[2013-03-27 09:13:35]: debug: ppp0: ipcp_layer_init

[2013-03-27 09:13:35]: debug: ppp0: ipv6cp_layer_init

[2013-03-27 09:13:35]: debug: ppp0: ppp established

[2013-03-27 09:13:35]: debug: ppp0: lcp_layer_start

[2013-03-27 09:13:35]: info: ppp0: send [LCP ConfReq id=1 <auth MSCHAP-v2> <magic 257130a3> <mru 1400>]

[2013-03-27 09:13:35]: info: ppp0: recv [PPTP Set-Link-Info]

[2013-03-27 09:13:37]: info: ppp0: recv [LCP ConfReq id=1 <mru 1400> <magic 7a7b6bbd> <pcomp> <accomp> < d 3 6 > < 11 4 6 4e > < 13 17 1 7c 93 16 6b 33 4f 45 da 90 1c 80 7c 4 21 ab 22 0 0 0 1b >]

[2013-03-27 09:13:37]: info: ppp0: send [LCP ConfRej id=1 <pcomp> <accomp> < d 3 6 > < 11 4 6 4e > < 13 17 1 7c 93 16 6b 33 4f 45 da 90 1c 80 7c 4 21 ab 22 0 0 0 1b >]

[2013-03-27 09:13:37]: info: ppp0: recv [LCP ConfReq id=2 <mru 1400> <magic 7a7b6bbd>]

[2013-03-27 09:13:37]: info: ppp0: send [LCP ConfAck id=2 ]

[2013-03-27 09:13:38]: debug: ppp0: fsm timeout

[2013-03-27 09:13:38]: info: ppp0: send [LCP ConfReq id=1 <auth MSCHAP-v2> <magic 257130a3> <mru 1400>]

[2013-03-27 09:13:38]: info: ppp0: recv [LCP ConfAck id=1 <auth MSCHAP-v2> <magic 257130a3> <mru 1400>]

[2013-03-27 09:13:38]: debug: ppp0: lcp_layer_started

[2013-03-27 09:13:38]: debug: ppp0: auth_layer_start

[2013-03-27 09:13:38]: info: ppp0: send [MSCHAP-v2 Challenge id=1 <272a7b1fd1c18c28ac12e386686a75>]

[2013-03-27 09:13:38]: info: ppp0: recv [LCP Ident id=3 <MSRASV5.20>]

[2013-03-27 09:13:38]: info: ppp0: recv [LCP Ident id=4 <MSRAS-0-TERM>]

[2013-03-27 09:13:38]: info: ppp0: recv [LCP Ident id=5 <�d�Y��G�vxbt5>]

[2013-03-27 09:13:38]: info: ppp0: recv [PPTP Set-Link-Info]

[2013-03-27 09:13:38]: info: ppp0: recv [MSCHAP-v2 Response id=1 <82ba77fc893c2af11d873d238bae8bed>, <86918ba93a45ed67d87259ddf4b5d4b868565f22a0f742d2>, F=0, name=testadsl2]

[2013-03-27 09:13:38]: info: ppp0: send [RADIUS(1) Access-Request id=1 <User-Name "testadsl2"> <NAS-Identifier "accel-ppp "> <NAS-IP-Address 10.0.5.30> <NAS-Port 0> <NAS-Port-Type Virtual> <Service-Type Framed-User> <Framed-Protocol PPP> <Calling-Station-Id "10.0.20.5"> <Called-Station-Id "10.0.5.30"><Microsoft MS-CHAP-Challenge ><Microsoft MS-CHAP2-Response >]

[2013-03-27 09:13:38]: info: ppp0: recv [RADIUS(1) Access-Accept id=1 <Framed-IP-Address 10.2.46.116> <Framed-IP-Netmask 255.255.255.255> <PPPD-Concurent-Sessions 200> <PPPD-Upstream-Speed-Limit "102400|0:0|0"> <PPPD-Downstream-Speed-Limit "102400|0:0|0"> <Login-IP-Host 255.255.255.255> <PPPD-Proxy 0><Microsoft MS-CHAP2-Success ><Microsoft MS-MPPE-Recv-Key ><Microsoft MS-MPPE-Send-Key ><Microsoft MS-MPPE-Encryption-Policy 1><Microsoft MS-MPPE-Encryption-Type 6>]

[2013-03-27 09:13:38]: info: ppp0: send [MSCHAP-v2 Success id=1 "S=FBD28377DB86CDFF0E7A51E328A49F396B549D96 M=Authentication succeeded"]

[2013-03-27 09:13:38]: debug: ppp0: auth_layer_started

[2013-03-27 09:13:38]: debug: ppp0: ccp_layer_start

[2013-03-27 09:13:38]: debug: ppp0: ipcp_layer_start

[2013-03-27 09:13:38]: debug: ppp0: ipv6cp_layer_start

[2013-03-27 09:13:38]: info: ppp0: testadsl2: authentication succeeded

[2013-03-27 09:13:38]: info: ppp0: recv [CCP ConfReq id=6 <mppe +H -M -S -L -D +C>]

[2013-03-27 09:13:38]: info: ppp0: send [CCP ConfReq id=1 <mppe +H -M +S -L -D -C>]

[2013-03-27 09:13:38]: info: ppp0: send [CCP ConfNak id=6 <mppe +H -M +S -L -D -C>]

[2013-03-27 09:13:38]: warn: ppp0: IPCP: discarding packet

[2013-03-27 09:13:38]: info: ppp0: send [LCP ProtoRej id=3 <8021>]

[2013-03-27 09:13:38]: info: ppp0: recv [CCP ConfAck id=1 <mppe +H -M +S -L -D -C>]

[2013-03-27 09:13:38]: info: ppp0: recv [CCP ConfReq id=8 <mppe +H -M +S -L -D -C> (mppe enabled)]

[2013-03-27 09:13:38]: info: ppp0: send [CCP ConfAck id=8]

[2013-03-27 09:13:38]: debug: ppp0: ccp_layer_started

[2013-03-27 09:13:38]: info: ppp0: recv [PPTP Set-Link-Info]

[2013-03-27 09:13:38]: info: ppp0: recv [LCP TermReq id=9]

[2013-03-27 09:13:38]: info: ppp0: send [LCP TermAck id=9]

[2013-03-27 09:13:38]: debug: ppp0: terminate

[2013-03-27 09:13:38]: debug: ppp0: lcp_layer_finish

[2013-03-27 09:13:38]: debug: ppp0: auth_layer_finish

[2013-03-27 09:13:38]: debug: ppp0: auth_layer_finished

[2013-03-27 09:13:38]: debug: ppp0: ccp_layer_finish

[2013-03-27 09:13:38]: debug: ppp0: ccp_layer_finished

[2013-03-27 09:13:38]: debug: ppp0: ipcp_layer_finish

[2013-03-27 09:13:38]: debug: ppp0: ipcp_layer_finished

[2013-03-27 09:13:38]: debug: ppp0: ipv6cp_layer_finish

[2013-03-27 09:13:38]: debug: ppp0: ipv6cp_layer_finished

[2013-03-27 09:13:38]: info: ppp0: recv [PPTP Call-Clear-Request <Call-ID 866e>]

[2013-03-27 09:13:38]: debug: ppp0: lcp_layer_free

[2013-03-27 09:13:38]: debug: ppp0: auth_layer_free

[2013-03-27 09:13:38]: debug: ppp0: ccp_layer_free

[2013-03-27 09:13:38]: debug: ppp0: ipcp_layer_free

[2013-03-27 09:13:38]: debug: ppp0: ipv6cp_layer_free

[2013-03-27 09:13:38]: debug: ppp0: ppp destablished

[2013-03-27 09:13:38]: error: libnetlink: RTNETLINK answers: No such device

[2013-03-27 09:13:38]: warn: ppp0: failed to get interface statistics

[2013-03-27 09:13:38]: info: ppp0: send [PPTP Call-Disconnect-Notify <Call-ID 6e86> <Result 4> <Error 0> <Cause 0>]

[2013-03-27 09:13:39]: info: ppp0: recv [PPTP Stop-Ctrl-Conn-Request <Reason 1>]

[2013-03-27 09:13:39]: info: ppp0: send [PPTP Stop-Ctrl-Conn-Reply <Result 1> <Error 0>]

[2013-03-27 09:13:39]: debug: ppp0: pptp: disconnect

[2013-03-27 09:13:39]: info: ppp0: disconnected

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

xeb

Опубликовано 27 марта, 2013 · Жалоба

[2013-03-27 09:13:38]: warn: ppp0: IPCP: discarding packet
[2013-03-27 09:13:38]: info: ppp0: send [LCP ProtoRej id=3 <8021>]

конфиг глянуть можно ?

такое ощущение, что стоит ipv4=deny

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

martin74

Опубликовано 27 марта, 2013 · Жалоба

[root@vpn30 ~]# cat /etc/accel-ppp.conf

[modules]

#path=/usr/local/lib/accel-ppp

log_file

#log_syslog

#log_tcp

#log_pgsql

pptp

#l2tp

#pppoe

auth_mschap_v2

auth_mschap_v1

auth_chap_md5

#auth_pap

radius

#ippool

sigchld

pppd_compat

#shaper

#shaper_tbf (obsolete)

#chap-secrets

#net-snmp

#logwtmp

#connlimit

#ipv6_nd

#ipv6_dhcp

#ipv6pool

[core]

log-error=/var/log/accel-ppp/core.log

thread-count=4

[ppp]

verbose=5

min-mtu=1280

mtu=1400

mru=1400

ccp=1

#sid-case=upper

check-ip=0

#single-session=replace

mppe=allow

ipv4=require

ipv6=deny

#ipv6-intf-id=0:0:0:1

#ipv6-peer-intf-id=0:0:0:2

#ipv6-accept-peer-intf-id=1

lcp-echo-interval=20

lcp-echo-failure=3

lcp-echo-timeout=120

#unit-cache=1000

[auth]

#any-login=0

#noauth=0

[pptp]

echo-interval=30

mppe=allow

#ip-pool=pool1

verbose=5

[pppoe]

#interface=eth0

#interface=eth1,padi-limit=1000

#ac-name=xxx

#service-name=yyy

#pado-delay=0

#pado-delay=0,100:100,200:200,-1:500

#ifname-in-sid=called-sid

#tr101=1

#padi-limit=0

#mppe=allow

#ip-pool=pool2

#verbose=1

[l2tp]

#dictionary=/usr/local/share/accel-ppp/l2tp/dictionary

#hello-interval=60

#timeout=60

#rtimeout=5

#retransmit=5

#host-name=accel-ppp

#dir300_quirk=0

#secret=

#mppe=allow

#ip-pool=pool3

verbose=1

[dns]

dns1=10.0.0.2

dns2=10.0.0.17

[wins]

#wins1=172.16.0.1

#wins2=172.16.1.1

[radius]

dictionary=/usr/local/share/accel-ppp/radius/dictionary

nas-identifier=accel-ppp

nas-ip-address=10.0.5.30

gw-ip-address=10.0.128.1

#auth-server=127.0.0.1:1812,testing123 (obsolete)

#acct-server=127.0.0.1:1813,testing123 (obsolete)

#server=127.0.0.1,testing123 (obsolete)

server=10.0.0.14,*********,auth-port=1812,acct-port=1813,req-limit=0,fail-time=0

#dae-server=127.0.0.1:3799,testing123

verbose=5

#timeout=3

#max-try=3

#acct-timeout=120

#acct-delay-time=0

[client-ip-range]

disable

[ip-pool]

#gw-ip-address=192.168.0.1

#vendor=Cisco

#attr=Cisco-AVPair

#attr=Framed-Pool

#192.168.0.2-255

#192.168.1.1-255,pool1

#192.168.2.1-255,pool2

#192.168.3.1-255,pool3

#192.168.4.0/24

[log]

log-file=/var/log/accel-ppp/accel-ppp.log

log-emerg=/var/log/accel-ppp/emerg.log

log-fail-file=/var/log/accel-ppp/auth-fail.log

log-debug=/var/log/accel-ppp/debug.log

#syslog=accel-pppd,daemon

#log-tcp=127.0.0.1:3000

copy=1

#color=1

#per-user-dir=per_user

#per-session-dir=per_session

#per-session=1

level=5

[log-pgsql]

conninfo=user=log

log-table=log

[pppd-compat]

#ip-pre-up=/etc/ppp/ip-pre-up

ip-up=/etc/ppp/ip-up

ip-down=/etc/ppp/ip-down

ip-change=/etc/ppp/ip-change

radattr-prefix=/var/run/radattr

verbose=5

[chap-secrets]

#gw-ip-address=192.168.100.1

#chap-secrets=/etc/ppp/chap-secrets

#encrypted=0

#username-hash=md5

[shaper]

#attr=Filter-Id

#down-burst-factor=0.1

#up-burst-factor=1.0

#latency=50

#mpu=0

#r2q=10

#quantum=1500

#cburst=1534

#ifb=ifb0

#up-limiter=police

#down-limiter=tbf

#leaf-qdisc=sfq perturb 10

#verbose=1

#tbf is obsolete, use shaper module

#[tbf]

#attr=Filter-Id

#down-burst-factor=0.1

#up-burst-factor=1.0

#latency=50

[cli]

telnet=127.0.0.1:2000

tcp=127.0.0.1:2001

password=123

[snmp]

master=0

agent-name=accel-ppp

[connlimit]

#limit=10/min

#burst=3

#timeout=60

[ipv6-pool]

#fc00:0:1::/48,64

#delegate=fc00:1::/36,48

[ipv6-dns]

#fc00:1::1

#fc00:1::2

#fc00:1::3

#dnssl=suffix1.local.net

#dnssl=suffix2.local.net.

[ipv6-dhcp]

#verbose=1

#pref-lifetime=604800

#valid-lifetime=2592000

#route-via-gw=1

[root@vpn30 ~]#

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

martin74

Опубликовано 28 марта, 2013 · Жалоба

разобрался.

Поправь парсер конфигов - если после ключевых слов есть пробелы - может не понять. Я конфиг получил методом копирования с соседнего сервера, где под другой платформой тестил. И строки добились пробелами. Удалил пробелы - заработало корректно.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

martin74

Опубликовано 28 марта, 2013 · Жалоба

Теперь есть такая непонятка.

Есть две машины с accel-pppd. На обоих centos 6.4 64bit. Одинаковые конфиги, одинаковые скрипты подъема шейпера, одинаковый фаервол.

Одна машина:

model name : Intel® Core i7 CPU X 980 @ 3.33GHz

Вторая машина:

model name : AMD Opteron Processor 6274

На интеле все работает правильно - соединение устанавливается, шейпер конфигурится, инет работает на правильной скорости.

На АМД - визуально шейпер такой же, а вот скорость... Вообще похоже на то, что mss на АМД не работает. Но правила присутствуют на обоих машинах, одинаковые.

Причем, когда на АМД развернул образ с 0.8.5 accel-pptpd - там с теми же скриптами все работает корректно.

В чем может быть проблема?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

replicant

Опубликовано 28 марта, 2013 · Жалоба

На интеле все работает правильно - соединение устанавливается, шейпер конфигурится, инет работает на правильной скорости.

На АМД - визуально шейпер такой же, а вот скорость... Вообще похоже на то, что mss на АМД не работает. Но правила присутствуют на обоих машинах, одинаковые.

Причем, когда на АМД развернул образ с 0.8.5 accel-pptpd - там с теми же скриптами все работает корректно.

В чем может быть проблема?

Сравните сетевые адаптеры, модель, драйвер, опции ethtool tso, gro, gso и т.п.

Уберите mss правила из фаервола для теста.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

martin74

Опубликовано 28 марта, 2013 · Жалоба

убирал файервол совсем. пофиг. Вместо ната - сделал выдачу тестовому абоненту реалки. Не меняется.

На амд стоит вот это - двухпортовка интеловская, драйвер igb.

01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

вот ее настройки

[root@vpn29 ppp]# ethtool -k eth0

Features for eth0:

rx-checksumming: on

tx-checksumming: on

scatter-gather: on

tcp-segmentation-offload: on

udp-fragmentation-offload: off

generic-segmentation-offload: on

generic-receive-offload: on

large-receive-offload: off

rx-vlan-offload: on

tx-vlan-offload: on

ntuple-filters: off

receive-hashing: on

на интеле стоит 4-хпортовка старая, драйвер e1000e.

08:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)

08:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)

09:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)

09:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)

вот ее настройки

[root@vpn30 ~]# ethtool -k eth0

Features for eth0:

rx-checksumming: on

tx-checksumming: on

scatter-gather: on

tcp-segmentation-offload: on

udp-fragmentation-offload: off

generic-segmentation-offload: on

generic-receive-offload: off

large-receive-offload: off

rx-vlan-offload: on

tx-vlan-offload: on

ntuple-filters: off

receive-hashing: off

Это даже еще не тюнил.

Клиент - один. На АМД - не открывается mail.ru, открывается ya.ru, speedtest.net...

Скорость закачки большого файла с mirrors.yandex.ru - 300к

На интеле - работает все прекрасно, скорость закачки - до 5-6 МБ...

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

nuclearcat

Опубликовано 28 марта, 2013 · Жалоба

TSO GSO GRO - выключить

Для начала...

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

martin74

Опубликовано 28 марта, 2013 · Жалоба

[root@vpn29 ppp]# ethtool -k eth0

Features for eth0:

rx-checksumming: on

tx-checksumming: on

scatter-gather: on

tcp-segmentation-offload: off

udp-fragmentation-offload: off

generic-segmentation-offload: off

generic-receive-offload: off

large-receive-offload: off

rx-vlan-offload: on

tx-vlan-offload: on

ntuple-filters: off

receive-hashing: on

[root@vpn29 ppp]# ethtool -k eth1

Features for eth1:

rx-checksumming: on

tx-checksumming: on

scatter-gather: on

tcp-segmentation-offload: off

udp-fragmentation-offload: off

generic-segmentation-offload: off

generic-receive-offload: off

large-receive-offload: off

rx-vlan-offload: on

tx-vlan-offload: on

ntuple-filters: off

receive-hashing: on

mail.ru не открывается

хм... пересобрал еще раз accel - заработало.

Прошу прощения, пошел ка я все перепроверю...

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

martin74

Опубликовано 28 марта, 2013 · Жалоба

так.. заработало на обоих машинах все правильно.

Теперь вопросик маленький. Есть клиент на фре. FreeBsd 9.1.p1 64 bit. Вот mpd оттуда не может приконнектиться.

Mar 28 11:21:34 jw mpd: process 64863 started, version 5.6 (root@jw.lds.net.ua 20:54 22-Feb-2013)

Mar 28 11:21:34 jw mpd: [b2] Bundle: Interface ng0 created

Mar 28 11:21:34 jw mpd: [L2] Link: OPEN event

Mar 28 11:21:34 jw mpd: [L2] LCP: Open event

Mar 28 11:21:34 jw mpd: [L2] LCP: state change Initial --> Starting

Mar 28 11:21:34 jw mpd: [L2] LCP: LayerStart

Mar 28 11:21:34 jw mpd: [L2] PPTP call successful

Mar 28 11:21:34 jw mpd: [L2] Link: UP event

Mar 28 11:21:34 jw mpd: [L2] LCP: Up event

Mar 28 11:21:34 jw mpd: [L2] LCP: state change Starting --> Req-Sent

Mar 28 11:21:34 jw mpd: [L2] LCP: SendConfigReq #1

Mar 28 11:21:34 jw mpd: [L2] ACFCOMP

Mar 28 11:21:34 jw mpd: [L2] PROTOCOMP

Mar 28 11:21:34 jw mpd: [L2] ACCMAP 0x000a0000

Mar 28 11:21:34 jw mpd: [L2] MRU 1460

Mar 28 11:21:34 jw mpd: [L2] MAGICNUM d36803c1

Mar 28 11:21:36 jw mpd: [L2] LCP: SendConfigReq #2

Mar 28 11:21:36 jw mpd: [L2] ACFCOMP

Mar 28 11:21:36 jw mpd: [L2] PROTOCOMP

Mar 28 11:21:36 jw mpd: [L2] ACCMAP 0x000a0000

Mar 28 11:21:36 jw mpd: [L2] MRU 1460

Mar 28 11:21:36 jw mpd: [L2] MAGICNUM d36803c1

Mar 28 11:21:36 jw mpd: [L2] LCP: rec'd Configure Reject #2 (Req-Sent)

Mar 28 11:21:36 jw mpd: [L2] ACFCOMP

Mar 28 11:21:36 jw mpd: [L2] PROTOCOMP

Mar 28 11:21:36 jw mpd: [L2] ACCMAP 0x000a0000

Mar 28 11:21:36 jw mpd: [L2] LCP: SendConfigReq #3

Mar 28 11:21:36 jw mpd: [L2] MRU 1460

Mar 28 11:21:36 jw mpd: [L2] MAGICNUM d36803c1

Mar 28 11:21:36 jw mpd: [L2] LCP: rec'd Configure Nak #3 (Req-Sent)

Mar 28 11:21:36 jw mpd: [L2] MRU 1400

Mar 28 11:21:36 jw mpd: [L2] LCP: SendConfigReq #4

Mar 28 11:21:36 jw mpd: [L2] MRU 1400

Mar 28 11:21:36 jw mpd: [L2] MAGICNUM d36803c1

Mar 28 11:21:36 jw mpd: [L2] LCP: rec'd Configure Ack #4 (Req-Sent)

Mar 28 11:21:36 jw mpd: [L2] MRU 1400

Mar 28 11:21:36 jw mpd: [L2] MAGICNUM d36803c1

Mar 28 11:21:36 jw mpd: [L2] LCP: state change Req-Sent --> Ack-Rcvd

Mar 28 11:21:37 jw mpd: [L2] LCP: rec'd Configure Request #1 (Ack-Rcvd)

Mar 28 11:21:37 jw mpd: [L2] AUTHPROTO CHAP MSOFTv2

Mar 28 11:21:37 jw mpd: [L2] MAGICNUM 431bd7b7

Mar 28 11:21:37 jw mpd: [L2] MRU 1400

Mar 28 11:21:37 jw mpd: [L2] LCP: SendConfigAck #1

Mar 28 11:21:37 jw mpd: [L2] AUTHPROTO CHAP MSOFTv2

Mar 28 11:21:37 jw mpd: [L2] MAGICNUM 431bd7b7

Mar 28 11:21:37 jw mpd: [L2] MRU 1400

Mar 28 11:21:37 jw mpd: [L2] LCP: state change Ack-Rcvd --> Opened

Mar 28 11:21:37 jw mpd: [L2] LCP: auth: peer wants CHAP, I want nothing

Mar 28 11:21:37 jw mpd: [L2] LCP: LayerUp

Mar 28 11:21:37 jw mpd: [L2] CHAP: rec'd CHALLENGE #1 len: 21

Mar 28 11:21:37 jw mpd: [L2] Name: ""

Mar 28 11:21:37 jw mpd: [L2] CHAP: Using authname "jason"

Mar 28 11:21:37 jw mpd: [L2] CHAP: sending RESPONSE #1 len: 59

Mar 28 11:21:37 jw mpd: [L2] CHAP: rec'd SUCCESS #1 len: 73

Mar 28 11:21:37 jw mpd: [L2] MESG: S=43ECAC636CA53BFB45A9EDC9B673A34999352810 M=Authentication succeeded

Mar 28 11:21:37 jw mpd: [L2] LCP: authorization successful

Mar 28 11:21:37 jw mpd: [L2] Link: Matched action 'bundle "B2" ""'

Mar 28 11:21:37 jw mpd: [L2] Link: Join bundle "B2"

Mar 28 11:21:37 jw mpd: [b2] Bundle: Status update: up 1 link, total bandwidth 64000 bps

Mar 28 11:21:37 jw mpd: [b2] IPCP: Open event

Mar 28 11:21:37 jw mpd: [b2] IPCP: state change Initial --> Starting

Mar 28 11:21:37 jw mpd: [b2] IPCP: LayerStart

Mar 28 11:21:37 jw mpd: [b2] IPCP: Up event

Mar 28 11:21:37 jw mpd: [b2] IPCP: state change Starting --> Req-Sent

Mar 28 11:21:37 jw mpd: [b2] IPCP: SendConfigReq #1

Mar 28 11:21:37 jw mpd: [b2] IPADDR 0.0.0.0

Mar 28 11:21:37 jw mpd: [b2] COMPPROTO VJCOMP, 16 comp. channels, no comp-cid

Mar 28 11:21:37 jw mpd: [b2] IPCP: rec'd Configure Request #1 (Req-Sent)

Mar 28 11:21:37 jw mpd: [b2] IPADDR 10.0.128.1

Mar 28 11:21:37 jw mpd: [b2] 10.0.128.1 is OK

Mar 28 11:21:37 jw mpd: [b2] IPCP: SendConfigAck #1

Mar 28 11:21:37 jw mpd: [b2] IPADDR 10.0.128.1

Mar 28 11:21:37 jw mpd: [b2] IPCP: state change Req-Sent --> Ack-Sent

Mar 28 11:21:37 jw mpd: [b2] IPCP: rec'd Configure Reject #1 (Ack-Sent)

Mar 28 11:21:37 jw mpd: [b2] COMPPROTO VJCOMP, 16 comp. channels, no comp-cid

Mar 28 11:21:37 jw mpd: [b2] IPCP: SendConfigReq #2

Mar 28 11:21:37 jw mpd: [b2] IPADDR 0.0.0.0

Mar 28 11:21:37 jw mpd: [b2] IPCP: rec'd Configure Nak #2 (Ack-Sent)

Mar 28 11:21:37 jw mpd: [b2] IPADDR 193.192.37.74

Mar 28 11:21:37 jw mpd: [b2] 193.192.37.74 is OK

Mar 28 11:21:37 jw mpd: [b2] IPCP: SendConfigReq #3

Mar 28 11:21:37 jw mpd: [b2] IPADDR 193.192.37.74

Mar 28 11:21:37 jw mpd: [b2] IPCP: rec'd Configure Ack #3 (Ack-Sent)

Mar 28 11:21:37 jw mpd: [b2] IPADDR 193.192.37.74

Mar 28 11:21:37 jw mpd: [b2] IPCP: state change Ack-Sent --> Opened

Mar 28 11:21:37 jw mpd: [b2] IPCP: LayerUp

Mar 28 11:21:37 jw mpd: [b2] 193.192.37.74 -> 10.0.128.1

Mar 28 11:21:37 jw mpd: [b2] IFACE: Up event

Mar 28 11:21:57 jw mpd: [L2] LCP: magic number is wrong: 0xb7d71b43 != 0x431bd7b7

Mar 28 11:21:57 jw mpd: [L2] LCP: received an invalid magic number

Mar 28 11:21:57 jw mpd: [L2] LCP: state change Opened --> Stopping

Mar 28 11:21:57 jw mpd: [L2] Link: Leave bundle "B2"

Mar 28 11:21:57 jw mpd: [b2] Bundle: Status update: up 0 links, total bandwidth 9600 bps

Mar 28 11:21:57 jw mpd: [b2] IPCP: Close event

Mar 28 11:21:57 jw mpd: [b2] IPCP: state change Opened --> Closing

Mar 28 11:21:57 jw mpd: [b2] IPCP: SendTerminateReq #4

Mar 28 11:21:57 jw mpd: [b2] IPCP: LayerDown

Mar 28 11:21:57 jw mpd: [b2] IFACE: Down event

Mar 28 11:21:57 jw mpd: [b2] IPCP: Down event

Mar 28 11:21:57 jw mpd: [b2] IPCP: LayerFinish

Mar 28 11:21:57 jw mpd: [b2] Bundle: No NCPs left. Closing links...

Mar 28 11:21:57 jw mpd: [b2] IPCP: state change Closing --> Initial

Mar 28 11:21:57 jw mpd: [L2] LCP: SendTerminateReq #5

Mar 28 11:21:57 jw mpd: [L2] LCP: LayerDown

Mar 28 11:21:57 jw mpd: [L2] rec'd proto IP during terminate phase

Mar 28 11:21:57 jw mpd: [L2] LCP: rec'd Terminate Ack #5 (Stopping)

Mar 28 11:21:57 jw mpd: [L2] LCP: state change Stopping --> Stopped

Mar 28 11:21:57 jw mpd: [L2] LCP: LayerFinish

лечится check_magic=off или как то так (по словам фряшника).

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

purecopper

Опубликовано 29 марта, 2013 (изменено) · Жалоба

Заметил странную особенность:

Даже если в конфиг. файле accel-ppp включен username=ifname, а на коммутаторе включен dhcp_local_relay, то accel реагирует на DHCP-запрос от клиента вот так:

[2013-03-29 13:51:05]: error: genl: error talking to kernel

[2013-03-29 13:51:05]: warn: ipoe: unclassified packet handling is disabled

[2013-03-29 13:51:05]: msg: accel-ppp version a8eb35786a937b79c69cab85d1f722835e39bdb2

[2013-03-29 13:51:10]: error: libnetlink: RTNETLINK answers: No such file or directory

[2013-03-29 13:51:10]: error: genl: error talking to kernel

[2013-03-29 13:51:10]: warn: ipoe: unclassified packet handling is disabled

[2013-03-29 13:51:10]: msg: accel-ppp version a8eb35786a937b79c69cab85d1f722835e39bdb2

[2013-03-29 13:51:19]: error: libnetlink: RTNETLINK answers: No such file or directory

[2013-03-29 13:51:19]: error: genl: error talking to kernel

[2013-03-29 13:51:19]: warn: ipoe: unclassified packet handling is disabled

[2013-03-29 13:51:19]: msg: accel-ppp version a8eb35786a937b79c69cab85d1f722835e39bdb2

[2013-03-29 13:51:34]: error: libnetlink: RTNETLINK answers: No such file or directory

[2013-03-29 13:51:34]: error: genl: error talking to kernel

[2013-03-29 13:51:34]: warn: ipoe: unclassified packet handling is disabled

[2013-03-29 13:51:34]: msg: accel-ppp version a8eb35786a937b79c69cab85d1f722835e39bdb2

Отключаю local-relay - всё ок.

Сам запрос без local-relay:

Client-Ethernet-Address 00:06:17:93:78:42

Vendor-rfc1048 Extensions

Magic Cookie 0x63825363

DHCP-Message Option 53, length 1: Request

Client-ID Option 61, length 7: ether 00:06:17:93:78:42

Requested-IP Option 50, length 4: 10.200.36.168

Hostname Option 12, length 9: "pc-M-^OM-^J"

FQDN Option 81, length 12: "pc-M-^OM-^J"

Vendor-Class Option 60, length 8: "MSFT 5.0"

Parameter-Request Option 55, length 12:

Subnet-Mask, Domain-Name, Default-Gateway, Domain-Name-Server

Netbios-Name-Server, Netbios-Node, Netbios-Scope, Router-Discovery

Static-Route, Classless-Static-Route, Classless-Static-Route-Microsoft, Vendor-Option

END Option 255, length 0

С local-relay:

Client-Ethernet-Address 00:06:17:93:78:42

Vendor-rfc1048 Extensions

Magic Cookie 0x63825363

DHCP-Message Option 53, length 1: Discover

Client-ID Option 61, length 7: ether 00:06:17:93:78:42

Hostname Option 12, length 9: "pc-M-^OM-^J"

Vendor-Class Option 60, length 8: "MSFT 5.0"

Parameter-Request Option 55, length 12:

Subnet-Mask, Domain-Name, Default-Gateway, Domain-Name-Server

Netbios-Name-Server, Netbios-Node, Netbios-Scope, Router-Discovery

Static-Route, Classless-Static-Route, Classless-Static-Route-Microsoft, Vendor-Option

Agent-Information Option 82, length 25:

Circuit-ID SubOption 1, length 6: ^@^D^@d^@^A

Remote-ID SubOption 2, length 15: ^A^M192.168.100.2

END Option 255, length 0

Изменено 29 марта, 2013 пользователем purecopper

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Cramac

Опубликовано 29 марта, 2013 · Жалоба

а для ипое, прописав в конфиге, релоад не поможет, нужно полностью перезапускать accel?

в модули подгружать надо как pptp ?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

therinus

Опубликовано 31 марта, 2013 · Жалоба

Неподскажите какие атрибуты нужно отправить, чтобы нормально отработался COA запрос. Пока не accel-ppp не может найти клиента:

[2013-03-31 17:49:59]: debug: recv [RADIUS CoA-Request id=3 <User-Name "vpn-1"> <NAS-Port 0> <Framed-IP-Address 10.1.1.11> <Acct-Session-Id "07101cdcd74ddd7b"><Mikrotik Mikrotik-Rate-Limit "4M">]
[2013-03-31 17:49:59]:  warn: radius:dm_coa: session not found
[2013-03-31 17:49:59]:  info: send [RADIUS CoA-NAK id=3 <Error-Cause Session-Context-Not-Found>]

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

morfair

Опубликовано 1 апреля, 2013 · Жалоба

Неподскажите какие атрибуты нужно отправить, чтобы нормально отработался COA запрос. Пока не accel-ppp не может найти клиента:
[2013-03-31 17:49:59]: debug: recv [RADIUS CoA-Request id=3 <User-Name "vpn-1"> <NAS-Port 0> <Framed-IP-Address 10.1.1.11> <Acct-Session-Id "07101cdcd74ddd7b"><Mikrotik Mikrotik-Rate-Limit "4M">]
[2013-03-31 17:49:59]:  warn: radius:dm_coa: session not found
[2013-03-31 17:49:59]:  info: send [RADIUS CoA-NAK id=3 <Error-Cause Session-Context-Not-Found>]

На сколько помню, либо Acct-Session-Id, либо User-Name + Framed-IP-Address

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

xeb

Опубликовано 1 апреля, 2013 · Жалоба

<Mikrotik Mikrotik-Rate-Limit "4M">

это лишнее

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

therinus

Опубликовано 2 апреля, 2013 · Жалоба

<Mikrotik Mikrotik-Rate-Limit "4M">

- Это новое значение скорости после срабатывания условий в биллинге.

Я предполагал, что сервер ищет по части атрибутов конкретную сейссию и для неё обновляет файл в /var/run/radattr.X.

Зачем он ищет сейссию по новым атрибутам ?

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

kayot

Опубликовано 2 апреля, 2013 (изменено) · Жалоба

Поймал сегодня печальный crush.

Активна 1 клиентская машина, стандартные перезапросы лизы раз в 30 секунд.

[2013-04-02 04:02:48]:  info: eth2.999.2021: recv [DHCPv4 Request xid=468dbaf0 ciaddr=194.12.94.21 chaddr=00:1a:4b:3b:85:d6 <Message
[2013-04-02 04:02:48]:  info: eth2.999.2021: send [DHCPv4 relay Request xid=468dbaf0 ciaddr=194.12.94.21 giaddr=10.200.0.100 chaddr=
[2013-04-02 04:02:48]:  info: eth2.999.2021: recv [DHCPv4 relay Ack xid=468dbaf0 ciaddr=194.12.94.21 yiaddr=194.12.94.21 giaddr=10.2
[2013-04-02 04:02:48]:  info: eth2.999.2021: send [DHCPv4 Ack xid=468dbaf0 ciaddr=194.12.94.21 yiaddr=194.12.94.21 chaddr=00:1a:4b:3
..
[2013-04-02 04:03:18]:  info: eth2.999.2021: recv [DHCPv4 Request xid=c2ce45fa ciaddr=194.12.94.21 chaddr=00:1a:4b:3b:85:d6 <Message
[2013-04-02 04:03:18]:  info: eth2.999.2021: send [DHCPv4 relay Request xid=c2ce45fa ciaddr=194.12.94.21 giaddr=10.200.0.100 chaddr=
[2013-04-02 04:03:18]:  info: eth2.999.2021: recv [DHCPv4 relay Nak xid=c2ce45fa giaddr=10.200.0.100 chaddr=00:1a:4b:3b:85:d6 <Messa
[2013-04-02 04:03:18]:  info: send [DHCPv4 Nak xid=c2ce45fa chaddr=00:1a:4b:3b:85:d6 <Message-Type Nak>]
[2013-04-02 04:03:18]: debug: eth2.999.2021: terminate
[2013-04-02 04:03:18]:  info: eth2.999.2021: send [RADIUS(1) Accounting-Request id=c1 <User-Name "2021"> <NAS-Identifier "accel-ppp"
[2013-04-02 04:03:18]:  info: eth2.999.2021: recv [DHCPv4 Discover xid=93d40a94 chaddr=00:1a:4b:3b:85:d6 <Message-Type Discover> <Cl
[2013-04-02 04:03:18]:  info: eth2.999.2021: recv [RADIUS(1) Accounting-Response id=c1]
[2013-04-02 04:03:18]: debug: eth2.999.2021: ipoe: session finished
[2013-04-02 04:03:18]:  info: eth2.999.2021: send [DHCPv4 relay Release xid=c2ce45fa ciaddr=194.12.94.21 giaddr=10.200.0.100 chaddr=
[2013-04-02 04:03:18]:  info: eth2.999.2021: send [DHCPv4 relay Discover xid=93d40a94 giaddr=10.200.0.100 chaddr=00:1a:4b:3b:85:d6 <
[2013-04-02 04:03:23]:  info: : recv [DHCPv4 Discover xid=93d40a94 chaddr=00:1a:4b:3b:85:d6 <Message-Type Discover> <Client-ID 01001
[2013-04-02 04:03:23]:  info: eth2.999.2021: send [RADIUS(1) Access-Request id=1 <User-Name "2021"> <NAS-Identifier "accel-ppp"> <NA
[2013-04-02 04:03:23]:  info: eth2.999.2021: recv [RADIUS(1) Access-Accept id=1 <Framed-IP-Address 194.12.94.21> <DHCP-Router-IP-Add
[2013-04-02 04:03:23]: error: eth2.999.2021: ipoe: not a IPoE message 2
[2013-04-02 04:03:23]: error: eth2.999.2021: ipoe: failed to create interface
[2013-04-02 04:03:23]: debug: eth2.999.2021: ipoe: session finished
...

Дальше безуспешные попытки поднять сессию продолжаются каждые 10 секунд.

Спустя 7 часов accel скушал всю память(8гб + 8гб своп) и помер, судя по всему в момент когда админы пытался сделать show sessions в консоли.

В dmesg:

accel-pppd invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
accel-pppd cpuset=/ mems_allowed=0-1
Pid: 17127, comm: accel-pppd Not tainted 3.8.4 #1
Call Trace:
[<ffffffff810f47d5>] dump_header+0x85/0x1c0
[<ffffffff812352e2>] ? ___ratelimit+0x92/0x120
[<ffffffff810f4f1d>] oom_kill_process+0x21d/0x350
[<ffffffff810f4c84>] ? oom_badness+0xb4/0x130
[<ffffffff810f52cf>] out_of_memory+0x27f/0x2c0
[<ffffffff810fa94d>] __alloc_pages_slowpath+0x71d/0x790
[<ffffffff810fabdc>] __alloc_pages_nodemask+0x21c/0x230
[<ffffffff81135f83>] alloc_pages_current+0xe3/0x1c0
[<ffffffff810f1bc7>] __page_cache_alloc+0xa7/0xc0
[<ffffffff810f2895>] filemap_fault+0x155/0x3f0
[<ffffffff8111ba85>] __do_fault+0x75/0x4f0
[<ffffffff8111bfd3>] handle_pte_fault+0xd3/0x1e0
[<ffffffff8122fd4a>] ? cpumask_any_but+0x2a/0x40
[<ffffffff81043fb0>] ? sys_time+0x40/0x60
[<ffffffff8111c300>] handle_mm_fault+0x220/0x370
[<ffffffff81030ffd>] ? __bad_area_nosemaphore+0x20d/0x220
[<ffffffff814c96d9>] __do_page_fault+0x149/0x470
[<ffffffff811228a4>] ? change_protection+0x14/0x30
[<ffffffff81122a0d>] ? mprotect_fixup+0x14d/0x230
[<ffffffff814c9a0e>] do_page_fault+0xe/0x10
[<ffffffff814c62b2>] page_fault+0x22/0x30
.....
Free swap  = 0kB
Total swap = 8191992kB
2097135 pages RAM
51596 pages reserved
262078 pages shared
2008098 pages non-shared
[ pid ]   uid  tgid total_vm      rss nr_ptes swapents oom_score_adj name
[  550]     0   550     2808        0      10      237         -1000 udevd
[ 1797]     0  1797     1551        1      10       23             0 portreserve
[ 1804]     0  1804    60745        0      20      157             0 rsyslogd
[ 1850]    25  1850   170419        0      61     5878             0 named
[ 1883]    32  1883     4755        0      13       54             0 rpcbind
[ 1898]     0  1898     1188        0       8       43             0 mdadm
[ 1908]    92  1908     8315        0      20      212             0 zebra
[ 1917]    92  1917     8292       28      18      189             0 ripd
[ 1928]     0  1928     3398       26      15       24             0 lldpad
[ 1969]     0  1969    95403        0      29      137             0 automount
[ 1988]     0  1988    16029       20      32      146         -1000 sshd
[ 2024]     0  2024    27062        0      16       59             0 mysqld_safe
[ 2116]    27  2116   132857     1542      82     6328             0 mysqld
[ 2153]     0  2153    27563        0      17       34             0 abrtd
[ 2161]     0  2161    27036        0      18       34             0 abrt-dump-oops
[ 2170]    95  2170   111471        0      51      723             0 radiusd
[ 2183]     0  2183    29302       23      18      132             0 crond
[ 2194]     0  2194     5375        0      12       45             0 atd
[ 2855]     0  2855  4085333  1922913    7783  2031290             0 accel-pppd
[ 3224]     0  3224     1027        0       9       17             0 mingetty
[ 3231]     0  3231     1027        0       9       17             0 mingetty
[ 3233]     0  3233     1027        0       9       18             0 mingetty
[ 3255]     0  3255     1027        0       9       18             0 mingetty
[ 3277]     0  3277     1027        0       9       18             0 mingetty
[ 3552]     0  3552     3137        0      10      545         -1000 udevd
[ 3553]     0  3553     3137        0      10      545         -1000 udevd
[ 4194]     0  4194     6409        0      13       62         -1000 auditd
[ 4599]     0  4599     1027        0      10       17             0 mingetty
[17016]     0 17016    24467        1      52      230             0 sshd
[17020]   500 17020    24467       22      47      213             0 sshd
[17021]   500 17021    27096        0      17       82             0 bash
[17040]   500 17040    36349        1      29       95             0 su
[17047]     0 17047    27097        1      17      106             0 bash
[17065]     0 17065    29783        0      22      516             0 mc
[17067]     0 17067    27130        1      17      110             0 bash
[17134]     0 17134     3185        8      11       29             0 telnet
[17141]     0 17141    16365      157      35       22             0 sshd
[17143]    74 17143    16365      143      34       34             0 sshd
Out of memory: Kill process 2855 (accel-pppd) score 937 or sacrifice child
Killed process 2855 (accel-pppd) total-vm:16341332kB, anon-rss:7691652kB, file-rss:0kB

Изменено 2 апреля, 2013 пользователем kayot

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

NiTr0

Опубликовано 2 апреля, 2013 · Жалоба

К слову, вопрос: заметил что 1.7.3 по СоА пересоздает радаттр, но пишет туда только те аттрибуты, что прилетели по СоА запросу. Это баг, или так и задумано? ИМХО - не совсем правильно, правильнее было бы писать все радиус-аттрибуты...

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

kayot

Опубликовано 2 апреля, 2013 · Жалоба

Судя по логам - мое ночное падение связано с некорректной работой logrotate(1ого числа оно перезапустило радиус, тот упал с ошибкой).

Поиск бага упрощается, при падении радиус-сервера accel начинает жрать память и умирает.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

morfair

Опубликовано 2 апреля, 2013 · Жалоба

К слову, вопрос: заметил что 1.7.3 по СоА пересоздает радаттр, но пишет туда только те аттрибуты, что прилетели по СоА запросу. Это баг, или так и задумано? ИМХО - не совсем правильно, правильнее было бы писать все радиус-аттрибуты...

Присоединяюсь к вопросу.

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

RuffiAn

Опубликовано 3 апреля, 2013 · Жалоба

Добрый день! Есть у кого-нибудь мануал по настройке ipoe. Если не трудно поделитесь опытом или ссылкой. Можно на почту nurik.zaripov @ gmail.com

Войти

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Поделиться сообщением

Ссылка на сообщение

Поделиться на других сайтах

Join the conversation