[random2]

тут уже поднимался такой вопрос:

Sep 1 22:16:28 pptp pptpd[16370]: MGR: No free connection slots or IPs - no more clients can connect!

в pptpd.conf написано

remoteip 91.214.136.1-255,91.214.137.1-255,91.214.138.1-255

localip 91.198.249.129

connections 2000

дальше за pptpd стоит freeradius.

 

pptp:/etc# uname -a

Linux pptp 2.6.30 #2 SMP Wed Jun 24 12:39:28 EEST 2009 i686 GNU/Linux

 

pptp:/etc# pptpd -v

accel-pptpd v0.8.3 compiled for pppd-2.4.4, linux-2.6.30

 

знает кто-нибудь как бороться?

Изменено 2 сентября, 2009 пользователем random2

[NiTr0]

У меня:

delegate

connections 1000

Все в норме.

 

[NiTr0]

Итак, сменили железо, поставили 2-ядерный феном с 6М кеша, ддр2 1066, и мать под него на нвидиа чипсете (8200) - вроде как инт сетевуха довольно пристойная теоретически должна быть. Все это весь день пропыхлето, вечером при максимальной нагрузке - ушло в кернел паник с километровым трейсом стека (я такое видел только 1 раз - когда ковырял один драйвер, и в timer'е пытался по I2C порулить девайсом). Возможно, forcedeth брыкается. Перевели все обратно на длинк pci-e на марвелле, понаблюдаем... Кстати, попутно вопрос назрел по поводу какого-то журналирования таких вот "выбрыков", когда модуль-причина уходит далеко вверх за пределы экрана из-за длинного stack trace.

 

P.S. Сегодня на резервном сервере был поставлен своеобразный рекорд - порядка 160 МБит на прием + около 125 на отдачу в пике внешний канал, 450-500 клиентов. Машинка - сокет 939 атлон 3000+ или 3200+. LA был до 200 единиц, но со своей задачей героически справилась... Accel-pptp 0.8.3 на ядре 2.6.23, сеть - forcedeth на CK804 (NF4)

Изменено 2 сентября, 2009 пользователем NiTr0

[nuclearcat]

netconsole для отладки :-)

[vitalyb]

ИМХО forcedeth под определение "нормальности" никак не попадает.

 

nuclearcat

Ага, особенно если падает сетевой драйвер :)

 

Serial console :)

[hiller]

ИМХО forcedeth под определение "нормальности" никак не попадает.

А что с ним не так?

[vitalyb]

hiller

Не исключаю, что я что-то пропустил, но когда в последний раз смотрел, он был продуктом реверс-инжиниринга и NVidia к нему никакого отношения не имела и никаких спецификаций/errata не публиковала ни под каким видом.

 

Опять же, ИМХО, но с таким подходом даже некоторые Realtek выглядит предпочтительней...

 

[NiTr0]

У нас несколько Nforce5xx и одна NForce4 стоят (бордюр, файлообменник, тестовая машина, может еще где-то) - никаких проблем с ними не было.

MCP77 (как и прочие нвидиа - кроме MCP405/430 и прочего старого low-end) поддерживает оффлоад, поддерживает MSI, поддерживает даже IRQ moderation в железе - потому смотрится по сравнению с прочими интегрированными сетевухами весьма вкусно (у реалтеков pci-e весьма маленький кеш, ATL1 - хз, жутковатая вещь с кривоватыми дрвами, VLAN не работают в дровах от вендора).

 

Итак, сегодня сервер поставил рекорд - около 240 мбит прием и отдача - после чего минут через 10 после пика благополучно покрашился с теми же симптомами (километровый стек трэйс). Сеть - DGE-560T. Возможно - это связано с новым процом, возможно - с внедрением шейпера на IFB. Сегодня попробую восстановить старый шейпер, посмотрю на результат.

 

P.S. Для serial console - просто ядру указать в качестве консоли для вывода инфы ком-порт, и туда будут слаться все сообщения ядра?

Изменено 3 сентября, 2009 пользователем NiTr0

[vitalyb]

NiTr0

Да, грузитесь с console=ttyS0,38400 например и по serial minicom'ом на рядом стоящем сервере пишете лог. В этом случае на VGA консоли появится "жизнь" когда закончится загрузка системы - когда загрузится getty. Ядерные сообщения на экран выводиться не будут (если их специально не дублировать, например, syslog-ng) - только в serial. Если хотите возможность залогиниться через serial надо inittab поправить.

 

ATL1- хз, жутковатая вещь

Да, тут Realtek точно лучше :)

 

[NiTr0]

Насчет консоли - почитал уже, суть понял. Один только вопрос остался - как проще всего запустить запись лога чтобы не держать открытую консоль? Насколько я помню, при форке процессов при запуске в шелле они при закрытии сеанса тоже закрываются...

Изменено 3 сентября, 2009 пользователем NiTr0

[vitalyb]

NiTr0

# screen minicom

C-a C-a l

вибираем файл

C-a d

 

Чтобы вернуться в миником: screen -r

[NiTr0]

Функционирующий ком-порт оказался только на роутере, который крутится под LEAF, его и приспособил для логирования, с помощью программного изврата правда, через cat /dev/ttyS0 >>/tmp/ttyS0.log (пускал из скрипта форком, сам скрипт пускал утилью для запуска демонов - ввиду кастрированности дистра это оказался единственный способ запустить софтину без tty). На пптп - ком-порт ессно оказался не выведен, пришлось извратиться через usb-com шнурок.

Первая попытка - скорость порта 38400, лог бута - вывело кусками (почему - так и не понял); после чего - скорость порта чего-то встала на 9600. Сменил на логгере скорость порта (как потом оказалось - глупость сделал), при краше - ядро очевидно скорость вернуло на номинальную.

Ребутнул, поставил 115200 скорость, буду ждать следующего краша - ориентировочно завтра в это же время :)

 

P.S. Вопрос в связи с этой ситуацией назрел - кто-то из присутствующих в топике тестил accel-pptp на 2.6.30.4 и/или K10 процах?

[XLighter]

2.6.30.4, core quad 2.4, accel июльский, сейчас 173 тунеля, аптайм 21 день. Есть еще куча машин на 2.6.30.х, проблем не замечено.

Из AMD есть только athlon64 X2 dual core. Тоже никаких проблем.

[NiTr0]

Итак, покрашился снова. Вот лог:

[ 5933.702110] BUG: unable to handle kernel NULL pointer dereference at 0000000000000346
[ 5933.702305] IP: [<ffffffffa000b786>] sky2_xmit_frame+0x1a7/0x68a [sky2]
[ 5933.702305] PGD 117930067 PUD 1178bf067 PMD 0
[ 5933.702305] Oops: 0002 [#1] SMP
[ 5933.702305] last sysfs file: /sys/devices/system/cpu/cpu1/cache/index2/shared_cpu_map
[ 5933.702305] CPU 1
[ 5933.702305] Modules linked in: cls_fw xt_MARK xt_dscp cls_u32 sch_sfq sch_htb pptp pppox ppp_generic slhc it87 hwmon_vid ipt_REJECT xt_recent iptable_filter xt_DSCP iptable_mangle ip_tables forcedeth asus_atk0110 hwmon sky2 i2c_nforce2

После того как ИП был перекинут на резервный сервер - его тоже почему-то начало пучить, пропадал пинг (DoS? хотя лимит коннектов на 1723 порт строгий - 5 запросов на 3 минуты), ребут помог.

[vitalyb]

NiTr0

Первая попытка - скорость порта 38400, лог бута - вывело кусками (почему - так и не понял); после чего - скорость порта чего-то встала на 9600

Тут, скорее всего, загрузился getty и поставил ту скорость, которая прописана у него в коммандной строке.

 

Без бектрейса стека нереально что-то сказать...

 

Попробуйте отключить TSO: ethtool -K ethX tso off

Изменено 4 сентября, 2009 пользователем vitalyb

[NiTr0]

Похоже, какие-то странные проблемы с железом... после замены проца на атлон х2, который там стоял - сервер покрашился снова, с немного другой ошибкой (конец списка модулей почему-то терминал "проглотил"):

[  523.705458] BUG: unable to handle kernel paging request at 0000000000002448
[  523.705940] IP: [<ffffffffa0033992>] sky2_xmit_frame+0x3b3/0x68a [sky2]
[  523.706011] PGD 10f442067 PUD 10f9aa067 PMD 0
[  523.706011] Oops: 0002 [#1] SMP
[  523.706011] last sysfs file: /sys/devices/system/cpu/cpu1/cache/index2/shared_cpu_map
[  523.706011] CPU 0
[  523.706011] Modules linked in: cls_fw xt_MARK xt_dscp cls_u32 sch_sfq sch_htb pptp pppox ppp_generic slhc it87 hwmon_vid i[    0.000000] Initializing cgroup subsys cpuset

Скрин трейса 1-го краша:

http://img261.imageshack.us/i/dsc00102v.jpg/

Скрин 2-го трейса:

http://img267.imageshack.us/i/dsc00104v.jpg/

После установки атлона х2 на другой мамке - пока что работает стабильно...

Изменено 5 сентября, 2009 пользователем NiTr0

[NiTr0]

Попытался заюзать бондинг для распараллеливания нагрузки по ядрам - в итоге получил при сравнительно низкой загрузке (до 30-40% на ядро) кучу следующих ошибок в логе клиента (классический поптоп):

Sep  6 13:32:35 NiTr0 pptp[24721]: anon log[decaps_gre:pptp_gre.c:407]: buffering packet 5974028 (expecting 5974027, lost or reordered)
(.....................)
Sep  6 13:32:35 NiTr0 pptp[24721]: anon log[decaps_gre:pptp_gre.c:407]: buffering packet 5974053 (expecting 5974027, lost or reordered)
Sep  6 13:32:35 NiTr0 pptp[24721]: anon log[decaps_gre:pptp_gre.c:407]: buffering packet 5974054 (expecting 5974027, lost or reordered)
Sep  6 13:32:36 NiTr0 pptp[24721]: anon log[decaps_gre:pptp_gre.c:407]: buffering packet 5974141 (expecting 5974140, lost or reordered)
Sep  6 13:32:36 NiTr0 pptp[24721]: anon log[decaps_gre:pptp_gre.c:407]: buffering packet 5974142 (expecting 5974140, lost or reordered)
(.....................)
Sep  6 13:32:36 NiTr0 pptp[24721]: anon log[decaps_gre:pptp_gre.c:407]: buffering packet 5974172 (expecting 5974140, lost or reordered)
Sep  6 13:32:36 NiTr0 pptp[24721]: anon log[decaps_gre:pptp_gre.c:407]: buffering packet 5974173 (expecting 5974140, lost or reordered)

Такое наблюдалось и до распараллеливания, но обычно не в таком количестве (хотя периодически были всплески потерь - чем обусловленные неизвестно). При этом скорость через туннель низкая, 5-10 мбит/сек...

Соответственно вопрос - кто съедает пакеты?

[vitalyb]

С бондингом нет никакого механизма, чтобы сохнанить порядок пакетов, судя по всему на это и ругается т.к. буферизировать и переупорядочивать, емнип, pptp не умеет. Подозреваю, балансировка у Вас на коммутаторе per-packet, а надо бы per-flow.

 

В крайнем случае можно поднять два pptpd - каждый на своем интерфейсе и балансировать DNS'ом.

 

[NiTr0]

В том-то и дело, что с бондингом - оно только сильнее вылазить начало. Проблемы были и раньше - но не так явно вылазили.

Балансировка - коммутатор slave, машина - master, режим 802.3ad, балансировка по L3+L4 (хотя указал как в конфиге описано было, xmit_hash_policy=1 для L3+L4 и 0 для L2; почитал опосля доки ядра - там плейнтекстом опции задаются; попробую еще на L2+L3 переконфигурить).

 

P.S. Кстати, почему патч ppp-generic под smp считается неэффективным?

 

UPD: пропатчил под 2.6.30 модуль патчем (лег с небольшой ручной правкой кода) - кажется, ответ на последний вопрос нашелся сам собой, обработка шейперов/iptables ("страшный шейпер/файрвол" симулировал табличкой из пары десятков тысяч правил) все равно происходит на одном ядре. Хотя и не отбрасываю вариант, что в ppp_generic произошли значительные изменения и пропатченный вариант работает не совсем правильно, но все же, думается, он тут ни при чем.

Изменено 6 сентября, 2009 пользователем NiTr0

[shicoy]

Подскажите с чем могут быть связаны сообщения:

 

rcvd [LCP TermReq id=0xa "w\016\007\37777777632\000<\37777777715t\000\000\000\000"]

 

после чего LCP terminated by peer

соотвественно Connection terminated. и Modem hangup

 

с чем связано данное событие TermReq id=0xa, где вообще можно почитать об этом?

 

 

 

[NiTr0]

Весть журнал коннекта выложите.

[shicoy]

Sep  7 22:02:01 192.168.1.1 pppd[2875]: Plugin radius.so loaded.
Sep  7 22:02:01 192.168.1.1 pppd[2875]: RADIUS plugin initialized.
Sep  7 22:02:01 192.168.1.1 pptp[2875]: Plugin pptp.so loaded.
Sep  7 22:02:01 192.168.1.1 pptp[2875]: PPTP plugin version 0.8.3 compiled for pppd-2.4.4, linux-2.6.26
Sep  7 22:02:01 192.168.1.1 pptp[2875]: pppd 2.4.4 started by root, uid 0
Sep  7 22:02:01 192.168.1.1 pptp[2875]: using channel 18085
Sep  7 22:02:01 192.168.1.1 pptp[2875]: Using interface ppp855
Sep  7 22:02:01 192.168.1.1 pptp[2875]: Connect: ppp855 <--> pptp (10.10.88.38)
Sep  7 22:02:01 192.168.1.1 pptp[2875]: sent [LCP ConfReq id=0x1 <mru 1496> <asyncmap 0x0> <auth chap MD5> <magic 0xbc2525fe> <pcomp> <accomp>]
Sep  7 22:02:01 192.168.1.1 pptp[2875]: rcvd [LCP ConfAck id=0x1 <mru 1496> <asyncmap 0x0> <auth chap MD5> <magic 0xbc2525fe> <pcomp> <accomp>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [LCP ConfReq id=0x1 <mru 1400> <magic 0x6baa3542> <pcomp> <accomp> <callback CBCP>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [LCP ConfRej id=0x1 <callback CBCP>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [LCP ConfReq id=0x2 <mru 1400> <magic 0x6baa3542> <pcomp> <accomp>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [LCP ConfAck id=0x2 <mru 1400> <magic 0x6baa3542> <pcomp> <accomp>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [LCP EchoReq id=0x0 magic=0xbc2525fe]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [CHAP Challenge id=0xf <3cfbfdb1871fabf83e5156398032af02489fdca49f06>, name = "pptpd"]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [LCP Ident id=0x3 magic=0x6baa3542 "MSRASV5.10"]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [LCP Ident id=0x4 magic=0x6baa3542 "MSRAS-0-KITTENS"]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [LCP EchoRep id=0x0 magic=0x6baa3542]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [CHAP Response id=0xf <389300a0e3719d994285fb2931abc6ee>, name = "users"]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [CHAP Success id=0xf ""]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: Script /etc/ppp/auth-up started (pid 2915)
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [IPCP ConfReq id=0x1 <addr 192.168.1.1>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [CCP ConfReq id=0x5 <mppe +H -M -S -L -D +C>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [CCP ConfReq id=0x1]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [CCP ConfRej id=0x5 <mppe +H -M -S -L -D +C>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [IPCP ConfReq id=0x6 <addr 0.0.0.0> <ms-dns1 0.0.0.0> <ms-wins 0.0.0.0> <ms-dns3 0.0.0.0> <ms-wins 0.0.0.0>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [IPCP ConfRej id=0x6 <ms-wins 0.0.0.0> <ms-wins 0.0.0.0>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [IPCP ConfAck id=0x1 <addr 192.168.1.1>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [CCP ConfAck id=0x1]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [CCP TermReq id=0x7"k\377777776525B\000<\37777777715t\000\000\002\37777777734"]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [CCP TermAck id=0x7]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [IPCP ConfReq id=0x8 <addr 0.0.0.0> <ms-dns1 0.0.0.0> <ms-dns3 0.0.0.0>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [IPCP ConfNak id=0x8 <addr 192.168.x.y> <ms-dns1 10.10.1.3> <ms-dns3 10.10.1.3>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: rcvd [IPCP ConfReq id=0x9 <addr 192.168.x.y> <ms-dns1 10.10.1.3> <ms-dns3 10.10.1.3>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: sent [IPCP ConfAck id=0x9 <addr 192.168.x.y> <ms-dns1 10.10.1.3> <ms-dns3 10.10.1.3>]
Sep  7 22:02:03 192.168.1.1 pptp[2875]: local  IP address 192.168.1.1
Sep  7 22:02:03 192.168.1.1 pptp[2875]: remote IP address 192.168.x.y
Sep  7 22:02:03 192.168.1.1 pptp[2875]: Script /etc/ppp/auth-up finished (pid 2915), status = 0x0
Sep  7 22:02:06 192.168.1.1 pptp[2875]: sent [CCP ConfReq id=0x1]
Sep  7 22:02:06 192.168.1.1 pptp[2875]: rcvd [CCP TermAck id=0x1]
Sep  7 22:02:06 192.168.1.1 pptp[2875]: sent [CCP TermReq id=0x2"No compression negotiated"]
Sep  7 22:02:06 192.168.1.1 pptp[2875]: rcvd [CCP TermAck id=0x2"No compression negotiated"]
Sep  7 22:09:53 192.168.1.1 pptp[2875]: rcvd [LCP TermReq id=0xa "k\377777776525B\000<\37777777715t\000\000\000\000"]
Sep  7 22:09:53 192.168.1.1 pptp[2875]: LCP terminated by peer (kM-*5B^@<M-Mt^@^@^@^@)
Sep  7 22:09:53 192.168.1.1 pptp[2875]: Script /etc/ppp/auth-down started (pid 7337)
Sep  7 22:09:53 192.168.1.1 pptp[2875]: Connect time 7.9 minutes.
Sep  7 22:09:53 192.168.1.1 pptp[2875]: Sent 130777 bytes, received 40225 bytes.
Sep  7 22:09:54 192.168.1.1 pptp[2875]: sent [LCP TermAck id=0xa]
Sep  7 22:09:54 192.168.1.1 pptp[2875]: Script /etc/ppp/auth-down finished (pid 7337), status = 0x0
Sep  7 22:09:54 192.168.1.1 pptpd[2874]: CTRL: Reaping child PPP[2875]
Sep  7 22:09:54 192.168.1.1 pptp[2875]: Terminating on signal 15
Sep  7 22:09:57 192.168.1.1 pptp[2875]: Connection terminated.
Sep  7 22:09:57 192.168.1.1 pptp[2875]: Modem hangup
Sep  7 22:09:57 192.168.1.1 pptp[2875]: Exit.

 

Sep  7 22:02:01 192.168.1.1 pptpd[2874]: CTRL: Client 10.10.88.38 control connection started
Sep  7 22:02:01 192.168.1.1 pptpd[2874]: CTRL: Starting call (launching pppd, opening GRE)
Sep  7 22:02:03 192.168.1.1 pptpd[2874]: CTRL: Ignored a SET LINK INFO packet with real ACCMs!
Sep  7 22:09:54 192.168.1.1 pptpd[2874]: CTRL: Reaping child PPP[2875]
Sep  7 22:09:54 192.168.1.1 pptpd[2874]: CTRL: Client pppd TERM sending
Sep  7 22:09:54 192.168.1.1 pptpd[2874]: CTRL: Client pppd finish wait
Sep  7 22:09:57 192.168.1.1 pptpd[2874]: CTRL: Client 10.10.88.38 control connection finished

Изменено 7 сентября, 2009 пользователем shicoy

[NiTr0]

Случаем не стоит "требовать шифрование"? Или же - не стоит галочка "сжатие данных" (на это наводит строка "No compression negotiated")? ;) И какая ошибка на том конце?

Изменено 7 сентября, 2009 пользователем NiTr0

[shicoy]

Шифрование точно нет, сжатие насколько я помню Windows клиенты не поддерживают, да и в настройках pppd компрессия выключена.

соединение может жить как несколько часов, так и пару минут. Но всегда завершается злополучным rcvd [LCP TermReq id=0xa

 

На другом конце ошибка дисконнет.

[NiTr0]

Так соединение устанавливается, а после уже разрывается клиентом...

Это только с одним клиентом такое, или у всех?