linux: странные тормоза

Мартен · October 24, 2007

Добрый день.

Столкнулся недавно со следующей проблемой:

Есть сервер Dual Opteron 2214, MB SuperMicro H8DME-2 (NVidia MCP55Pro), 4Gb ram, 280Gb SCSI raid 5 (LSI MegaRAID 320-1), на всем этом крутится куча сервисов, дистрибутив Debian Etch, ядро из коробки 2.6.18 + патчи OpenVZ + IMQ. Стоит bind 9.3.4, резолвинг с него настроен.

Большую часть времени все работает ок. Однако некоторое время назад начал замечать странное поведение некоторых сервисов. Например, отваливается postfix, процесс живет, но телнетом подцепившись на локалхост 25, не вижу приветствия. Пингую что-либо по ip, все ок. Пингую ya.ru - задумывается надолго. Ясно, что проблема с разрешением имен. Но почему-то тот же ping не говорит, скажем, что не удалось разрешить имя, а просто тупо молчит. Перевожу резолвинг на другой днс - машину отпускает. В моменты, когда есть проблема, процесс bind не удается остановить по SIGTERM, только SIGKILL. Вот загрузка сисемы:

top - 17:43:47 up 4 days,  4:43,  4 users,  load average: 2.27, 1.54, 0.82
Tasks: 307 total,   1 running, 302 sleeping,   0 stopped,   4 zombie
Cpu0  :  0.0%us,  1.0%sy,  0.0%ni, 94.0%id,  0.0%wa,  1.0%hi,  4.0%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  1.0%us,  2.0%sy,  0.0%ni, 97.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  :  1.0%us,  1.0%sy,  0.0%ni, 98.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   4044740k total,  3920668k used,   124072k free,   423800k buffers
Swap:  6138152k total,       36k used,  6138116k free,  2513848k cached

Смущают 4 зомби и странно большое количество процессов cron:

root     17114  0.0  0.0  16968   992 ?        S    17:37   0:00 /USR/SBIN/CRON
root     17206  0.0  0.0  16968   992 ?        S    17:38   0:00 /USR/SBIN/CRON
root     17299  0.0  0.0  16968   992 ?        S    17:39   0:00 /USR/SBIN/CRON
root     17300  0.0  0.0  16968   992 ?        S    17:39   0:00 /USR/SBIN/CRON
root     17301  0.0  0.0  16968   992 ?        S    17:39   0:00 /USR/SBIN/CRON
root     17396  0.0  0.0  16968   952 ?        D    17:40   0:00 /USR/SBIN/CRON
root     17397  0.0  0.0  16968   952 ?        D    17:40   0:00 /USR/SBIN/CRON
root     17398  0.0  0.0  16968   952 ?        D    17:40   0:00 /USR/SBIN/CRON
root     17399  0.0  0.0  16968   952 ?        D    17:40   0:00 /USR/SBIN/CRON
root     17400  0.0  0.0  16968   952 ?        D    17:40   0:00 /USR/SBIN/CRON
root     18491  0.0  0.0  16968   952 ?        D    17:41   0:00 /USR/SBIN/CRON
root     18549  0.0  0.0  16968   952 ?        D    17:42   0:00 /USR/SBIN/CRON
root     18601  0.0  0.0  16968   952 ?        D    17:43   0:00 /USR/SBIN/CRON
root     18701  0.0  0.0  16968   952 ?        D    17:44   0:00 /USR/SBIN/CRON
root     18853  0.0  0.0  16968   952 ?        D    17:45   0:00 /USR/SBIN/CRON
root     18854  0.0  0.0  16968   964 ?        D    17:45   0:00 /USR/SBIN/CRON
root     18855  0.0  0.0  16968   952 ?        D    17:45   0:00 /USR/SBIN/CRON
root     18856  0.0  0.0  16968   952 ?        D    17:45   0:00 /USR/SBIN/CRON
root     18857  0.0  0.0  16968   952 ?        D    17:45   0:00 /USR/SBIN/CRON
root     18858  0.0  0.0  16968   952 ?        D    17:45   0:00 /USR/SBIN/CRON
root     18859  0.0  0.0  16968   904 ?        S    17:45   0:00 /USR/SBIN/CRON
root     18860  0.0  0.0  16968   904 ?        S    17:45   0:00 /USR/SBIN/CRON
root     18896  1.3  0.0      0     0 ?        Z    17:45   0:01 [flow-to-base.pl] <defunct>
root     18903  0.0  0.0  16968   952 ?        S    17:45   0:00 /USR/SBIN/CRON
root     18918  0.0  0.0  16968   952 ?        S    17:45   0:00 /USR/SBIN/CRON
root     18932  0.0  0.0  16968   952 ?        S    17:45   0:00 /USR/SBIN/CRON
root     18941  0.0  0.0  16968   952 ?        S    17:45   0:00 /USR/SBIN/CRON
root     18946  0.0  0.0  16968   952 ?        S    17:45   0:00 /USR/SBIN/CRON
root     18965  0.0  0.0  16968   952 ?        S    17:46   0:00 /USR/SBIN/CRON
root     19066  0.0  0.0  16968   952 ?        S    17:46   0:00 /USR/SBIN/CRON
root     19073  0.0  0.0  16968   952 ?        S    17:46   0:00 /USR/SBIN/CRON
root     19128  0.0  0.0  16968   952 ?        S    17:46   0:00 /USR/SBIN/CRON
root     19144  0.0  0.0  16968   964 ?        S    17:47   0:00 /USR/SBIN/CRON
root     19153  0.0  0.0  16968   952 ?        S    17:47   0:00 /USR/SBIN/CRON
root     19157  0.0  0.0  16968   952 ?        S    17:47   0:00 /USR/SBIN/CRON
root     19178  0.0  0.0  16968   952 ?        S    17:47   0:00 /USR/SBIN/CRON
root     19184  0.0  0.0  16968   952 ?        S    17:47   0:00 /USR/SBIN/CRON
root     19191  0.0  0.0  16968   952 ?        S    17:47   0:00 /USR/SBIN/CRON

Да, еще машинка роутит около 15Мбит трафика, фильтрует, считает.

В логах/дебагах ничего интересного или странного не нашел. Пробовал сделать реинсталл крону, бинду, не помогло.

Есть еще подозрение, что по какой-то причине система ждет ввода-вывода. На что грешить? Куда копать?

Edited October 24, 2007 by Мартен

PetrN · October 24, 2007

может не то, но

похожая хня у меня была, когда я перловский скрипт крону кормил,

отдельно скрипт работал нормально , но через крон не завершался ,

Z1oy · October 24, 2007

проверяйте что крону кормите, походу у него не сварение :~)

desperado · October 24, 2007

вон там даже написано :)

flow-to-base.pl

Мартен · October 24, 2007

вон там даже написано :)
flow-to-base.pl

оно не по крону запускается.

flow-tools делает rotate, при каждом rotate фловы в базу агрегируются

Мартен · October 24, 2007

странно все это. ну допустим, кривой скрипт. ну, зомби парочка. резолвинг-то какого черта не работает?

boykov · October 24, 2007

а оно не может пытаться резолвить то, что кладет в базу?

в момент тормозов -- какой трафик у бинда?

Мартен · October 24, 2007

не, оно на локалхост коннектится.

трафик у бинда засечь не успел, к сожалению. не до того было :)

desperado · October 24, 2007

трафик у бинда засечь не успел

так с этого (трафик логи и т.п.) надо было начинать. всё остальное гадание на кофейной гуще.

Мартен · October 25, 2007

согласен. скажу одно: суммарный трафик на транковом интерфейсе свича, к которому сервер-роутер подключен, в этот момент не превышал 15Мбит/с. мне кажется, это фигня для такого железа, и потом, не весь же трафик из 15ти Мбит днс. Опять же, случались не так давно у клиентов червяки, которые флудят днс запросами к серверам, этому тоже доставалось и по 50 Мбит днс запросов, ничего, не кашлял.

desperado · October 25, 2007

да не просуммарный трафик речь, важно чем бинд занимался в это время. были ли какие ошибки и т.п.

Мартен · October 25, 2007

фуххх..

похоже, с большой вероятностью я нашел причину. на 100% не уверен, но очень похоже.

как я уже говорил, используем openvz. в одном из vps крутится asterisk. и так получилось, что в впсе UID юзера asterisk 101. тот же UID на хост-системе у юзера bind. когда были траблы, в логах asteriskа было

WARNING[11522] app_queue.c: Failed to create update thread!

(больше 1000 сообщений). Так как vpsы в openvz работают поверх того же ядра, то вероятно, bind с астериском вместе выжрали limits. и оба обламывались создать треды. а так как резолвинг был с локалхоста, то мы имели дикие тормоза и висы сервисов. вот такие пироги.

разнес UIDы, выясняю точно, какой лимит был нарушен.

Sign In

linux: странные тормоза

Recommended Posts

Мартен

PetrN

Z1oy

desperado

Мартен

Мартен

boykov

Мартен

desperado

Мартен

desperado

Мартен

Join the conversation