Перейти к содержимому
Калькуляторы

Аномалия CentOS+iptables

Доброе время суток

 

Есть проблема. Возможно кто-то уже сталкивался с чем-то подобным или знает как продиагностировать.

 

Сервер, работает под CentOS 6, NAT - iptables.

Обслуживает 1-1.5к клиентов,

максимальная загрузка процессора была (до недавнего времени) - 18%,

количество сессий - до 92к.

И вот, в один момент, сессий становится 524к, процессор пригружается до 31% (но, вскоре, возвращается в норму),

Трафик на интерфейсах до 700M-rx/100M-tx почти не изменился.

а количество сессий остается на уровне 524к

 

Что это может быть и как найти причину аномалии?

post-128258-052601600 1434743058_thumb.jpg

Изменено пользователем entwine

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ставьте Mandrake Linux 7, современное ядро 2.2.17 идеально подходит под Вашу задачу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А если серьезно - вас не удивляет кол-во сессий? Не наводит на мысли о флуде из сети?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

При появлении флуда возрос бы трафик на интерфейсе.

И Flow-control настроен на порту каждого клиент, так-что маловероятно.

 

Понятно, что какой-то хост мог создать такое количество малоактивных сессий,

но инструмента, который мог бы его выявить, я пока не нашел.

post-128258-084772200 1434781034_thumb.jpg

Изменено пользователем entwine

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

При появлении флуда возрос бы трафик на интерфейсе.

И Flow-control настроен на порту каждого клиент, так-что маловероятно.

 

Понятно, что какой-то хост мог создать такое количество малоактивных сессий,

но инструмента, который мог бы его выявить, я пока не нашел.

 

 

egrep -i established /proc/net/ip_conntrack

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

egrep -i established /proc/net/ip_conntrack

 

conntrack -L лучше. Еще можно netflow глянуть в момент когда нагрузка возрастает (если есть).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В коде драйвера тоже немногословное описание:

IXGBE_EICR_ECC		0x10000000 /* ECC Error */

 

Полистайте дата щит: http://www.intel.com/content/dam/www/public/us/en/documents/datasheets/82598-10-gbe-controller-datasheet.pdf

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо за подсказки, буду копать.

 

В ipnat была полезная команда:

ipnat -l | awk '{print $2}' | sort | uniq -c | sort -r | grep "10.0." | less

которая показывала топ клиентов, у который максимальное колличество активных сессий.

 

Возможно в iptabes есть чтото подобное?

Тогда можно было бы найти IP, который создал "лишние" 500к сессий.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вам уже подсказали "conntrack -L", а дальше грепайте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

При появлении флуда возрос бы трафик на интерфейсе.

 

Не верно, наоборот бы упал. Выросло бы PPS.

 

И Flow-control настроен на порту каждого клиент, так-что маловероятно.

 

От unicast dos оно никак не спасет, не тешьте себя мнимой надеждой.

 

Понятно, что какой-то хост мог создать такое количество малоактивных сессий,

 

Мог, вполне мог. Вы статистику не ведете? netflow не собираете?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всем спасибо, помогло:

conntrack -L |awk '{if ($5 ~ /src/) print $5; else if ($4 ~ /src/) print $4}' | sed "s/src=/ /g" | sort | uniq -c | sort -n | tail -n15

 

Вопрос закрыт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Так что было, ддос?

Изменено пользователем pavel.odintsov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

К сожалению активные сессии уже вернулись к норме (30-80к).

Загадка))

Изменено пользователем entwine

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.