[entwine]

Доброе время суток

 

Есть проблема. Возможно кто-то уже сталкивался с чем-то подобным или знает как продиагностировать.

 

Сервер, работает под CentOS 6, NAT - iptables.

Обслуживает 1-1.5к клиентов,

максимальная загрузка процессора была (до недавнего времени) - 18%,

количество сессий - до 92к.

И вот, в один момент, сессий становится 524к, процессор пригружается до 31% (но, вскоре, возвращается в норму),

Трафик на интерфейсах до 700M-rx/100M-tx почти не изменился.

а количество сессий остается на уровне 524к

 

Что это может быть и как найти причину аномалии?

Изменено 20 июня, 2015 пользователем entwine

[DVM-Avgoor]

Ставьте Mandrake Linux 7, современное ядро 2.2.17 идеально подходит под Вашу задачу.

[DVM-Avgoor]

А если серьезно - вас не удивляет кол-во сессий? Не наводит на мысли о флуде из сети?

[entwine]

При появлении флуда возрос бы трафик на интерфейсе.

И Flow-control настроен на порту каждого клиент, так-что маловероятно.

 

Понятно, что какой-то хост мог создать такое количество малоактивных сессий,

но инструмента, который мог бы его выявить, я пока не нашел.

Изменено 20 июня, 2015 пользователем entwine

[Wheely]

При появлении флуда возрос бы трафик на интерфейсе.

И Flow-control настроен на порту каждого клиент, так-что маловероятно.

 

Понятно, что какой-то хост мог создать такое количество малоактивных сессий,

но инструмента, который мог бы его выявить, я пока не нашел.

 

 

egrep -i established /proc/net/ip_conntrack

[alex_001]

egrep -i established /proc/net/ip_conntrack

 

conntrack -L лучше. Еще можно netflow глянуть в момент когда нагрузка возрастает (если есть).

[pavel.odintsov]

В коде драйвера тоже немногословное описание:

IXGBE_EICR_ECC		0x10000000 /* ECC Error */

 

Полистайте дата щит: http://www.intel.com/content/dam/www/public/us/en/documents/datasheets/82598-10-gbe-controller-datasheet.pdf

[entwine]

Спасибо за подсказки, буду копать.

 

В ipnat была полезная команда:

ipnat -l | awk '{print $2}' | sort | uniq -c | sort -r | grep "10.0." | less

которая показывала топ клиентов, у который максимальное колличество активных сессий.

 

Возможно в iptabes есть чтото подобное?

Тогда можно было бы найти IP, который создал "лишние" 500к сессий.

[pppoetest]

Вам уже подсказали "conntrack -L", а дальше грепайте.

[DVM-Avgoor]

При появлении флуда возрос бы трафик на интерфейсе.

 

Не верно, наоборот бы упал. Выросло бы PPS.

 

И Flow-control настроен на порту каждого клиент, так-что маловероятно.

 

От unicast dos оно никак не спасет, не тешьте себя мнимой надеждой.

 

Понятно, что какой-то хост мог создать такое количество малоактивных сессий,

 

Мог, вполне мог. Вы статистику не ведете? netflow не собираете?

[entwine]

Всем спасибо, помогло:

conntrack -L |awk '{if ($5 ~ /src/) print $5; else if ($4 ~ /src/) print $4}' | sed "s/src=/ /g" | sort | uniq -c | sort -n | tail -n15

 

Вопрос закрыт.

[pavel.odintsov]

Так что было, ддос?

Изменено 22 июня, 2015 пользователем pavel.odintsov

[entwine]

К сожалению активные сессии уже вернулись к норме (30-80к).

Загадка))

Изменено 23 июня, 2015 пользователем entwine