[avb1987]

Здравствуйте.

 

Может кто-то сталкивался?

 

Есть PC-роутер на VyOS последней версии.

 

Железо: 2 x AMD Opteron 6212

Память: 16 гб

 

Сетевые: 3 x Intel 82576 (медные). Драйвер igb последней версии с сайта intel.

 

Трафик: около 1 гбит/с, 50-150 kpps.

 

На роутере настроено: 2 FULL BGP пира, десяток правил ната, пара правил файрвола. Шейперов нет.

 

Суть проблемы: через неопределенный (всегда разный) интервал после загрузки начинает залипать. Т.е. примерно раз в 30-60 секунд роутер как бы подвисает на 0,5-1 секунду. Причем подвисают все процессы, например если что то печатать в SSH то этот процесс замирает. Если через роутер бегает трафик то трафик дропается или доставляется с задержкой в 1 сек.

 

По top загрузка почти по нулям

По mpstat 4 ядра заняты обработкой прерываний на 20-40 %

По perf top основные две задачи это irq_entries_start и native_safe_halt

Функции энергосбережения в BIOS отключены.

 

В момент зависания обработка прерываний как будто прекращается (судя по mpstat сразу после отлипания загрузка становится по нулям, потом сразу на 100% а потом снова постоянно 40%)/

Также в моменты залипаний увеличиваются счетчики RX overrun на всех интерфейсах (даже на тех на которых трафика совсем немного).

 

Интерфейсы настраивал таким образом:

 

ethtool -K eth0 tso off gso off gro off rx off tx off

ethtool -G eth0 rx 4096 tx 4096

ethtool -C eth0 rx-usecs 0

 

Вот вывод mpstat при нормальной работе:

15:10:56     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
15:10:56     all    0.16    0.00    0.03    0.01    0.00    5.36    0.00    0.00   94.44
15:10:56       0    0.18    0.00    0.09    0.08    0.00   25.32    0.00    0.00   74.33
15:10:56       1    0.02    0.00    0.01    0.00    0.00    0.01    0.00    0.00   99.96
15:10:56       2    1.45    0.00    0.06    0.01    0.00   19.47    0.00    0.00   79.01
15:10:56       3    0.08    0.00    0.02    0.00    0.00    0.00    0.00    0.00   99.90
15:10:56       4    0.13    0.00    0.07    0.01    0.00   20.82    0.00    0.00   78.97
15:10:56       5    0.02    0.00    0.02    0.00    0.00    0.00    0.00    0.00   99.95
15:10:56       6    0.52    0.00    0.17    0.01    0.00   20.79    0.00    0.00   78.52
15:10:56       7    0.04    0.00    0.03    0.00    0.00    0.00    0.00    0.00   99.93
15:10:56       8    0.03    0.00    0.03    0.00    0.00    0.00    0.00    0.00   99.93
15:10:56       9    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00   99.99
15:10:56      10    0.01    0.00    0.01    0.00    0.00    0.00    0.00    0.00   99.98
15:10:56      11    0.00    0.00    0.01    0.00    0.00    0.00    0.00    0.00   99.99
15:10:56      12    0.03    0.00    0.02    0.00    0.00    0.00    0.00    0.00   99.95
15:10:56      13    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
15:10:56      14    0.02    0.00    0.01    0.00    0.00    0.00    0.00    0.00   99.97
15:10:56      15    0.00    0.00    0.01    0.00    0.00    0.00    0.00    0.00   99.99

 

Дополнение: в dmesg пусто. Только сообщения о том что иногда роутер получает некорректные UDP пакеты (неправильной длины и т.п.).

 

В чем может быть проблема?

Edited November 29, 2015 by avb1987

[Pavel.M.A]

А по графикам на сам сервер ничего не прилетает ? unicast broadcast и прочее ?

[avb1987]

А по графикам на сам сервер ничего не прилетает ? unicast broadcast и прочее ?

 

В следующий раз когда повторится - посмотрю через tcpdump, но если говорить о графиках нагрузки внешних каналов то никаких аномалий нет. И после перезагрузки машины глюки сразу пропадают на длительное время.

[NiTr0]

Я бы откатился на более старые ядра (3.10, а то и 3.2/3.4). Какая это версия VyOS - не скажу.

[avb1987]

Похоже что проблема была вызвана недостаточным размером таблицы conntrack. Сначала никаких сообщений в dmesg небыло, но затем появилось много повтояющихся "ip_conntrack: table full, dropping packet".

 

После увеличения размера таблицы уже в течение более чем суток проблема не повторяется.

Edited November 30, 2015 by avb1987