[Mallorn]

Вопрос не совсем в области linux систем для провайдинга, скорее в области цифрового ТВ.

Есть сервер на Debian 9, собранный для транскодирования видео потоков на GPU Nvidia.

Core i5-8660K, "игровая" мат плата ASUS B360, 2*16GB 2666Mhz, M.2 SSD под систему, GTX 1070Ti 

 

Нагрузка одной видеокарты потоками для транскодирования дает LA 15-18 
Добавляю вторую 1070 Ti в слот PCI-Ex4, начинаю добавлять ей потоки и LA начинает расти по экспоненте, скажем до 90. 

Процессы транскодирования становятся в статус D1 =  uninterruptible sleep (usually IO)

При этом на качестве транскодирования это не сказывается, потоки идут корректно в плеере.

 

 9117 ?        Dl    10:08 /usr/local/bin/ffmpeg114 -v verbose -hide_banner -nostats -threads auto -hwaccel cuvid -c:v h264_cuvid -deint
 9476 ?        Dl     8:50 /usr/local/bin/ffmpeg146 -v verbose -hide_banner -nostats -threads auto -hwaccel cuvid -c:v h264_cuvid -deint
 9524 ?        Dl     9:14 /usr/local/bin/ffmpeg147 -v verbose -hide_banner -nostats -threads auto -hwaccel cuvid -c:v h264_cuvid -deint
 9575 ?        Dl     9:12 /usr/local/bin/ffmpeg154 -v verbose -hide_banner -nostats -threads auto -hwaccel_device 1 -hwaccel cuvid -c:v
 9615 ?        Dl     8:59 /usr/local/bin/ffmpeg105 -v verbose -hide_banner -nostats -threads auto -hwaccel cuvid -c:v h264_cuvid -deint
10716 ?        Dl     6:57 /usr/local/bin/ffmpeg161 -v verbose -hide_banner -nostats -threads auto -hwaccel_device 1 -hwaccel cuvid -c:v
11796 ?        Dl     4:19 /usr/local/bin/ffmpeg175 -v verbose -hide_banner -nostats -threads auto -hwaccel_device 1 -hwaccel cuvid -c:v
12161 ?        Dl     2:57 /usr/local/bin/ffmpeg106 -v verbose -hide_banner -nostats -threads auto -hwaccel cuvid -c:v h264_cuvid -deint
12347 ?        Dl     2:27 /usr/local/bin/ffmpeg143 -v verbose -hide_banner -nostats -threads auto -hwaccel cuvid -c:v h264_cuvid -deint
12580 ?        Dl     2:10 /usr/local/bin/ffmpeg144 -v verbose -hide_banner -nostats -threads auto -hwaccel cuvid -c:v h264_cuvid -deint
12980 ?        Dl     0:46 /usr/local/bin/ffmpeg177 -v verbose -hide_banner -nostats -threads auto -hwaccel_device 1 -hwaccel cuvid -c:v
13101 ?        Dl     0:28 /usr/local/bin/ffmpeg162 -v verbose -hide_banner -nostats -threads auto -hwaccel_device 1 -hwaccel cuvid -c:v
13200 ?        Dl     0:11 /usr/local/bin/ffmpeg168 -v verbose -hide_banner -nostats -threads auto -hwaccel_device 1 -hwaccel cuvid -c:v

# mpstat -P ALL 1
Linux 4.9.0-8-amd64 (tvguana02)         09.11.2019      _x86_64_        (6 CPU)

13:28:09     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
13:28:10     all   31,73    0,00   29,50    0,00    0,00    2,57    0,00    0,00    0,00   36,19
13:28:10       0   37,50    0,00   25,00    0,00    0,00    0,00    0,00    0,00    0,00   37,50
13:28:10       1   35,05    0,00   22,68    0,00    0,00    0,00    0,00    0,00    0,00   42,27
13:28:10       2   33,00    0,00   25,00    0,00    0,00    4,00    0,00    0,00    0,00   38,00
13:28:10       3   32,97    0,00   19,78    0,00    0,00    9,89    0,00    0,00    0,00   37,36
13:28:10       4   27,66    0,00   38,30    0,00    0,00    0,00    0,00    0,00    0,00   34,04
13:28:10       5   23,00    0,00   48,00    0,00    0,00    1,00    0,00    0,00    0,00   28,00

# nvidia-smi
Sat Nov  9 13:28:25 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 396.37                 Driver Version: 396.37                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 107...  Off  | 00000000:01:00.0 Off |                  N/A |
| 50%   53C    P2    62W / 180W |   7310MiB /  8119MiB |     17%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX 107...  Off  | 00000000:02:00.0 Off |                  N/A |
|  0%   58C    P2    61W / 180W |   5252MiB /  8119MiB |     14%      Default |
+-------------------------------+----------------------+----------------------+

 

Мои соображения - не хватает шины PCI-Ex4. Есть ли какой-то способ проверить это?

[vlad11]

Проверяйте БП и документацию материнку.
Анализируйте htop и возможно, обновляйте ffmpeg или переходите на vlc.

[zhenya`]

Влц научился в куду?

[vlad11]

В 10.11.2019 в 16:47, zhenya` сказал:

Влц научился в куду?

Похоже, что, да.

[Mallorn]

Как оказалось, с помощью nvidia-smi можно вполне посмотреть трафик по шине PCI-E

nvidia-smi dmon -s pucvmet

При добавлении потоков на транскодирование в видеокарту на втором слоте PCI-Ex4, на первом слоте этот трафик фиксируется тоже. Похоже, что ограничения мат платы или чипсета. Буду пробовать другое железо для работы с несколькими GPU

Edited November 12, 2019 by Mallorn

[Sacrament]

Простите ради любопытства, сколько 1070 тащит потоков для траскода и какое разрешение и битрейт? Поделитесь если не сложно.

[Mallorn]

17 hours ago, Sacrament said:

Простите ради любопытства, сколько 1070 тащит потоков для траскода и какое разрешение и битрейт? Поделитесь если не сложно.

1070Ti на ПК как у меня в первом посте тянет 40-45 потоков 720*576, h264, Profile High@Level 4.1 Вывод в rtmp 

[Sacrament]

Спасибо!