Если смотреть вещаемый поток на самом же сервере ситуация аналогична, смотреть картинку невозможно. Думаю не в проце дело, т.к. он нагружен всего 10%. И к тому же, если просто смотреть это видео локально, т.е. просто просмотр в плейре (в том же VLC), то всё ок.
Тогда самое явное - порблема в самом влц. конкретно в вещании ХД.