Вот вывод emerge vlc -pv:
[ebuild R ] media-video/vlc-0.9.9a-r1 USE="ffmpeg httpd libgcrypt mmx mp3 mpeg ncurses sse stream x264 xml -X -a52 -aac -aalib -alsa (-altivec) -arts -atmo -avahi -bidi -cdda -cddax -cddb -cdio -dbus -dc1394 -debug -dirac -directfb -dts -dvb -dvd -esd -fbcon -flac -fluidsynth -fontconfig -ggi -gnome -gnutls -hal -id3tag -jack -kate -libass -libcaca -libnotify -libsysfs -libv4l2 -lirc -live -lua -matroska -modplug -musepack -nsplugin -ogg -opengl -optimisememory -oss -pda -pulseaudio -pvr -qt4 -remoteosd -rtsp -run-as-root -samba -schroedinger -sdl -sdl-image -seamonkey -shout -skins -speex -svg (-svga) -taglib -theora -twolame -upnp -v4l -v4l2 -vcdinfo -vcdx -vlm -vorbis (-win32codecs) -xinerama -xosd -xv -zvbi"
Ничего особенного на счет mux ts - нет. Если вы хотите добиться результата именно под Debian - может быть поискать сторонний репозитария? Некоторое время назад именно таким способом мне удалось установить VLC 0.9.8 под Ubuntu 8.04. С родного репозитария тянулся VLC 0.8.6 версии. А с http://ppa.launchpad.net/c-korn/ppa/ubuntu поставился свежий. Правда я не знаю подходят ли пакеты для Убунты к Дебиану.
Впрочем не факт, что сборка VLC вручную или установка его из какого-то стороннего репозитария вам поможет. Возможно дело в общей унифицированности системы. Компилятор не идеально оптимизированный под вашу конфигурацию, куча лишнего в ядре и т.п.
P.S.
А запускаете VLC точно правильно? Запускаю VLC 0.9.9 так:
vlc udp://@192.168.0.1:10000 --sout '#std{access=http,mux=ts,dst=10.10.10.10:30100}' --daemon
Вместо 10.10.10.10 соответственно указан внешний IP сервера, к которому конектятся зрители. VLC принимает udp-поток от DVB-IP стримера из отдельного VLAN'a и тупо отдает наружу, но уже по HTTP.