64 бита не влияют на скорость. Эта архитектура лишь снимает ряд ограничений по длине байт хранимых в памяти данных. Т.е. увеличивает в 2 раза их длину и позволяет с ними работать процессору также. Для примера, наступит момент, когда 32 бита перестанут вмещать в себя время, хранимое в секундах в timestamp.
Вывод: стоит перейти на х64, т.к. 32 бита уже уходит в небытие.
На виртуалке все прекрасно работает. Тут все от кривизны рук и ресурсов гипервизора зависит, которые он может дать виртуалке.
Ну и не путайте скорость работы и производительность. На одинаковой скорости можно получить разные объемы обрабатываемых и результирующих данных на выходе
Архитектура х64 - это, как раз, объем. Скорость работы совсем от других праметров зависит. И, к тому же, Вы на х32 упретесь в ограничение ОЗУ в 4 ГБ. Всякие там PAE-модификации ядер линукса решают эту проблему, но это переходный костыль для случаев имитации 64 бит на 32 железе.