Не знаю как насчёт вмвари, но в полноценной ОС доступен вариант соединить сервера по 10G друг с другом, также каждый по 1G с общей сетью, сетевые карты объединить в бридж, и на нём включить STP.
При таком подключении есть минус: один из серверов будет ходить в общую сеть через другой. Пока тот жив. Если тот упадёт, то весьма быстро перестроится и пойдёт напрямую.
Зато на логическом уровне всё абсолютно прозрачно, та же самая общая L2-локалка, те же IP.
Если без бриджа, то разруливать вручную, "вот эта подсеть IP-адресов чисто для связи серверов друг с другом, вот эта - остальная сеть".