А просто данные перестают передаваться, пока src порт не поменяете. Наблюдал такое довольно часто.
Кстати если будете пилить udp то сразу пилите и icmp. У них размеры заголовков одинаковый и icmp тоже прекрасно через нат ходит. Плюс у многих операторов на icmp приоритет закручен чтобы скрыть перегрузки линков.
А потом сделаете еще агрегацию udp сессий в одну(суммирование пропускных способностей), дублирование пакетов(горячий резерв), очередь для восстановления порядка следования пакетов, динамический миниторинг состояния каналов(потери, джиттер) и в итоге у вас получится SD-WAN ;-)