Text-To-4D
Wij presenteren MAV3D (Make-A-Video3D), een methode voor het genereren van driedimensionale dynamische scènes uit tekstbeschrijvingen. Onze aanpak maakt gebruik van een 4D dynamisch Neural Radiance Field (NeRF), dat geoptimaliseerd is voor het uiterlijk, de dichtheid en de bewegingsconsistentie van een tekst-naar-video (T2V) diffusie-gebaseerd model. De dynamische video-output die uit de verstrekte tekst wordt gegenereerd, kan vanuit elke camerapositie en -hoek worden bekeken, en kan in elke 3D-omgeving worden samengesteld. MAV3D vereist geen 3D- of 4D-gegevens en het T2V-model wordt alleen getraind op tekst-beeldparen en ongelabelde video’s. Wij tonen de doeltreffendheid van onze aanpak aan met uitgebreide kwantitatieve en kwalitatieve experimenten en laten een verbetering zien ten opzichte van eerder vastgestelde interne basislijnen. Voor zover wij weten is onze methode de eerste die dynamische 3D-scènes genereert op basis van een tekstbeschrijving.