Meta Make-A-Video-onderzoek bouwt voort op de recente vooruitgang die is geboekt in de technologie voor het genereren van tekst naar beeld gebouwd om het genereren van tekst naar video mogelijk te maken. Het systeem gebruikt afbeeldingen met beschrijvingen om te leren hoe de wereld eruit ziet en hoe deze vaak wordt beschreven. Het gebruikt ook niet-gelabelde video's om te leren hoe de wereld beweegt. Met deze gegevens kunt u met Make-A-Video uw fantasie tot leven wekken door grillige, unieke video's te genereren met slechts een paar woorden of regels tekst.

Make-A-Video heeft drie voordelen:
(1) het versnelt de training van het T2V-model (het hoeft geen visuele en multimodale representaties van de grond af aan te leren),

(2) het vereist geen gepaarde tekst-videogegevens, en

(3) de gegenereerde video's erven de uitgestrektheid (diversiteit in esthetiek, fantastische afbeeldingen, enz.) van de huidige modellen voor het genereren van afbeeldingen.

Ze ontwerpen een eenvoudige maar effectieve manier om voort te bouwen op T2I-modellen met nieuwe en effectieve ruimtelijk-temporele modules.

1. Ze ontleden het volledige tijdelijke U-Net en aandachtstensoren en benaderen ze
in ruimte en tijd.
2. Tney ontwierp een ruimtelijke temporele pijplijn om video's met hoge resolutie en framesnelheid te genereren met een videodecoder, interpolatiemodel en twee superresolutiemodellen die verschillende toepassingen naast T2V mogelijk maken. In alle aspecten, ruimtelijke en temporele resolutie, tekstgetrouwheid en kwaliteit, zet Make-A-Video de nieuwe state-of-the-art in tekst-naar-video generatie, zoals bepaald door zowel kwalitatieve als kwantitatieve maatregelen.