La recherche Meta Make-A-Video s'appuie sur les progrès récents réalisés dans la technologie de génération de texte en image conçu pour permettre la génération de texte en vidéo. Le système utilise des images avec des descriptions pour savoir à quoi ressemble le monde et comment il est souvent décrit. Il utilise également des vidéos sans étiquette pour apprendre comment le monde bouge. Avec ces données, Make-A-Video vous permet de donner vie à votre imagination en générant des vidéos fantaisistes et uniques en quelques mots ou lignes de texte.
Make-A-Video présente trois avantages :
(1) il accélère la formation du modèle T2V (il n'a pas besoin d'apprendre les représentations visuelles et multimodales à partir de zéro),
(2) il ne nécessite pas de données texte-vidéo appariées, et
(3) les vidéos générées héritent de l'immensité (diversité des représentations esthétiques, fantastiques, etc.) des modèles actuels de génération d'images.
Ils conçoivent un moyen simple mais efficace de s'appuyer sur des modèles T2I avec des modules spatio-temporels nouveaux et efficaces.
1. Ils décomposent le U-Net temporel complet et les tenseurs d'attention et les approximent
dans l'espace et dans le temps.
2. Tney conçoit un pipeline spatio-temporel pour générer des vidéos haute résolution et à fréquence d'images avec un décodeur vidéo, un modèle d'interpolation et deux modèles de super résolution qui peuvent permettre diverses applications en plus de T2V. Dans tous les aspects, résolution spatiale et temporelle, fidélité au texte et qualité, Make-A-Video établit le nouvel état de l'art en matière de génération de texte à vidéo, tel que déterminé par des mesures qualitatives et quantitatives.
Brian Wang est un leader d'opinion futuriste et un blogueur scientifique populaire avec 1 million de lecteurs par mois. Son blog Nextbigfuture.com est classé #1 Science News Blog. Il couvre de nombreuses technologies et tendances de rupture, notamment l'espace, la robotique, l'intelligence artificielle, la médecine, la biotechnologie anti-âge et la nanotechnologie.
Connu pour identifier les technologies de pointe, il est actuellement co-fondateur d'une startup et collecte de fonds pour des entreprises en démarrage à fort potentiel. Il est le responsable de la recherche pour les allocations pour les investissements technologiques en profondeur et un investisseur providentiel chez Space Angels.
Conférencier fréquent dans des entreprises, il a été conférencier TEDx, conférencier de la Singularity University et invité à de nombreuses interviews pour la radio et les podcasts. Il est ouvert aux prises de parole en public et aux missions de conseil.
