2 octobre 2024
Meta Movie Gen est un modèle d'IA révolutionnaire développé par Meta qui représente un bond en avant significatif dans la technologie de l'IA générative. Il est conçu pour permettre aux utilisateurs occasionnels ainsi qu'aux créateurs professionnels de générer des vidéos et des audios de haute qualité à partir de simples invites textuelles, améliorant ainsi la narration numérique et l'expression créative.
Movie Gen est une suite de modèles qui inclut des capacités de génération de vidéos et d'audios. Il repose sur les recherches antérieures de Meta, combinant toutes les modalités précédentes en un système unique et cohérent offrant un contrôle granulaire sur le processus de génération. Cette troisième vague de travail d'IA générative par Meta signifie l'engagement de l'entreprise à repousser les limites de la génération de médias.
Le module de génération vidéo de Movie Gen est capable de créer des clips vidéo réalistes d'une durée allant jusqu'à 16 secondes à 16 images par seconde, en fonction des invites textuelles. Il peut également générer des vidéos AI personnalisées à partir d'une seule photo, permettant ainsi un nouveau niveau de personnalisation et de créativité dans la création de vidéos.
Le modèle de génération audio de Movie Gen peut produire des audio de haute qualité et haute fidélité allant jusqu'à 45 secondes, y compris des sons d'ambiance, des effets sonores et de la musique instrumentale de fond, tous synchronisés avec le contenu vidéo. Cette fonctionnalité enrichit les capacités narratives du modèle en ajoutant une dimension auditive aux récits visuels.
Sous le capot, Movie Gen utilise une combinaison de technologies de pointe telles que l'architecture Transformer, les objectifs de formation Flow Matching, et un processus de formation en plusieurs étapes qui implique une formation initiale sur des tâches de texte à image suivie d'une formation conjointe sur des tâches de texte à image et de texte à vidéo. Cette approche garantit que le contenu généré est non seulement visuellement attrayant, mais aussi contextuellement pertinent et diversifié.
Bien que Movie Gen soit actuellement en phase de recherche et pas encore disponible pour un usage public, Meta envisage un avenir où il pourrait devenir une partie intégrante de son écosystème, offrant de nouvelles façons de créer et de partager du contenu engageant sur des plateformes comme Instagram. L'entreprise se concentre sur le perfectionnement de la technologie et sur le traitement des limitations existantes pour la rendre plus accessible et conviviale.
Meta prévoit de collaborer avec des créateurs et des cinéastes pour affiner les fonctionnalités de Movie Gen, s'assurant qu'il répond aux besoins de sa base d'utilisateurs diversifiée. La vision à long terme de l'entreprise pour Movie Gen reflète un objectif plus large de démocratiser l'accès à des outils d'édition vidéo sophistiqués, améliorant le travail des artistes et des animateurs professionnels plutôt que de les remplacer.