2 октября 2024 года
Meta Movie Gen — это революционная модель ИИ, разработанная компанией Meta, которая представляет собой значительный шаг вперед в технологии генеративного ИИ. Она предназначена для того, чтобы предоставить как обычным пользователям, так и профессиональным создателям возможность генерировать высококачественные видео и аудио на основе простых текстовых подсказок, улучшая цифровое повествование и творческое самовыражение.
Movie Gen — это набор моделей, который включает возможности генерации видео и аудио. Он основан на предыдущих исследованиях Meta, объединяя все предыдущие модальности в единую, целостную систему, которая предлагает детальный контроль над процессом генерации. Эта третья волна генеративной работы ИИ от Meta подчеркивает стремление компании расширять границы генерации медиа.
Модуль генерации видео Movie Gen способен создавать реалистичные видеоролики длиной до 16 секунд при 16 кадрах в секунду на основе текстовых подсказок. Он также может генерировать персонализированные AI-видео, используя одно фото, что позволяет достичь нового уровня настройки и креативности в создании видео.
Модель генерации аудио Movie Gen может производить высококачественный и высокодостоверный аудиоматериал длиной до 45 секунд, включая окружающие звуки, звуковые эффекты и инструментальную фоновую музыку, все синхронизированные с видеоконтентом. Эта функция обогащает повествовательные возможности модели, добавляя аудиальное измерение к визуальным нарративам.
Под капотом Movie Gen использует комбинацию передовых технологий, таких как архитектура Transformer, цели обучения Flow Matching и многоуровневый процесс обучения, который включает начальное обучение на задачах текст-к-изображению, а затем совместное обучение на задачах текст-к-изображению и текст-к-видео. Этот подход гарантирует, что сгенерированный контент не только визуально привлекательный, но и контекстуально актуальный и разнообразный.
Хотя Movie Gen в настоящее время находится на стадии исследования и еще не доступен для публичного использования, Meta представляет будущее, в котором он может стать неотъемлемой частью своей экосистемы, предлагая новые способы создания и обмена привлекательным контентом на таких платформах, как Instagram. Компания сосредоточена на доработке технологии и устранении существующих ограничений, чтобы сделать ее более доступной и удобной для пользователей.
Meta намерена сотрудничать с создателями и кинематографистами, чтобы улучшить функции Movie Gen, гарантируя, что они удовлетворяют потребности разнообразной пользовательской базы. Долгосрочное видение компании для Movie Gen отражает более широкую цель демократизировать доступ к сложным инструментам редактирования видео, улучшая работу профессиональных художников и аниматоров, а не заменяя их.