2024年10月2日
Meta Movie Genは、Metaによって開発された画期的なAIモデルであり、生成AI技術において重要な前進を代表しています。これは、カジュアルなユーザーとプロのクリエイターの両方に、高品質のビデオとオーディオをシンプルなテキストプロンプトから生成する能力を提供し、デジタルストーリーテリングと創造的表現を強化することを目的としています。
Movie Genは、ビデオおよびオーディオ生成機能を含むモデルのスイートです。これはMetaの以前の研究に基づいており、すべての以前のモダリティを1つの一貫したシステムに統合し、生成プロセスに対して詳細な制御を提供します。このMetaによる生成AIの第三の波は、メディア生成の限界を押し広げるという会社のコミットメントを示しています。
Movie Genのビデオ生成モジュールは、テキストプロンプトに基づいて最大16秒間、16フレーム/秒のリアルなビデオクリップを生成することができます。また、1枚の写真を使用してパーソナライズされたAIビデオを生成することもでき、ビデオ制作における新しいレベルのカスタマイズと創造性を可能にします。
Movie Genのオーディオ生成モデルは、環境音、効果音、背景音楽を含む高品質で高忠実度のオーディオを最大45秒間生成でき、すべてビデオコンテンツに同期されています。この機能は、視覚的な物語に聴覚的な次元を追加することで、モデルのストーリーテリング能力を豊かにします。
Movie Genは、Transformerアーキテクチャ、Flow Matchingトレーニング目的、およびテキストから画像のタスクに関する初期トレーニングに続いてテキストから画像およびテキストからビデオのタスクに対する共同トレーニングを含むマルチステージトレーニングプロセスを利用しています。このアプローチにより、生成されたコンテンツは視覚的に魅力的であるだけでなく、文脈的にも関連性があり、多様性に富んでいることが保証されます。
現在、Movie Genは研究段階にあり、一般には利用できませんが、Metaは将来的にInstagramなどのプラットフォームで魅力的なコンテンツを作成し共有する新しい方法を提供する生態系の重要な部分となることを想像しています。同社は、技術の洗練と既存の制限への対処に注力し、よりアクセスしやすく使いやすくすることを目指しています。
Metaは、Movie Genの機能を洗練させるためにクリエイターや映画製作者と協力する意向を示しています。これにより、さまざまなユーザーベースのニーズに応えることが保証されます。Movie Genに対する同社の長期的なビジョンは、プロのアーティストやアニメーターの作業を強化し、置き換えるのではなく、洗練されたビデオ編集ツールへのアクセスを民主化するというより広範な目標を反映しています。