アドビ、Firefly Web版に「動画生成」ベータ版。テキストや画像から5秒動画を生成

新しいFirefly Web版のページ

アドビは、生成AIツール「Firefly」Web版をアップデート。ホーム画面のUIを刷新し、新たに動画生成のパブリックベータ版を公開した。

動画生成(ベータ版)では、Firefly Video Modelにより、「テキストから動画生成」「画像から動画生成」が行なえる。動画やタイムラインのギャップを埋めるBロールを生成したり、ショットに雰囲気を演出する要素を追加したり、カスタムモーションデザイン要素を開発したりできる。

生成される動画の解像度は1,080pまで。今後、高速な反復作業向けの低解像度のアイデア出し用モデルと、プロレベルの制作作業に向けの4Kモデルも「近いうちに登場する」とのこと。

直感的なコントロールにより、詳細なカメラ設定でショットを微調整することも可能。例えば、広範囲のロングショットからドラマチックなクローズアップまで、思い通りに被写体をフレームに収めたり、複数のモーションパスから選択してダイナミックな動きを加えたりすることができる。

テキストから動画生成の例「嬉しそうに微笑んでいる黒いフラットコーテッドレトリバー」

出力された動画

縦位置、ショットサイズをロングショット、カメラアングルを空撮に変更した様子

ショットの最初のフレームと最後のフレームになる画像を指定して、その間を埋める動画を生成することも可能。色調や文字の詳細を一貫して保つこともできる。

従来のFirefly機能同様に、動画生成においても商用利用可能なIPフレンドリーな生成が行なえるとしている。

登場人物の喋りを本人の声質そのままに多言語に翻訳できる「音声を翻訳」と「動画を翻訳」を用意。動画や音声ファイルをアップロードし、翻訳したい言語にチェックマークを入れることで翻訳。動画の場合は、声質、トーン、リズム、音響を維持した吹き替え動画が生成される。対応の言語は日本語を含めた20カ国以上の言語となっている。

元となる動画を取り込んだ様子。日本語が自動で認識されている

翻訳先の言語を選択

変換後は丈夫のタブで言語を選ぶと、その言葉に吹き替えられた状態で再生できる

また、新たにAdobe Firefly StandardプランとAdobe Firefly Proプランを提供開始。新しいAdobe Firefly Web版へアクセス可能になり、Fireflyで生成/編集したものを動画に変換してカメラアングルやシネマティックな動きをコントロールした後に、Creative Cloudアプリケーションに移行して、アイデア出しから制作へシームレスに勧められるとしている。

Standardプランでは、月2,000動画/音声クレジットが付与され、最大20本の5秒動画が生成可能。Proプランでは、月7,000動画/音声クレジットが付与され、最大70本の5秒動画が生成可能になる。また今後、さらに動画コンテンツを制作するプロフェッショナル向けのAdobe Firefly Premiumプランの提供も予定している。