Premiere ProとAI技術。アドビが考えるクリエイター向けAI機能とは? “写真から動画の生成”も試した

4月に正式リリースされてから好評という「生成延長」をはじめとする、Premiere Proのイチオシ機能についてアドビに聞いてきた。いずれも“プロクリエイター向け”のアドビらしい、ワークフローの時短が期待できる。それぞれを実際の使い方とともに見ていこう。

撮影カットを救済する「生成延長」

「生成延長」は、目的のクリップを生成AIにより数秒間延長できる機能。条件は、元となるクリップが3秒以上あることと、延長できるのは映像が2秒まで、音声は10秒まで。プロ向けの補完的な機能という位置付けなので、品質の担保も考えると2秒・10秒が最適との判断だそうだ。

従来のツールの一番下に「生成延長」のツールが並んだ。ショートカットキーは「W」。

映像は2秒まで延長。ミスの救済に

想定されている使い道としては、「クリップの最後のほうで失敗があった」「でも、もう撮り直すのは大変」というようなシーン。アドビのデモ用素材には、バイクに乗った人のゴーグルが滑り落ちてしまう(＝ミスの部分)映像があった。その部分をカットしつつ生成延長で全体の尺を確保しようというわけだ。実際に試してみた。

前半はアドビのデモ映像、後半は筆者が撮影した映像を使ってみた。比較すると効果がわかりやすい。

後半の映像は、筆者がDJI Osmo Pocket 3で撮影した車窓映像。対向車がフレームインする直前でカットし、その先を生成延長してみた。環境音もうまく補われていることがわかる。こうして自分で撮影した素材で試してみると、この機能の威力をよりリアルに感じられる。

最大2秒の延長が可能になると「ディゾルブで次のカットに繋ぎたいのに、トランジション部分の尺が足りない」というような場面でも活用できそうだ。ちなみにクリップの後ろだけでなく、前を延長することもできる。人物が喋り始める前の部分に余裕を持たせるなどのアイデアも広がる。

処理中の画面。処理はクラウド上で行われるためインターネット接続が必須だ。

Tips：「生成クレジット」とは？

これらの生成AI機能はサーバー側で処理を行うため、別途「生成クレジット」が必要になる。アドビの各プランに付与されており、Creative Cloud Pro(旧コンプリートプラン)なら毎月4,000という具合。クレジットのカウントは毎月リセットされる。

設定されているクレジットの一例は、「生成延長」を1080p/30fpsで使う場合に1秒あたり125クレジット。後述のFireflyのおける動画生成は1080p/24fpsで100クレジット/秒。負荷の高そうなものほど多くクレジットを消費する、というイメージで良さそうだ。クレジット数についてはこちらを参照のこと。

広色域トレンドに寄り添う「カラーマネジメント」

少し専門的だが、アドビの推し機能ということで詳しく聞いた。LogやHDRで撮影した動画ファイルに対し、その広いダイナミックレンジを無駄なく使うための工夫がある。

Log撮影というのは、フィルム撮影による広いダイナミックレンジの映像を、デジタルでも記録できるように用いられる手法。Premiere Proに加わったカラーマネジメントの新機能は、Log撮影した動画を通常の見た目に変換する「LUT」(ルックアップテーブル)を映像のメタデータ(撮影したカメラ名の情報)を参考に自動適用してくれる機能だ。

これにより異なるカメラで撮った映像が混在していても、なんならLogの仕組みを理解していなくても、手間や失敗の少ない編集が行えるようになった。せっかくのLog撮影で得られる広いダイナミックレンジを、無意識に切り捨ててしまうことも防げる。

Log撮影したファイルを取り込んだ状態。コントラストの低い、いわゆる“ネムい”映像が表示される。

赤丸で囲んだ部分にチェックを入れるとLUTが自動で適用される。

こちらにも同じく適用してみる。

それぞれのクリップに適したLUTが自動適用されるため、カメラ機種が混在しても手間は増えない。

Logファイルを読み込むと、自動的にダイレクトRec.709のLUTが当たる。しかしこの状態で明るさや色を編集すると、Logファイルのせっかくの広いダイナミックレンジを活かしきれないケースがある。そのために搭載されたのがカラーマネジメントの機能だ。

SDR向けでダイナミックレンジの狭い「ダイレクトRec.709」の状態で露出を下げると、ハイライト部分の階調が失われたまま明るさが下がる。これではもったいない。

同じクリップでも、「シーケンス」→「プリセット設定」から「広色域(トーンマップ済み)」を選ぶと……

本来のハイライト部分の階調を残したまま明るさを変更できる。

露出を下げてみたところ。ダイレクトRec.709が自動適用された状態より、広い階調を持った状態で編集できるのがわかる。

聞けば、ハリウッドでは8Kなどの高解像度化より「2Kでもいいから広色域に」という考えがあるらしい。iPhoneをはじめとする高品質ディスプレイが広く普及していることや、Netflixなどの流行も後押しして、「色のリッチさ」を大事にする動きがあるそうだ。

HDR動画のファイルに対しても、元々の素材が持っているダイナミックレンジの広さを失わないよう、見合った作業スペースを自動的に用意する仕組みがある。プロ向けソフトだが、こうして素材のポテンシャルを無駄にしないための機能には、新技術に馴染みのない人に向けた配慮も伺える。

ちなみに、クリップごとに特別な意図(色調)を持ったクリエイティブLUTを使いたい場合は、カラーマネジメントを使わないという選択が必要だ。クリエイティブLUTとは、表現上の目的であえて偏った色味やコントラストを持つLUTのこと。カメラメーカーが無料で配布していたり、人気のクリエイターが販売していたりする。カラー管理のチェックを外して、プルダウンメニューから「カラーマネジメントを無効にする」を選ぶ。

音声に関する新機能

音声関係のAI機能では、ノイズ除去機能の「スピーチを強調」がある。AIが会話を自動で認識し、背景ノイズを除去しながら音声を強調する「スピーチを強調」の機能が用意されている。従来のノイズ除去が一定のノイズに効果的だったのに対し、こちらは街中などのランダムな騒音がある中で威力を発揮するという。

「エッセンシャルサウンド」パネルで、オーディオタイプのタグ付けを自動で行える。

目的のクリップに対し「スピーチを強調」を選択。「ミックス量」スライダーで背景音のバランスが変わる。

これは筆者の体感だが、トークを主体とするYouTube動画で見かける視聴者の不満コメントは、ほとんどが「声が聞き取りにくい」だ。こうしたノイズ低減機能は、手っ取り早く視聴者の体験を向上してくれそうで心強い。

また、音声関係では波形の表示スタイルが変更。実際の音量変化に応じるようになり、音量感や、フェードイン・アウトの変化具合が視覚的に掴みやすくなった。

フェードアウトを設定していない状態の音声波形。

フェードアウトさせた音声波形。音量が小さくなっていく様子が視覚的にわかる。

アドビと生成AIの関係

これらの新機能とそのコンセプトを聞いて、アドビが生成AIとどのように向き合っているかがよく理解できた。アプリケーションによって活用のベクトルが違うのだ。例えば世間が思う“生成AI”らしい、0から1を生み出すような機能は「Firefly」というWebアプリで利用可能。テキスト(プロンプト)からビデオを生成できたりする。これも試してみた。

画像から動画を生成する機能を試してみた。

Fireflyで動画の生成を試してみた。写真2枚から生成する動画は、全くのゼロから生成するよりはリアル。たまに想定外の結果も飛び出すが、それはそれでインスピレーションの源だと思えば楽しめそう。まずはいろいろ遊んでみたい。

一方、0から1が生み出されることがそぐわないシーンもある。例えば「Premiere Pro」はそもそもプロが使う動画編集ソフトなので、素材となる映像がちゃんと撮影できていることは大前提。そこから、イザという時の素材の救済だったり、向かっているゴールに対しての省力化が目的になっている。この棲み分けやサジ加減が“アドビならでは”と言える部分だろう。

さらに強みとなるのは、こうした生成AIの技術を、お馴染みの定番ソフトウェアにシームレスに組み込んでいることだ。Premiere Proでは、ツールパレットの一番下にシレッと先進の生成機能が並んでいる。先に紹介した「生成延長」で生成できる秒数も、クリエイターからのフィードバックも得て平均値を取ったとのこと。技術を見せるだけでなく、ユーザーがどう感じるか、どう使いたいかを念頭に置いて開発されている。

AI技術関連の話題では、目新しさや技術レベルそのものがトップでないものは「遅れている」とも言われがち。しかし、とりわけオーセンティックな存在になっているPremiere Proのようなソフトにおいては、ユーザーのAIに対する漠然とした懸念、生成AIに対する不安を払拭することを重んじた慎重さが伺えた。何が起こるかわからない新技術は楽しいけれど、「作りたいものを作る」というプロフェッショナルな制作においては、それは必ずしもメリットではないというわけだ。

機械的な作業は積極的にAIで時短・省力化し、クリエイターは本来のクリエイティビティを作品に反映することに、より多くのパワーを振り向けられる。これこそがプロ用ソフトにおけるAI技術の活用なのだなと実感した。