ニュース
アドビ開発中の技術をデモ。声を切り分け、池を合成、マスク姿の女性を笑顔に
2023年11月16日 16:33
アドビは11月16日、東京ビッグサイトで「Adobe MAX Japan 2023」を開催し、このなかで開発中の技術を紹介する“Sneaks”のひとつとして、雑多な音声から背景音と人の話し声を切り分ける技術「Project Sound Lift」を世界初公開した。プロンプトを打ち込んで動画に池などを合成できる「Project Fast Fill」も紹介している。
Sneaksで紹介された技術は、同社の研究機関「Adobe Research」が開発中のもので、この“チラ見せ”の反響を受けて開発継続の有無、製品化の有無などを決めていくため、この技術が製品に採用されるかどうか、具体的な採用時期などは一切未定となっている。
今回のAdobe MAX Japan 2023では合計7つのSneaksを紹介。このうち今回が世界初公開となった技術のひとつが“生成AIを使用して音声編集を加速化する”という「Project Sound Lift」で、人の話し声の背景にBGMや拍手、歓声、別の人の話し声が被っているような音声データから、それぞれの音を分離できる。
分離後は、それぞれを分割した音声データとして扱えるため、話し声だけにエフェクトをかけたり、環境音だけを小さくして、会場の臨場感を残しつつ、話し声を聴こえやすくするといった編集ができる。
話し声を強調する機能自体は、Premier Proにベータ版として「スピーチを強調」が実装されているが、Project Sound Liftでは、話し声と環境音を完全に分離したデータとして扱える点が特徴となっている。
Photoshopなどでは搭載済みの「生成塗りつぶし」を動画にも応用する「Project Fast Fill」も紹介。デモでは、芝生が広がる公園の映像に「pond,chair(池、椅子)」と打ち込んで池と椅子を合成したり、マスク姿の女性を、素顔の笑顔に変換するといった事例が紹介された。
そのほかSneaksとしては、本の小口部分に3D印刷を行なう「Project 3D Edge Printing」、ウェアラブル技術「Project Primrose」などが紹介された。
Adobe Firefly Image 2 Model
10時から行なわれた基調講演では、PhotoshopやIllustrator、Premier Proなどに搭載された新機能などを紹介。このなかで、生成AI「Adobe Firefly」の第2世代モデル「Adobe Firefly Image 2 Model」の一般提供開始も発表された。
初代モデルをベースに開発された生成AIで、10月に米カリフォルニアで行なわれたAdobe MAX 2023で発表されていたもの。これまではベータ版として提供されていたが、16日から一般提供に切り替わった。
一般提供開始にあわせ、多言語におけるテキストプロンプトからの結果出力精度が向上。「文化的なコンテクスト」をより高い精度で理解した上で、画像を生成できるようになった。
基調講演では、初代モデルとAdobe Firefly Image 2 Modelで生成された黒い犬の画像比較が行なわれ、Adobe Firefly Image 2 Modelのほうが、毛並みや瞳などが、よりフォトリアリスティックに生成されていることが説明された。
そのほか基調講演では、AI機能を使ったPremier Proのデモも実施。「えー」や「あー」といったフィラーワードを検出してトリミングできる機能や自動文字起こしされたテキストから動画編集できる機能、「スピーチを強調」機能などが改めて紹介された。
なおイベントの模様はAdobeCreativeStation公式YouTubeでライブ配信も行なわれており、基調講演や各セッション、Sneaksの様子も視聴できる。
Adobe MAXのリアル開催は2019以来、4年ぶり。来場者は約3,600名だという。
