西田宗千佳のRandomTracking
第454回
Adobe MAXで見た、恐るべし「Senseiの力」。AIとプラットフォーム、ARで変わるアドビ
2019年11月8日 07:00
11月4日と5日の2日間、米ロサンゼルスで、アドビの年次イベントである「Adobe MAX 2019」(以下MAX)が開催された。今年、筆者も初めてMAXそのものの取材に参加することができた。
MAXは、アドビのクリエイター向けツール群を軸にしたイベントなので、PhotoshopやIllustratorなどのツールの新機が発表される。すでにニュースでご存じのことかと思うが、iPad版のPhotoshopやIllustratorの他、多数の新製品・新機能が発表された。
今回はエクゼクティブへのインタビューを軸に、現地での取材を通して感じた「今のアドビの姿」をお伝えしよう。
Adobe Sensei無双。あらゆるシーンで改善にAIを活用
MAXの構成を簡単に説明しておこう。一日目は「今の製品・技術に関するアップデート」を軸にした話題が中心で、二日目は「まだ時期はわからない先の話」を軸に進む。
というわけで、まず一日目の話をしよう。
今回の新製品群は、2つのキーワードで解説できる。それは「Adobe Sensei」と「新プラットフォーム」だ。
アドビのクリエイティブクラウド担当エグゼクティブバイスプレジデント兼CPO(最高製品責任者)であるスコット・ベルスキー氏は、同社のツールの方向性を「もっと素早く強力で信頼性があること」「いつでもどこでもクリエイティビティが発揮できること」「新しい世界を切り開くこと」の3つだと語った。Adobe Senseiと新プラットフォームへの対応は、まさにこの2つによって生み出されているといって過言ではない。
特に、すでにアドビ製品を使っているクリエイター(プロだけでなく、アマチュアとして作品制作に日々使っている本誌読者の方も多いはずだ)にとって重要な「もっと素早く強力で信頼性があること」という部分については、特に「Senseiの力」が大きい。
Adobe Senseiは同社が全社的に利用しているAI技術の総称である。Adobe Sensei および Search、エンジニアリング担当バイスプレジデントであるスコット・プレヴォー氏は、「私たちは汎用AIではなく、アドビが直面する問題を解決するためのAIを開発している」と説明する。
ここでいう「汎用AI」とは、学術的な意味でのものとはちょっと異なる。「生活の色々なシーンで活躍するAI」という意味あいだ。それに対してSenseiは、画像や音声の処理など、アドビのクリエイティブ・アプリケーションが必要とするデータ処理用のAI、ということになる。
ただし、その応用範囲はあまりに広い。
今年の新ツールに搭載された機能からピックアップしただけでも、以下のような例がある。
例えばPhotoshopの「オブジェクト選択」。従来は画像に写ったもの、例えば写真の中からリンゴが描かれた部分だけを抜き出すためには、人間が「背景なのかリンゴなのか」を見分け、手作業で切り抜き作業を行なう必要があった。Illustratorのようなドロー系ツールなら、リンゴを描いたらそれは「リンゴの形をしたオブジェクト」なので簡単に選択して移動できたのだが、単純にピクセルの集まりである写真や画像では、そうもいかない。
だが、Photoshopの最新バージョンを使うと、Senseiが「いい感じ」にリンゴを切り出してくれる。切り出すために必要な作業は「ざっくり囲む」だけだ。オブジェクトごとに移動させたり複製したりするのが簡単になる。Senseiが囲った部分からオブジェクトを認識してくれるので、こういうことができるのだ。
動画編集ツールである「Premiere Pro」に搭載された「オートリフレーム」も同様だ。
16:9の素材から、スマホ向けの「9:16」やSNS向け「1:1」といった、複数の画角の映像を作る機会は増えている。しかし単に切り出すと登場人物が見切れてしまったりするので、これまでは人間が「いい感じに画角に収まるよう、位置を調整して」動画を作り直していた。
だがSenseiの力で、その必要はなくなる。動画内の登場人物の位置を認識し、画角の違う映像を作る際にも、自動的に「いい感じに位置を調整して」くれる。
有料で使える素材を集めた「Adobe Stock」でもSenseiが活躍する。通常この種のサービスでは、写真の中に含まれるものや撮影したシチュエーションなどが「キーワード化」されていて、それを手がかりに検索して使う。例えばキャンプのチラシを作るなら「テント」で写真を検索し、ガゼルの写真が欲しければ「ガゼル」で検索……という感じだ。
後述するが、今後搭載予定の機能においても、Senseiはあらゆるシーンで使われている。まさに今のアドビは「Sensei無双」の状態にある。「どのくらいかはいえないが、2016年にSenseiを発表した時に比べると、Senseiに使われている演算リソースは何倍にも増えている」とプレヴォー氏も笑う。
一方で、これらの技術は「画像認識」という意味では共通項があるものの、やっていることはかなり異なる。だから、「アドビのツールの面倒を見るSenseiという巨大なAIがいる」わけではなく、「蓄積したデータを活用するためのAI技術にSenseiという総称を付けている」と考えた方がいい。
アドビの未来も「Sensei」が支える
アドビにおけるSenseiの可能性は、「この先」の話をするとさらに存在感を増す。
例えばAR向けにはこんなデモがあった。ARアプリ「Adobe Aero」(これについては後ほど詳細を解説する)の将来版では、配置するオブジェクトに「行動するキャラクター」を追加できる。例えば、画面中のアンカーに合わせて活発に歩き回る犬をARで配置することが可能になるのだが、この犬のモーションは、一般的なCGキャラクターのように人間が手で作ったものではない。もちろん、犬にモーションキャプチャースーツを着せたわけでもない。
「何百時間もの犬の動画から学習してモーションを作ったもの」とベルスキー氏は明かす。もちろんこれもSenseiの力だ。
そして、Senseiの力が最大限に見えて来るイベントが、二日目の最後に開かれる「Sneaks」だ。これは、同社の中で現在開発中かつ「今後製品に入るかもしれない」技術をチラ見せするものである。今年は11の技術が公開されたが、その中から特に興味深いものを5つほどご紹介しよう。どれもがSenseiの力を活かしたものだ。
まずは「PROJECT SWEET TALK」。
アドビにはキャラクターアニメーションを作るための「Character Animator」というツールがある。これでキャラをしゃべらせたり歩かせたりするのは難しいことではないのだが、現状では、声に合わせてキャラも口を動かすには、口や表情の部分をレイヤー化しておかなければならなかった。キャラを描いて、さらに「パーツ分け」する必要があったわけだ。
だがPROJECT SWEET TALKを使うと、一枚絵のキャラクターを用意しておけば、声に合わせて口を自動的に動かしてくれる。要は、メモ用紙に書いた落書きだって「しゃべらせる」ことができるのだ。このためには、キャラの画像を解析し、口の位置を判断し、顔を内部でメッシュに分割している。それをSenseiの力を借りて自動化しているのだ。
次に「PROJECT PRONTO」。これは動画編集に使う技術だ。
動画内の物体に吹き出しやロゴ、別のオブジェクトなどをリアルに合成する、という処理はけっこう多い。映画などで、風景に立体的に溶け込んだロゴが現れるシーンや、キャラに吹き出しが出るシーン、さらには、実際にはない物体をなにかの上に置いたシーンなどがそれにあたる。いまでいえば、ARで体験する「現実にはないがCGを重ねてそこに物体があるように見せる」映像のようなものだ。配置してアニメーションさせるには、映像の動きをトラッキングした上でCGを重ねる必要がある。その際に動きや配置の演出などは、どうしても制作者のカンと経験に頼る部分があった。
PROJECT PRONTOは、これを劇的に簡便化する技術。そう、ARのように見えるなら、「iPadなどの上から実際にARで配置した」上で、その結果を動画に反映すればいいのだ。配置した結果を最終的な映像に重ねるための判定には、やはりSenseiが使われている。
3つ目は「PROJECT GO FIGURE」。これもキャラクターアニメーション用の技術だ。
キャラを動かすにはモーションが必要。通常は手でアーティストが作る。大規模な3D CGならモーションキャプチャスタジオを使うだろう。
だがPROJECT GO FIGUREでは、もっともっとシンプルに行なう。演技した動画から動きを付けるための情報を作ってしまうのだ。動画から人の部分だけが映像として映像合成用ソフトである「AfterEffects」に取り込まれ、キャラクターに「動き」として反映される。これなら、キャラクターアニメーションに詳しくない人でも問題ない。動画さえ用意すればいいからだ。前出の犬の例と同様に、動画からのモーション抽出にはSenseiが活躍している。
4つめは「PROJECT LIGHT RIGHT」。これは簡単にいえば、撮影済み写真の「撮影時間をあとから変えてしまう」ものだ。もちろんタイムスタンプだけ変える、という話ではない。
本当は朝の写真が欲しいのに夕方しか撮影できなかったとか、正午の写真がいいのに朝しか時間がなかった、ということはけっこうある。筆者も取材で日常的に悩むことだ。
PROJECT LIGHT RIGHTでは、複数の写真から光源の位置を推定し、そこからさらに「撮影したかった時間の太陽の位置」を算出、映像内のオブジェクトに「本当は撮影したかった時間だと生まれているはずの光の当たり方」を生み出すものだ。
風景がすべて3D CGになっていてあとから計算できるなら、そんなことが出来ても不思議はないだろう、と思う。しかしこれはなんと、複数枚の写真や動画から行なってしまう。Adobe Senseiに蓄積されたデータからの推定は、時間や太陽の位置すら操作可能にしてしまっている。Sensei恐るべし。
そして最後が「PROJECT ABOUT FACE」。この技術は簡単にいえば、Photoshopなどで加工された写真を「加工されたもの」と見抜き、元の写真がどうだったかを「復元」することができる。
実はこの機能、今年6月にAdobe ResearchとUCバークレーが共同で発表した「Photoshopでのディープフェイク画像を見破る技術」を元にしている(Adobe ResearchとUCバークレーによる6月の発表)。
デモでは、誰の目にもわかる派手な加工から「加工前に戻す」ことも行なわれたが、それとはわからない程度の加工であっても、ちょっとしたゆがみなどを認識してくれる。
アドビはPhotoshopでどのような加工が行なわれているか、という大量のデータをもっており、その知見と写真からの学習を組み合わせることができる。結果、Senseiはアドビのツールを使って行なわれた加工を見抜く目にもなり得る、ということなのだ。
「Photoshop Camera」が生まれた理由
こうした新しい機能は、クリエイターにさらなる力を与えてくれる。
一方で、PCの上で使われている伝統的なアドビのツールだけで、今後の同社の成長を維持するのは難しい。
そこで重要になるのが、新しいプラットフォームへの対応だ。
ここでいう「新しいプラットフォーム」には3つの意味がある。
1つめは「スマートフォンに特化したアプリケーション」、次に「iPadやSurface Pro Xのようなタブレット的ハードウェア」、そして「AR」である。
昨年のAdobe MAXで「iPad版Photoshop」の投入が予告されていたこと、10月初めのマイクロソフトのイベントで、Surface Pro Xに対応した「Adobe Fresco」が登場することが発表されていたことから、それらのデバイスへの対応が広がることは想定されていた。
そこに、意外な形で現れたのが「Photoshop Camera」だ。これは、Senseiの力を使って画像をリアルタイムに解析し、「Photoshopを使って加工されたような写真」をスマホで簡単に撮影するためのものだ。
フィルター機能があるカメラアプリは珍しいものではない。だが、Photoshop Cameraはもうちょっと性質が違う。撮影した写真の上にフィルターをかけるだけでなく、写っているものがなにかを判断した上で、その輪郭や立体的な構造を活かし、加工をリアルタイムで完結させるからだ。
ベルスキー氏は、Photoshop Cameraを提供した理由を次のように語る。
ベルスキーCPO(以下敬称略)：スマホのカメラのレンズはとても良くなり、性能が上がりました。一方で、スマホでは一眼レフのようにレンズを変えることができるわけではない。誰もが日常的に高性能なカメラを使っているけれど、「誰もが同じものを使っている」のです。
Photoshop Cameraは、撮影の段階で「スマホにおいて別のレンズを使う」ことを実現するものです。Photoshopを使っているコミュニティの人々は、他の人々(Photoshop Cameraの利用者)向けに「レンズ」を作り、配布できます。おそらく今後、「自分のカメラ」を持って撮影する人と、皆と同じカメラを持って撮影する人の両方がいるのでしょう。Photoshop Cameraは、皆に「自分だけのカメラを持つ」体験を提供したいのです。
派手な加工が目立つPhotoshop Cameraだが、その本質は、画像加工やフィルターの能力を「レンズ」という枠組みで捉え、カスタマイズしたセットを切り換えつつ撮影そのものができることにある。
iPhoneやPixelなどの最近のスマホでは、スマホのセンサーから得られた画像をマシンラーニング(AI)の力で加工し、背景のボケ味や明るさなど、「センサーで得られる以上の写真」を提供するアプローチになっている。これは「演算による写真(Computational Photography)」という考え方だが、Photoshop Cameraがやろうとしていることもこれに近い。
そこで加工的な方向が強くなっているのは、スマホ＋SNSの上で「映える」、キャッチーな写真へのニーズが高まっているからだろう。写真からコラージュや加工を使って「作品を作るツール」であるPhotoshopを、スマホの上でリアルタイムツールにしているのは、PCやタブレットと、スマホのニーズの違いを示しているようで興味深い。
Photoshop Cameraは2020年に配布開始の予定で、現在ベータテストへのアーリーアクセスが開始されている。
PC版から「こんまり」して作られるiPad版アプリケーション
ユーザーにより身近な話題は、iPad版の「Photoshop」が公開されたことであり、2020年にiPad版の「Illustrator」が公開されることだろう。
iPadの性能向上、そしてApple Pencilの存在によって、iPadでどこでもクリエイティブな活動をしたい、という要望は増えている。アドビはその要望を満たそうとしている。
ベルスキー：おもしろいことに、複数のデバイスで同じ機能が使えるようになれば、人々は手持ちの機器でよりクリエイティブな作業をするようになります。膝の上でも電車の中でもできれば、突然アイデアが浮かんできた時に、それを捕まえることができますから。
とはいえ、これはPCからタブレットへの「移行」を意味しているのではない。PCは集中して作業をする時に必要なものだ。その上で別のシーンではタブレットが求められる、ということでもある。
という話になると、「では、今はiPad版とPC版で、どのくらい機能に差があるのか」という質問が出てくる。実際、iPad版Photoshopにはまだ足りない機能も多く、その点が批判されてもいる。
アドビのiPad版Photoshop・シニアプロダクトマネジャーのジェニー・ライエル氏は、「利用者の声を聞きつつ、重要と思われる機能から実装を進めている」と話す。一方で、こうもコメントする。
ライエル：PC版にあるありとあらゆる要素をすべて搭載しようとは考えていません。なぜなら、PC版は30年の歴史を経たソフトで、PCの操作に最適化されているものだからです。技術基盤を整備して共通のものにした上で、新しいプラットフォームへの対応は、相応しい操作性に合わせて、新たにソフトを作りなおしています。要は、プラットフォームにあわせて、Spark Joyを感じる部分を軸に“こんまり”しながら開発しているのです。
「こんまり」しているとは、近藤麻理恵氏がNetflixで配信したバラエティ「KonMari ～人生がときめく片づけの魔法～」に基づく表現だ。ＵI/UXが違う以上、そこにあわせた最適化は必要だ。そこでは、PC版を単に移植するのではなく、「Photoshopにとって必要なこと」「Illustratorにとって必要なこと」が価値を持つ。そこからさらに、ユーザーの要望を聞いてまだ足りない要素を加えて、頻繁にアップデートを繰り返していく手法を採っているのだ。
これは、先にスマートデバイス版が出た「Lightroom CC」でも採られた手法に近い。パッケージによるアップデートサイクルを捨て、サブスクリプションに移行しているから採れるやり方でもある。
アドビのスマートデバイス向け施策は、この3年で大きく変わった。初期には同じPhotoshopブランドを使っていても、機能を単純に切り出したレプリカのようなアプリを多数用意していた。「Photoshop Fix」や「Photoshop Mix」、「Photoshop Express」と複数アプリがあるが、どれがどう使うものなのかわかりづらい。この点について、ベルスキー氏は次のように方向性を語る。
ベルスキー：MixやFixの機能は、iPad版Photoshopがあれば不要になります。とはいえ、今もそれらのアプリを使っている人は多数いるので、今止めてしまうことはありません。……ですがたしかに、いつかの段階で統廃合が必要になるだろう、とは考えています。
「Adobe Aero」はARでUXを作るためのツールだった
残る「新プラットフォーム」はARだ。
「Adobe Aero」は、使ってみると非常に面白いソフトだ。過去には自分でアプリを作らないとできなかった「ARでの表現」が、誰にでも簡単にできる。物体を現実空間に置いて、そこに動きなどを指定するだけ。PowerPointなどのプレゼンソフトを使った経験がある人には、「空間をページ代わりに使うプレゼンツール」だと思うとわかりやすいかもしれない。
今回アドビは、一日目の基調講演で「AR時代の生活」に関するプロモーションビデオを流した。そこでは、ARグラスの中でどのようなことが可能になるのか、という姿が示された。
アドビはARグラスを作る会社ではない。あくまでクリエイティビティツールの会社だ。では、ARでアドビはどこを担うのだろうか？
ベルスキー：「Adobe XD」とAeroのアナロジーで考えるとわかりやすいでしょう。XDはデスクトップやモバイルでの体験をデザインするアプリケーションですが、Aeroは3Dのイマーシブな世界での体験をデザインするアプリケーションです。3Dオブジェクトを配置してそれぞれに「振る舞い」を設定し、タップすると動作するようにできます。そこでは多くのオブジェクトにAIが組み込まれるでしょう。タップすると別のステージに移動し、また戻ってくる……といったこともできます。そのためには、そうした使い方に合ったデザインツールが必要です。
すなわち、Aeroは単に「ARでキャラクターを見て楽しむ」ためのものではなく、来たるべきAR・VR時代のUI・UXを作るための基本となるツールなのだ。現在はiPhone・iPadの上で動作する限定的なツールだが、ここから先に機能追加やプラットフォーム拡張が進んでいくことになる。
アドビのバイスプレジデント・AR室長であり、Aeroの責任者でもあるステファノ・コラッツァ氏は、将来的な方向性について次のように説明している。
コラッツァ：Aeroの用途として、我々は屋外などでUI・UXのようなものを開発するために使われることを軸に想定しています。
もちろん、ARCoreを使ったAndroid向けバージョンも検討しています。ただ現状、問題なのは「数」です。iPhoneなどでARKitが使えるデバイスの数は、昨年までで9億台以上あります。一方でARCoreに対応するAndroidは1億5000万台以下です。Android側の数がもっと増えてくるまでは、iOS向けで開発を進めていくことになるでしょう。VRについても同様です。非常に重要だとは思いますが、現状我々はARを主軸に考えています。VR機器の出荷台数は、すべてをあわせても数千万台規模です。将来的に大きな台数になった時の対応を考え、リサーチを進めています。
ARグラスについては、今後多くの企業から登場が見込めます。そうした製品のうちのどれかがメインストリームになるだろう、と考えているところです。
現在は限定されたモデルとビヘイビアが扱えるだけですが、来年のバージョンではもっともっと増やします。AIを組み込んだモデルなども追加していく予定です。