MetaのVRとAI戦略はどこに行くのか。CTO・VR責任者に現地取材

Meta Connect 2023が開かれたMeta本社内。ちょっとした学祭を思わせる賑やかさがあった

9月27日(アメリカ太平洋時間)、Metaは年次開発者会議「Meta Connect 2023」を開催した。

事前に「Meta Quest 3」が発表されることは告知済みであり、筆者もハンズオン取材の記事を掲載している。

一方で、Meta Connectで発表されたのはQuest 3だけではない。生成AIを使ったチャットAIサービスである「Meta AI」や、Meta AIとも連携するスマートサングラス「Ray-Ban | Meta Smart Glasses Collection」も発表されている。

Meta Quest 3は予告通り発表に

Metaは今回、3つのプロダクトを柱として発表したのだ。

今回は現地で、同社CTO(最高技術責任者)のアンドリュー・ボスワース氏や、Vice President of VRのマーク・ラブキン氏に直接取材することができた。

Metaのアンドリュー・ボスワースCTO

Meta Vice President of VRのマーク・ラブキン氏

彼らのコメントから、Meta Questの今後やMetaのAI戦略などを詳しく分析してみたい。

Quest 3は「性能アップありき」で連携して開発

まずは「Meta Quest 3」の話から行こう。

Meta Quest 3

すでにハンズオンレビューは掲載済みだが、現地でも再度製品を試すことができた。

印象は大きくは変わらない。グラフィック性能の圧倒的な向上でゲーム体験は明確に上がり、その上に、フルカラーで立体感も自然なMixed Reality(MR)機能がある。

ただQuest 3のMRは「世界最高のもので現実と見間違える」レベルには達していない。とはいえ、7万5,000円(499ドル)以下で購入できるデバイスで体験できるMRとしては、現状唯一無二の品質であるのは間違いない。

Quest 3はどのように、どこにフォーカスして開発されたのか? ラブキン氏は筆者の質問に対し、次のように答えた。

ラブキン氏(以下敬称略)：Meta Quest 3は、Quest 2やQuest Proと比べ、解像度の高い液晶ディスプレイパネルと、改良されたパンケーキレンズを採用しています。液晶を採用した理由は、効率とコストの両面からです。

Quest 3ではMRのクオリティを高めることが重要と考え、「総合的な解像度」に集中することが適切と判断しました。そこでこういうデバイス構造になったのです。

もう1つ大きな変化が、前出のように、グラフィック性能が大きく向上している点だ。Quest 3が利用しているSoCは「Snapdragon XR2 Gen2」。Quest Proまでが利用していたのは「Snapdragon XR2 Gen1」である。名前だけで見ると世代が1つ変わっただけだが、性能は大幅に向上。画質の向上と高品質なMRの実現に大きく寄与している。

大幅にパフォーマンスアップしたSnapdragon XR2 Gen2

ラブキン：「XR Gen2」は劇的にパワーアップしています。Quest 3では、Qualcommと共同でGen 2を設計しただけでなく、SoCの消費電力も改善することができました。結果としてQuest 3は、Quest ProやQuest 2の2倍以上のグラフィックスパフォーマンスを実現しています。

また、MRを実現するために必要なすべてのアルゴリズムとすべての処理効率において、多くの進歩がありました。その一部はハードウェアの高速化で実現されており、一部はソフトウェアの改善です。

ただ、そこではセンサーのベンダーとの協業もあるんです。

私たちは基本的に、業界の各企業と連携して製品を開発する、単独で提携する組織であることに変わりはありません。一方そこで目的を実現するためには、パートナーとともにフルスタックの垂直統合を行なう必要がありました。

すなわち、Quest 3実現のためには、MetaとQualcommだけでなく、センサーメーカーやディスプレイパネルメーカーなど、複数の企業をまたぐ協業があり、それらを統合することで今回の製品ができた……ということだ。

Quest 2と3は「相互に互換」、同じアプリで双方に画質最適化

Quest 3は非常に高いグラフィック性能を持っている。筆者も複数のタイトルを試遊しているが、そのクオリティには驚かされた。

特に「アサシン クリード ネクサス VR」は、少々酔いやすいという欠点はあるものの、AAAタイトルであるアサシン クリードの世界に完全に入り込めるレベルである。

ただ、Quest 3はQuest 2と互換性を持っている。Quest 3の性能を活かす意味でも最適化は必要だが、収益を最大化する上では、ヒットしたQuest 2にも対応したソフトを作る方が効率はいい。

互換性維持とQuest 3への最適化について、Metaはどのように考えているのだろうか。

ラブキン：2つの方向性で考えています。

1つは、私たちはコンテンツの互換性において、双方向で互換性を持っています。すなわちQuest 2向けに作ったものをQuest 3で動かすこともできますし、逆に、Quest 3向けに作ったものをQuest 2で動かすこともできます。

開発者向けにツールを用意し、OS上でアプリが使う解像度を自動的に調整できるようにするなど、開発者と一緒に努力しています。

新しいゲーム機向けに作られた新しいタイトルが、前のゲーム機でも遊べるのはとても珍しいことです。そのために私たちは、開発者が双方で利用できるように構築したツールを用意しています。Quest 3向けに強力なゲームを準備しつつ、開発者に多くのツールを提供し、Quest 2で実行してもフレームレートを維持できるようにしました。

PCゲームの場合、古い機器で動かすとフレームレートが犠牲になることがよくあります。しかしVRでは、フレームレートやレイテンシーで妥協することはできません。

もちろん、Quest 3向けに最適化の努力をすれば、グラフィックのディテールを向上させたり、高解像度のテクスチャをアップロードしたり、よりできることも増えます。

仮になにもしなくても、スケーリングやフレームレート、解像度の改善により、自動的にゲームがより良く見えるようになります。

私たちは、開発者がトータルの解像度やレンダリング解像度、グラフィックのディテールをスケールアップ・スケールダウンできるようサポートしています。そして、コンテンツが美しく見えるように、OSでも多くの変換などを行なっているのです。

こうした変化は、ゲームだけで有効というわけではない。映像配信を含む一般的なアプリケーションでも同様だ。

ラブキン：映像配信などでも、同じアプリケーションがQuest 3でも動作しますし、解像度も向上します。

Quest 3で解像度が上がっているのはMixed Realityのためですが、各種メディアやビデオアプリケーションの品質がQuest 3でより良く見えるようにするため、多くの努力をしています。

Quest 2を作った頃は今ほど「あなたの周囲の空間」を理解する技術を持っていませんでしたから、Quest 2ではできなかったことが可能になっています。

ビデオとQuest 3の関係で言えば、ビデオソースを空間の壁のどこに配置するか、といった機能が追加され続けており、来年にかけて劇的に改善されるでしょう。

この領域は、私たちにとって優先順位の高い項目です。

基調講演で公開されたNBA　League Pass視聴の様子。空間に画面が浮かび、複数の試合を同時に視聴している

Quest 3も「毎月機能アップ」していく

MetaはQuestシリーズのOSについて、かなり頻繁にアップデートを行なっている。それはQuest 3でも継続される。

ラブキン氏は「毎月のように、機能拡張されるでしょう。不具合修正やセキュリティパッチだけではないです」と笑う。

ボスワースCTOは、この点についてもう少し詳しく説明した。

ボスワースCTO：Quest 3でも、明確なロードマップに沿って進むことになりそうです。すでに30日目・60日目・90日目・120日目と、それぞれのリリースになにを盛り込むかが決まっています。

例えば、キーノート中で説明する「オーグメント」機能は、120日目向けのアップデートで実装します。来年の早い時期になるでしょうね。

まだリリースを保留している理由の一つは、Quest 3が異なる照明条件下でどのようなパフォーマンスを発揮するのか、確認するためです。

Mixed Realityについては厳しい品質管理・さまざまな環境でのテストを繰り返してきました。しかし、消費者が実際にどう使用するかは、実際の環境でないとわかりません。オーグメントが壁の向こうに飛び出して、それを閉じることができない……というトラブルは避けたいんです。

ですから最初の4つのリリースには、多くのチューニングの改善、パフォーマンス、さまざまな照明条件など、多様な環境で初期の購入者がどのような問題にぶつかるかを見極め、それに適応するための作業も含まれます。

ボスワースCTOのコメントに出ていた「オーグメント」とは、Meta Quest 3のMRに搭載されるもので、実際の空間や家具などに合わせ、3DオブジェクトなどをMR空間内に配置していく機能。現実の世界にはないが、Quest 3を介してMR空間を見ると、そこにオブジェクトがあるように見える。

オーグメントの例。アプリやオブジェクトをMR空間に配置する

こうした機能が随時追加されていくことで、MR空間内でできることを増やしていく、というのがMetaの戦略でもある。

ラブキン氏は、MRでのアプリケーション開発と拡大について、方向性を次のように語る。

ラブキン：私たちのMRに対するアプローチは、開発者がすでに慣れ親しんでいる技術スタックを使い、可能な限り開発を容易にすることです。

例えばPWA(プログレッシブ・ウェブアプリケーション)は、MR向けに特別な品質管理をする必要があまりなく、MR向けアプリケーションを作るための素晴らしい手段です。

また、Quest SDKで作られたAndroidアプリは、ネイティブでシームレスに動作します。Androidアプリケーションを、お気に入りの言語で開発することができます。

私たちは今後、MRのために多数の開発を行ないます。おそらく2、3年はかかると思いますが、もっと簡単に開発できるようにします。

例えば、あるエンジニアがデモを作ったんです。地面に穴を開けて、その中に入ったりすることもできるものなのですけど。

その実現に必要だったのは、たった2人のエンジニアと2日間の時間だけです。JavaScriptのコードと基本的なウェブ技術、そして彼らが完全に慣れ親しんだ発想さえあれば十分。Quest 3で動作し、ネイティブ・アプリケーションのように見えます。

そうやって私たちは、MRとの距離を縮めようとしています。開発のために、まったく新しいエンジンや言語を学ばせないようにして、可能な限り透明性を高めたいのです。

すなわち、今スマホで使っているようなアプリの多くをMR環境の中に持ち込みたい……というのが、彼らの一つの狙い、ということなのだろう。

生成AI＋メタバースがもたらす未来

では、未来のことが出てきたので、さらに未来の話をしてみよう。

今回のMeta Connectでは、Quest 3以外に「Meta AI」がフィーチャーされた。こちらは生成AIを使ったコンシューマ向けのチャットAIであり、今後はメタバース内のキャラクターにも使えるようになるという。

Meta AI。生成AIでキャラクターとチャットする。キャラクター役としては大阪なおみなどの有名人を起用

将来的にはメタバース内のキャラの「中の人」がMeta AIになることも

では、メタバースに生成AIが本格的に組み込まれる時代には、どのようなことが可能になるのだろうか？

ラブキン：メタバースに生成AIが登場すれば、従来のコンピューティングよりも楽しく、没入感があり、魔法のようなものになると思います。

しかし、それにはもう少し時間がかかるでしょう。

Meta AIのような生成AIの使い方は、1年前には基本的に存在しませんでした。この半年での進歩は驚くべきものです。

ただ、メタバースでは、今の生成AIには想定されていないデータが必要になります。なにしろ3Dの世界ですからね！

生成AIのエージェントがあなたの空間に入ってきた場合、どんなに美しいフレーズを話しても、どんなに面白くても、賢くても、それだけではダメです。彼らが非常にぎこちない動きしかできないなら、興醒めでしょう。

しかしその点も、いつかは解決できます。ただ、もう少し後になります。

もうひとつ重要なのは、マーク(・ザッカーバーグCEO)が言ったように、私たちは「プラットフォーム」的なアプローチをしようとしているということです。

私たちは、他のどの企業よりも、生成AIをオープンソース化しています。今日発表したMeta AIでも、「AI Studio」というツールを立ち上げ、誰でもAIエージェントを開発できるようにしています。

私たちがメタバースに到達したら、Meta AIと同じことをするでしょう。いろいろな人がいろいろな実験ができて、自由に開発できるものにします。

生成AIがメタバースに何をもたらしてくれるのか、私はこれ以上ないほど期待しているんです。

例えばです。

Questでは「カスタム・スカイボックス」と呼ばれるものを設定できます。非常にシンプルなもので、Quest内の空間の背景を変えるものですね。実験的な機能です。

この機能を使う多くの人が、背景生成に生成AIを使っているようです。いつかは、我々の生成AIである「Emu」が使えるようにしたいですね。いきなり「猫と一緒に宇宙船の中で過ごしたい」と言えば、それを実現できるみたいな感じに、です。

さらに、Quest 3やネットワークサービスについて、Connectの中で「シンプルな言及」にとどまった理由についてもこう述べる。

ラブキン：生成AIは急速に進化しているので、1年後を予測するのは難しいです。

しかし、世界をクリエイターが構築し、人々がそれに集まるのを助けることは、成長を促すキラー要素になるでしょう。

実のところ、我々がQuest 3についてHorizon(Metaが自社で運営するメタバースサービス)について、やっていることの全てについて、今回は話しませんでした。

今日準備が終わっているものについて話したかったんです。

我々は今、今日から数週間後の準備に集中しています。

ですから、AIやVRのビジョンについては、また来月以降、もっと多くのことをお伝えできると思います。

Quest Proには「3にない価値」がある

最後に1つ、気になる点を聞いてみた。

昨年、Quest Proは「MRを実現する」として世の中に出てきて、価格もハイエンドからのスタートだった。だが、MRの品質は必ずしも良いものではなく、MRに期待した消費者から見れば期待はずれな部分はあったろう。

しかも、今年出るQuest 3は性能面でもMRの質でも、Quest Proよりも上位にある。「デジタル機器は時間とともに進化するのが必然」ではあるのだが、心中穏やかではない購入者もいるのは間違いない。

この点について、ボスワースCTOとラブキン氏に「Quest Proの存在はどうなるのか」質問をぶつけてみた。

ボスワース：アイトラッキング機能など、Proにしかない機能はあります。それらの機能を使って最適化されたアプリケーションは、いまだQuest Proにとって大きな差別化要因です。また、我々は多数のヘッドセットを開発中で、その中にはプロ向けのものも、コンシューマ市場向けのものがあります。十分なタイミングが来れば発売することになるでしょう。

ただし今は、Quest 3にもQuest Proにも、まだまだやるべきことはたくさん残されています。

ラブキン氏はさらに詳しく次のように解説する。

ラブキン：Quest 3に、市場で最も性能の高いプロセッサーを投入したことを誇りに思っています。

もちろん、去年すでにXR2 Gen2が存在してれば、Quest Proに入れていたかもしれません。もし私がタイムマシンを持っていて、さまざまなプロセッサーを利用できるなら、話はシンプルだったでしょう。

しかし、ご存知のように、演算性能の向上は激しく、いつか「次世代」はやってくる。テクノロジーの進化が速いのはいいことで、悪いことではないです。

もう1つ言っておくと、Quest Proにはまだ独自のアドバンテージがあります。視線追跡機能を搭載していますし、Foveated Rendering(注：VR向けのレンダリング技術。瞳の位置を認識し、視野の中央以外の解像度を下げることで、同じ演算資源でより体感品質を上げられる)も導入しています。

バッテリーを背面に配置し、バランスの取れた重量を実現しましたし、より高級感のあるデザインと素材を採用しています。

Quest Proは今でも、さまざまな用途で多くの人に愛用されています。

重要なのはパフォーマンスだけではありません。私が言いたいのは、デバイスはコモディティ化していないし、成熟していないということです。(HMDは)PCよりもはるかに複雑で、スペック表に書かれているような情報よりも、それがどのような用途に使われるかが重要なんです。

そして、私たちもまた、経験から学んでいるところです。

Quest ProはQuest 3よりスペックが劣るにもかかわらず、多くの使用例において、以前として最高の素晴らしいデバイスです。そしてQuest Proは、私たちの未来のヘッドセットにとって、とてつもないインスピレーションの源でもあります。

なぜなら、そこから学んだこと、人々に愛されたことがたくさんあり、それを未来に取り入れようとしているからです。

この発言はもちろん、メーカー側のポジショントークのようなところがある。だが、Quest Proを持っていて、Quest 3を体験したことのある筆者としても理解できる部分は多々ある。

Quest Proは密閉度が低く、顔の下などから光が入りやすいので、ゲームなどでの没入感ではQuest 3に劣る。だが、重量が分散していて頬で重さを支えないこともあって、長時間つけ続けても負担を感じづらい。「仕事などで毎日使うならどちらをつけたいか」と言われるとQuest Proだ。

Quest Proはコストをかけたボディになっていて、長時間利用するのに向いている

HMDの用途は1つではなく、そのシーンにあったものがある。Metaにとって、Quest Proはそうした部分を明確にする役割を持っていたのだろう。