西田宗千佳のRandomTracking
第601回
Metaが見せる「未来のAR」、Orionの秘密に迫る
2024年9月27日 07:30
Metaが公開した「未来のARデバイス」、Orinを実際に試す機会に恵まれた。
実機を試したプレスは世界的にも非常に少なく、貴重な体験だった。開発陣から聞いた技術的な特性に加え、デモの様子をお伝えしていこう。
なお、写真や動画の自由な撮影は認められなかったが、体験中の写真と映像の提供を受けたので、そちらも合わせてご覧いただきたい。
そして短時間ではあるが、MetaのCTOであるアンドリュー・ボスワース氏にも、Orionをはじめとした同社の戦略と技術の詳細について聞くことができた。そのインタビューも合わせてお伝えする。
ボスワース氏の紹介するOrionについてのビデオも掲載しておく。興味のある方はご覧いただきたい。
メガネの中に多数のセンサーとカスタムチップを内蔵
まず外観から見ていこう。
フレームなどは太いが、形としてはまさしく「メガネ」だ。筆者もかけてみたが、従来のHMDに比べると大きな違和感はないだろう。重量は公開されていないが、Quest 3などのHMDに比べればずっと軽い。重いメガネくらいで、つけていても負担感はない。
メガネ部は小さなボディだが、この中には7つのセンサーが入っている。いわゆる手認識や位置認識に使うカメラが2つずつ2セット、視線を認識するためのものとして内側に2つ、そしてAIのためのカメラが1つだ。
それだけ大量の情報を使うと処理が大変になるが、メガネ型の本体内に13個のカスタムチップを搭載し、位置認識や画像表示など、リアルタイム性の高い処理を担当している。そのため、メガネ内で動作しているのは独自のリアルタイムOSだ。
これは省電力化に非常に有効だ。
一般的なハンドトラッキングでは数百ミリアンペアの電力を消費するが、AIとチップの最適化により、Orionでは3分の1から5分の1に減らしているという。
消費電力の低減は結果として発熱の低減にもつながり、より快適なデバイスの実現に一役買っている。
外装はマグネシウム合金。これは軽さと放熱を評価して選ばれたものだ。
さらに複数の場所にバッテリーが分散して内蔵されており、通信用のWi-Fiもある。
Wi-Fiといっても低レイヤーのみを使っており、その上に独自の高効率通信スタックを実装。消費電力などの最適化を行なっているそうだ。
動作はメガネ部単体で行なわれるわけではない。
別途「Compute Puck」と呼ばれる本体がある。
こちらにはQualcommのプロセッサーとQuest用のHorizon OS(すなわちベースはAndroid)のカスタム版が動作しており、メガネ内に比べるとリアルタイム性の低いアプリケーション処理が行なわれている。そしてメガネ部とは通信で連携し、情報が表示されている。リアルタイム系と非リアルタイム系で処理を分割して動かしているので、メガネ部を軽いものに仕上げられているわけだ。
もう一つ、コントローラーに仕掛けがあるわけだが、それはまた後ほど述べることとしよう。
視野角70度。広い視野で自然なAR
秘密は「光学系」にある。
Orionの大きな特徴は「光学シースルー式ARグラス」であるにもかかわらず、視野角が70度と非常に大きいことだ。
一般的なサングラス型ディスプレイや、マイクロソフトのHoloLensをはじめとした光学シースルー式AR機器は、視野角が40度から50度程度だ。そうすると、現実世界にCGが重なる領域も「視野中心の一部」だけになる。
結果として「現実が拡張されたというより、覗き込んだ窓の向こうだけが拡張されている」イメージに近い。
Apple Vision ProやMeta Quest 3のような「ビデオシースルー方式」は視野を広くしやすく、視野全体にCGを重ねられる。立体感演出も容易だ。そのため、「現実の拡張感」ではビデオシースルー方式に軍配が上がる。
だがOrionは、光学シースルー方式でありながら視野角が70度ある。
Apple Vision Proの視野角が90度程度、Meta Quest 3の視野角が水平110度なので、これらに比べると確かに数字上狭い。
しかし、かけてみた感覚は数字とは異なる。これまでの光学パススルーより視野がグッと広くなっていることから感じられる変化もあるが、おそらく重要なのは「透明である」ということかと思う。
人間は視野の周辺をはっきり見るのが苦手だ。そこで「メガネのレンズと同じくらい透明な板」に、「視野の中心を十分に覆う表示」がセットになると、より自然に見えやすいのではないだろうか。
体感は、以下に掲載したデモビデオとほとんど変わらない。
AR機器は視野の狭さから「PVや広告で再現されている世界が実現できない」ものがほとんどだ。それを可能としていたのはVision Proなど、ごく一部の機器だけだった。
だがOrionは、光学シースルーで「PV詐欺じゃない」体験を実現している。
独自開発の光源＋導光板で広い視野を実現
なぜそれができているかを解説してみよう。
普通のメガネにも見えるが、筆者がかけている写真をよくご覧いただきたい。レンズに当たる部分に青から緑の光が見えるだろうか。
このOrionは、視力補正用の度は入っていない。だからこの光は「Orionの光学デバイスの特性が生み出す光」でもある。
Orionが使っているのは俗にウェーブガイドと呼ばれる方式だ。これは光源からの光の反射を視野全体に広げる仕組みなのだが、そのために使う「導光板」の構造と光源の種類がカギとなる。
Orionが導光板に使っている素材は「炭化ケイ素(シリコンカーバイド)」。一般的なガラスとは2つ違う性質がある。
1つは屈折率がガラスより高いこと。そのため、光をより極端に曲げられる。結果として「視野角が70度になる」ほどに広く拡散させられるのだ。
ガラスの導光板は光路の周囲にある光が巻き込まれ、虹のような筋が見えることが多い。Orionが採用した炭化ケイ素の導光板は、そうした効果を最低限に抑え、現状の「わずかな青い光」にまで抑えている。
もう1つの利点はガラスより軽いこと。これは当然ながら、かけ心地に大きく影響する。
光源に使っているのはマイクロ「LED」。XR機器に使われることの多いマイクロ「OLED」に比べ、輝度の割に消費電力が小さい。要は、メガネに小さな2つのプロジェクターが乗っているようなものだ。
Metaによれば、ここからの光は「数百から1,000nits」くらいの明るさ。それを独自の炭化ケイ素導光板を通しても「300から400nits」の明るさで見ることができる。これはまだ「夏の屋外」に耐える明るさではないが、室内ならば十分な明るさだという。
マイクロLEDで明るい光を出せるということは、その分、導光板の先まで光が広がりやすいということであり、視野を広げられるということでもある。
解像度について、彼らは「PPD(Pixel Per Degree、視度1度あたりのドット数)」という単位を使っている。
今回のデモの多くは「13PPD」で行なわれている。これはMeta Quest 3などの半分に近い解像感で、けっして精細というわけではない。たしかに「表示は荒いな」と感じた。
しかし同時に、「26PPD」に解像度を上げたモデルも試すことができた。26PPDはMeta Quest 3と同等でかなりいい。将来的には30PPDを目指したいという。30PPDを超えるとVision Proに近い解像度になり、それ以上を目指す必然性は薄くなっていきそうだ。
現状では発色が良くなく、色のムラもある。だがそこはPPDと同じく、「製品化に向けて改善を進めていく」ところになる。
操作には「EMG」も採用
Orionの操作では視線で操作する方向を示し、「指をタップする」「中指と親指をタップする(階層を1つ戻る)」「親指と人さし指を擦り合わせる」といったジェスチャーを使う。
そこからできる操作はかなりVision Proに近く、「空間OSにおけるUIの基本」が出来上がりつつあるのを感じた。
ただOrionの場合違うのは、「画像以外で指の動きを読み取っている」点にある。
そこで使われるOrionのもう一つの秘密が「EMG」だ。
EMGとは「ElectroMyoGraphy＝筋電位」のこと。Orionでは電極のついた細いバンドのようなものを腕に巻き、EMGを読み取ってそこから「腕や指がどう動こうとしているか」を把握する。
同社は以前よりEMGを操作に使う研究を進めていた。関連企業の買収によって手に入れた技術ではあるが、時間をかけて開発し、製品化まであと一歩のところにこぎ着けている。
一般的なハンドジェスチャー技術では、手をカメラに見えやすい「目の前」に出す必要があった。それがVision Proでは、下の方向にカメラを向けて設置し、「ひざの上や机の上」からあまり手を動かさずに操作することも可能となっている。
ではOrionではどうか？
カメラを使ったハンドジェスチャーも行なえるが、EMGを使うと「カメラで手を認識する必要がない」ので、さらに自然な体制で操作ができる。極論、ポケットの中に手を突っ込んだままでも操作が可能だ。
OrionのEMGコントローラーは薄いバンド状になっていて、裏に複数の電極がついている。それを手首に少しタイトに巻くことで、手首からEMGを読み取って操作に活かす。
なお、Orionには実装されていないが、両手にEMGコントローラーをつけ、「存在しない仮想のキーボードをタイプする」操作も実験しているという。速度は人によって変わるというが、実験の中では毎分100ワード入力できた人もいたという。ちなみに、一般的な英語でのタイプ速度は毎分50ワード程度と言われており、これは「相当に速い」。
最大の課題は「ディスプレイコスト」
もちろん、現状のOrionにはいくつもの課題がある。
画質や認識の精度などはまだ改良の余地がある。
体験できたアプリケーションは比較的シンプルなもので、すべての可能性がわかったわけではない。
とはいえ、そうしたことは「すでにロードマップの中にある」ものだということなので、改善の糸口も見えているのだと思う。
現在のOrionがプロトタイプであり、今日・今年中に販売されるわけではない理由は「コスト」だ。
開発陣のコメントによれば、Orionの先にあるコンシューマ向けデバイスは、「ハイエンドスマートフォンやノートPC程度の価格で販売する」ことを目指しているという。
しかし現状はその10倍近いコストがかかっているようだ。
理由は「光学系」にコストがかかっているからである。ウェーブガイド方式の導光板は複雑で、製造にコストがかかることが課題とされている。また、炭化ケイ素も素材として高価なものだ。
そのため現状は、「製造コストの90%がディスプレイ」(ボスワースCTO)という状況なのだという。どうコストを下げていくかが最大の課題だ。色々な開発は進められており、別の素材も含め検討されているという。
そうした部分も含め、また10年先ではなく「数年程度の近い将来」という製品化のめどが見えてきたからこそ、彼らはプロトタイプの公開に踏み切った……ということのようだ。
ボスワースCTOが語る「Orion」への道
ここからは、ボスワースCTOへの一問一答をお届けする。質問の多くはOrionに関するものだが、QuestやHorizon OSの将来についても興味深いコメントが得られた。
――なぜこのタイミングでOrionを公開したのですか？ プロトタイプの段階であり、今年商品化できるわけではない。その段階でデモし、一部の人々が公開を前提に体験できるのは異例のことです。
ボスワースCTO(以下敬称略)：私たちはこの10年間、莫大な投資をしてきました。特に、この2、3年間は投資をするだけでなく、その方向性を精査もしています。
ボスワース：この段階で、「我々がやっていることが現実のものとなる」ことを示すべきだと考えました。
この投資は世界を劇的に変えます。
それに、Meta Connectは「開発者会議」ですからね。開発者には私たちと一緒に、深いところまでともに進んでほしいと思っています。
Questにも投資しましたし、ソーシャル時代のアバターにも投資しました。
この投資は「今」世代の技術に役立つだけではないです。
私は今、「未来が来る」と証明しているんです。
――以前は「Project Nazare」というARグラスプロジェクトがありましたよね。これはOrionと同じものですか？
ボスワース：ええ、同じものです。
――この種のデバイスでUIを構成するには、かなりのコンピューティングパワーが必要になります。どうやって解決したのですか？ スマートフォンと連携する前提ですか？
ボスワース：はい、確かにかなりのコンピューティングパワーが必須ですが、スマホ前提という話ではないです。
我々は課題を解決するために、13ものカスタムプロセッサーを開発しました。スマホからの流用ではなく、我々のオリジナルです。Compute PuckにはQualcommのSoCが使われていますが、メガネ側で使っているのはオリジナルプロセッサーですね。
――そういえば、NVIDIAのジェンセン・ファンCEOが体験ビデオの中に出てきましたよね。NVIDIAとカスタムプロセッサーで協業したとか……？
ボスワース：いえいえ、パートナーはQualcommです。彼らが良いSoCを持っていましたから。あとはオリジナルです。
彼(ジェンセン・ファンCEO)に体験してもらったのは、彼がこの種のことについて非常に深い知見を持っていて、色々な形で世の中に伝える力を持っていますし。
――彼はテック業界のビジョナリーの1人ですからね。
ボスワース：はい、まさに。
――Horizon OSとOrionの関係についてうかがいます。Horizon OSはVR向けOSとして非常に良くできたもので、多数の機能があります。その中には、Orionで使えるものもあるかと思います。両者はどういう関係にあるのですか？
ボスワース：時間の経過とともに、多くの技術的側面を共有していきます。アバターシステムは両方で共有され、ソーシャルシステムは両方で共有されます。
しかし、QuestとOrionには、異なる部分も多数あります。
アプリモデルやインタラクションモデルは大きく変わると思います。Orionでは基本的にコントローラーは持たないでしょう。
同じハンドトラッキング、同じアイトラック技術を使うので可能な限り共有します。
しかし、私たちはそれぞれのデバイスをできるだけ良いものにしたいとも思っているんです。
ですから、すべてを同じ箱に入れたくはないし、それでは意味がありません。
――Orion向けの開発環境は、Questとも大きく変わってきそうですね。
ボスワース：はい。かなり違います。
どのくらいのコンピューティングにアクセスできるかという点で、はるかに制約されていますし、インタラクションデザインは異なります。
私たちは手とタッチをサポートしていますが、EMGも使用しており、選択にはアイトラッキングを使用しています。開発環境はどちらもAndroidベースという意味では似ていると思いますが、アプリケーションを環境に適応させる方法には非常に大きな違いがあるでしょう。
――Ray-Ban Metaは、AIに関して最先端のデバイスです。そしてOrionは、そのさらに先にあるデバイスだと感じます。
ボスワース：その通りです。
ただ、Ray-Ban Metaが起点となりますが、ARグラスがあればいい、というわけではなく、その中間には色々なポイントがあります。
すべての製品がホログラフィックディスプレイを持っていなくてもいいと思うんですよ。小さなディスプレイを持っていればいい。それで十分、という人もいるかもしれない。スマートウォッチと組み合わせるといい、という人もいるかもしれませんよ。
だから、Orionの後の世代だけでなく、消費者向けの様々な製品を計画しています。
他にも多くの種類のスマートグラスのプロトタイプをテストしていますが、それらも素晴らしい製品になる可能性があります。
――どうやって70度もの視野角を実現したのですか？
ボスワース：二つあります。
1つ目は、自分たちで作ったカスタムマイクロLEDです。非常に明るく、数百から1,000nitsのデバイスを自分たちで製造しています。
視野が広いとより多くの光を瞳に届けなくてはいけないので、明るいものでなくてはなりません。
2つ目の理由は、炭化ケイ素という素材を使っているからです。炭化ケイ素の屈折率は2.7で、ニオブ酸リチウム(屈折率2.3)や高屈折率ガラス(屈折率1.9)、通常のガラス(屈折率1.5)に比べ、光が効率的に屈折し、ウェーブガイドの内部で生成した光をより多く保持しています。
そして、より少ない外部光をキャッチして配光しているので、ゴーストやにじみ・かすみが少ない。
すなわち、超高輝度プロジェクターと高屈折率のウェーブガイド材料がカギですね。
――ただ、ウェーブガイドは製造コストが非常に高い。
ボスワース：はい。確かに。
正直に言って現状最大のリスクは、このプロトタイプのコストの90%がディスプレイにかかっていることです。消費者向け製品を市場に出すことを考えると、コストを大幅に削減する必要があります。
ただ、その解決方法はあります。一方で、現状のものほど広い視野のものを作るのはしばらく難しいかもしれません。トレードオフですね。
視野が狭くなっても、明るくて、安くて、軽くて、薄くて、バランスが取れているものを選ぶべきなのか。
試しているプロトタイプがいくつかありますが、そのうちの一つが、最初の消費者向け製品に使えることを期待しています。
――Questと違うものになる、とのことですが、最大の違いはどこになりますか？
ボスワース：社会的受容性です。
Quest 3のパススルーは非常に素晴らしいものですが、周りの人や周りの世界とのつながりを感じるのは難しい。
AR関連製品を開発する中で考えてきたことの一つは、社会的受容性だと思います。なにをするにしても、これを顔につけようと、多くの人々が考えるものにする必要があります。
――Horizon OSについて伺います。去年の発表では、オブジェクトを室内の空間に配置していく「オーグメント」機能がアピールされました。しかし現状、実装されていない。
作り直しているとの話がありますが……？
ボスワース：はい。大変でした……。
昨年発表し開発を進めていたのですが、社内バージョンを見ながら、「この技術は十分な品質を持っていない」と感じたんです。
なんというか、ちょっとダサい感じがしたんですよね。パフォーマンスも悪かったし。
十分な品質ではなかった理由は、要は技術的な問題です。アーキテクチャ面での選択が間違っていました。
そこで今年の1月か2月にハードリセットをし、開発チームには「ゼロに戻って、機能しつつ楽しい体験ができるシステムのセットを構築するように」伝えました。
だから提供が遅れているんです。
まだ作業中ですが、諦めたわけではないです。まだ計画はあります。スケジュール優先で悪い製品を出荷するつもりはありません。
発表しておきながらまだ公開できていないのは少し恥ずかしいですが、まだ開発中です。時期もお伝えできません。
――オーグメントはOrionにこそ必要な技術ですよね。
ボスワース：ええ。ただOrionについては、主に自分たちで構築できるソフトウェアを軸に開発を進めているので、システムの中に直接構築できるんです。非常に効率的で、本当にうまく機能します。
ただ、サードパーティに利用できるようにするには、はるかに高い堅牢性が必要です。簡単にするのはちょっと難しいかもしれません。
――OrionではCompute Puckを併用します。完全なスタンドアローンは目指さないのですか？
ボスワース：余分なピースを持たずに、必要な量の仕事をするのは現状難しいですね。
とはいえ、うちのCompute Puckはいい感じですね。バッグや後ろのポケットに放り込んでおけば、1日気にせず使えますよ。
そうは言っても、私が考えるべき本当に重要なことの一つは、人々の既存のスマートフォンから切り替えられるか、ということ。スマートフォンより有用だ、という確信を感じてくれるかということです。