西田宗千佳のRandomTracking
現実とCGをブレンドする「HoloLens」。MS新HMDの正体
「ARではなくMixed Realityだ」。スタンドアロンで動作
（2015/6/17 16:38）
マイクロソフトが今年1月に発表した「Microsoft HoloLens」は、非常に謎の多いプロダクトだ。
いくつかデモが公開される機会があったものの、映像のインパクトばかりが頭に残り、これがどういう製品なのか、詳細は公開されていないため、どうにも全容がつかめない。E3開催前日に開かれたマイクロソフトのプレスカンファレンスでもデモされたが、それでもまだ、「ARを活用する未来のエンターテインメントはスゴイ」という以上の感想を持てないでいる。
インタビューに答えていただいたのは、米・マイクロソフト コーポレート・バイスプレジデントのクドー・ツノダ氏。ツノダ氏はKinectをはじめとした新技術開発を担当し、HoloLensの担当でもある。また、先週発表されたOculus VRとの提携を初めとした、VR関連技術も手がける。
マイクロソフトにとってのHoloLensとVRは、どのような意味を持っているのだろうか?
今回は短時間ながら、HoloLensの実機を試すことも出来た。その様子と感想も合わせてお伝えしたい。その内容は、まさに「百聞は一見に如かず」の言葉通りだった。
HoloLensは「スタンドアローンのコンピュータ」
－HoloLensとはなにかを知らない人が多い。マイクロソフトにとって、HoloLensはどのような存在なのですか? 特に、Xbox事業を含めたエンターテインメント事業にはどんな意味を持っているのでしょうか?
ツノダ：まずお伝えしておきたいことがあります。HoloLensは完全に単体で動作する、ケーブルでPCなどと接続する必要のない「ホログラフィックコンピュータ」です。PCともXboxとも接続する必要はありません。
－すなわち、スタンドアローンで動作するコンピュータだ、ということですね。
ツノダ：その通りです。
そして、そこで見つけたことは、「ホログラムには人々にとって様々な価値がある」ということです。どう働くか、どう学ぶか、どう作るか。そして、E3でお見せしたように「どう楽しむか」ということもあります。
現在どんな用途であっても、コンピュータは「いままでのコンピュータ」の使い方です。しかし、そうした部分でMicrosoft HoloLensを使うと、まったく変わります。デジタルスクリーンの中からリアルワールドへ持ち込むことができるのです。
－これまでのPCやXbox Oneと、HoloLensの関係を教えてください。HoloLensは、従来の機器を置き換えていくことになるのでしょうか。
ツノダ：私は、なにかを置き換えてしまうとは考えていません。そもそも、PCもXbox OneもHoloLensも、これからは同じ「Windows 10デバイス」になります。それらはひとつのプラットフォームとしてつながることになるのです。すべてのWindows 10プラットフォームで、Universal Appが動きます。例えば「Fable Legends」のようなゲームは、Windows 10でもXbox Oneでも動き、相互に行き来できます。
－昨日のプレカンファレンスで、HoloLensのデモを見ました。あの映像は、多くの人によっては夢や魔法のようで、にわかに信じがたいほど素晴らしいものです。実際のHoloLensは、あれとどのくらい差があるのですか? あれそのままが動くのですか?
ツノダ：あのデモは、数千人のみなさんになにが見えているかを見せるため、HoloLensとまったく同じ方法を使っているわけではありません。特別なカメラとHoloLensを組み合わせたものです。その結果、リアルな世界とHoloLensの世界を組み合わせた映像が見られます。
でも、です。この会場に持ち込んだものは、実際に動いているものです。実際にHoloLensを試してみることができますから、確認してください。
「Halo 5」の世界にHoloLensで飛び込む
さてここで、インタビューの後のHoloLens体験デモンストレーションについて解説しよう。E3・マイクロソフトブースでは、同社が認めた限られた人々向けに、HoloLensと、同社のFPS「Halo 5：The Gurdian」を組み合わせたデモを提供している。現地に行ってもプレイできるとは限らないので、その点はご容赦いただきたい。
デモの際には、スマートフォンなどは機内モードにすることを求められた他、カメラでのデモ撮影も認められなかった。そのため、マイクロソフト提供のデモ映像と、筆者の言葉による説明とさせていただく。
Halo×HoloLensと題したこのデモは、まず瞳と瞳の間の距離を測るところからスタートする。計測には特殊な機械を使っていた。筆者の場合には「61.5mm」だった。
そののちデモ体験者は、2つのグループに分けて、基地を模した空間へと導かれる。その中にあったのは、HoloLensだ。これまでの発表やデモにあったようなサイズのものである。ケーブルなどはまったくない。本体はそう重くなく、他のHMDと大差ないか、少々重い程度。ヘッドバンド部にもパーツが埋め込まれているようで、「HMDを内蔵したスタンドアローンのコンピュータ」としてはかなりコンパクトに思える。
最初に行なうのは装着テストだ。メガネを外す必要はない。頭に装着したら、バンドを締めて位置を固定する。装着を促す係員も、微妙に軍人っぽい物言いで設定を行ない、どことなくテーマパークのパビリオンを思い出させる。
装着を行なう場所の正面には、きちんと装着できたかを確かめる、キャリブレーション用のマーカーが描かれている。そこにある点と線に合わせ、視界内の映像が表示されるよう、位置調整を行なうのがとても重要である。
実はここで、HoloLensの秘密に遭遇する。
現在製品化に向けた開発が行なわれている、他社の「VR用HMD」は、液晶やOLED(有機EL)をディスプレイに使ったものだ。要は目の前にディスプレイを置き、その光をレンズを通して見るスタイルである。
だがHoloLensはそうではない。HoloLensが使っているのは、どうやら「網膜走査ディスプレイ」であるようなのだ。
網膜走査ディスプレイは、網膜にあたる光の残像で映像を作るディスプレイで、像は半透過になり、実景と重なる。そして、レンズなどで曲げるわけではないので、非常にクリアーな映像になる。VR用HMDを思い出して体験すると、その違いにかなり驚くだろう。
位置合わせが終わると、基地の奥へと歩くように言われる。通路の中央の「空間」には、行き先と距離を示すマーカーが表示されている。FPSでよく見る「アレ」だ。歩いて行くと距離は縮まっていき、最終的にはブリーフィングルームに到達する。
そこでは、以下の画像のようなブリーフィングが展開される。SFで、空間にホログラムが投影される様を思い浮かべていただけば、まさにそのままである。解像度はおそらく極端に高くなかろう……とは思うが、描線も細かくなかなかに美しい。ワイヤーフレームだけでなく、もちろんソリッドな3D CGも表示される。テクスチャなども貼られているが、イメージとしては、ハイエンドゲーミングPCやXbox Oneのそれというよりも、ハイエンドスマホのCG……といったところだろうか。だが、立体的な半透過映像が空中に浮いている様から来るインパクトは、そうしたものを吹き飛ばすに十分なインパクトがある。
ブリーフィングをききつつ、色々体を動かしていると、HoloLensのさらなる秘密がわかってきた。
HoloLensの網膜走査ディスプレイは、赤・青・緑3色の反射層を通った光が合成されたものであるようで、視野が大きくずれると色がにじむ。また、VR用HMDのように視野全体を覆うサイズであるわけではなく、「視野の中央の正方形」が半透過のディスプレイになっている、という形だ。その範囲が実際の視野からずれると「見えない場所」が出来てしまう。
それらがマイナスに思えそうだが、実際はあまり気にならない。実景と重ねるため、視野周辺部にホログラムが出ていないことはあまり重要でない、と感じるし、色ずれや視野欠けも、最初にきちんと位置を設定すれば問題はない。だから最初に、執拗にキャリブレーションと瞳の感覚の調整を行なったのだ。
本デモにはインタラクティブな要素はなく、指などの認識もなかった。だが、自分が向いている位置にあわせて映像の位置などは調整されており、「HoloLensらしいリアリティ」は確保されていた。首を動かすともちろん、視野にあわせて描かれる映像は変わり、「実景にCGが混ざっている」という奇妙なリアリティを十分に体験できた。
最後に、「Keyを手に取れ」と指示され、CGの矢印が、机の上に刺さっているUSBメモリーを指す……、という筋立てになっている。
この後、HoloLensでのブリーフィングに合わせ、実際にXbox Oneを使ってHalo 5でチーム戦を行なうのだが、そこは割愛することとしよう。面白いゲームプレイだったが、ここでは本論ではないからだ。
インタラクティブな動作もない、比較的シンプルなデモであったが、HoloLensの価値は明白だ。これだけすっきり・くっきりとしたCG映像と実景がオーバーラップする体験は、なかなか出来るものではない。実景に重ねるCGの「描画範囲」「カバー範囲」は大きく異なっていたが、確かに、昨日のプレスカンファレンスで公開されたデモは、映像だけを組み合わせた「フェイク」ではない……、と確認できたからだ。
HoloLensは「Mixed Reality」
－今、VR技術が非常に注目を集めています。ARとVRの関係をどう考えていますか?
ツノダ：我々は、HoloLensを「AR」だとは考えていません。我々の技術は「Mixed Reality」であり、「Augmented(拡張) Reality」ではないからです。ARでは一般的に、タグやマーカーを利用します。しかしMixed Reality、すなわちHoloLensでは、マーカーは一切必要ありません。
Mixed RealityとVirtual Realityの違いは、現実世界とCGアセットが一緒に表示されることです。ゲームの例で言えば、ホログラムのキャラクターがリビングを歩き回ったり、そこに座り込んだりして、あなたとインタラクションします。リアルワールドとデジタルワールドがいっしょになります。
Virtual Realityは、あなたを100%デジタルな空間へと「没入」させてしまうことにあります。
－没入感のある世界と、Mixed Realilyの世界はどう使い分けるのでしょうか? ヘビーゲーマーにとっては没入感が大事ですが、Mixed Realityの生かし方はピンときません。
ツノダ：ゲーマーはたった1つの技術だけを愛するとは思いません。没入感のある体験も重要ですが、HoloLensも好きになってくれるでしょう。
リアルワールドとCGの世界をブレンドするメリットとしては、環境に応じてゲームプレイを変えられる、ということが挙げられるでしょう。例えば、ゲーマーが愛する没入感のある環境で楽しんだ後、リビングルームやキッチンでプレイすると、まったく新鮮な体験を得られるはずです。部屋の違いにより、ゲーマーがそれぞれに異なる体験をすることになると、とても面白いはずです。
また、ヘビーゲーマーは、キャラクターによって進むゲームや、ストーリーベースのゲームが好きだと思います。ひとつ我々が発見したのは、家の中にストーリーを持ち込み、キャラクターが「自分の家のリビングにいる」ような体験を実現すると、ゲーマーはいままでにないような感情を揺さぶられるということです。キャラクターがあなたの環境や生活の中へ入ってくると、本当にすばらしい。これを、ヘビーなゲーマーにはぜひ体験してほしいと思います。
私はゲームを愛していますし、VRゲームもたくさんプレイしています。どちらもすばらしい体験です。ホログラムもまた、それらと同様にすばらしい体験を与えてくれるはずです。
－ゲーム開発者とはすでに話し合いをはじめているのですか?
ツノダ：Minecraftは、Mojangの開発者とマイクロソフトの開発チームが、共に協力して開発したものです。しかし、他にゲームのプロジェクトについては、アナウンスできる状況にありません。
Kinectの深度センサー技術をHoloLensでも活用
－以前あなたはKinectを担当していましたよね? KinectからHoloLensに得られた教訓はありますか?
ツノダ：とてもいい質問です。
Kinectは、深度を検知する上でのリーディングテクノロジーです。HoloLensでは、CGを実景上の「適切な場所」にピン止めする必要があるのですが、そのためには、目の前の部屋がどのような状況なのかを正確に認識する必要があります。
HoloLensには、非常に小さいのですがハイパワーな深度センサーが組み込まれています。これを使って空間のマッピングを行ないます。これはKinectの深度センサー技術の開発から転用されたものです。HoloLensは部屋の状況を認識するだけでなく、指のジェスチャーも読み取ります。指をつかってホログラムへインタラクションするために、です。
－他のVR技術では、自分の位置や向きを認識するために、外部センサーを活用しています。ビデオカメラや赤外線センサーを部屋に配置し、それを使って認識しています。それに対して、HoloLensは、そういった「外付けのセンサー」を必要としていないわけですか?
ツノダ：その通り! 100%スタンドアローンです！ マーカーもありませんし、カメラを設置する必要もありません。1つのデバイスの中にすべてが組み込まれているのです。
Windowsを「VRの標準プラットフォーム」に、Xbox Oneとの直接接続の計画はない
－VRとの関係について伺います。Oclulus VRと提携しましたが、その狙いを教えてください。特に、Xbox Oneとの関係がわかりにくく思います。今回の提携では、Xbox Oneの映像をまずWindows 10で動作するPCにストリームし、さらにOculusのVR空間に投影します。少々回りくどい、と思う人もいるようですが……
ツノダ：そんなに複雑でもありませんよ。Xbox Oneのゲームは、Windows 10上でストリーム・プレイが楽しめます。これはとても良いフィーチャーですし、決して複雑ではない。そして、OculusはWindows 10が動作するPCで表示するのが基本ですから、Xbox Oneのゲームをストリームプレイするのも当然の発想、ということになります。
Windows 10のPCは、VRにとってメインプラットフォームです。もし我々が「1つのVRデバイス」を規定して、Xbox Oneと販売することに決めたら、ユーザーは1つのVRデバイスしか選べなくなります。そうなると、クローズドなエコシステムになります。
Windows 10のVR開発プラットフォームでは、どんなVRデバイスも選べます。ValveもRealもOculusも、あらゆるものがWindows 10の上で動き、ゲーマーはそれらの中から一つを選択すれば良い、ということになります。
また我々は、VR開発用APIについて、いくらかの一貫性を持たせようと考えています。そうすることによって、VRアプリケーションの開発が容易になります。それはコンシューマによって、必ず良い体験をもたらします。
－ということは、Xbox Oneに直接VRデバイスを取り付ける計画はない、ということですか?
ツノダ：現状は、Windows 10でのVRにフォーカスしており、Xbox One上での計画について、アナウンスできることはありません。
－VRゲームはMixed Realityゲームを開発するためのSDKや技術資料は、HoloLens発売までに公開されるんですよね?
ツノダ：もちろんイエスです！ 大切なことは、たくさんの良いアプリケーションが準備されることですからね。
－ゲーム業界やソフトウエア業界がVRやMixed Realityに注目し、一種のゴールドラッシュになっています。どう考えていますか?
ツノダ：重要なことは、とても楽しいゲーム体験がそこで行なえるかどうか、ということです。今は、ゲーマーにとってはすばらしい時期だと思います。なぜなら、コンソール・PC・VR・Mixed Ralitryと、様々な異なる体験の上で、すばらしいゲームが登場しているからです。Xbox Oneの今後のラインナップについては、昨日お伝えしましたよね? ゲーム全体がエキサイティングになり、コンソールについてもPCについても、特にこのホリデーシーズンは、すばらしいものになるでしょう。
－HoloLensの発売時期は、まだ教えてもらえませんよね?
ツノダ：(笑)。ご存じの通り、まだアナウンスできません。もう少々お待ちください。