西田宗千佳のRandomTracking
「空間すべてがディスプレイ」になる快感、HoloLensから感じる「偉大な第一歩」
2017年2月24日 08:00
今回は、ある製品のレビューを行ないたい。といっても、一般的な製品ではない。開発者向けの「Developer Edition」である。だから、詳細な使い勝手について「製品レビュー」する意味はないし、すべきではない製品だ。日本でもクレジットカード(と33万3,800円/税込)さえあればすぐに購入できるが、普通の人が買って、一般的なデジタルガジェットのように満足できるものではない。購入時にも「消費者にあたらない開発者向けの製品である」旨の警告が出るくらいだ。なにしろ、今は日本語の入力すらできない。そうした事情を理解していない方は購入してはいけないものだ。
だがそれでも、その製品がどんな世界をもたらすのか、きちんと多くの人に知っておいて欲しいと思う。だからこそ、「紹介」という形で記事化したいと思っている。
その製品とは「Microsoft HoloLens」(以下HoloLens)だ。本連載でも、マイクロソフトがHoloLensや、それに連なる「Windows Holographic」でなにをしようとしているかは、折に触れて取材記事を書いてきた。今回はより詳細に、自分がこのハードウェアに触れた上で、今のHoloLensにできることと、これからHoloLensが生み出すことを解説しようと思う。
大量のカメラとディスプレイ、本体をひとつにしたヘッドセット
まず、HoloLensがなにか、おさらいするところから始めよう。
HoloLensは、マイクロソフトが開発した「Mixed Reality」を実現するための機器だ。いわゆるヘッドマウントディスプレイである。
Oculus RiftやPlayStation VRなどと違うのは、PCとしての本体も兼ねており、これだけですべての機能が実現できる、という点である。バッテリで動作させた場合には、ケーブルもない。頭にかぶる形で使うことになるが、座ったままでなく、部屋の中を歩き回って使うこともできる。CPUはIntelのAtom。CherryTrail世代のAtom x5-Z8100(クロック1.04GHz)と言われているものの、公式発表はされていない。だいたいスマホくらいの能力であり、サイズ的にもそのくらいの性能が妥当だ。ちなみにバッテリ動作時間は、実感として3～4時間程度というところだが、これも製品の性質を考えると、現状ではさほど重要なことではない。
バーチャルリアリティ(VR)用のヘッドセットと違い、HoloLensは、実景に映像を重ねる「Mixed Reality」向けのものとなっている。だから、当然ディスプレイ部分はシースルーだ。デバイスとしてはLCOSを使っており、小さなハーフミラーに反射された映像が目に鋭く入ってくるような感じだ。巨大なディスプレイパネルを、さらに魚眼レンズで拡大して視野角を拡大して使うVR用ヘッドセットとはまったく異なるアプローチである。
空間と映像が混じる情景を、我々は「ホログラフ的」といいがちだ。HoloLensの「Holo」もそこから来ているように思われている。だが実際には、HoloLensでは、純粋な技術的な意味では「ホログラフィー」は使われていない。HoloLensの「Holo」は、ホログラフィーの語源となった、ギリシア語の「すべて」という言葉から来ている。要は「すべてを表現する機器」的なイメージだろうか。定義的には少々まぎらわしいが、いわゆる「ホログラフィー的な表現」としては理解できる。
自分のいる場所や方向、周囲の把握が重要な機器であるため、前方にはカメラを中心とした多数のセンサーが搭載されている。自分の位置を把握する「ポジショントラッキング」にはいろいろな手法があるが、HoloLensが採用しているのは俗に「Inside-Out」とよばれるもの。内蔵カメラとセンサーだけを使い、外部にセンサーや光源などを配置しない。そのため、設置作業が不要であり、非常に手軽に使える。一方で、外界の正確な把握や位置合わせには非常に高い技術が必要になる。逆にいえば、HoloLensはそうした技術が傑出しており、他にない体験を生み出している。
また、HoloLensのカメラは外部撮影のほか、手でのジェスチャーの認識にも使われる。
コンパクトな光学系・他を圧倒する位置把握精度に加え、コンパクトなPC本体をヘッドセットの形にまとめあげていることが、ハードウェアとしてのHoloLensの特徴である。
もはやマルチディスプレイいらず? 空間すべてがディスプレイに
では、どんなことができるのか? それを理解するには、実際の動作映像を見ていただくのがわかりやすいだろう。
以下の映像は、HoloLensをつけ、自分のPCの周囲に「自分なりのワークスペース」を構築してみた時のものだ。HoloLensはシースルーのディスプレイで外界にCGを重ねる形なのだが、外界認識用のカメラ映像にCGを重ねたものも自動生成され、デモンストレーションや開発時のチェックのために記録することができる。この映像も、その機能を使って撮影したものである。
これはなかなかに衝撃的な体験だ。各ウインドウはそれぞれ、HoloLens上で動いているWindows用アプリケーションだ(といっても、お馴染みのWin32 API用アプリは使えず、Windows Storeで配布されるUWPアプリだけだが)。今までのPC向けに作られたアプリは2Dの平坦な画面になり、HoloLens向けに作ったものは、3Dオブジェクトにすることもできる。それを机や空間の好きな場所に指で「置く」のである。マルチディスプレイを使い、資料などを横に出しながら作業をする、という人も多いと思うが、それと同じことが苦もなくできる。しかも、出すウインドウ・資料の数に制限はない。マルチディスプレイでは活用が難しい「垂直方向」も有効活用できる。
当然、動画をながしながら仕事をすることもできる。著作権保護の関係から撮影できなかったため、このデモでは権利がクリアなYouTubeで公開されている動画を使っているが、Netflixなどの配信でももちろん問題ない。ウインドウの見かけ上の大きさに制限はないので、大型テレビ並みのサイズで配置すれば、仮想的に「迫力の大画面」を実現することだってできる。
映像をよくみていただきたいのだが、それぞれのウインドウやオブジェクトは、「壁」「床」「物体」をきちんと認識し、そこに張り付いたり配置されたりしている。この点については、もうひとつの動画を作った そちらを見ていただくのがわかりやすいだろう。
オブジェクトの位置が実際にある壁や机に、自然な形で重なっているのはもちろんだが、歩いていくと「配置済みのオブジェクトが見えてくる」ことに注目していただきたい。すなわち、各オブジェクトは「空間内の絶対位置が記録されている」状態で、しかも、自分の視線から実際の物体があって見えない場所にある場合は、「隠れて見えないようになっている」ということである。
別の言い方をすれば、HoloLensは、リアルタイムに「周囲の立体構造を把握し、記録」している、ということなのである。もちろん、その精度はそこまで高いものではないのだが、映像で見るような空間把握をリアルタイムで、しかも頭にかぶれる程度の大きさのハードウェアで行なっている、というのははっきりいって、他の製品・技術とはレベルが違う。
しかも、実景内に配置されたオブジェクトは、位置がぶれたりすることもない。自然に「そこにある」ように見える。マイクロソフトでHoloLens開発トップのアレックス・キップマン氏は以前、筆者の取材に答え、「位置合わせの精度は1m先で1mm以内のずれ」と話していた。そのことは、実際に使っていてもよくわかる。この「精度」こそHoloLensの最大の特徴である。
HoloLens専用アプリで広がる世界、「空間UI」構築は道半ばか
そして、もうひとつの大きな特徴は、「HoloLensらしい」アプリの存在である。
動画は、Valorem Consulting Groupが開発し、HoloLens向けに提供している「HoloFlight(beta)」というアプリである。実際のフライトデータをネットから取得し、模型のような3Dオブジェクトの上に重ね、地域上空フライト状況を監視できる。自分が周囲を動きながら観察していると、まるでSFの中にいるようだ。
すでに報道されているが、日本航空はエンジンの学習のためにアプリを開発しているが、これも同じような発想で作られている。
日本のソフト技術者である@VoxelKei氏は、壁や床に穴を開けたように見せる「HoleLenz」というHoloLensアプリを開発し、先日公開した。壁を指で指すと穴が開いてどこかの空間が見える……というシンプルなものだが、今はHoloLensでしか体験できない、不思議な感覚を味あわせてくれる。
これら、実景とCGが完全に融合し、自分がその中にいるような感覚を使ったアプリの存在こそ、HoloLensの最大の価値である。
だが、そのためのアプリ開発は大変だし、空間上で操作するためのUI方法論も出来上がってはいない。マイクロソフト自身は、メニューを出すための「ブルーム」、選択のための「エアタップ」などのジェスチャーUIを規定しているものの、これが正解……ともいいかねる部分がある。選択をより楽に、精度高く行なうため、「クリッカー」というハードウェアボタンも用意されているのだが、この辺からも、まだマイクロソフトですら試行錯誤中であることがわかる。
視野角などの制約はあれど「先を走る」ことを選んだマイクロソフト
よく言われることだが、VR用ヘッドセットに比べると、HoloLensの視野は非常に狭い。だいたい、腕をまっすぐに伸ばし、その幅のままで16対9の画面を指で作ってみよう。その時の領域より少し大きいぐらい……というのが、HoloLensで実際に描画される領域である。横の視野角は、ある試算によれば35度程度だという。
この記事内で紹介している写真・映像は、HoloLensの撮影機能を使って作ったもので、実際の視野よりも広く写っている。また、マイクロソフトがデモなどで公開している映像も、同様に視野が広くなっている。だから、実物を使った時にはその差にひどく驚く。これは現状、技術上の制約であり、本製品が「Developer Kit」である理由のひとつである。
確かにHoloLensを語る時、視野の狭さは必ず欠点として挙げられる。それは事実なのだが、実際に日常的に使うと、意外なほど気にならない。そこには、一般的なVRとHoloLensの用途の違いが大きく影響している。
一般的なVRにおいては、視野の広さが「そこにいる感覚」の強化につながるため、視野が狭いと、ひどく使いづらいものに感じる。だがHoloLensは、実景にCGを重ねる形だ。一般的なVRのようなアプリケーションもあるのだが、空中にウインドウやオブジェクトが浮かぶようなものが多い。そうした使い方の場合、作業中は視野の中心に意識が集中することが多く、周辺視野はあまり気にならない。だから、集中して作業すればするほど、視野の狭さは気になりづらくなる。
むしろ、使っていて快適と感じるのが「解像感の高さ」だ。壁や空中にウェブやドキュメントを置いておけるわけだが、それらを見る時にも、「低い解像度のものを見ている」感じがしない。本記事で使っているHoloLensで撮影した画像・映像は、実際の利用状況よりもかなり解像度が低く感じる。ここは視野の狭さとは逆である。文書の文字はもちろん、映像でもジャギー感はほとんど感じられない。
マイクロソフトはHoloLensに関し、一般的な意味での「解像度」を発表していない。アレックス・キップマン氏は、筆者に「角解像度」の形で情報を開示している。その値は「1度に47ドット」だった。キップマン氏は「この角解像度は、8ポイントの文字で書かれた文書も読めるようにという狙いで定められたもの」とも話している。要は、視野角を広げない代わりに光の密度を上げ、見かけの解像度を維持した……ということだ。これは、HoloLensのような用途には適切だ、と感じる。
とはいえ、「作業中に首を上下に動かすことが意外と多い」という人間の生理を考えると、表示エリアは横長の16:9ではなく、縦にもう少し広い方がいいのでは……と思った。そういう部分も含め、必要とされる要件を洗い出してコンシューマ版を作ろう、とマイクロソフトは考えているのではないだろうか。
また、現在使っているディスプレイデバイスの制約だろうが、すばやく首を動かすと、映像に「色割れ」を感じることもある。同様に、瞳孔間距離(IPD)の設定がずれていたり、きちんとかぶれてなかったり、といったことが原因で目のスイートスポットから若干表示がずれると、それが映像周囲に「色のフリンジ」として感じられることもある。実景と重ねる関係から、「完全な黒」はどうしても出しにくい。そこもディスプレイとしてみれば制約になる。
視野角も含めた問題は、開発キットゆえの制約であり、今のデバイスで「ここがダメだ」という風に評価すべきではあるまい。逆に言えば、そこでより高い完成度を求めるコンシューマは、やはり買うべきものではない。
とはいえ、マイクロソフトは、近日中に公開が予定されているWindows 10の大型アップデート「Creators Update」に「Windows Holographic」という機能を入れる。コントロールパネルにも「ホログラム」という項目が現れる。これは、マイクロソフトが認定し、共同開発したVR用ヘッドセットで、HoloLensのもつ一部の機能を実現するための仕組みであり、その準備だ。実景との重ね合わせや解像度など、まったく同じように使えるわけではないだろうが、HoloLens向けに作ったアプリや、3Dオブジェクトは多くが使える。ゲーム的なVRとは異なる意味合いのものだが、「空間を生かすUIでありOS」の初期段階として、マイクロソフトは着実に準備を進めており、他社の先を走っている。そのことが、HoloLensという製品からは非常に強く伝わってくる。逆にいえば、ディスプレイの面で完成度に若干の問題があっても、マイクロソフトは先に走ることを選んでいたのである。