西田宗千佳のRandomTracking

HoloLensの産みの親 アレックス・キップマンが語る「複合現実」の世界

 日本マイクロソフトが5月23日に開催した開発者会議「de:code 2017」に合わせて、HoloLensおよびWindows Mixed Realityの計画を先導する、米Microsoft Windows and Devices Group Technical Fellowのアレックス・キップマンにインタビューした。

米Microsoft Windows and Devices Group Technical Fellowのアレックス・キップマン氏

 本連載でも何度も取り上げてきたように、マイクロソフトは、これからのコンピューティングの姿として「Mixed Reality(MR、複合現実)」に注力する。VRなのかMRなのか、言葉の使い方はともかくとして、マイクロソフトの計画は、こうした技術の普及に大きな影響を及ぼす。「コマンドライン」「GUI」の先の形をマイクロソフトは常に考えており、そのひとつがMRであるのだ。

 今回de:code 2017の基調講演では、アレックス・キップマンはまた新しい概念を提唱した。それが「コラボラティブ(協調的)コンピューティング」である。その本質はなにか、そしてそこから我々の生活がどう変わるのかを聞いた。

日本はMRの未来を知っている! 次の方向性は「コラボラティブ・コンピューティング」

 アレックス・キップマンは、Windows MRのビジョナリーとして積極的に活動している。しかし、アメリカ国外で講演の壇上に立つ機会はあまりない。昨年、シンセンで行なわれたマイクロソフトのハードウェア開発者向け会議「WinHEC 2016 Shenzhen」に登壇したが、それを除くと、今回のde:code 2017での登壇くらいである。キップマンは何度も日本には来ている、とのことだが、MRについて公の場で講演するのは、日本においてはこれが最初のことである。しかも今回は、新しい概念である「コラボラティブ・コンピューティング」を解説した。

キップマン氏(以下敬称略):今回日本に来たのは、HoloLensを含め、多くのデベロッパーが本当に積極的にMRに取り組んでいるからです。

 日本は、HoloLensの販売が開始された国としては最後の場所です。しかし、世界中でもっとも素早く市場が成長している場所です。みなさんがそれだけ待っていた、ということなのでしょう。日本の文化が、VRやMRを許容する要素を持っているからです。

 今回は新しい概念(コラボラティブ・コンピューティング)を語りましたが、これは、世界で初めて、ここで語ったものです。

 なぜなら、この国は他の国よりも「未来を理解する準備が進んでいる場所」だ、と信じているからです。アニメやゲームなど、様々なエンターテインメントの中で、MRのような概念がたくさん出て来ます。日本はそうしたものを産んだ国ですし、私たちがなにをしようとしているのか、パーソナル・コンピューティングからコラボラティブ・コンピューティングへシフトする時になにが起きるのか、より理解してくれると思うのです。

 キップマン氏は本当に日本が好きらしい。日本のデベロッパーやアプリの話を熱心に続ける。「日本がMRを他国より先に理解してくれる」という意見には、彼の個人的な体験に基づく部分もあるのだが、その辺はのちほど語るとしよう。

 さて、本題だ。

 彼の考える「コラボラティブ・コンピューティング」とはどういうものなのだろう? de:code 2017の基調講演では、同じものを複数の人が見ながら作業する様が描かれた。そこには、HoloLensを使っている人もいれば、Windows MRのHMDを使い、遠隔地から参加している人もいる。実空間をコラボレーション・スペースとして使うのが「コラボラティブ・コンピューティング」である。

de:codeで語られた「コラボラティブ・コンピューティング」。MRによって人が空間を共有して作業する様が示された

 とはいえ正直、ほとんどの人にはまだピンと来ないはずだ。そこで、彼に解説してもらうことにした。

キップマン:実際になにをやろうとしているのか、というと………(机の上にあった筆者の取材用カメラをもって)ここにはカメラがありますね。これを置いていったら誰かに盗まれてしまう。他人に使えないようにしたり、逆に体験をシェアできるようにするのは、ソフトウェアの力が必要です。しかし、今のソフトウェアでは、そうした設定をするために、ウインドウを多数開いてチェックボックスにチェックをたくさん入れて……という感じになってしまう。非常に複雑で困難なことです。

 私とあなたが話すのは簡単なことです。部屋に招き入れて、お互いにコミュニケーションをとればいい。それが自然なことです。現実世界にデジタルのアセットを持ち込むことができれば、そうした「自然なあり方」を持ち込むことができるはずです。

 ちょっと考えてみましょうか。

 ここにチェス盤があるとします。私と一緒にチェスをしましょう。実際の物体によるチェス盤で遊びます。私が途中で酒でも飲みにどこかへいってしまったとしても、誰かがここに入ってくればチェスができます。というか、勝手に「動かせてしまう」わけですよね。

 じゃあ、これがサービスだったらどうでしょう?

 チェス盤はホログラムであり、実際にはありません。でも同じようにチェスで楽しむことはできる。アプリストアでチェスを買うとここにチェス盤が現れ、プレイできる。あなたを招待すれば、ここでチェスができるわけですよね。

 では、先ほどと同じように酒でも飲みにいってしまいましょう。でもここにはチェス盤はまだあるんです。誰かが来ても見えます。

 ではこれをどうやってマネタイズするか?

 いままでは、遊びたいと思ったら、その人はまた別にアプリストアに行ってダウンロードしていたわけですよね? SNSでクールなアプリを見つけても、ストアを見て、検索して、決済して……けっこう複雑です。

 でもMRならどうなるかというと……。

 友達が部屋に入ってきて、チェス盤を見つけたとします。興味を惹かれてプレイしようと思ったら、単にチェス盤に触れればいいのです。そこでアプリの権利を買って、アンロックして、そのまま遊べます。本当に好きなら、もちろん家に持って帰れます。HoloLensを持ち歩いているのなら、バーの中でだってできます。だって、デジタルコピーなんですから!「チェス盤をみかけてプレイしたいと思う」という体験としては、現実にチェス盤を見かけた時とかなり近い。いままでのアプリの形とはぜんぜん違います。

 こういうやり方は、デベロッパーにとって、アプリを発見してもらう新しい機会になりますし、ビジネスモデルを大きく変えてしまうことでもあります。実際に空間を共有して同じものを見ながら作業をしたり、楽しんだりするという形が出来上がれば、それはすべてを変えてしまうのです。現在のパーソナル・コンピューティングからコラボラティブ・コンピューティングへの変化は、OSからデベロッパーからアプリストア、我々の体験まで、すべてを変えてしまう力を持っています。

 そこでなにが起きるかを想像するのはなかなか難しいことです。しかし、1970年に、現在を予測することは難しかった。それと同じですよ。

 ここでキップマン氏は、自身がHoloLensを使っている時の体験について語り始めた。話題の中心は、HoloLens用にマイクロソフトが開発した推理ゲーム「Fragments」だ。このゲームは、CGで現れる登場人物と対話し、ヒントを見つけて事件を解決する……という、文字で書けばシンプルなものなのだが、その演出には度肝を抜かれる。登場人物が、実際の部屋に合わせて動くのだ。部屋の間取りにあわせて動き回り、実際にある椅子に腰掛ける。さきほどチェス盤の例が出たが、それをより大規模にしたようなものである。

HoloLens用にマイクロソフトが開発したゲーム「Fragments」。実際の風景に合わせてCGキャラクターが歩き回り、椅子に腰掛けるインタラクションがすごい。詳しくは動画参照
Microsoft HoloLens: Case Study - Fragments

キップマン:Fragmentsをプレイしている時、私の隣には妻が座っていました。彼女からは私がCGキャラクターとともにやっていることは見えませんから、「なにしてるの?」と不思議そうに話しかけてきます。

 これまで私は大量にビデオゲームを遊んできましたが、そのほとんどはテレビに向かって遊ぶものでした。でも、これは違うんです。私はこのゲームを作り、自分でも、もう11回以上プレイしています。そのくらいすごいものだと思います。

 妻はその様子を見れません。だから私がプレイする様を奇妙な目で見ていた。でも、HoloLensをかければわかるんです。なぜ私がそこでそう動いたのか、そして、リビングルームの中を、知らない人がうろうろしていた、ということを(笑)

 HoloLensのようにパーソナルなものであっても、これだけの「変わった体験」ができるんです。これがコラボラティブ・スペースに変われば、どうなるんでしょう?

各社がコラボレーションへ進む中、MSの強みは「OSへの統合」

 一方で、そうした世界を作るには、まだまだ多くの技術開発と発想のジャンプが必要になる。

キップマン:これから24週間から36週間の間にたくさんのことが起きます。マイクロソフトはそのために、あらゆるコンポーネントを新しいものにしようとしています。すべてが新しいものです。

 私は「反復」が好きです。顧客から学びたいと思っています。ゆっくりとでも、正しい方向へ向かい続けることを選びます。まず開発者向けのバージョンを出したのもそのためです。すでにビジョンはクリアーなのです。

 夢見るのは簡単ですし、ビジョンを出すのは簡単なことですが、それを実行するのは大変なことです。実現するにはとにかく繰り返すしかありません。

 第一歩となるのは「人々をつなぐこと」です。人々は現在、それぞれ別々に作業をしています。HoloLensやWindows MRデバイスを使うことで、体験をシェアすることが可能になります。ボタンもパーミッション設定もチェックボックスもありません。ホログラムは単に「そこにある」のです。「実際にそこにある」ものにインタラクションすることが重要なのです。

 VR空間で他人とコミュニケーションする、という要素は、多くのVR関連企業が追求しているもので、マイクロソフトだけのものではない。エンターテインメント以外の要素という意味では、もっとも可能性を期待されている分野と言える。それらとWindows MRは、どこで差別化しようとしているのだろうか?

キップマン:コミュニケーション方向へ拡張されていくことは、正しいあり方です。どの企業もこの方向を狙っているのは間違いなく、皆が同じ方向に向かい始めています。

 他社に比べ我々が有利だと思う点は、「OSでサポートする」ことです。OSのレベルからMRを実現しようとしているのは我々だけです。他社はアプリケーションレベルで実現しようとしていますが、長期的に見ると、それでは成功は難しいでしょう。

 短期的な成功を目指すなら簡単です。コミュニケーションのためのシンプルなシングルアプリケーションを作ればいいのです。今出始めているのはそういうものです。

 さきほどのチェス盤の例は「アプリケーション」です。しかし、そこから離れてしまうとプレゼンスはなくなる。アプリケーションの間をつなぐ体験が必要になります。それこそがOSです。

 まだ公になっていませんが、それをやっている企業もあります。アップルです。Googleもおいかけています。そのくらいでしょうか。他は、シングルアプリケーションで実現しています。

 それに対して、Windows 10は唯一の、本当に唯一の、MRに特化した機能を備えたOSです。もちろん、まだまだ変えていかなければいけないことはあります。もっと多くの人々の協力が必要です。私は、OSの基本的な部分にMRに対応する機能が必要だと考えています。

 とはいえ、現在、今あるWindows 10でMRにおいてどのようなことができるのか、多くの人には理解できない状態だろう。HMDもなく、「複合現実」の機能をオンにする方法すら知れ渡っていない。当然、アプリもない。では、いつ「OSにMRが入っている」ことを体感し、価値を理解できるようになるのだろうか? その見通しがまだ多くのユーザーには伝わっておらず、そこが、一般の利用者とのイメージの乖離につながっている、と筆者は考えている。それらの価値が見えてくるのはいつのことなのだろうか?

キップマン:ある人物の言葉を引用しておきます。

「未来は見えないが、常にそこにある」

 これは、ウィリアム・ギブスンの言葉です。

 私たちは数週間前、シアトルで開催された「Microsoft Build 2017」でその一端をお見せしました。シルク・ド・ソレイユと共同で、壇上で彼らが作るステージを実際にコラボレートしながら作り上げてみました。

 あのプレゼンテーションの中では、カナダにいる人物が、Windows MR用のImmersive Deviceをつけ、モーションコントローラをもって、アバターの姿で現れて、壇上でHoloLensを使っている人々とともに作業を行ないました。

Build2017で行われたWindows MRのプレゼンテーション。シルク・ド・ソレイユと共同で、舞台上に彼らが講演で使うセットを制作。MR空間で、HoloLensを着けた人とPC用のHMDを着けた人が共同作業をする

--はい、そのデモは私もその現場で見ていましたよ。

キップマン:あれは「デモ」ではないです。今実際にできることを、そのまま再現したに過ぎないんです。そこが重要なんですよ!

 すなわち、未来はすでにある。プラットフォームとしてはサポートされていて、パートナーと共に作れば、実際に体験できる状態にあります。これを「誰もができる」ことが重要なんです。まだサービスやアプリケーションの開発は進んでいませんが、それはもう可能な状態にあります。

 これは「旅」です。プラットフォームがサポートした上で、多くの人々が開発をできるように招待している最中です。これから独立系ソフトウェアデベロッパーが、多くのものを開発していくことになるでしょう。そして我々マイクロソフトには、Microsoft Officeがあり、Skypeがあり、Haloがあります。それらのトランザクションをMRの中に採り入れていくことになります。例えば、Skypeはもはやコミュニケーションのためだけのものではなくなっていますし、Haloもただのゲームではなくなります。Microsoft Officeも単なるプロダクティビティ・ツールではない。そこからさらにエコシステムができてきます。

 それは「数カ月」も先のことではないですよ。ほんとうにすぐに目の前に現れます。

HMDは「ベース環境」。HoloLensとWindows MR用のHMDの違いとは?

 ハードウェア的に気がかりなところもある。OSの要素として規定するなら、すでにある他のVR用HMDも、Windows MRに転用できても良さそうなものだ。実際、すでにHMDを持っている人から見れば、同じようなHMDがいくつも増えていくのは厳しいところがある。その可能性はないのだろうか?

キップマン:確かに、その可能性はあります。

 しかし、現時点で言うならば、他のHMDをWindows MR用に転用することはできません。各パートナーにそうした話はしていますが、技術的な理由からそうなっていません。

 私たちは、6軸方向に自由に動けることを必須としており、それをエコシステムの中で重要な点と位置づけています。複雑なセットアップが不要で、持ち運びが簡単で、正確な位置把握ができることが重要なんです。これをベースの体験、基礎的な部分だと位置づけています。

 技術的には色々な可能性があり、今とは別のシステムができることもあるでしょう。しかし、基本的な部分を同じにすることで、同じ体験が担保できるようにしたいのです。

 Windows MR用のHMDでは、HMDにセンサーをつけ、それで外界を把握するInside-Out方式が採用されている。そのため、外部にセンサーを設置する必要がなく、HDMIとUSBケーブルをつなぐだけで使える「簡単さ」が特徴である。HoloLensも同様のセンサーを採用していて、かぶるだけで外界を把握できる。他のHMDが使えないのはこの要素をカバーできていないためだが、基本的な要件が満たされていない……と考えているのだろう。

Windows MR用のHMD。モーションコントローラーとセットで使うが、PCとの接続はシンプルになっている

 一方で、同じプラットフォームといいつつも、HoloLensとWindows MR用のHMDではできることがかなり異なる。シースルー型であるか否か、という点はもっとも大きな違いだが、それ以外にも色々ある。Windows MR用HMDでは外界の映像をHMD内に投影することができない。HoloLensには、周囲の空間にあるものの配置を立体的に把握して記録する「空間マッピング」の機能があるが、Windows MR用のHMDにはない。周囲の障害物を簡易的に把握する機能があるだけだ。HoloLensではハンドジェスチャーを把握できるが、Windows MR用のHMDではモーションコントローラもしくはゲームコントローラーを使う。大きく違う環境の差をどう考えればいいのだろうか?

キップマン:HoloLensは私のプロダクトですから、私の判断で選んでいます。他のプロダクトでは色々な選択肢があります。

 私たちはあくまで「ベースライン」から始めようとしています。HoloLensのように高コストで複雑な製品ならばすべての要素が入れられますが、あれはいわば「スーパーセット」です。(Windows MR用HMDには)すべての要素は入っていません。空間マッピングはありませんし、アイトラッキングもない。今のWindows MR用のHMDはケーブルで接続されています。しかし、時間が経てばもっと色々な要素が入れられるでしょう。699ドルや799ドルのデバイスも出てくるようになれば、色々変化も出てきます。

 いまはベースラインを決めることに注力しています。デベロッパーにとってはそこが重要だと思います。そしてOSの中で、視線コントロールもモーションコントローラも、そして一般的なマウスとキーボードも、ボイスコントロールも、透過的に同じように使える要素として用意されています。PCもコンソール・ゲーム機もHoloLensも同じように扱えるところが重要です。

 同じように、仮にHoloLensの空間マッピング上で位置を指定したアプリは、空間マッピングを持っていないWindows MRでも適切に配置されます。そういう点も、デベロッパーからみれば、シームレスでひとつに統合されたプラットフォーム、ということになります。

 ハンドジェスチャーとモーションコントローラの違いについてですが、これを統合するのは大変なものです。しかし、実際そうなっています。

 例えば、なにかものを「握る」行為についてですが……。HoloLensでは手を認識して「握る」のですが、モーションコントローラーでは「握る」ボタンを使って再現できます。その時には、手に「握った」感触が振動などで再現されます。双方は違うものですが、デベロッパーが知っておくべきは、物理ベースの立方体のオブジェクトに近づいた時に「握る」という行動をする、ということだけです。それがモーションコントローラを使っている時は、適切な要素に置き換えられるのです。

 例えば、iOSではタッチとキーボードがあり、macOSにはキーボードとマウスがあります。それらがバラバラに存在しています。しかしWindowsでは、タッチ・マウス・キーボードにモーションコントローラ、視線にボイスと、すべてが統合されているところがポイントです。我々は何年にもわたってユニバーサルなプラットフォームを作ってきましたが、MRについてもそれが有効に働いています。

Windows MRはなにを目指すのか?

 Windows MRのプラットフォームはこれから世に出ていく。年末になってPCに接続するHMDが出た時には、消費者はなにを魅力として買っていくことになるのだろうか? VRはずっと話題ではあるものの、広く多くの人にアピールするのが難しい部分がある。体験してみなければ分からない部分が多いからだ。

 低価格かつ身近なプラットフォームのひとつとなるWindows MRは、どこをアピールしていくことになるのだろうか?

キップマン:基本的には3つの領域があると考えています。

 まずWindows MR独自の要素です。

 Windows MRでは、すでに存在する1,500以上の、Windows Storeで配布されているアプリがそのまま使えます。

 単にウェブを見るだけでも、VRの中ではよりスマートにできます。メールを見ることも、文書を作ることも、すべてがVR空間の中で実現できます。広大な空間でフォトショップを使うことだってできます。非常に便利ですよ。Universal Windows Platform(UWP)アプリであればすべて使うことができます。それらのUWPアプリは、平らな板のようになって、空間に自由に配置して使うことになります。

 この点は少し補足しておきたい。

 HoloLensとPC用HMDでは、ともにWindows Storeで配布されているUWPアプリがそのまま使える。今のPCではウインドウ同士が重なり合う、いわゆる「マルチウインドウ」環境になるが、Windows MRの環境では、空間のどこにウインドウを置いても良い。基本的には壁や机などのオブジェクトに沿うようになっているが、それに縛れる必然性はない。重力もないので、ウインドウは垂直方向に配置していってもかまわないし、ウインドウサイズも自由になる。ポスターサイズの画面を複数使って仕事する……なんてことは普通のPCでは難しいが、仮想空間であればまったく問題ない。他のVRプラットフォームでも、巨大な画面でホームシアターを作るような要素があるが、同じ事をWindows MRでは、あらゆる一般的なアプリで行える……と考えてもらえばいい。

HoloLensでUWPアプリを多数配置して作ったワークスペース。マルチディスプレイを超える作業環境を簡単に作れる

 HoloLensの場合は現実空間にウインドウを重ねるような使い方ができる一方で、実際に映像が表示できる視野が狭い、という現在のデバイスの制約から、あまり巨大なウインドウを作っても全体を一度に見ることができない。

 それに対し、PC用のHMDは外部の様子を見ることができないので、「Criff's House」と呼ばれる出来合いの空間にウインドウを配置することになる一方で、視野全体が映像になるので、ウインドウのサイズなどに制約はない。巨大な画面を使った映像シアターを仮想的に作ったり、大量のウインドウを配置して集中作業する「仮想ワークスペース」としては、むしろ有望と言えるかも知れない。

現在のWindows 10上の「複合現実ポータル」でシミュレーションした、MR向けの作業環境。壁に貼られているのはUWPの天気アプリ。複数のものを自由に配置できる

キップマン:そしてもちろん、エンターテイメント、すなわちゲームはとても重要なものです。すでにある多くのVR用ゲームをWindows MR向けに作ることもできるでしょうし、我々がファーストパーティーとして作るものもあります。

 360度ビデオもすでにある要素ですが、非常に大切なものです。低価格により高品質な映像を楽しめることは有利な点になるでしょう。

 こうした要素をより身近に楽しむことができるようになるのが、Windows MRの価値です。

ゲームで育ったキップマン氏、日本はMRのビジョンをリードする?!

 冒頭で述べたように、キップマン氏はMRのビジョンを語る場所として、「日本」に特別な思いを抱いている。それは、単に日本という場所でインタビューを受けている、という事に対するリップサービス……というわけではない。MRという発想自体が、日本のエンターテインメントを見て、そこからインスピレーションを受けている部分が少なくないからである。特にキップマン氏はゲームでの可能性について、かなり熱っぽく話す。そこには、彼の出自と思い入れがある。

キップマン:私自身、日本のコンテンツが本当に好きなんです。6歳からプログラミングを始めましたが、理由はゲームをしたかったからなんですよ。もう、ほんとうにあらゆるゲームをしましたし、作りました。

 そこで一番プレイしたのが、日本のゲームです。特に好きだったのは、スクウェア・エニックスのRPGなんです。「ファイナル・ファンタジー」シリーズは全部やっています。日本のRPGから得たものは、私の個人的な財産になっています。

 すべてのVRコンソールをすでに買っていますし、多くのコンテンツも買っていますが、私はどれにも落胆はしていません。特に日本から出てくるコンテンツはすばらしいものです。

 特にAI的な部分については、これから大きな期待を抱いています。MRと組み合わさることで、そしてさらにコミュニケーションと組み合わさることで、新しいものが出てくると信じています。そしてその時、日本からきっと面白いものが出てくると期待しているんです。なぜなら、日本はAIやロボティクスに関するビジョンを作ってきた国ですからね。

 私は、イノベーティブでクリエイティブな文化を強くリスペクトしています。日本ではホログラフィックで作られたロックスター(筆者注:初音ミクのこと)がコンサートをしていますし、AIやロボットに関するビジョンについても、日本のエンターテインメントの中で生まれたものが多数あります。そういったものがMRの中に入ってくることで、大きなイノベーションが生まれると信じているのです。

西田 宗千佳

1971年福井県生まれ。フリージャーナリスト。得意ジャンルは、パソコン・デジタルAV・家電、そしてネットワーク関連など「電気かデータが流れるもの全般」。主に、取材記事と個人向け解説記事を担当。朝日新聞、読売新聞、日本経済新聞、週刊朝日、AERA、週刊東洋経済、GetNavi、デジモノステーションなどに寄稿する他、テレビ番組・雑誌などの監修も手がける。
 近著に、「顧客を売り場へ直送する」「漂流するソニーのDNAプレイステーションで世界と戦った男たち」(講談社)、「電子書籍革命の真実未来の本 本のミライ」(エンターブレイン)、「ソニーとアップル」(朝日新聞出版)、「スマートテレビ」(KADOKAWA)などがある。
 メールマガジン「小寺・西田の『金曜ランチビュッフェ』」を小寺信良氏と共同で配信中。 Twitterは@mnishi41