映像世界に迷い込む、ソニー「PROTOTYPE-SR」を体験

ゲームショウ内に出現した「HMZ没入快感研究所」

　20日から開幕した「東京ゲームショウ 2012」(一般公開日は9月22日と23日)。新作ゲームが多数紹介されているゲームイベントだが、AV的に注目度の高い展示も用意されている。「人はどこまで没入できるか? 」をテーマとした、ソニーの特別企画ブース「HMZ没入快感研究所」だ。

　ブースに用意されているのはヘッドマウントディスプレイ。有機EL採用の新モデル「HMZ-T2」(10月13日発売/7万円前後)をベースにしたものだが、前面にカメラを搭載。さらに、ヘッドトラッキングシステムも内蔵した、ゲームショウのために作られた特別なプロトタイプで、「PROTOTYPE-SR」と名付けられている。

PROTOTYPE-SR

　この「PROTOTYPE-SR」を装着する事で、「現実と映像の世界の区別がつかなくなり、映画や音楽の世界に迷い込んだような体験ができる……」というのが「HMZ没入快感研究所」の趣旨だ。実際にそれを体験してみたので、レポートする。

　なお、一般来場者の体験も可能だが、事前申込みの抽選制となっており、申し込みは9月13日で終了している。また、以下のレポートはデモのネタバレを含んでいるので、ゲームショウでの体験を予定している人は注意して欲しい。

■ライブと過去映像の区別がつかない

　研究所に足を踏み入れると、そこは壁も天井も床も真っ白塗られた部屋。置いてあるのは椅子と「PROTOTYPE-SR」、ヘッドフォンの「MDR-1R」だけだ。

通されたのは真っ白な部屋		椅子とPROTOTYPE-SRと、ヘッドフォンのMDR-1R

体験中のイメージ

　椅子に座っていると、研究員の女性が登場。PROTOTYPE-SRとMDR-1Rを装着してくれる。装着方法や視界は「HMZ-T2」とほぼ同じ。違うのは、PROTOTYPE-SRの前面についているカメラが、前方の映像を撮影し、それをリアルタイムに有機ELパネルに表示してくれるので、映像ではあるが、“前が見える”。

　「HMZ-T2」の場合、首をひねろうが、寝転がろうが、目の前に表示される映画に変化は無いが、PROTOTYPE-SRは当然、右を向けば右の壁が、上を向けば天井が見える。耳もヘッドフォンで覆われているが、外の音がそのままスルーで出力されている。

　次に、映画「バイオハザードV リトリビューション 3D」のトレーラーが流れる。ゾンビがわんさか登場する迫力の映像が終わると、再び研究員が登場。しかし、彼女が急に苦しみだし、床に倒れてしまう。「どうしたのかな」と視線を下に向けていると、なんと起き上がった彼女がゾンビになり、襲いかかって来る。驚いたところで視界は暗転(気絶したわけではなく、有機EL表示が暗くなるという意味)。

研究員の女性がナビゲートしてくれる	女性がゾンビになってしまった!

　明るくなると、研究員が2人に分裂している。彼女の説明によれば、片方が過去に撮影した映像の女性、もう片方がライブで現実にそこにいる女性だという。だが、両方有機ELに表示された“映像”には違いなく、彼女の言葉を疑うわけではないが、自分の目では見分けがつかない。

　すると、過去映像の女性がフェードアウト、残った女性がライブそこにいる証明として、私が挙げた右手にタッチをしてくれる。実際に指が触れた事で、「ああ、本当に今、この部屋にいるんだな」と初めて実感できる。

そこにいないはずの宮本笑里さんが、目の前で演奏してくれる

　次に、研究員と入れ違いで、バイオリニストの宮本笑里さんが登場。映像なのかライブでそこにいるのか区別がつかないので、思わず会釈をしてしまう。見事な演奏を披露してくれるのだが、フェードイン・アウトして瞬間移動したりするので、「ああ、これは映像か」と判断できる。ちなみに、動く彼女に合わせてヘッドフォンから聴こえる音像の位置も移動する。

　最後には、天井から沢山の風船が落ちてくる。「おおっ」と、天井から床に視線を移動させ、ボヨンボヨンとはずむ風船に視線を向けるが、これも映像である。

■仕組み

　この不思議な世界の仕組みはこうだ。まず、事前に同じ部屋の中に、Point Greyの「Ladybug」という360度カメラを設置。全周360度と天井の映像を5,400×2,700ドット/15fpsの映像として記録する。ゾンビになった研究員や、演奏する宮本さんも、このカメラで撮影する。

　その映像を、PROTOTYPE-SRを装着した際の視界に合うように、有機ELパネルに表示する。PROTOTYPE-SRには、頭部の向きなどを検出するヘッドトラッキングシステムが内蔵されているため、例えば首を右に向けた場合、それに合わせて右方向の映像を表示。自分の頭の動きと連動して、視界の映像も動くため、過去の映像であっても、ライブの光景のように錯覚してしまう……というのが基本的な仕組みだ。

PROTOTYPE-SRとヘッドフォンで視界と聴覚が埋められる	前方にカメラを搭載	ヘッドトラッキングシステムも内蔵している

　興味深いのは、視界全部を過去の映像で埋め尽くすだけでなく、一部を切り出して表示できる事。先ほどの体験デモで、ライブの女性と、過去の女性が“分身の術”のように2人同時に表示されたように、ライブと過去映像をミックスして表示する事もできる。

　例えば、宮本さんが演奏している時、自分の顔の前に手を持ち上げてみたのだが、当然ながら宮本さんの映像がライブ映像に上書きされているため、自分の手が見えない。しかし、手を横にズラしていくと、上書き映像の切れ目があり、自分の手が見える場所がある。凄まじく上下に長い短冊状の映像が、視界の一部に張り付いているような感覚だ。

■可能性を感じさせる体験

　ヘッドマウントディスプレイの「HMZ-T2」は、映像を目の前に表示させる、擬似プロジェクタのような製品だ。しかし、それにカメラやヘッドトラッキングシステムを加える事で、現実世界と仮想世界、映像世界をミックスできる、新しい感覚のデバイスに変化する事が実感できた。肉眼の視界と比べると、解像度の不足や、15fpsで収録された映像が若干カクつくなど、アラもあるが、体験の新鮮さ&面白さを損なうものではない。

　これをAV的に活用すると、自分の部屋に、存在しない大型テレビを配置し、それを見る事も、視線を外して“見ない”事もできる装置が作れるだろう。もっと踏み込んで、映画やゲームなどの場合は、3Dの立体視を超え、映像の世界を自分の意思で見回したり、散策できる作品や、自分の部屋にゲームのキャラクターが現れるような作品も可能になるかもしれない。

　今回のPROTOTYPE-SRは参考出品で、残念ながら今後の発売予定は無いそうだが、映像やゲームの新しい可能性の一端を感じさせるデモとなっていた。