NTT、ハーフミラー使った擬似3D表示で、奥行きの動きを表現する新手法

NTTは26日、あたかもその場にいるかのような超高臨場な体験をあらゆる場所でリアルタイムに感じられる“超高臨場感通信技術”「Kirari!」を目指した研究開発の一環として、中継先で擬似3D表示により奥行き方向の動きを知覚させる手法を開発した。

Kirari!では、中継元で撮影した映像から選手などの注目する被写体を抽出して伝送、中継先で、斜めに設置したハーフミラーに2次元映像を反射させることで、映像を立体的に浮かび上がらせる「擬似3D表示」を行ない、被写体がそこにいるかのような体験が可能であることをこれまで実証してきた。

ハーフミラーを使った擬似3D表示の概要

しかし、擬似3D表示では被写体の2次元映像を空間に立体的に浮かび上がったように表示できますが、奥行き方向の表示位置は固定で、被写体を奥行き方向に動かして表示はできない。

そこで、絵画の遠近法を参考に、擬似3D表示において、被写体映像の表示位置と大きさを中継元の被写体の3次元位置情報を用いリアルタイムに調整することで、被写体が任意の3次元の位置に定位するように知覚させる手法を開発。

中継元の被写体の3次元位置情報を、レーザー光を用いた奥行センサで取得。さらに被写体を撮影するカメラの位置と、傾きをもとに、3次元位置情報をリアルタイムで補正(キャリブレーション)し、中継先に伝送。複数の視点で被写体が3次元の位置に定位して知覚できるようにした。

また、擬似3D表示により被写体が空間に立体的に浮かび上がって見えるように表示するためには、映像中の被写体を背景と分離して抽出する必要があるが、従来のリアルタイム被写体抽出技術では、背景の一部に被写体と同じ色の部分があった場合に、被写体を背景であると誤認識することがあった。

そこで、機械学習を使い、色とは異なる情報として被写体の形状を学習させることで、背景の一部に被写体と同じ色があっても抽出できるようにした。

NTTでは今後、Kirari!の各要素技術の高度化と経済化を推進。高度化については、時空間をリアルに伝送・再現するだけでなく、リアルを超える感動を演出するICT技術の開発にも取り組む。

経済化については、現場(センシング)、中継(処理・配信)、再現(提示)のすべての処理プロセスでのコストを低減。スポーツ・エンターテイメント分野でのライブビューイング、エンタープライズ分野での遠隔店舗窓口などへの展開を視野に、サービス化に向けた取り組みをより一層加速していくという

成果は11月29日～30日に開催する「NTT R&D フォーラム 2018(秋)」のKirari! for Arenaの展示ブースで紹介。フォーラム内「Kirari!ホール」では、距離と時間を越え、目の前の空間を彩り華やかに創り出す「Kirari!」の世界と、それを支える技術を、演出家とのコラボレーションにより、一期一会な空間として体感できるという。