ニュース
8K/HEVC/ホログラフィックでスタジアムまるごと配信。NTTが2020年に向けて研究
（2015/2/18 14:25）
NTTは18日、スポーツの競技空間をまるごとリアルタイムに配信し、超高画質/高音質を超える“超高臨場感”を創出するという伝送技術「イマーシブテレプレゼンス技術Kirari!」を、2020年に向けて研究開発していくと発表した。2015年度中に、国内のスポーツ大会で遠隔ライブ観戦トライアルの実施を目指す。
この技術は、映像圧縮規格のHEVCや、新たに開発に着手した高臨場感メディア同期技術「Advanced MMT」を組み合わせ、選手の映像・音声だけでなく、選手の置かれた空間や環境の情報も伝送。伝送先で、プロジェクションマッピング技術を用いて、音とともに3D再現するというもの。
これにより、遠隔地でも、目の前で競技が繰り広げられているように観戦できるほか、地方の祭りなどの無形文化財も、遠隔地で鑑賞できるとしている。
具体的な伝送・再現のイメージ
例えば、サッカースタジアムで行なわれている競技の模様を、別の場所の体育館に転送する場合、スタジアムを撮影するだけでなく、選手などの被写体の座標や形状をリアルタイムに計測、映し出すべき被写体を実物大で切り出して伝送する。
スタジアムと体育館ではサイズや照明、音響の設置などが異なる。そこで、被写体以外の映像・音響空間・照明情報などは、Advanced MMTを用いて、伝送先の環境、再現空間の情報(例えば横幅10m、奥行き5m、高さ5m、スピーカーは5.1ch、プロジェクタは4Kが4台、照明機器は5つなど)に基づき、自動的に再構成するための情報を算出。被写体をどの座標に表示させるか、被写体以外はどの領域を切り出すか、音響空間はどれを使うかが決定する。
伝送先では、伝送先のサイズにフィットした被写体以外がプロジェクションマッピングで投影される。次に、被写体を別のプロジェクタを使い、三次元的に浮かび上がっているように投写。そこにスピーカーで音響空間を表現する。映像圧縮技術には、従来のMPEG-4 AVC/H.264と比べ、NTT独自技術を用いて最大で約2.5倍の圧縮性能を持つHEVCを採用。4K/8Kなどの高解像度で行なう。高速なエンコードが可能というMPEG-4 ALSも使用する。
なお、被写体を三次元的に投写する技術としては、初音ミクのライブなどでも活用されているstudioTEDのホログラフィック技術「Eyeliner」を採用。これに、大量のマイクアレーで音を録音し、同じく大量のスピーカーで再生する事で音空間の再現ができる、NTTのリアルタイム波面合成技術を組み合わせるという。
こうして再現されたスタジアムの様子は、「平面映像の臨場感を遥かに超える形で、あたかも目の前で競技が行なわれているように見える」という。実現を目指し、今後はリアルタイムに被写体を切り出すことや、照明の効果的な自動演出などの技術課題の解決に取り組んでいくとする。
NTTの研究所はこれ以外にも、2020年に向けて、外国人観光客などの「おもてなし」や、「スポーツ観戦」、「スポーツ上達支援」などのサービスコンセプト・技術の研究開発を推進。
スマートフォンやグラス型デバイスを通じて、利用者が見ている風景映像から、高精度に複数の物体を認識し、その中から利用者の属性(国籍、言語、性別等)や状況(位置、行動の履歴等)に応じた情報を抽出し、利用者の状況に応じた「観光ナビゲーションサービス」。
訪日外国人が、安心・快適な移動ができるように、ユーザーそれぞれの状況に応じて、目的地へ行くために必要な情報を、画像認識や位置推定の技術を駆使して選別し、日本語の情報をリアルタイムに翻訳して英中韓の3言語でユーザの端末に提示する技術。
全方位カメラとマイクで撮影した360度の映像・音響を、ヘッドマウントディスプレイとヘッドホンを使って再生し、まるでスポーツ選手のいるフィールドに降り立ったような臨場感で、スリリングな視聴体験ができるという「全天球映像音響インタラクティブ視聴技術」なども紹介している。