ニュース
ドーム型高精細VR、チコちゃんARなど未来の映像体験。「NHK技研公開」
2019年5月28日 14:45
NHK放送技術研究所において、「技研公開2019」が5月30日～6月2日に開催。一般公開に先駆けてマスコミ向けプレビューが行なわれ、高い没入感の「高精細VR」や「ARテレビ視聴」などの技術を紹介。AIを用いた映像制作などの最新技術も展示されている。
2019年のテーマは「ワクからはみ出せ、未来のメディア」。映像が画面から飛び出したり、画面の枠を取り払った3DテレビやAR/VR活用の研究開発にフォーカスしたという。2030年～40年ごろのメディア体験として、3DやAR/VRなどの映像を様々なデバイスで楽しめる将来を想定。これまで推進してきた4K8Kなどの2次元の映像をベースに、新しい軸としてVRなどの「表現空間の拡張」で、情報を伝えるだけではなく共有できるようなメディアの実現を目指すという。
未来のメディア技術「ダイバースビジョン」をキーワードに、高精細なVR映像や、ARや3Dテレビを使って離れた場所の人と一緒にテレビを見るような体験、ウェアラブル端末から情報を取得するといった様々なメディア体験を紹介している。
高精細VRで「従来のテレビでは体験できない」没入感。ドームやHMDで
将来の多様な視聴形態の一つとして、高精細なVR(バーチャルリアリティー)映像の放送応用の研究を紹介。高い没入感と臨場感を兼ね備えた高精細なVR映像を、ヘッドマウントディスプレイ(HMD)や、個人視聴用のドーム型ディスプレイなどで楽しめる将来を想定。これらのディスプレイで映像はまだ観られないが、視聴イメージとして、大型の円筒スクリーンに映像を投写することで、複数の人で同時に鑑賞できるVRを紹介している。
高精細VR映像コンテンツの制作は、3台の8Kカメラを放射状に並べて撮影して利用。撮影方向の異なる映像を統合(スティッチング)することで、8Kを超える高解像度の180度映像を取得。没入感と臨場感を感じる広視野で高精細な映像を実現するという。
180度の円筒型スクリーンを用意し、このコンテンツを8台の4Kプロジェクターを使って投写。テレビの枠にとらわれず、視聴者が見たい方向の映像を視聴できるという。「従来のテレビでは体験できない高い没入感と臨場感でコンテンツを楽しめる」としている。
HMDやドーム型ディスプレイを活用することで、個人視聴を想定した視聴イメージを紹介。ドーム型ディスプレイは、柔軟に曲げられるフレキシブルディスプレイなどを使って映像を表示することも想定している。
さらに、音響も没入感を高める仕組みを開発。円筒スクリーンの上下に設置した複数台のスピーカーから音を再生することで、180度映像に合った音を再現できるという。
チコちゃんが間近に。離れた家族とも観られる「ARテレビ視聴」
AR(拡張現実)技術を活用した将来の新しいテレビ視聴サービスを開発中。ARグラス(AR技術を搭載したメガネ)などを通してテレビを見ると、まるでテレビ画面から出てきたかのような出演者を身近に感じながら、離れた場所にいる家族や友人と一緒にテレビを視聴するスタイルを紹介している。
ARグラスやタブレット/スマートフォンを使って視聴すると、出演者や別の場所にいる家族や友人の3次元映像が等身大で合成表示。出演者や家族、友人と空間を共有しながらテレビを視聴できるという体験ができる。
デモのコーナーでは、人気番組「チコちゃんに叱られる!」を使った視聴体験を紹介。ARグラスを掛けて番組を観ていると、チコちゃんが画面から出てきて自分のすぐそばにいるような体験ができる。
また、「みんなで筋肉体操」では、出演する武田真治をCGで目の前に再現。一緒に体操ができるほか、単身赴任中の父親もAR空間で参加して一緒に体操を楽しむといった使い方を紹介している。
出演者の3次元映像は、インターネットなどの通信回線を用いてリアルタイム伝送する際に、放送に用いられているMMT(Mpeg Media Transport)と共通のタイムスタンプを付与。受信側ではこれらの映像を同期してAR合成表示できる仕組みになっている。
「AIアナウンサー」が自然な読み上げ
ラジオで気象情報を伝えるNHKアナウンサーのノウハウを活かし、気象情報番組を自然で滑らかな合成音声で読み上げるAIアナウンサーの開発も進めている。3月に甲府放送局のラジオ第1放送で、AIアナウンサーによるトライアル放送を実施したことなどを紹介している。
人間のアナウンサーは、気象に関するさまざまなデータから、伝える内容の優先順位や、番組の長さを考慮して、番組の時間内に情報が収まるように話す内容を考えているという。この作業をルール化してコンピューターによって自動化。時間にちょうど収まるような適切な内容の原稿を生成する。
AIアナウンサーは、気象情報の原稿に対して、NHKのアナウンサーの“読みの技術”を音声合成で再現。文脈に合わせた自然なイントネーションや間の取り方など、NHKのアナウンサーが情報を分かりやすく伝える読みの技術を、DNN(ディープニューラルネットワーク)音声合成技術を用いてコンピューターに学習させている。
スポーツ映像制作の進化
効率的なスポーツ番組制作を目指し、AIを搭載したロボットカメラを開発中。サッカーにおける選手やボールの位置などの状況を理解する技術と、状況に応じたカメラワークの自動生成技術を開発した。
選手やボールの位置/速度だけでなく、選手の顔向きなどの状況に関連する情報(メタデータ)もまとめて抽出可能。情報抽出の一部にはAIを用いている。
また、競技の状況に応じて適切なカメラの構図を自動決定。選手やボールの全体配置、選手の移動速度から推定した攻撃チームや、積極的に関与している選手に基づき、試合状況を判断する。また、撮影した映像から視差映像をCGで作ることにより、3D映像として合成することも可能になっている。
今回の展示は、スーパーハイビジョン映像からの切り出しによりロボットカメラを模擬したもので、今後は実際にロボットカメラで撮影することを予定しているという。
今後の応用として、実際にカメラのない場所から見た映像を仮想的に生成する視点変換などの新しい映像表現も想定しているという。