ニュース
ロボットカメラでリアルな3DCG撮影「メタスタジオ」
2022年5月24日 19:39
NHK放送技術研究所にて、「技研公開2022」が5月26日～29日に開催する。2022年のテーマは「技術が紡ぐ未来のメディア」とし、視覚疲労を抑制したHMD、自由な視点で楽しめるARコンテンツ、撮影後にどこにでもピントを合わせられる3次元撮影技術といった最新技術が展示されている。
今年はホームページ上のオンライン開催に加え、2年ぶりとなるリアル開催も実施。なお、NHK放送技術研究所への入場にはWebサイトからの予約が必要となっている。
ロボットカメラで3DCG素材を撮影するメタスタジオ
新たなスタジオ技術として、被写体の周囲を取り囲むように複数のカメラを配置し、撮影することで、肌のリアルな質感や、髪の毛の反射など実物感のある3DCGを再現したり、照明の当たり方や、CGの質感を変えるといった様々な演出が可能になるNHK独自のボリュメトリックキャプチャー技術を展示。
一般的なボリュメトリックキャプチャー技術は、多くの固定カメラを使用し、被写体の3次元形状や表面模様の情報を取得し、画像処理で3DCGを再現するが、NHKのメタスタジオでは、被写体表面からの光線情報(サーフェスライトフィールド)や、反射率などの質感情報を取得。再現の際に生じた誤差や欠損はAIで補正し、被写体を質感豊かに再現できるとする。
また、被写体に追従するロボットカメラを導入することで、少ないカメラ台数で広範囲をカバーしてキャプチャーできるのも特徴。今回の展示では、実際にロボットカメラなどを使用して撮影している様子と、撮影された3DCGに対し視点変更、照明変更、質感変更を施した映像を公開している。
視覚疲労を軽減するHMD、タブレットから自由視点で楽しめるARコンテンツ
従来のヘッドマウントディスプレイ(HMD)は、左右の目に視差のある映像を映し出すことで、立体感を得られるが、目の焦点位置がディスプレイに合っていることから、不自然な知覚となり、視覚疲労が起こると考えられている。そこでNHKでは、物体からの反射光を実世界と同じように再現するライトフィールド技術を活用したHMDを開発。
小さなレンズを多数並べたレンズアレーをディスプレイ前に配置し、ディスプレイには個々のレンズに対応する小さな被写体映像を表示。この方式にすることで、実世界と同じように被写体の奥行き方向の位置に応じて目の焦点位置が無意識に調整されるため、自然な3次元視聴が可能になり、視覚疲労が軽減されるのだという。
テレビの枠を超えた新しいイマーシブメディアの実現を目指す技術のとして、3Dコンテンツをストリーミングし、視聴端末でリアルタイムレンダリングすることで、自由な視点からARコンテンツが楽しめる展示も行なっている。
展示は、タブレットを動かすことで、360度のコンテンツが楽しめるもの。同じ空間でコンテンツを楽しんでいる人にタブレットを向けると、その人も画面内に表示される演出で、リアルとの連携も目指しているという。
番組音声をカスタマイズ。オブジェクトベース音響システム
オブジェクトベース音響による放送システムの技術も展示。この技術では、番組のメインとなる音声、例えばスポーツの試合の音声と、解説の音声を分けて伝送することで、視聴者側がテレビのリモコンを使って、解説の音声だけを調整/消音するといったことができるようになる。
従来の主音声/副音声の場合は、メインとなる番組の音声とナレーションの音声をミックスされたものが2つ用意され、それを切り替える形で行なっている。例えば、スポーツの試合の番組に、主音声が日本語、副音声が英語で解説の入っている番組の場合、主音声/副音声を切り替えた際に、解説の音だけでなく、試合の音も途切れてしまう。
オブジェクトベース音響システムによる放送になった場合は、試合の音と解説の音を分けて送るため、切り替えの際にも試合の音はそのまま、解説の音声だけが切り替えることができる。
そのほかにも、複数の音声を用意して、視聴者側が好みの音声を選ぶといったこともできる。上記のスポーツの例えでは、解説員の音声、タレントが試合を楽しみながらトークしている音声、外国語の解説音声……といった様々なバリエーションを用意することもできるほか、テレビでは同じ映像を流しながら、ネックスピーカーなどを使って個々が別の音声を聴きながら楽しむといったこともできるという。
展示では、スタジオ側の制作風景と視聴者側として実際に音声だけを切り替えながら映像を楽しめる体験スペースが用意されている。
