ニュース
東京五輪で360度映像や合成音声の実況も!? 進化するスポーツ番組制作
2017年5月23日 22:10
NHK放送技術研究所で5月25日～28日に「技研公開2017」が開催。23日にマスコミ向け先行公開が行なわれた。2020年の「東京オリンピック・パラリンピック」も展示のテーマの一つとなっており、スポーツと番組制作に関する様々な取り組みが紹介されている。
ボールの動きをCGで高精度にリアルタイムで合成
「三次元被写体追跡スポーツグラフィックスシステム」は、スポーツ中継での利用を目指した技術で、球技のシーン解析に必要とされるボールの三次元位置を高精度にリアルタイムで算出、バレーボールのスパイクなど、ボールの軌道を正確なCGで再現して実写と合成できる。
機械学習を利用した被写体追跡手法により、様々な状況下でもボールを追跡。また、処理映像のフレームレート向上により、従来よりも速い動きのボールを追跡できるという。複数台の可動カメラのためのカメラ校正技術も開発。カメラや被写体が動いても、精度の高い3次元位置算出やCG合成がリアルタイムで行なえる。
このほか、ゴルフのボールの軌跡を、カメラとレーザーセンサーで検知し、番組の映像に合成する技術も紹介。こちらは、ステレオカメラとセンサーの情報をPCで解析するもので、既存技術に比べて低コストで実現できる点や、高精度かつ低遅延で表示できる点を特徴としている。今後、NHKのゴルフ中継で採用予定となっており、ゴルフ以外にも、野球で投手の変化球の軌跡を表示するといったことにも活用できるという。
複数のカメラでとらえた多視点映像や360度映像など、多彩な表現で制作されたスポーツ番組を、PCやスマホのWebブラウザなどで、インタラクティブに視聴可能なネット配信技術も研究されている。タブレットやスマホなどをタッチして動かすと、見る角度をスムーズに変えられるのが特徴。
これを実現するために、通常の高精細なカメラ映像だけでなく、視点選択用に4分割サイズの映像も用意。視点選択している時(タッチ操作中)は、解像度は落ちるが指の動きにスムーズに連動し、視点を決めた後は高解像度な映像で観られるようにしている。生成/配信には、回線状況に合わせたビットレートの動画を配信可能なMPEG-DASH方式を採用している。
また、テレビの持つCPUやメモリでも360度映像を視聴できるように、映像処理をクラウド上で行なう技術も紹介。ユーザーの操作に応じた映像処理をクラウド上のサーバーで実行し、WebRTC技術によりテレビに伝送。なお、現行のハイブリッドキャスト対応テレビのHTML5ブラウザはWebRTCに対応していないため、テレビ側による対応も必要になるという。
スポーツの音声ガイド付き番組がリアルタイム生成可能に
オリンピックなど大型スポーツイベントでは、競技数が多いため実況や解説などが全ての試合まではカバーできない。このため、新たな解説放送として、公式のデータを元に、合成音声で読み上げる「音声ガイド」の研究を進めている。リオデジャネイロオリンピック・パラリンピックで、NHKは放送されない競技の映像と会場音をインターネットで配信していた。このようなコンテンツに音声ガイドを付加することを想定している。
現状の解説放送はドラマなどの収録番組を対象としており、生放送番組への対応が課題だった。スポーツ中継で公式に提供される競技関連データから、試合の進行を合成音声で自動発話させる技術を開発している。公式データから自動で生成されるため、人手を介することなく効率的な制作が可能。生成された原稿をそのまま字幕として活用することもできる。
競技関連データをどう読み上げるかをあらかじめ決めておくことで、文脈に応じた適切な言い回しを実現。男性・女性の声を選んだり、単語を中心とした簡潔な表現に指定することなどが可能。
平昌オリンピック・パラリンピックでは、複数の競技において音声ガイドを採用予定。さらに、東京オリンピック・パラリンピックでは全ての競技での採用を目指すという。
視覚に障害がある人に向けた音声ガイドも研究。スポーツの各競技に付与される「誰が」、「いつ」、「何をした」などのリアルタイム競技データから、競技の進行を説明する日本語の文章を自動で生成し、合成音声で読み上げる、生放送に対応したサービスを目指す。
また、聴覚に障害のある人向けに、自動で手話CGを生成する技術も紹介している。オリンピック/パラリンピックの競技中に放送局に配信される競技関連データを解析し、試合の状況をリアルタイムに手話CGに変換、試合経過のダイジェストも生成。タブレットやスマホで、これらの手話CGを見られるようにする。
ルール解説などの情報も手話CGで参照可能。競技関連データからルールに関する用語を検出すると、簡単な端末操作でルール解説の手話CGを表示できる。
さらに、競技の進行状況の理解に重要な笛やブザーが鳴ったことを端末の振動機能で通知。スポーツ番組の内容理解を手助けする。今後、オリンピック・パラリンピックなどスポーツ中継番組への応用を目指して研究開発を進める。
