ニュース
フェンシングの剣先やボールの軌跡をリアルタイム合成。スポーツ映像新技術
2018年5月23日 12:57
NHK放送技術研究所が5月24日～27日に開催する「技研公開2018」。ここでは、報道向けに22日先行公開された展示の中から、「ソードトレーサー」や「Sports 4D Motion」といった、スポーツの実況や解説に関わる新技術をレポートする。
高速な剣の軌跡を可視化「ソードトレーサー」
高速で視認が難しいフェンシングの剣先の動きを、リアルタイムCGで軌跡を描いて合成し、可視化する「ソードトレーサー」。映像解析や各種センサを活用した番組制作技術の研究開発の一環として展示している。
放送用のカメラ映像と赤外映像を同じ画角で撮影できるカメラを開発。剣先には特殊な反射テープを巻き、その反射光を赤外映像上で追跡して軌跡CGの位置を計測する。剣先の画像を機械学習することで、赤外画像から剣先の位置を高精度かつリアルタイムで安定的に検出・追跡し、放送用カメラ映像に軌跡CGを合成できる。
バレーボールなどの球技でボールの軌跡をCG合成し、動きを分かりやすくする映像システムも展示。2020年の東京オリンピック・パラリンピックの中継での利用を目指して検証が進み、昨年の技研公開でも公開していたが、今回は新たに4Kカメラを複数台用いた多視点映像に動きの軌跡をCG合成できる「Sports 4D Motion」に進化した。
4K対応の多視点ロボットカメラを計16台、バレーボールのコート横に等間隔配置し、協調制御して撮影。得られた多視点映像からボールの3次元位置を高精度にリアルタイムで算出、バレーボールのスパイクなどの軌道や速度を正確なCGで再現して実写と合成する。被写体追跡では機械学習を活用している。
多視点化したことで、時間を止めて被写体の周囲を視点が回り込むような“ぐるっとビジョン”で、被写体の動きを分かりやすく表現できるという。また、4KのRAW信号から選手やボールが映った箇所を切り出すため、出力映像の画質が従来のシステムよりも向上した。
スポーツ実況音声をリアルタイム生成。手話CGも進化
試合からリアルタイム生成される競技データを用いて、合成音声で読み上げる音声ガイドの研究成果として、「ロボット実況」と「自動解説放送」を展示。
「ロボット実況」は、アナウンサーの実況が無いコンテンツに解説を付与するもの。競技データからテンプレートを用いて実況内容を生成し、「DNN(ディープニューラルネットワーク)音声合成装置」でアナウンサーの声の出し方を学習して音声に変換。会場映像・音声とあわせて提供する。今回は、アイスホッケーやカーリングなどの競技映像にロボット実況をつけ、インターネットとハイブリッドキャストでロボット実況をライブ配信した。
「自動解説放送」はアナウンサーの実況の切れ間を予測し、競技のスコアなど実況では読み上げない情報を、ごく短い音声で補足するための基礎研究。デモではアナウンサーの解説が途切れた箇所に、「ここにはさめます」といしゃべる合成音声が流れる様子が見られる。将来的には、その音声で競技のスコアや経過時間などの情報を読み上げることを目指す。
聴覚に障がいのある人向けに、競技データを手話CGで表現する技術が進化。昨年の技研公開ではスポーツ生放送から手話CGをリアルタイム生成するデモを公開していたが、今回は競技後のスポーツニュースの手話CGを効率的に制作できるシステムも紹介。
競技中に放送局に配信されるデータから試合の状況をリアルタイムに手話CGに変換し、テレビやスマホ/タブレットから見られるようにする。手話文テンプレートを用いた手話CG自動生成実験を行ない、デモではカーリングの競技映像から「リンクの円の中心をめがけて各チーム交互にストーンを滑らせ、最後に中心の一番近くに置いたチームが得点します」という手話CGを自動生成する様子が見られる。同様の技術はNHKがWeb上で提供している「気象情報手話CG」で利用しているが、スポーツへの応用を目指している。
競技中に笛が鳴ったことを画面表示で通知、スマホでは振動による通知も行ない、試合の進行状況を分かりやすくしている。画面には会場の歓声で盛り上がり度を示すインジケータを表示。さらにデータからルールなどの専門用語を検出して手話CGで表現することもできる。
競技後のスポーツニュースの手話CGを効率的に制作できる、手話CG翻訳支援システムを開発。日本語で書かれた記事から機械翻訳で手話CGを生成でき、翻訳結果から手話の表現を手動で修正できるようにしている。
