ニュース

デジタルコンテンツEXPOで、競技を分かりやすく伝えるライブ映像技術やドームVRなど展示

 10月30日までお台場の日本科学未来館で行なわれているイベント「デジタルコンテンツEXPO 2016」において、スポーツイベントでの活用が期待されるコンテンツ技術が数多く出展。バレー競技などでボールの軌跡をリアルタイムで可視化する技術や、プラネタリウムのようなドーム内にスポーツ試合映像を中継・投写するソリューションなどが展示されている。

デジタルコンテンツEXPO 2016の会場の様子

球技中継にボールの軌跡をCG合成。リアルタイムトラッキング技術の展示

 NHKが開発した「3次元リアルタイム物体追跡」は、球技試合をカメラで捉えながら、映像にリアルタイムでボールの軌跡を表すCGを重ねる技術。競技の状況を分かりやすく伝えることを目的としている。

NHKが開発した「3次元リアルタイム物体追跡」技術

 ボールを投げ上げているところを3台のカメラで捉えて多視点映像を生成し、カメラの位置・姿勢とあわせて写っているボールの3次元位置を算出。その結果をカメラの映像上に軌跡CGとしてリアルタイム描画する。ボール位置の抽出は形状や色などの特徴に基づいて自動で行なわれる。

3台のカメラでボールの位置や動きをトラッキング。左奥の黒いものがトラッキング用のカメラ
ボールの軌跡をリアルタイムでカメラ映像に重ねる

 トラッキング精度を向上させる手法として、ある時点のボール位置から次フレームのボール位置を予測し、探索範囲を限定。カメラをパン・チルトさせても設置位置や姿勢を整合させる校正手法も開発した。これらを活用したイメージとして、バレーボールの相手コートへの進入軌跡やボールの速度、打点の高さを表示するデモ動画が展示されていた。

バレーボールの軌跡
ボールの速度や打点の高さを表示

 コンセプトと、データスタジアムの共同ブースでは、画像認識による計測技術「Qoncept 4D Tracker」を使った卓球のデモを実施。ブースの上方から卓球台を見下ろすように設置されたカメラの映像を使い、ボールの軌跡や球速を卓球台の盤面にプロジェクタで投影していた。

画像認識による計測技術「Qoncept 4D Tracker」で卓球の球をトラッキング
ブース上方にカメラとプロジェクタを載せ、そこから計測と表示を行なっている

 システムは標準的な放送用カメラとパソコンで構成でき、選手や用具に測定機器を付けること無く、カメラから取得した画像認識のみで対象物の3次元位置をリアルタイム計測可能。抽出アルゴリズムを工夫し、卓球の玉が小さく写り、映像中で画像領域が15〜20ドット程度でも安定して検出できるという。

デモの様子
計測しているパソコン画面の表示

ライブ映像で自在に視点変更。自走ロボット+360度カメラとドームでVR体験も

 筑波大学 計算科学研究センター 画像情報研究室は、21台のカメラを半円状に並べた「自由視点映像スタジオ」を設営。スタジオ中央で繰り広げられるダンスパフォーマンスの多視点映像をリアルタイム処理で統合し、任意の視点や注目点に切り替えられる自由視点映像をディスプレイに表示するデモを実施している。

筑波大学の「自由視点映像スタジオ」。トラス状の骨組みに21台のカメラを設置
ダンスパフォーマンスの様子。右端のディスプレイで左右に視点移動している映像を表示していた

 生成される映像はVGA解像度。タブレットのマルチタッチ操作で、直感的な視点操作が行なえる。スポーツ中継で「注目の選手だけを追いたい」など、個人の趣向に合わせて自由な視点での観戦が可能になることを目指す。

タブレットで視点変更しているところ
多視点撮影用のカメラ

 凸版印刷は2つのブースを出展。来場者が4人ほど入れる小型ドームスクリーンと、360度カメラを取り付けた自走式の「テレプレゼンス・ロボット」を会場内の離れた場所に置き、ロボットからネットワーク経由で送られるリアルタイム360度映像をドームスクリーンに投影。WebRTC(Web Real-Time Communication)技術を活用し、ロボットがいる場所の人と、ドーム内の人の間で、映像/音声を使った双方向コミュニケーションができる。

360度カメラを取り付けた自走式の「テレプレゼンス・ロボット」
会場内の離れた場所にあるドームスクリーン

 利用者がロボットに搭乗した気分で遠隔地の会場を自由に動き回ったり、スポーツ選手と会話するなどのシチュエーションを想定したもの。ロボット側のブースは、東京大学大学院情報学環 暦本研究室と協力して展示している。

ロボットにはコダックの4K 360度カメラが装着されていた
ロボットの下部には通信処理用にノートパソコンを載せている
360度カメラとドームを使い、映像/音声コミュニケーションによるVR体験を提供

 和歌山大学観光学部 URCF全天周WGは、ドームシアター施設などのシステム構築を手がけるオリハルコンテクノロジーズとキヤノンの協力による「全天周ドームシアター」を展示。大型の仮設ドームシアターに、魚眼レンズを装着した2台のキヤノン製プロジェクタを設置し、バスケットボールの試合や伝統芸能行事の映像を流し、映像の全天周投写による没入感の高さをアピール。

バスケの試合を仮設ドーム内に全天周投写するシアター
日本の伝統行事映像の全天周投写も

 ドーム映像の研究を実施してきた組織や団体の協力を得て、プラネタリウムでバスケ試合など、これまでは見られなかったジャンルのコンテンツ上映を行なうなど、ドーム映像の新しい活用法を提案している。

会場に入ってすぐの場所でひときわ目立つドーム
魚眼レンズを付けたキヤノンのプロジェクタを2台設営。そのほかの機材協力はオリハルコンテクノロジーズによるもの

テーブル型でメガネ不要の3Dディスプレイ、編隊ドローン動画。PS VR試遊台も

テーブル型3Dディスプレイ「fVisiOn」。全周360度からメガネなしで、踊る初音ミクの3D映像などを観察できる。国立研究開発法人情報通信研究機構が開発した
編隊飛行ドローンを使ったインスタレーション風の動画「Sky Magic」。マイクロアドが制作した
編隊飛行に使われたドローン。LED用のカゴとLED用バッテリを搭載。MIDIタイムコードでドローン飛行とLEDの発光タイミングを同期。「三次元の動きをダイナミックに表現するディスプレイ」を実現した
PS VRの試遊台が用意されている。今回のデジタルコンテンツEXPOでは「Innovative Technologies 実用化技術大賞」の金賞を受賞
キッズプレートの360度カメラ用ラジコン車「Dolly 360」。20台限定で販売したところ海外からの引き合いが多く、まもなく完売とのこと
東京大学の廣瀬・谷川・鳴海研究室と、Unity Technologies Japanが開発した、改良版Oculus VRと仮設壁を使った「無限迷路」。体験者はビルの外のような高所の足場を歩いて、子供が飛ばしてしまった「風船」をキャッチすればミッション成功