バスケ試合を自由視点でライブ視聴。キヤノンの「3Dサテライトビューイング」体験してきた

キヤノンのボリュメトリックビデオ技術とNTTデータの高速通信を活用した「3Dサテライトビューイング」を体験

キヤノンは9月25日、同社の映像技術を活用した「3Dサテライトビューイング」の実証実験を発表。本稿ではメディア向けに開催された体験会の模様をレポートする。

映像をリアルタイムに3Dデータ化するキヤノンのボリュメトリックビデオ技術を、NTTデータの高速通信技術「IOWN」と組み合わせたシステム。バスケットボールの試合を3Dデータとしてライブ配信し、視聴者はコート内の好きな位置からバーチャルで観戦できる。

実証実験に用いた技術
・ボリュメトリックビデオ技術(キヤノン)……時間と空間を即時に3Dデータ化
・IOWN APN(NTTデータ)……高速・低遅延の次世代ネットワーク
・MREAL(キヤノン)……3Dデータを現実空間に重ね合わせるMRビューアー

今回は「第20回アジア競技大会」のバスケットボールが行なわれている愛知国際アリーナ(IGアリーナ)で撮影している映像を、高速ネット回線でキヤノン川崎事業所のサーバーに送って3Dデータ化し、虎ノ門でMRビューアーを使ってライブ観戦した。

キヤノンのMRシステム「MREAL」のビューアー。本来はヘッドマウント型だが、こうしたハンドヘルド型にも切り換えられる

現実空間の映像をカメラで取得し、位置合わせのマーカーを頼りに3Dデータを重ねて表示する。没入感に影響するようなラグは感じなかった

愛知国際アリーナで試合を撮影しているところ(キヤノン提供画像)

虎ノ門の会場で視聴者がビューアーを覗くと、テーブル上に再現されたミニサイズのバスケットコートに3D映像が合成される。ビューアーを手に視聴者が動くと、本来はカメラが存在しない場所からでも、自由な距離やアングルで試合を観戦できた。

立った状態でテーブルを眺めると、コートを見下ろすようなアングルになる(※MREALの接眼部にスマホカメラを近づけて撮影。以下同)

自分がしゃがめば、そのアングルから試合を見られる

体験の様子。コート上にある6つの四角いマーカーを読み取って、3Dデータの合成位置を合わせている

テーブル上に再現される試合は、その視点の自由さが3Dゲームのようでもあり、会場でコートを見下ろしているような感覚もあった。しかしそれらと違うのは、ビューアーを手に自分が移動すれば、映像の視点も連動すること。自分の立ち位置を動かして、それからカメラの向きを動かして……といったデバイス操作が介在しないため、直感的で高い没入感を得られた。

ビューアーに映像を送るPCの画面を撮影。ボールがゴールに入り、ネットを揺らす様子もわかる。放映権の関係から、動画でお見せできないのが惜しまれる

今回の視聴環境では体感できなかったが、音声も視聴者の視点に連動した空間音響が楽しめるという。実証実験を行った愛知国際アリーナでも、ゴール下に立体音響用のマイクを設置していたそうだ。

そもそも、ボリュメトリックビデオとは？

ボリュメトリックビデオ技術とは、複数のカメラで得た映像を使って、時間と空間を3Dデータ化するというもの。映像から被写体以外の部分を削り取った3Dデータを生成する。

3Dデータ化のイメージ。複数視点の映像を使い、被写体以外を削り取るようにして3D化する

今回のようなスポーツの試合では、使用するカメラの台数が100台前後となる。動体を写しても歪まないグローバルシャッター方式のイメージセンサーを搭載するカメラが使われ、各カメラの撮影タイミングも精密に同期している。

愛知国際アリーナには100台以上のカメラを設置した(キヤノン提供写真)

カメラはCINEMA EOSをベースにしたカスタム品。APS-Cサイズ相当のグローバルシャッター方式CMOSセンサーを搭載し、4K/60fpsの映像を出力。リモート操作に対応するCINE-SERVOレンズを組み合わせている(キヤノン提供写真)

アリーナ内でカメラをリモート制御しているところ。映像はリアルタイムでキヤノン川崎事業所に送られて3Dデータとなり、さらに視聴場所に配信される(キヤノン提供写真)

なお、東京ドームには2023年からボリュメトリックビデオシステムが導入されており、キャットウォークにカメラを設置。リプレイやハイライト映像としてテレビ中継などに活用されている。アメリカのNBAでも、選手視点の映像が見られることからコーチングのツールとして使われているそうだ。

また、スポーツだけでなく、MVや朝ドラのオープニング映像の制作でも活用事例がある(キヤノンWebサイトの実績紹介を参照)。キヤノンは川崎事業所と虎ノ門ヒルズ内にボリュメトリックビデオのスタジオを持っており、川崎には8×8×3.5mという大きさの撮影可能エリアを持つスタジオを含むプロダクション設備がある。

3Dライブ視聴のカギは、高速回線「IOWN」

現時点で3Dサテライトビューイングを実施するには、撮影用のカメラを設置する場所があるのはもちろん、IOWNの回線を敷設できることが条件になる。

1試合まるごとで数十TBもの大容量になるという映像データを、リアルタイムで川崎事業所に送って3Dデータ化する必要があるからだ。この高速転送の実現こそが、設置場所の自由度を高める上で最大のステップアップだという。

というのも、これまでは試合会場側にサーバールームやオペレーションルームを設ける必要があり、高いハードルになっていた。例えば東京ドームでは、自由視点映像を配信するごとにトラックで設備を持ち込んでいるという。これに比べれば、IOWNの通信回線を敷設して、川崎事業所で3Dデータ化を行うほうが安上がりとなる。

目指すのは「施設稼働率向上」と「観戦機会の増加」

キヤノン株式会社 常務執行役員 イメージング事業本部 IMG第三事業部長の甲谷英人氏(左)と、同社イメージング事業本部 IMG第三事業部 IMG32事業推進センター所長の藤井賢一氏(右)に話を聞いた

この技術で目指す体験や問題解決は何なのか。ひとつにはアリーナの稼働率を高めることがあるという。ホームゲームの開催以外に、アウェイのゲームも3Dでライブビューイングできれば、施設稼働が単純に2倍となるという考えだ。

また、観戦場所や観戦の機会を増やすことにも貢献する。スポーツ団体の関係者と意見を交換する中では、スポーツバーへの設置もアイデアとして挙がったとのこと。3D映像を合成するマーカーさえ用意できれば、小さなテーブルの上でも本物の大きなコートでも、表示の縮尺は自由自在だ。

これらの根底には「シングルソース、マルチユース」の考えがある。3Dデータ化さえしてしまえば、(現時点では)IOWNの回線さえあればどこにでも配信できる。視聴デバイスも、MREALほど本格的でなくても構わない。自由視点の面白さならスマホでも十分に味わえるだろう。ビジネスのひとつとして、3Dデータをもとにフィギュアを作ることも試しているという。様々なアイデアを得ながら、ビジネス化に向けた課題に向き合っているのが現状だ。

キヤノン株式会社 常務執行役員 イメージング事業本部 IMG第三事業部長の甲谷英人氏は、「遠隔地でもライブで視聴できることを実証できたのは大きい。今回だけで事業化が決められるとは思っていないが、まずは今回をきっかけに知っていただき、これがビジネスになるかを皆さんに見てもらって感想を聞きたい」と話した。