ニュース
キヤノン×アイ・ペアーズ、バーチャルとリアルの共演映像を手軽に撮影するシステム
2026年11月13日 16:58
キヤノンとアイ・ペアーズは、リアル人物とバーチャルキャラクターが共演するライブコンテンツ制作におけるマルチカメラアングルを、手軽に撮影できる制作環境の実証実験を行なった。
今回の実証実験で使用されたのは、アイ・ペアーズのモーションキャプチャー補正ソフト「n-Links Retarget」と、キヤノンのマルチカメラ撮影ソリューション「Multi-Camera Orchestration」(MCO)を組み合わせたもので、リアルの人物と同様にバーチャルキャラクターを自動で追尾しながら撮影できる環境を構築したもの。
近年、バーチャルキャラクターを活用したライブ配信やイベント演出への需要が高まっている。従来、マルチカメラによるバーチャル撮影では、カメラごとのトラッキング機器の設置に加え、現実空間とバーチャル空間を整合させるためのカメラ位置やレンズ情報のキャリブレーションが必要なことに加え、現実空間には存在しないバーチャルキャラクターの動きに合わせて意図した構図で撮影することが難しいなど、導入には高いハードルがあった。
MCOでは、実際に撮影を行なうリモートカメラの他に、俯瞰カメラを設置することで、被写体や各カメラの位置情報などを取得、解析するほか、各カメラのパン、チルト、ズームなどの位置情報を出力するFreeDプロトコルから空間の位置情報を把握できる。
ここにUnreal Engineなどのバーチャル空間の位置情報を合わせることができるため、カメラごとに外付けトラッキング機器を設置して、複雑な位置合わせ作業をすることなく、手軽にマルチカメラによるバーチャル撮影環境を構築できる。
n-Links Retargetは、3Dキャラクターの骨格と人間の演者の骨格情報を適用する補正ソフト。腕の長さや腰の位置など、実際の人間と3Dキャラクターの骨格には大きな違いがあるため、従来はあらかじめ人の手で実際のモーションデータとキャラクターの動きを調整していたが、n-Links Retargetではその作業をほぼ自動化。細かな調整も簡単な操作で行なうことができ、モーション収録現場の負担を軽減できる。
秒間120フレームの高速処理が可能なため、リアルタイムモーションキャプチャー配信で違和感の無い動きが可能。従来のリターゲットソフトの課題であったリアルタイム運用時の不安定さを解消し、時間収録に耐えうる安定性と冗長性を実現した。
これらを組み合わせることで、MOCがバーチャル空間の位置情報を元に、現実の空間をリモートカメラで撮影、n-Links Retargetで処理されたバーチャルキャラクターがカメラで撮影された映像と組み合わさることで、同一空間で共演している映像を撮影できる。実験では、じゃんけんとあっち向いてホイが自然に行なえるほどの低遅延をアピールしていた。
なお今回の実証実験では、Xsensのモーションキャプチャーシステムを使用しているが、このMCOとn-Links Retargetによる仕組みでは、モーションキャプチャーにはとくに制限はないとのこと。Xsensのような慣性センサーを採用すれば、小空間でもモーションキャプチャー込みでリアルとバーチャルの共演した映像が撮影できるのが強みとなっている。
取り組みのきっかけは今年7月に実施された展示会だったという。アイ・ペアーズのn-Links Retargetの展示で、MCOとの組み合わせに可能性を感じたキヤノンの担当者から声をかけ、約3カ月でこの仕組みが構築できたと、キヤノン イメージング事業本部 IMG第一事業部 IMG第一商品企画センター 前田広平氏は話す。
アイ・ペアーズ 代表取締役社長の伊藤衛氏も「かなりスピーディにこの環境ができたので、今形になっているものが全てです」と説明しながら、今後は、VTuberの配信や、バーチャルとリアルを組み合わせた番組制作、ライブ制作で活用できるよう開発を進めながら、さまざまな人が映像を体験できると取り組みを進めていくと述べた。
11月18日から20日まで、幕張メッセで開催されるメディア総合イベント「Inter BEE 2026」のキヤノンブースにおいて、デモンストレーションも展示される。