ドワンゴ、バーチャルキャラと人が自然に会話するAR生放送実現。電脳少女シロE3レポで活用

　ドワンゴは、バーチャルキャラクターをAR合成し、屋外など場所を問わずに出演でき、その映像を生放送できるAR撮影システムを開発。第1弾として、6月15日に配信したゲーム展示イベント「E3(Electronic Entertainment Expo) 2018」を、バーチャルユーチューバーの電脳少女シロが現地レポートする番組で活用した事を明らかにした。

バーチャルユーチューバーの電脳少女シロがE3の現地レポートする番組で活用された

　バーチャルキャラクターが様々な動画や生放送で活躍しているが、その出演形式はバーチャル空間内に限定されていた。ドワンゴはこれまで、AR演出を駆使し、バーチャルキャラクターを現実空間に出現・出演させる技術の開発に取り組み、ニコファーレなどで、バーチャルキャラクターを生放送に出演させるリアルタイムAR演出のライブステージや、ニコニコ超パーティーでのMMDライブにおけるAR演出などを実施。そこで得た経験や知見を活用し、新システムを開発したという。

　このシステムは、カメラ・合成システム含め、オペレータ1人でコントロール可能。現地ディレクターとアシスタントを含めた数名のクルーで運用・配信できる。

　配信には携帯電話ネットワークを使用。バッテリで動作するため、移動しながらどこでも撮影できる特徴もある。

　ARキャラクターは、ドワンゴのモーションキャプチャスタジオ内で、現地の映像を見ながら動くことで、キャラクターの動きを映像にリアルタイムに反映できる。

　現地には、バーチャルキャラクターのアバターを設置。キャラクターの姿を見せるモニタ、声を伝えるスピーカー、アバターからどう景色が見えているかを伝えるカメラも用意。現地の照明環境を計測するセンサも取り付けてあり、現地の環境に合わせて自然なキャラクター映像になるよう、リアルタイムAR合成する。これにより、キャラクターが現地の人と対面し合い、人間同士のように自然に対話できる。

現地での撮影の様子。キャラクターの姿を見せるモニタ、声を伝えるスピーカー、アバターからどう景色が見えているかを伝えるカメラなどを設置している

　6月15日6時～7時まで生配信された番組「【E3 2018】電脳少女シロ～E3 に行く!?～」では、「E3」会場内で、電脳少女シロが来場者へインタビューしたり、イベントレポートを実施。リアルタイムでAR演出を行ない、ニコニコ生放送上では来場者とシロが自然に会話をしている画を作り出した。この番組は、7月15日23時59分までタイムシフト視聴できる。