ニュース

バーチャルキャラの楽器演奏配信で、“指の動き”再現可能に。ドワンゴら開発

ドワンゴとバーチャルキャストは、演奏した電子楽器から出力されたMIDI信号を判別し、バーチャルキャラクターの手先の動きに反映、キャラクターのライブ配信などに使えるる「運指再現技術」を独自開発。ニコニコ生放送での運用に成功した。

『ときのそら』デビュー1周年 超おめでとう記念公式生放送 ~えーちゃんもいるしリサイタルもあるよ~。指の動きだけでなく、鍵盤の凹みまで再現している

現実の環境で叩かれた鍵盤から出た MIDIデータを認識し、その音の対象となるバーチャルキャラクターの指の動きを、1秒程度のタイムラグで、ほぼリアルタイムに反映させる技術。バーチャル空間での楽器演奏などにおいて、今まで不可能だったキャラクターの手先の動きを実際の人物の動きのように再現・反映できる。

9月8日には、この技術を初めて採用した番組として、バーチャルアイドル・ときのそらのニコニコ生放送デビュー1周年記念番組を放送。ときのそらがバーチャル空間に設置されたキーボードを演奏することに成功。手元をフォローした映像では、鍵盤を叩く指1本ずつの動きが映像に反映された。この放送は9月15日23時59分までタイムシフト視聴可能。

  • 番組名:『ときのそら』デビュー1周年 超おめでとう記念公式生放送 ~えーちゃんもいるしリサイタルもあるよ~
  • 放送日時:2018年9月8日
    視聴URL:http://live.nicovideo.jp/watch/lv314826144
    (※9月15日23時59分までタイムシフト視聴可能)

ドワンゴはこれまで“ネットとリアルの融合”をコンセプトに、バーチャルキャラクターを現実空間に出現・出演させる技術の開発に取り組んでおり、バーチャルキャラクターをAR合成し、屋外など場所を問わずに出演させられるAR撮影システムを開発。米ロサンゼルスで開催されたイベント「E3」で、電脳少女シロによる現地レポート生放送を実現。

ドワンゴとバーチャルキャストは今後も、「バーチャルキャラクターの表現力を高める技術の開発を進めていく」という。