ソニー小型モーションセンサ「mocopi」で自作3Dキャラを操作してみた

1月20日に発売された、ソニーのモーションキャプチャー「mocopi」(直販49,500円)。巨大な装置は不要で、6つの小さなセンサーを装着するだけでモーションキャプチャーできると注目を集めている。

本当に手軽にモーションキャプチャーできるのだろうか、実際に試してみた。と言っても、“動かすキャラクター”が必要。そこで、AV Watch編集部で3Dモデル「編集N」を作成。mocopiのアプリに取り込み、動かしてみた。

その模様や、動いている様子は、記事内の動画でご確認いただきたい。

mocopiのアプリにVRoid製3Dモデル「編集N」を取り込む

この3Dキャラクター「編集N」は、Pixivが無料で提供している3Dモデルを制作できるソフト「VRoid Studio」を使って作成したVRM形式のモデル。今回はこれをmocopiのiOS版アプリ上で動かしてみる。

mocopiのアプリにVRMファイルを取り込む場合、iOS版では、iTunesを利用してPCから直接取り込むか、ドライブなどからiPhoneにダウンロードして、ファイルアプリを使ってVRMデータを取り込む必要がある。

iPhoneのファイルアプリの場合、mocopi>MotionDataのフォルダ内に入れれば完了。このままアプリを起動すると、アバターの欄に取り込んだキャラクターの名前が表示される。

mocopi(画像左)の下の階層、MotionData(画像右)のフォルダの中にVRMファイルを入れる

その状態でmocopiのアプリを起動するとアバター欄に「編集N」が(画像左)、選択したら無事アプリに表示された編集N(画像右)

ちなみにmocopiのアプリを操作するには、mocopiを実際に装着して、キャラクターが動ける状態になっていなければならない。つまり、編集Nを取り込んだ時点ですでに動きが反映された状態になっているのだが、違和感なく自分が動いた通りに編集Nが動いている。

動きにはタイムラグなどもとくに感じられず、mocopi自体もしばらく使っていると装着していることを忘れてしまうほど軽いので、気を抜いたタイミングでキャラクターが猫背になっていたりすることがあるなど、違和感がなさ過ぎて逆に装着してキャラクターを動かしていることを意識しなくてはと気を引きしめたくなるタイミングが多々あった。

頭の部分も髪で隠すなどすれば、デバイスを身体に付けていることもわからなくなるくらいコンパクトなので、外での撮影もしやすいだろう。

バーチャルモーションキャプチャと連携

さらに今回は、「バーチャルモーションキャプチャー」(ばもきゃ)と連携。ばもきゃの連携機能を使って、mocopiで全身を動かしながら、フェイストラッキングができるiOSアプリ「waidayo」も組み合わせて使ってみた。

ばもきゃはPC用のソフトで、スマホとPCを同じネットワーク上で接続することでmocopiと連携できる。キャラクターのデータをばもきゃ側で表示し、mocopiからはモーションデータだけを受け取ってキャラクターを動かせるようになる。

手順としてはまず、ばもきゃの設定からVRM読込で編集Nを呼び出し、詳細設定のMotion Capture項目のmocopiを選択(mocopi発売頃にアップデートで追加される項目)し、Portの数字が一致していることを確認。この状態でmocopiのアプリからモーションデータの送信開始をすれば、ばもきゃ上のキャラクターが動かせるようになる。

ばもきゃ側の画像。赤枠の部分の番号を確認

PC同じネットワークにスマホがつながっていて、mocopiのアプリの数値と合っていればOK

mocopiのアプリとばもきゃの動きも見ていてタイムラグなどを感じることがなく、スムーズに動くのがすごいところだ。ちなみに、動画内ではmocopiのアプリにも編集Nを取り込んだのでキャラクターを揃えているが、ばもきゃを使う場合は、mocopiのアプリからはモーションデータしか送信されないため、別のキャラクターでも操作できる。

waidayoを使ってフェイストラッキングも追加。iPhone1台でやってみた

ここまではこれまでの記事でも触れたことがある内容なのだが、さらに今回はフェイストラッキングも追加してみる。mocopiだけでもスマホのマイクを使って音声によるリップシンクが行なえるが、フェイストラッキングができれば、より自然な口の動きができるほか、瞬き、瞳の動きなども自分に合わせて動かせるようになる。

ばもきゃ側の連携機能を使って上記のアプリwaidayoからトラッキングデータを受信する。ちなみに、この組み合わせで使う場合、ソニー側の発表ではスマホが2台必要になるとのことだったが、1台で挑戦してみた。

まず、mocopiの設定をすべて済ませて、バモキャにモーションデータを送信している状態にする。つまり、バックグラウンドでmocopiが動いている状態にしたあとにwaidayoを起動する形だ。理由としては、waidayoがバックグランドではトラッキングデータを送信できないからだ。

ばもきゃの詳細設定からモーション受信(VMCProtocol)の欄の「OSCでモーション受信を有効にする」にチェックを入れて、Portの数字がwaidayoの数字と一致していれば、フェイストラッキングのデータがそのまま反映されるようになる。

waidayoの場合は、mocopiとは別の個所の数値を確認(赤枠部分)。ここがwaidayoの数値と合っていればOK

ここまで設定が済めば、6点の全身トラッキングとフェイストラッキングで自分の3Dキャラクターを動かせるようになっている。

そして、1台のiPhoneでmocopiとwaidayoの両方を動かしてみた結果だが、普通にスムーズに動いている。スマホが顔の正面に来るように固定すればより確実に顔の動きをトラッキングできそうだ。

VRoidのモデルも問題なく動作。3DモデルでのVTuber化が身近に

気になる機能を試してみたが、振り返ってほしいのが、今回使ったモデルがVRoid Studioで作成したモデルであることだ。VRoid Studio自体のクオリティの高さがあるのはもちろんなのだが、ユーザー側としては、無料で自作できる3Dモデルでも、mocopiとバモキャと組み合わせて、違和感なく自然に扱うことができている。

今回作った環境をそのままOBS Studioなどに映して配信すれば、3Dモデルでフェイストラッキングと6点トラッキングの組み合わせでのVTuber化も簡単にできてしまう。

mocopiの49,500円という値段はまだ一般的には高価なものではあるが、従来のトラッカーなどと比較すれば一気に身近なものに近づいてきている。今回はとくに、様々な機能と連携できるバモキャとの連携が決まっているというのも、手軽さの点でかなり大きなアドバンテージだと思う。

1月16日時点で、出荷時期は3月20日頃となってはいるものの、mocopiの注文自体は可能となっている。対応スマホについてもiPhone 12 mini/13 miniや初代のXperia 1/5が追加された。発表時にも、対応スマホの追加や連携サービスの拡大について、積極的に取り組んでいくことをアピールしていた。mocopiの登場でこの分野がどう変わっていくか楽しみだ。