ニュース
mocopiでリズムゲームや音楽番組制作!? 自主開発ツール発表イベント
2023年9月12日 13:30
ソニーは9日、mocopi SDKを活用した自主開発ツールや作品に関する発表を行なうイベント「mocopi AUTUMN CAMP 2023」を実施。15組の発表者がそれぞれの開発したツールやアプリ、その活用例などを紹介した。
mocopiは、6個のトラッカーを装着して、スマホアプリで手軽にモーションキャプチャーができるデバイス。SDKが公開されており、mocopiの可能性を広げる様々なツールの開発が行なわれている。今回のイベントはそういった自作ツールを紹介するものとなっている。
イベント開催に際して、SDK利用ルールの改定もアナウンスされ、個人での利用に関して、商用・非商用に関わらず無料で利用可能であることが明言された。個人でのツール/アプリ開発を行なっている人達がルールについての不安を感じることなく自由に、開発の輪を広げていってほしいとのこと。
イベントではmocopiチーム アプリ開発責任者のあきら氏も登壇し、発表者たちにコメントを添えた。なお、今回のイベントの様子はRAYNOSちゃんのYouTubeチャンネルにて生配信され、アーカイブも公開されている。ここでは、一部の発表を抜粋してレポートする。
TBSの亀田さんは、mocopiを活用して制作した音楽番組について紹介。同社の中高生向けの職業体験イベントにて実際に使用されたもので、リアルとバーチャルが融合した音楽番組を制作したという。
Unreal Engine上にCDTV ライブ! ライブ! のセットを組み、mocopiでアバターを操作。mocopiを装着した演者をジンバルで撮影すると、アバターの映像をほぼ同じ画角で撮影できるというもので、現実での動作がリアルタイムでバーチャル上で再現される様子が参加者に好評だったとのこと。
実際のイベントで使用された例では、ソニーグループのコミュニティ活動グループVR×音楽研究会のらっしーさんとおぐさんによるリズムゲームも発表された。mocopiを装着してアバターの手足を動かしてノーツに触れるリズムゲームと、就学前の子供でも楽しめるように手足を動かしたりジャンプしたりすることで音が出る、演奏ゲームの2種類を用意し、社内の家族向けイベントで披露したという。
幼児向けの演奏ゲームは、mocopiが背の低い子供などの動きを正確にトラッキングできないという弱点をカバーできるようにトラッキングデータを元にしたアバターは表示させずに、動かす場所に寄って音を変えるなど、音をたくさん出すことを楽しむように工夫を施したとのこと。
同様にmocopiの仕様を上手く活用したシンプルなランゲームを開発したのが、奈茶さんとちゃばさんのタッグ。mocopiは加速度センサーを採用しているため、ゆっくりとした動きのトラッキングが苦手で、一歩一歩の動きを正確に捉えたりはできないのだが、その場で足踏みをする動作そのものに着目し、足踏みの早さに合わせてキュラクターの速度が上がっていくランゲームを開発。
ももを高く上げるほどポイントが高くなる、途中で出てくる障害物に突撃してその高さでもポイントが付く、そもそもスピードメーターに注目すると恐ろしい速度が出ているなど、身体を動かすことも相まって、シンプルながらもしっかりと楽しめるゲームとなっている。
フェイストラッキングアプリ「waidayo」の開発者で、ソニーのmocopiチームに所属しているnmちゃんもバーチャルとリアルがリンクするミニゲームを披露。mocopiのトラッキングで標準を合わせてコントローラーのボタンで弓矢を放って風船を割るゲームと、棒を振り下ろす動作で画面内の果物を割るゲームの2種類で、ともに画面内で風船や果物を割ると、現実に用意された風船も割れるというもの。
なお、退勤後の時間を使いながら2週間程度で制作したとのことだ。
mocopiでバ美肉に役立つソフトも
mocopiを使ってアバターを操作する上で役立つソフトやアプリも紹介された。ヤフーでiOSアプリ開発をしているたなたつさんはMacでもmocopiでアバター操作を行なえるアプリ「VCam」を紹介。実際に配信されているため、Macユーザーはダウンロードして利用できる。
macOS固有の機能やAppleユーザーが使いやすいUIを採用したソフトで、Macのカメラを使用した顔と指のトラッキング機能も搭載。mocopiと連携することで身体のトラッキングも可能で、仮想カメラ機能も備えているので、ZoomやGoogle MeetのWeb会議アプリで使ったり、OBS Studioの取り込んで配信も行なえるという。
現実世界とアバターを融合させたMRでDIY動画などを投稿しているVTuber東雲はつりさんも、表情と指のトラッキングが可能な「Selfie Renderer」を披露。こちらは開発のきっかけが、“野外での撮影”で中でもドライブ動画を撮りたかったことだという。
しかし、mocopiのセンサーの性質上、mocopiを装着して車を運転してモーションを取ると、車の動きも反映されて画面上でアバターがすっ飛んでいってしまうという。配信ではその実際の映像が紹介されている。この車の動きを読み込まずに運転する様子だけを撮影するために開発したという。なお、「すごく簡単にできてしまった」とのことだ。
ホロラボのおちゃさんは、アバターを撮影してサムネイルなどに使う素材を簡単に作れるアプリを開発。アバターのポーズは読み込める素材が販売していたり、アバターの間接を調整して作り上げていくことも可能だが、好みのポーズが難しかったり、調整にも手間がかかってしまう。
そこで、おちゃさんが開発したアプリでは、mocopiを装着して5秒間の動いている様子を撮影。撮影した5秒間の中でベストなタイミングを選択して画像素材をダウンロードできるというもの。あらかじめ背景画像を設定したり、背景が透過された素材も同時にダウンロードできるなど、グリーンバックなどから切り抜き手間のことも考えられている。なお、こちらのアプリはまだ公開していないとのこと。
そのほかにも、指のトラッキングにグローブ型のデバイス「ContactGlove」を使用する方法や、mocopiを装着した腕を振って何かを操作するリモコン的な使い方、mocopiのモーション動画を元に骨格推定してロボットを動かしたりと様々な使い方が紹介された。
イベントの最後には、第2回となる「mocopi WINTER CAMP 2023」を12月9日に実施することが発表された。第2回はコンテスト形式となり、mocopi Receiver Pluginを使ったゲームなどのインタラクティブコンテンツを募集する。募集開始は10月初旬予定で、Webサイトなどで告知される。
なお、mocopiは四半期ごとにアップデートを実施しており、次は10月に少し大きめなアップデートが控えているとのこと。