VRコンテンツをサポートするAdobeの戦略

5月の連休明けに日本でもオーダー可能となったOculus Goの人気は、今だ衰えないようだ。いわゆるアーリーアダプター向けのメディア記事が一周したところで、今度は一般ニュースメディアでも取り扱うようになってきている。これが一過性のブームに終わるのか、それともここをステップに新しいビジネスのウインドウが開くのかは、国産のコンテンツの充実度次第だろう。

大きく期待されるのは、スポーツやコンサート、ショーイベントなど、実写VR動画コンテンツの充実だ。ただし360度カメラで撮影しただけではダメで、キチンとした演出およびオーサリング、言うなればマネタイズまで含めたフォーマッティングが必要となるのは言うまでもない。

こうした実写VRコンテンツをサポートするのが、AdobeのAfter EffectsやPremiere Proといった動画系ツールである。

昨年6月にAdobeは、VR系プラグインを開発するMettle社のSkyBox関連技術を買収した。

・最先端メディア分野におけるアドビの地位を強化

このプレスリリースにも登場するプロフェッショナルビデオ担当ディレクターのクリス・ボボティス氏が今回イベントのために初来日し、Adobe本社にてプレス向けの説明会を開催した。今回はそこで知り得た情報を共有しておこう。

日本のAdobe本社で講演するプロフェッショナルビデオ担当ディレクターのクリス・ボボティス氏

没入型コンテンツは何が違うのか

元々Mettleという会社は、カナダのモントリオールにあるモーショングラフィックススタジオであり、映像処理用のプラグインを多数リリースしている。その中でもSkyBoxシリーズは、VR映像を処理するための7つのプラグインから構成される。

Adobeはこれらを吸収し、今後はAdobe Immersiveとして展開していく事になる。Immersiveとは「没入型」という意味で、HMDによるVRおよび180度、360度映像コンテンツ全般を指す言葉だという認識でいいだろう。

クリス・ボボティス氏は、こうしたImmersiveコンテンツ制作のポイントは、ストーリーの概念を考え直す必要があるという。これまでの映像制作では、まずフレーム(枠・構図)があり、360度の世界の中のどこをどのように切り出していくかで意味付けを行なっている。

一方Immersiveコンテンツでは、視聴者が自由なポジションや構図、視点で映像を見るため、カット割りによる注視や感情、体験がコントロールできなくなる。ある意味、視聴者は非常に集中力を欠くことになるわけだ。その中でどうやってユーザーの注意を引きつけ、誘導し、ストーリーを展開させていくのか。

ボボティス氏は、Immersive環境においては、「見える」よりも「聞こえる」ほうが大事だという。視界と違い、音は360度聴くことができる。これは人間に限らず生物にとっては危険察知のための重要な要素であり、死角の状況を把握するのに重要だ。したがって、ビジュアルは360度あるのにオーディオが360度ないと、非常に違和感があるのだという。

VR収録用マイクとしてスタンダードとなっているゼンハイザーAMBEO VR MIC。右はこれと組み合わせて使えるTASCAMの4chレコーダ

先日のAdobe Maxで、オーディオ制作向けの新機能が発表された。ただしまだ開発中の技術であり、最終的にどのような形で製品に反映されるかはまだ未定だという。

これは360度環境を集音できるマイクを使った4トラックの音声の「方向」を、映像の「方向」とマッチングさせるための機能である。この機能では、オーディオ空間の中で鳴っている特定の音が、ビジュアル的に示される。これと360度の映像を編集画面上で一致させることで、絵と音の空間の位置合わせを、「見た目で」合わせることができる。

従来このような作業は、VR用HMDを付けて、さらにヘッドホンも付けて、人間が感覚で合わせるしかなかった。だが音の方向というのは、人間はそれほど完璧に判断できるわけではない。例えば部屋を移動しながらのショットでは、音源が自分の移動によってどの方向へ移ったのかといったことを、音を聴いただけで判断するのは困難である。こうした音源のポイントが視覚的に示されることで、マッチングがより楽に、確実になるわけだ。

3Dにおける喫緊の課題

実写VR映像の課題は、データが肥大化することである。現在主流なのは、4Kの360度映像だが、いくら4Kとは言え360度全球に展開すれば、実際に視聴者が見ることができる範囲はそこからの「切り出し」となるので、それほどの解像度にはならない。せいぜい720p程度だろう。部分切り出しでも十分な解像度を得るには、16Kぐらい必要なのではないかと言われている。

さらにこれが3Dのステレオ映像になれば、データ量は2倍になる。加えてデプスデータ(奥行き情報)やメッシュデータも加えていけば、データ量もさることながら、その管理コストも膨大なものとなり、クリエイティブな思考に割けるリソースが減少する。つまり、技術的には新しくても、面白くはないというコンテンツになってしまう。

こうしたことをデータフォーマットで解決できないか、というのが今後のテーマとなる。例えば3Dコンテンツ制作のために2台のカメラで撮影しても、立体視のためのデータは片側の実写データとデプス情報を組み合わせて、もう片側のデータをレンダリングによって作り出すことは可能だ。こうすることで、制作や配信に必要なデータ量を半分近くまで削減できる。

元々奥行き情報は、視聴者の移動を演算するのに必須だ。例えばOculus GoはXYZのローテーションしか検知しないが、Mirage Soloはゴーグル前方のセンサーによって、ユーザーの移動を検知できる。この位置移動による視界の変化を演算するために、ステレオイメージから奥行き情報を生成するわけだ。

ストレージやインフラが十分な状況に追いつくまでは、片眼イメージ+デプスデータという格好で、プレイヤー側の演算処理に投げられるようなデータの持ち方というのは、現実的だろう。そしてこれらのデータを格納するコンテナ/データフォーマット形式を、VDF(Volumetric Data Format)と定義し、今後は標準フォーマットとして普及に努めていくという。

なお、このVDFフォーマットに対応するImmersiveコンテンツ用プラグインのパブリックベータ版が、Mettleのサイトで無償公開されている。

・Facebook Collaborates with Mettle for 360° Depth Related VR FX Software

facebookとMettleで共同開発したという技術をベースに7つのプラグインがある。After EffectsとPremiere Proで動作するが、将来的にVDFは、Adobe全製品で扱えるようになるはずだ。

少し前の3Dブームのおかげで、現在ステレオ撮影用のカメラやリグ、レンズなどはそこそこ揃っている。コンテンツ制作は、やってみて覚えるのが一番早いものだ。皆さんもお手持ちの機材で、テストしてみてはいかがだろうか。