ニュース
VRは16K映像と立体的な音で没入感。Adobe「VDF」が標準規格に?
2018年5月30日 07:00
アドビシステムズは、Creative Cloudのビデオ製品において進めているVRビデオ編集ツールの強化について、同社イマーシブ担当ディレクターのChris Bobotis氏が説明する記者発表会を開催。VRツールの最新トレンドや今後の展開などを紹介した。
VRのクオリティには音が重要
VR映像制作プラグインのSkyBox技術を持つMettleの共同創設者であり、'17年にAdobeが同社を買収した後は、Adobeのイマーシブ担当ディレクターを務めているBobotis氏は、「VRは映像の“枠”がない中でストーリーを語るため、これまでの映像制作とは異なる方法が必要」と語る。技術的な課題としては、「従来のようなフレーミングができないため、ユーザーの視線をどう導くかは“ツールの良さ”にかかっている」とした。
「VR映像制作が始まった頃は、(カメラを持って)ジェットコースターに乗るとか、イベントで歩くといったものが多かった。現在は、100年を超えて蓄積された映画製作の技術を活かした、魅力的なVRコンテンツが作り出せるようになった」とし、同社の現在と未来の取り組みについて語った。
現在、アドビのCreative Cloud製品で、360度VR制作に対応しているのは、After Effects、Premiere Pro、Photoshop、Dimensionの4製品。このうち、イマーシブVRツールのMettle SkyBoxは、After EffectsやPremiere Proと密接に連携しているという。
クオリティの高いVRの一例として紹介したのが、'17年に発表された「ダンケルク VR エクスペリエンス」。クリストファー・ノーラン監督の「ダンケルク」で描かれた、史上最大の救出作戦を疑似体験できるという内容で、現在も公開されている。
制作には、映画制作側だけでなく、Intelやデル、マイクロソフトらも協力。Bobotis氏は「ハードウェアベンダーも真剣に制作に加わって取り組んだことが重要」としたほか、1台のRED製カメラで撮影したことも大事なポイントと指摘。「専用カメラでなくても、ツール側で360度映像は作れる。実際に映画を作ってきた人が制作に加わることが重要」と述べた。さらに、「1シーン、1ピクセルまで厳しくチェックする」というクリストファー・ノーラン監督も納得した」とのこと。
さらに、Bobotis氏がVRで重要なポイントとして挙げたのは“音”。毎年行なわれているイベント「Adobe MAX」の昨年開催時に紹介された、音に関して検討中の技術を紹介した。
VRの音声は、ヘッドセットなどを着けて見た方向(カメラの映像)によって、音の聞こえ方や強弱などが変わることで没入感を得られる。今回紹介した撮影システムでは、円形状に並べて配置したカメラと、4方向からの音を録れる(4ch)のAmbisonicマイクを組み合わせて使用している。
カメラの向き(ユーザーの視点)が移動したときにも音が追従させるため、従来の仕組みでは、編集時に実際の音を聞きながら方向を微調整する必要があるが、今回の方法では、Ambisonicの4chそれぞれの音を色分けしてビジュアル化。それをビデオに重ねて、音を出している対象(人や物など)の位置に合わせると、実際の音を聞かなくても音が正しく配置されるという。現時点では、実際の同社製品に搭載されると決定したものではないとのことだが、例えば移動しながら撮影した場合でも、音を聞かずにビジュアルだけで正しい音の位置が分かり、編集の効率化に寄与するという。改めて「VRにおいて音響はとても重要」と強調した。
現在、VRヘッドセットには、装着者が左右、上下を見る動きや、左右に首を振る動きに対応する「3DoF」(Oculus Goなど)と、装着した人自身が前後や左右に移動したり、しゃがむ/ジャンプするといった動きにも対応する「6DoF」(Mirage Soloなど)がある。
最新の取り組みでは、ステレオカメラで撮った360度映像のRGBデータから、奥行き(深度)情報を推定。その奥行きデータを加えることで、6自由度に近い立体感のあるコンテンツを実現し、「壁の向こう側を見るような」動きにも対応できるという。
アドビは、奥行き情報に対応する7種類のプラグインをAfter EffectsとPremiere Pro向けに用意。これをパブリックベータとして公開している。
VRには16K映像が必要!? アドビ「VDF」を標準規格に
イマーシブ技術における現在の課題については、解像度や前述の奥行き情報など、データ量が増えることで管理の負担が増えることも挙げた。
制作には、予算や時間などの制約がある中、「データ管理」の負担が増えると、その分「クリエイティブ」に掛ける予算/時間が減ってしまう。Bobotis氏は、「現在の4K解像度のコンテンツでは(自然なVR映像として見るには)十分ではない。8Kコンテンツも増えているが、ターゲットとしては16K×2のステレオでなければ違和感を生んでしまう」と説明。
データ量が膨大になってしまうことへの対策としては、ステレオ映像のうち片目の映像はRGB、もう片方には奥行き情報を加える「RGBZ」を採用することで、処理を軽くできるという。ニーズに合わせて適した技術を使い分ける方法として紹介した。
また、360度だけでなく、半天球の「VR180」への対応も推進。「360度に比べると没入感は少ないが、制作における編集の負担が減り、同じ予算でより良いコンテンツが作れる」とした。
将来的な方向性として、イマーシブコンテンツの制作と配信のための新たなコンテナ、フォーマット、標準規格とする「VDF(Volumetric Data Format)」も提案。ジオメトリック/ビデオ圧縮スキーム、3D再構築、マテリアル推定、分析/メタデータへの高度なアプローチなどの特徴を持ち、現在の文書ファイルにおけるPDFのように、標準的な規格になることで、データ管理の負担を減らし、よりクリエイティブな部分にリソースを集中できるという。
VRの進化に欠かせないものとしては、パートナーとの連携を挙げ、FacebookやGoogleなどと協力。重要な存在として、クリエイターなどの“ユーザー”との密接な関係が欠かせないことを強調した。
