西田宗千佳のRandomTracking
第490回
CG+ディスプレイでロケ代替、ソニーPCL「バーチャルプロダクション」を見てきた
2021年1月14日 08:00
映画やドラマ、CMの撮影では「ロケ」がつきもの。ロケができない、もしくはロケ場所が存在しないような突飛なシチュエーションでは、いわゆる「グリーンバック」を使って撮影し、あとからCG合成することも多くなっている。
そこに、新しい選択肢が登場し始めている。それが「バーチャルプロダクション」という技術だ。
昨年1月のCES でソニーが展示したが、すでにいくつかの映画では実際に使われている。もっとも有名な例は、「マンダロリアン」での活用ではないだろうか。
日本でもバーチャルプロダクションの技術は開発が進んでいる。その中の一社が、ソニー傘下のソニーPCLだ。同社は都内にバーチャルプロダクション用の実証設備も構築し、開発とさまざまな検討、関係者へのヒヤリングを進めている。
今回はその設備に行き、バーチャルプロダクションがどんなものなのか、実際に体験してみた。
ディスプレイの前で演技する「バーチャルプロダクション」
ソニーPCLのバーチャルプロダクションはどんなものなのか? まずはそこから見ていこう。
この施設のディスプレイとして使われているのは、ソニーのCrystal LEDディスプレイシステム。PCからリアルタイムCGの映像を流し、その前に演者が立つ。ディスプレイの前はあくまでオープンスペースの、普通のスタジオだ。小物を置いたりも自由にできる。
これを単にスタジオの外から見れば、「ディスプレイの前に立っている」くらいにしか思えない。
だがもちろん、それだけではない。
取材日は、ソニーのシネマカメラである「VENICE」を使用。そこに位置センサーをつけ、カメラがどこにいるのかを把握している。さらには、カメラのズームやピントなどの動作とも連動している。
それらのデータはCrystal LEDディスプレイに繋がったPCの側に送られており、カメラが撮影している部分に合わせて映像の画角が変化する。すなわち、カメラで撮影すると、背景がちゃんと「実景の前で撮影したようにリアルに見える」のである。
現在の映像撮影では、現実に撮影できない場合にはグリーンバックの前で演技し、後から合成するようになっている。人自体もCGにして入れ替えられることもある。CGを活用するという意味では、このバーチャルプロダクションも同じなのだが、向いている方向は全く異なる。
ソニーPCLで、バーチャルプロダクションをはじめとしたリアルタイムCGを活用したビジネスを手がける、同社・ビジュアルイノベーション室 室長の小林大輔氏は、「グリーンバックと比較されることがあるのですが、もちろん価値は全く異なる」と話す。
一番シンプルな利点は「あとからの合成が不要」だということだ。手間は大きく減る。
合成がいらない、ということには「合成では難しい表現ができる」というメリットもある。
以下の写真を見ていただこう。ペットボトルの中の水を通して向こうの風景が自然に見えている。これは、合成でやろうと思うと大変だ。しかし、バーチャルプロダクションなら、普通に撮影できる。
セットの中にある「小道具」も同様だ。グリーンバックだと小道具にはグリーンの光が映り込むので、小道具まで含めてCGにすることになりやすい。だがいうまでもなく、それにはコストがかかる。だがバーチャルプロダクションであれば、「映り込む要素がある小道具」も置いて撮影するだけで、自然な映像が得られる。
「透過表現をするとき、反射表現を作り込まなくていいのはメリット」と小林氏も言う。CGのことをご存知なら、これはかなり大きなことだ。リアルな反射を作り込むと背景の作り込みも重要になるし、演算処理も大変になる。なにより重要なのは、そこまでやっても映像にとってはコアな部分ではなく、「表現を自然にするための要素」に過ぎない、という点だ。
なお、バーチャルプロダクションのメリットの一つとして、「目的に適さないものを変えられる」こともある。例えば実景では、看板や自動販売機など、映像作品になったときに色々と差し障りがあるものを「写さない」「差し替える」という手間がけっこうある。だが、背景がCGであるなら、そうした部分の差し替えも難しくない。
撮影にも演者にもプラスの要素が
また、実際に映像があることは演者にとってもプラスだ。
撮影が難しい場所に行かなくてもいい、撮影が難しい場所(例えば、渋谷駅前で大々的なロケをするのは極めて困難だ)で撮影できる、ということは重要なのだが、意外なメリットとして挙げられるのが「時間の制約が減る」ことだ。ナイトシーンを夜撮影する必要はないし、本来なら短い時間で撮影することを強いられる朝焼け・夕焼けのシーンでも、じっくり撮影できる。意外なメリットは「子役の方の撮影がやりやすくなる」こと。ナイトシーンが必要な場合でも制約がなくなる。
演技もしやすい。撮影時には「ここからここまで歩いて、ここで台詞」みたいなシチュエーションが多いが、グリーンバックだと当然そこにはなにもないので、演者として技能も慣れも求められる。だがバーチャルプロダクションなら背景も前の小道具もあるし、映像に合わせて床にマーキングしておくこともできるので、その辺はかなり柔軟性が上がる。
ここでポイントになるのは、「CG作業と従来のスタジオワークが同居している点」と小林氏はいう。
グリーンバックによるCGの導入は、結果的に大道具・小道具などの作り込みと同居が難しい。そのため、スタジオワークとCGは反目しあうことが多い。
だが、バーチャルプロダクションはそうではない。すべてを画面の中に入れることはできず、あくまで「背景」である。そのため、背景より手前のセットはちゃんと必要になるし、その連携が価値でもある。
だからこそ「映像制作の現場に取り入れやすい事情がある」(小林氏)のだ。
また、合成を使わないということは、会場に入っている人とどこかから映像で見ている人の間で「同じような環境をシェアできる」ということでもある。そのため、「いわゆるバーチャルライブなどでも活用できるのでは」(小林氏)と考えられている。
リアルタイムCGを軸にソニーPCLとブロスグループが提携
こうしたことは、「高画質で巨大なディスプレイ」＋「リアルタイムCG技術」があってできているものだ。ソニーにはディスプレイとしてCrystal LEDがあるが、技術的には別のものでもいい。Crystal LEDは解像度も高く、ダイナミックレンジや視野角が広いのが利点ではある。
もう一つの車輪である「リアルタイムCG技術」を支えるものが、いわゆる「ゲームエンジン」だ。ソニーPCLのシステムでは主にUnreal Engineを使っているとのことだが、UnityやUnreal Engineのようなゲームエンジンの活用は、この種のソリューションにとって必須のものだ。
ソニーPCLはこの種のエンジンを「ゲームエンジン」ではなく「リアルタイムエンジン」と呼んでいる。ゲーム以外の領域に活用しているからだが、後述するが、ソニーPCLにとっては、バーチャルプロダクションも「リアルタイムエンジンを使った映像ソリューション」の一つである。
ソニーPCLは2020年2月、リアルタイムCG技術を得意とする株式会社スタジオブロスおよび株式会社モデリングブロスと、「リアルタイム CG 制作技術を用いたコンテンツビジネスの拡大を目的とした協業」を開始する発表をしている。ソニーPCLでのバーチャルプロダクションも、この協業に基づく事業の一つと言える。
なぜ協業が必要なのか？ 重要なのはデータ制作やその運用にコストとノウハウが必須だ、という点がある。
バーチャルプロダクションではリアルな背景データが必須だ。また、リアルタイムCGを使うニーズはバーチャルプロダクション以外にも拡大しており、応用範囲は非常に広い。
例えば自動車産業。映像制作やプロモーション、販売支援などを目的に、リアルなCGを使う必要が多い。今はゲームエンジンから(限定的ながら)レイトレーシングも扱えるようになっているので、ボディの外観はかなり忠実に再現できるようになってきた。写真はダッソーシステムズ・スタジオブロスの共同開発事例だが、元々自動車製作に使われたCADデータをもとに、手元でのタブレットで見るためのリアルタイム映像を制作したり、巨大なディスプレイでのデモンストレーション映像を作ったりするようになってきた。ソニーが秋に発表した空間再現ディスプレイ「ELF-SR1」のような製品でも、こうしたデータとソリューションは生かせる。
いかに最適なモデルを、低コストかつ短い納期で作っていけるか、ということが一つのカギとなっているわけだ。
「点群」をそのまま生かして「背景データ」の制作効率を拡大する「Atom View」
話をバーチャルプロダクションに戻そう。
ソニーPCLでは、バーチャルプロダクションで使える背景データの制作効率化を進めている。前出のように、バーチャルプロダクションにおける課題は「データをいかにスムーズに用意するか」だ。
そこで一つの方策と考えられているのが、LiDARスキャナーを使った点群データをそのまま活用する方法だ。
LiDARはレーザーを使った距離センサーだが、さほど大きくない機材で、精密な3Dデータを得られるというメリットがある。ただしその場合、取得されるのはあくまで「センサーが得た点の集まり」。多くの人がCGで思い出すポリゴンのデータにするには、そこからさらに処理を重ねないといけない。
ソニーPCLでは、ソニーグループ内の技術を使い、この行程を簡略化する方策も採用している。それがソフトウエアの「Atom View」だ。
以下の動画は、ソニーが同グループ社員向けに配信したビデオだ。ソニー・吉田憲一郎 会長 兼 社長CEOが、ロサンゼルス・カルバーシティにあるソニーピクチャーズのスタジオの前で語りかけている。
だがもちろん、コロナ禍で吉田社長がロサンゼルスに行けたわけではない。スタジオの前でセンサーを使って収録した点群＋テクスチャーのデータを使い、バーチャルプロダクションの背景にして撮影したのだ。
点群のデータは巨大である、という欠点がある。また、鏡面のように強く反射するものや発光するものは原理上うまく再現しづらい。だが、多くの部分で点群データがそのまま使えれば、背景制作の手間を大きく削減できるのは間違いない。ソニーPCL内のソリューションでは、ゲームエンジン内に点群データとポリゴンのデータを同時に配置できるようになっていて、窓や玄関の金属部などはポリゴンでモデリングした上で、撮影に利用したという。
また、コロナ禍を縫って、一部の地域で「データ化のためのスキャン」も行なわれているという。
「大規模な撮影隊が行くわけでなく、ほんの数名が機材を抱えて行けばデータ化できるのが強み」と小林氏は言う。京都町屋でのスキャンが実現できたのも、少人数・短時間という要素があってのものだ。
こうしてできたデータは、ライブラリー素材として生かすことができる。そうすると、「セットの作り置き」ができるようなものだ。
課題も存在、現在は「実用化に向けた検証段階」
では、データ制作上、今のシステムでの課題はなんだろうか？ 小林氏は「ライティングとモアレ」と話す。
バーチャルプロダクションで撮影する場合には、表示されている映像にあわせたライティングが必須になる。いかに映像に合わせたライティングまでトータルで提供できるかが重要なのだ。
また、ドットで構成されたディスプレイであることに変わりはないため、撮影状況によっては、撮像素子とディスプレイ側のドットの関係から干渉による縞(モアレ)が出てしまうこともある。モアレについては、背景にピントを合わせると出やすいため、多少ぼかすように撮影することで対応する。当然だが、バーチャルプロダクションは結局「背景」にすぎないので、適切に撮影で対処することになるわけだ。
これらを含めて考えると、バーチャルプロダクションには、やはり相応の撮影ノウハウが必要になる。現状、ソニーPCL側でもそれが100%完成しているかというと、そういう状況ではないようだ。
また、実際に撮影に使うには、現状のテスト環境ではスタジオがまだ狭すぎる。適切なサイズ・適切な環境で使える「常設のスタジオ」としての構築はこれからだ。
海外では「マンダロリアン」のように、実際に撮影が行なわれている作品もあるが、日本はまだまだこれからだ。現在ソニーPCLでは、「関係者に見てもらい、色々な形でフィードバックを得ている最中」(小林氏)だという。まだ実際に撮影がスタートしている状況ではないが、「使ってみたいという話をいくつかいただいている状況」(小林氏)だ。そういう意味では、現状は「価値を検証している段階」とも言える。
日本はロケの撮影条件が厳しい国と言われている。また、コスト的にも、コロナ禍での特殊条件としても、撮影が難しい側面も出てきている。そうした中では、バーチャルプロダクションのような技術はとても有用だ。ディスプレイを中心とした導入コストの問題は大きいが、制作環境として定着していくことを期待したい。