進化する「2D-3D変換」が3D映画の世界を変える

　「2Dの映像から3Dを生み出す」。

　ほとんどの3Dテレビに付いている機能だが、これを“頻繁に使う”というユーザーは、おそらくほとんどいないと思う。

　テレビ内蔵の2D-3D変換は

• ほとんど効果がない。あっても窓枠の向こう側に立体感のない世界が拡がるだけ
• 立体感はあるけど、間違いだらけ。前後関係が無茶苦茶になる部分がある

のどちらか、ということが多い。“無茶苦茶な前後関係”は、あまりに不自然で不快であるため、通常は立体感をある程度抑え、“エラー”だと認識されない程度のマイルドな設定にしてあるため、前者であることが多いと思う。

　もちろん、毎年のように映像認識と3D変換の技術は上がっているので、自動変換も精度は上がっていくだろう。たとえば「スターウォーズEP3」のチャプター3のように、比較的構造物の抽出や前後関係の判別がしやすいシーンでは、3D感をそこそこ楽しむことはできると思う。

　しかし、自然の風景を撮した一般的な映画のシーンでは、岩肌が奥にある道よりも遠くに見えるなどのエラーが目立つことがある。複雑な自然画のテクスチャを自動判別することは難しい。今後も、大きな改善は見込めないだろう。

　もうおわかりだと思うが、メーカーは本来ならば2D-3D変換機能は付けたくない。しかし、ひとつでも搭載するメーカーがあると、対抗上、入れざるをえない。そんな機能である。

　一方、ハリウッドの大作映画も含め、昨今、3D映画は2D-3D変換で制作されることが多くなっている。純粋な3D撮影のみの実写映画は、実は少数派なのだ。たとえば、「トランスフォーマー /ダークサイド・ムーン」(以下トランスフォーマー3)は、派手な3D効果が話題になったが、約2時間半のうち1時間半は2D-3D変換を用いて制作されている。

　しかし、トランスフォーマー3に不自然な、元の映像が2Dだと思えるところはほとんどなかった。なぜなら、現在の2D-3D変換は「変換」ではなく「再創造」に近いプロセスを経て作られているからだ。

■“まやかし”ではない2D-3D変換

　さて、そのトランスフォーマー3の3D変換を実際に行なったDigital Domain Media Groupのジョン・カラフィン氏に、その手法について話を聞いた。2D-3D変換にはいくつかの手法があるが、トランスフォーマー3で使ったのは「1分あたり10万ドル近くかかる」という、もっとも高コストなプランだ。現在、カラフィン氏は2012年公開予定の「タイタニック」の3D化も行なっている。

D映像を生成するには三つの方法がある。一つは3D撮影、もうひとつはCD生成、そして三つ目が2Dから3Dへの変換で、これらを適材適所で組み合わせた制作が、今後のハリウッドの主流に。日本では一部、3D変換の質が非常にに低く残念な作品もあったが、コストをかければ質の高い3D変換は可能

　まず、2D映像から撮影されている映像の輪郭を抽出し、被写体を認識する。このとき、異なる被写体や背景、中景などを認識し「それぞれの本来あるべき姿」を3D空間に再配置していく。

「適切なツールを使い、2D映像を認識させ、手間暇をかければ、正面から見えている被写体の形状は、ほぼ100％、3Dのモデリングデータに変換できます(カラフィン氏)」

　すなわち、撮影された時の3D空間を2D映像を元に作り直すのである。こう書くと「そんなことはできない」と思うだろう。確かに個々に対処しなければならない問題はある。フォーカス位置の問題やカメラのブレの問題、カメラパンした時の映像のボケもそうだ。髪の毛の輪郭部をどう処理するかも、コスト次第では面倒な部分だという。

　しかし、それぞれについて、あらかじめ3D変換を意識する際に配慮できること、すでに撮影後の映像についても(手間はかかるものの)解決策は存在することをカラフィン氏はひとつひとつ指摘した。

　しかし、対症療法を施すだけで完全な3D変換が行なえるわけではない。カラフィン氏の紹介したテクニックは、いずれもかなり専門的なもので、その数も膨大なためすべて紹介するわけにはいかない。しかし、特に興味深く感じた次の三つの点について紹介しておこう。

・2Dから3Dフィールドに変換する際の基本的な考え方

　被写体のテクスチャ情報から、凹凸を判断し、被写体ごとに立体感を付けていく。粘土の板を変形させていくようなイメージで、出っ張っている部分を盛っていくのだ。背景の細かな3D感は得られないし、背景と被写体の位置関係も再現されず、輪郭も不自然になるが、少なくとも主被写体の凹凸感だけは判別できるようになる。

　もうひとつは被写体の輪郭を認識して切り抜き、背景との位置関係を配置しなおす方法。いわゆる“書割”を前後に配していくやり方で、撮影空間の前後関係は復元できるが、これでは板が動いているだけの映像になり、被写体に膨らみがなくなってしまう。

　そこでこの二つを組み合わせ、各被写体に粘土を盛って3D化し、切り抜いて3D空間に再配置していくが、これでは背景が真っ平らだ。

　そこで、背景に対してパースペクティブの情報を加えて、背景を形成する空間の形を定義し、空間を再構築していく。このほか、髪の毛の処理や半透明処理など、テクスチャ処理について別途考えなければならないことは多いが、それぞれの問題に個別に丁寧に変換すれば、再レンダリングする準備が整っていく(あくまでも準備)。

3Dへと変換する最初のステップとして、被写体への距離を設定することで、被写体の大きさを推測し、適した奥行きに配置することで3Dワールドをバーチャルに再構築する	背景のパースペクティブを指定することで、画面上の距離と実際の撮影時の距離差を割り出して3Dワールドを作り上げていく

・2D撮影では得られない側面の映像情報を作る

　カメラの視点が変われば、見える部分も当然、変化する。したがって、見えない部分を補完しなければならない。

　もっとも簡単な方法は、画素をコピーしてつなげること。図のようなあまり良好ではない補完になってしまうが、当然、コストは安い。そこで、次善の策としては周辺のテクスチャ情報を元にコピーして、馴染ませる。Photoshopの補正でよくある手法だが、こちらもベストとは言えない。

　自動的に補完するアプローチとしては、他にも別のフレームからテクスチャ情報をコピーしてくる方法があるが、コンピューティングのパワーも多く必要な上、誤作用の可能性もあるので人によるチェックは必要になる。

　最終的に予算をかけることができるなら、自動化のアプローチをすべてやった上で、手で足りない情報を足していく。人間がやるのであれば、前後のフレームだけでなく、同じ被写体の別角度からの情報を用いれば、完璧な側面情報を得ることができる。

映像を被写体、中景、背景に分離。それぞれに対して横方向にシフトさせ、視差を作ることが第一歩。実際の映像でも同様のやり方で行ない、不足しているテクスチャは作り直す。不足するテクスチャ情報をどうするか、透明処理をどうするかなど、実践的には色々なテクニックを駆使しているという

・半透明な対象物を通して見える風景

　煙やガラスを通して見る背景は、処理が難しい。半透明の部分は切り抜いて3D空間に配置するわけにはいかない。背景に馴染んでいるからだ。無視してそのままにするのが楽だが、そうするとガラスの上に被ったホコリや泥、あるいはタバコの煙などが、遠くの背景に見えてしまう。

　そこで、それら半透明な要素はすべてレタッチで消してしまい、背景ならば背景だけの情報にしてしまう。そして、後から3Dオブジェクトとして消した要素を配置し、コンピューターで像を生成する。つまり、2Dから3Dに変換するというよりも、どのようなオブジェクトかを確認した上で、コンピュータの中で作り直しているわけだ。

レンズ効果(フレアなど)も自然に3Dに見えるよう変換しなければならない

半透明の要素(液体、ガラス、土ホコリなど)の処理も難しいところ。結論から言えば、コストさえかければ、後処理でどうにでもできてしまう

粘土を盛るようにして、被写体を陰影に合わせて立体化。写真を一枚のシートのように扱い、ふくらみを持たせるのが、立体化する上で一番簡単なアプローチ

■ 2D-3D変換、3D撮影、それぞれに良さがある

　カラフィン氏は各種事例を紹介しながら「すべて手作業。技術によって作業は効率化できるが、基本的にはエンジニアが元の映像を確認しながら3D映像を再生成していく。人間が判断して作業しているので、基本的にどんな2D撮影の映像でも、3Dワールドをコンピュータの中に再現させ、3D映画として作り直すことが可能だ」と話した。

フィルム粒子の扱いが、存外に3D変換時には難しいとか。ケースバイケースで対処を行なう

　トランスフォーマー3の場合、1分あたり10万ドル近い最高クラスの予算をかけ、2時間半のうち1時間半を2D-3D変換にした。これほどの予算をかけて……と思うかもしれないが、カラフィン氏によると2D-3D変換を使う理由の多くはコスト削減のためだという。

　このケースでは、マイケル・ベイ監督が絵コンテを仕上げていく中で、巨大な3Dカメラを使っての撮影が物理的に不可能(あるいは問題解決のための予算が大幅にかかる)なシーンが頻出することがわかっていた。このため、3D撮影が楽なシーンは3Dカメラを使うが、それ以外は2D撮影に。ただし、あとから3D化することをあらかじめ意識した撮影し、3D化した時に破綻しないよう配慮した。

　カラフィン氏は「3D撮影と2D-3D変換には、それぞれに良さがある。物理的に撮影が困難な場合は、当然2D-3D変換となる。どちらがダメで、どちらが圧倒的に優れているという話ではなく、両者は補完関係にあるのです」と話した。

　結果としてマイケル・ベイ監督の判断は正しく、シーンごとに柔軟な姿勢で撮影・制作を行なうことで、経済性と3D効果の高さを両立し、映像としてもレベルの高い仕上がりになった。

　そもそも、トランスフォーマー3は2D-3D変換だと教えられなければ、3Dで撮影したと思う人が多いと思う。どこからどこまでが本当の3D撮影なのかも、今から思い起こしても想像できない。

　大予算をかえた2D-3D変換の最初の例は、ディズニーが行なったティム・バートン監督作品「ナイトメア・ビフォー・クリスマス」の3D版だった。この作品もカラフィン氏は関わっていたが、当時の2D-3D変換はおとなしく効果も控え目で、演出効果としての3Dの必然性をあまり感じなかった記憶がある。

「基本的な技術は、実は当時とはあまり変わってない。各シーンを見ながら、3Dのモデルを作り上げていき、3Dカメラで撮影したようにレンダリングし直すのは、どのケースでも同じです。しかし、当時は3Dを手軽に見る方法がなかった。作った3D映像をその場で確認しながら作業を進められず、おかしな3D映像にならないよう、ひじょうに保守的な設定で3D化を行ないました。しかし、今やれば3Dはその場ですぐにプレビューできますし、コンピュータも大幅に高速化されました。

■ 将来、3D映画はもっともっと良くなっていく

　カラフィン氏の話を聞いて、もっとも興味深かったのは、3Dの空間を2D映画から作り直し、それを元に再度、3Dレンダリングを行なうという方法論の部分だ。2Dからの変換は凄まじく大変だが、将来、ライトフィールドカメラを映画撮影に利用出来れば、あるはそこまでの最新技術を用いなくとも3D撮影した映像からならば省力化はできる。

　最終的には、2D撮影でも3D撮影でも、3Dの空間が再現されることは同じで、あとは予算次第ということだ。話を戻すと、3D空間を再定義できるなら、実写映像では現実的ではないマルチリグ(前回のコラムで紹介した、被写体、近景、中景、遠景など距離ごとに異なる3Dパラメータで撮影する手法)も行なえる(ただし予算はたくさんかかる)。

「3Dで撮影した映像に対して、3Dで見える被写体の深さを変えたり、前後の距離感を変えるなど、より柔軟性の高い3D化が可能になります。今は水滴のひとつひとつの光の屈折をシミュレートして、映像にディテールと立体感ももたらします(カラフィン氏)」

見えない部分を補完するための手法をいくつか紹介してくれたが、結局、質を高めるには人間の手で補完処理を行なうしかない

別の方法としては、2D映像を切り抜いて書き割りのように配置していく方法も。簡単だが、もちろん質は低い

　そのカラフィン氏は、これから3D映画は大きく変わろうとしているという。

「3D映画の撮影は、まだ始まったばかりです。撮影機材も高価でスケジュール通りにこなせなければ、いくらでも予算をオーバーしまいます。だから失敗しないよう、コンサバティブな制作プロセスになるのです。結果、映画監督は2D映画の時ほど、何度も何度もテイクを取り直せないため、撮影してからはじめて思いつくアイディアなどを盛り込めていません(カラフィン氏)」

　言い換えれば、初めての3D映画制作を終えて、そこでインスピレーションが湧いてくれば、より効果的に3Dを使うようになる、ということだ。ほとんどの映画監督は、まだ3D映画を一度しか撮影したことがない。

「たとえばジェームズ・キャメロン監督も、今新たにアバターを監督したなら、前回の経験を活かして新しい表現をするでしょう。我々は今、タイタニックの3D化を行なっていますが、予算をギリギリまで使って新たな映像表現を求めています。10年以上も3D撮影を実践してきたキャメロン監督でさえそうなのですから、他の監督ならなおさらです。これからはどんどん、新たなアイディアが映画に盛り込まれていきますよ」と、カラフィン氏。

「適材適所で3D撮影、2D-3D変換を使い分けるハイブリッドのアプローチが主流になってくれば、映像制作の自由度は飛躍的に上がります。変換技術が確立されてきたことや、すでに予算面でも変換の方が安いレベルにまで来ていることを考慮すれば、純粋な3D撮影だけの映画は、今後もう出てこないんじゃないでしょうか」

　2D-3D変換技術の向上で、3Dでの実写撮影に関する物理的制約がなくなった。この事が巨匠と呼ばれる映画監督の創作意欲を刺激し、誰もが知る名監督が3D映画を撮影している。スティーブン・スピルバーグ監督の「タンタンの冒険」や、マーティン・スコセッシ監督の「ヒューゴの不思議な発明」といった作品がそれだ。

　今後はさらに2D-3D変換のノウハウが蓄積し、ツールの開発も進んで、コンピュータの計算能力も上がっていく。そして映画監督たちのノウハウも溜まっていくとなれば、カラフィン氏の言うように「まだまだこれから」なのだろう。

　現状、3D化の意味を見いだせない3D映画の駄作が目立つことは確かだが、それらは淘汰されて良作が増えるとの予想の裏には、2D-3D変換技術のさらなる進歩に対する自信が感じられる。まだ「進化のシナリオはたくさんありすぎるほど、可能性が残されている(カラフィン氏)」のだ。