小寺信良の週刊 Electric Zooma!
第1008回
新Final Cut Pro+MacBook Proで編集する「シネマティックモード」の実際
2021年11月4日 00:00
スマホ動画も「ボケ」の時代へ
9月24日より発売されたiPhone13シリーズでサポートされたのが、「シネマティックモード」だ。すでにレビューも多く出ているが、iPhoneではこれまで写真だけだった被写界深度表現を、動画に持ち込んだもの、と考えれば間違いないだろう。
撮影時に自動でフォーカス追従したり、撮影後にもフォーカスポイントが変えられるなど多くの特徴があり、動画コンテンツに新風を吹き込むには十分な機能ではあるが、実際にそれらのクリップを使って何らかのコンテンツを作るとなると、iPhone上のiMovieで作るには限界がある。
プロ用ツールのサポートが待たれていたところだが、10月19日のApple MacBook Proの発表に合わせて、Apple純正の編集ツールであるFinal Cut Proがアップデートされ、シネマティックモードのクリップ編集に対応した。
また新MacBook ProのXDRディスプレイがHDR表示にも対応したことで、HDRで撮影したクリップの編集も、実際の輝度・色空間で確認できるようになっている。今回はAppleよりM1 Pro搭載の16インチMacBook Proもお借りすることができた。
すでに新MacBook Proも発売から1週間、多くのレビューが出ているところだが、ベンチマークテストだけでは、実際のパフォーマンスはなかなかわからないところである。今回は、iPhone 13 Pro Maxで撮影、16インチMacBook Pro、Final Cut Pro 10.6という組み合わせで、本当に映像制作をやった場合にどういったパフォーマンスになるのか、テストしてみたい。
「シネマティックモード」ホントのところ
iPhone 13から搭載されたシネマティックモードは、センサーサイズの問題から被写界深度が深くなりがちなスマートフォンの動画撮影において、フルサイズセンサーで撮影したかのような深度の浅さ、つまり背景や前景のボケを付加するというのが主な狙いである。このとき、被写体がカメラAIによってどう認識されるかが大きな問題となる。つまりターゲットとなる被写体へ合焦したのち、その物体の輪郭を抽出してそれ以外をボカすという処理になるからだ。
この深度表現としては、先に静止画で搭載された「ポートレートモード」がある。当初は人の顔しか認識できなかったが、やがてそれ以外のものが認識できるようになったという経緯がある。シネマティックモードの場合、ポートレートモードで先行して認識できていたものが数多くあるので、それが最初から使えるのがメリットだ。
カメラをシネマティックモードに設定すると、認識できたものを自動でオートトラッキングしていく。この認識だが、カメラを向けただけで自発的に認識できるものと、ユーザーが指定してトラッキングを始めるものと2パターンがある。
人間の顔はもちろんのこと、動物の顔、極端にデフォルメされていないぬいぐるみの顔などは、カメラを向けただけで自動的に認識する。人間は顔が写っていなくても、後ろ姿だけでも認識できる。一方植物など、どこまでが総体かわかりにくいものに関しては、認識できないようだ。
認識できないものは画面タッチで認識できるようになるのだが、一旦画面からフレームアウトして戻ってきた時には認識できないという弱点がある。この点ではやはり、自動で認識できるものにはメリットがある。
通常撮影とシネマティックモードの違いは、使用できるカメラが等倍と3倍のカメラに限定されるところだ。つまり0.5倍の超広角カメラは使用できない。従って13Proシリーズは2つの画角が使用できるが、13及びminiでは等倍のシングルカメラ一本勝負ということになる。また超広角カメラが使えないということは、マクロモードも使えないということである。そもそもマクロ撮影で深度表現がいるのかという話にもなるので、ここはそれほど問題にはならない。
今回はやることが多いので大急ぎで話を進めるが、iPhone 13 Pro Maxにおける各カメラのスペック、画角、手ぶれ補正のサンプルを掲載しておく。
| レンズ | 仕様 |
| 超広角 | F1.8、視野角120度、6枚構成レンズ |
| 広角 | F1.5、1.9μピクセル、7枚構成レンズ |
| 望遠 | F2.8、77mm、最大3倍光学ズーム、6枚構成レンズ |
AFに関しては、AIによってがっちり顔認識していることもあり、手前に向かってくる人物に対して全くフォーカスを外すことなく追従する。ただこのボケは後処理でつけているだけで、実際にはカメラの被写界深度はかなり深いので、AFそのものの実力というよりは、AIによる顔認識精度と奥行きデータとの整合性の高さを示すサンプルと言える。
シネマティックモードの特徴として、動画撮影時にもフォーカス送りなどの高度なテクニックがAIによって実現できる点にある。ただこれを実現するには、最初の合焦点と次の合焦点の2つが自動認識されている必要があり、人物が1人だけで、背後に自動認識できるオブジェクトがない場合は、自動のフォーカス送りは動作しない。
ただ自動ではできなくても、後から編集で合焦点を指定することができるので、撮影時にうまく動かなくてもそれほど問題ないと言える。
iPhone 13 Proシリーズでは、ProResでの動画撮影ができることもポイントになっている。これまでスマートフォンでは縁のなかったフォーマットなので、ファイルサイズがデカいだけで何のメリットがあるのかがよくわからない人も多いのではないだろうか。
ProResは元々、ビデオ編集時の負荷を減らすために開発された、いわゆる中間コーデックである。例えばH.264のような高圧縮コーデックをネイティブで扱っていくと、再生するだけでかなり負荷が高い。また編集点付近が非圧縮に展開して再圧縮を行なうので、何度も編集を繰り返すと画質劣化が顕著になる。
そこでファイルは大きいが低負荷で、繰り返しの編集に耐えられるコーデックとして、2007年のFinal Cut Studio 2と共に登場した。ProResを重たいコーデックだと思っている人も多いようだが、ファイルサイズがデカいだけで、コンピュータ的には軽いフォーマットである。
収録時にProResで撮影するフィールドレコーダは多いが、これは編集時にH.264などからProResへの変換すると時間がかかるので、最初からProResで撮ってしまえ、という発想から生まれた。iPhone 13 ProシリーズでのProRes対応も、そうした発想から生まれたものかと思う。
現在ProResには「4444 XQ」から「422プロキシ」まで6段階のグレードがあるが、iPhone側の設定には単に「Apple ProRes」と記載があるだけで、どのグレードかわからない。Final Cut Proにファイルを転送してインスペクタを確認したところ、ProRes 422 HQで撮影しているようだ。
ただ、ProResでの収録は一般の「ビデオ」撮影のみで、シネマティックモードでは利用できず、H.264もしくはH.265での収録となる。
「シネマティックモード」撮影動画の転送
シネマティックモードで撮影した動画の編集は、iPhone上では「写真」か「iMovie」を使うことになる。他のアプリでも一般の動画ファイルという形なら編集はできるが、後から被写界深度やフォーカスポイントをいじることができるのは上記2つとなる。
一方Macに転送して編集する場合、シネマティックモードの中身がいじれるツールは同じく「写真」「iMovie」、そしてFinal Cut Pro 10.6ということになる。撮影したiPhoneからMacへ転送するだけで色々とお約束があるので、整理しておこう。
まず撮影したてのシネマティックモードのクリップは、iPhone上ではすぐに編集できるのだが、ファイルを転送する際には動画ファイルに奥行き情報をエンベデッド(畳重)する必要があるようだ。iPhone上の「写真」で、アルバム「シネマティック」を選択すると、下の方に未処理のビデオの本数と「今すぐ処理」の表示がある。エンベデッド処理は時間がある時を見計らって自動処理されるようだが、すぐに転送したい場合は「今すぐ処理」をタップして処理させる必要がある。
処理が終わったクリップは、いよいよ転送できるようになるわけだが、やり方が2つある。1つはiCloudなどを経由して、自動的にMacと同期する方法だ。この方法は、エンベデッド処理が終わらないと同期されない。
もう1つは、AirDropを使う方法だ。この場合の注意点は、転送時に表示される「オプション」設置で、「すべての写真データ」をONにしておかなければならない。ここがOFFのままだと、動画ファイルは送られるが、奥行き情報が送られないので、フォーカスポイントなどが調整できないクリップとなる。
iCloudで同期した場合、まずはMac側の「写真」に取り込まれる。ここでは各クリップのステータス、すなわちシネマティックモードで撮影されたものなのか、ProResで撮影されたものなのかがサムネイル上で確認できる。
なおシネマティックモードのファイルが扱えるのは、Mac OS Monterey以降になるので、旧OSを使っている方はアップデートが必要になる。
Final Cut Proで編集する場合、「写真」からクリップを書き出しする必要がある。ここにもコツが必要だ。書き出しには「ビデオを書き出す」と「未編集のオリジナルを書き出す」の2つがあるが、奥行き情報も含めて書き出す場合は「未編集のオリジナルを書き出す」を使用する必要がある。
Final Cut Pro + 新Mac Book Proの威力
転送まででかなりすったもんだあるわけだが、ようやくここからFinal Cut Proでの編集に入る。素材を読み込むと、面白いことに気づく。iPhoneではカメラ設定で「HDRビデオ」をONにしていると、Rec.2020 HLGで撮影されるわけだが、Final Cut Proのモニター画面だけ、輝度が上がってHDR表示になるのだ。これはLiquid Retina XDRディスプレイがミニLEDを採用しているため、部分駆動ができるからである。
これまでHDRコンテンツの編集には、HDR対応の外付けディスプレイを使って、プレビュー画面を全画面表示にして出力というのが一般的だった。PC内蔵ディスプレイで、編集ツールのUIと同居した状態でどうやってHDRをモニターするかがずっと課題で、UIそのものをHDR化するしか方法がないように思われたのだが、こうした方法で解決してくるとは思わなかった。
部分駆動を使ってHDR表示できるアプリとしては、「写真」、「Quicktime」、「プレビュー」がある。サードパーティ製としては「Cinema 4D」などがある。意外にiMovieは表示できなかったが、これはMacOS版がまだHDRに対応していないからかもしれない。今後サードパーティ製編集用アプリでも、対応が増えてくるかもしれない。
シネマティックモードで撮影したクリップをタイムラインに並べると、右のインスペクタ欄の「歪み」の下に「シネマティック」というパラメータが現れる。これにチェックを入れて、さらに右側のシネマティックアイコンをクリックすると、モニター画面上でフォーカスポイントが指定できるようになる。
タイムラインで該当するクリップを選び、右クリックすると「シネマティックエディタを表示」という項目があり、タイムライン上にキーフレームとしてフォーカスポイントが打てるようになる。今回のサンプルでは、フォーカスを奥から手前に順に動かすアクションを入れてあるので、確認していただきたい。
もう1つ、他のアプリではできないこととして、被写界深度を時間で可変できる機能もある。要するに「フィールドの深度」にキーフレームが打てるということである。これは右のインスペクタ欄でもできるし、タイムラインの「ビデオアニメーションを表示」からは変化率をグラフィカルに設定することもできる。
もう1つバージョン10.6で搭載された機能に、オブジェクトトラッカーがある。これは画面内の特定のオブジェクトを自動追従する機能で、部分マスクなどによく使われる。
今回はサンプルとして、被写体だけカラー、周囲はセピアというエフェクトを実現するためにオブジェクトトラッカーを使用してみた。エフェクト内のマスク設定から「シェイプマスクを追加」を選ぶと、モニター画面上にシェイプとトラッカーの選択肢が出てくる。ここでトラッカーを選び、追いかけたい被写体を囲んで「解析」を押すと、自動でトラッキングを行なう。
今回の例では先頭フレームで囲ってトラッキングさせると途中で被写体を見失ってしまうので、真ん中あたりのフレームでトラッキング設定した。そのポイントから自動的に前と後ろに進んで、クリップ全体をトラッキングしてくれる。最初にどの位置で指定するかで結果が変わるので、いいポイントを探すために何度かトライしてみるといいだろう。
なお今回のサンプル動画をレンダリングした結果、M1 Pro搭載のMacBook Proでは約18秒であった。同じプロジェクトを2020年発売のM1 Macbook Airでレンダリングしたところ、約46秒であった。時間にして2.5倍の差がある。これほどの差はベンチマークプログラムには現れないところであり、実タスクではM1 Maxを使わないまでも、Proで十分恩恵が受けられることがわかる。
総論
iPhone13シリーズより導入されたシネマティックモードは、撮影はかなり簡単で大きな効果が得られるので、従来の「ビデオ」撮影に取って代わるものとして標準的に使われていくだろう。ただしProでは超広角カメラが使えないのと、13及び13miniでは加えて望遠カメラがないため、画角の制約は受けることになる。
シネマティックモードの後編集については、MacのiMovieとFinal Cut Proで対応するものの、HDR対応までのことを考えると、Final Cut Proでの作業の方が当然有利になる。HDRの管理は、以前は確かライブラリ(他ソフトでいうところのプロジェクト)単位でしか変更できなかったと思うが、最新バージョンではプロジェクト(他ソフトでいうところにタイムライン)単位で変更できるようになっており、柔軟性が出てきている。
新MacBook Proは、昨年のM1の性能が高すぎてM1 Pro/Maxまではいらないという論調も見られるところだが、実タスクを動かしてみると、ベンチマークでは測定できない差がある。従来ならデスクトップマシンでしか動かせなかった重たい画像処理が可能というだけでなく、ディスプレイがHDR対応になったこと、加えて内蔵スピーカーの能力が上がり、モニターとしても十分な性能を持つようになった。
カスタムにて最高スペックにまでしなくても、HDRの編集をやるなら吊るしの最安モデルでも、昨年のM1モデルから買い換えるメリットがある。
ソフトウェアがミニLED搭載ディスプレイ対応となるだけで、HDR編集にとっては格段の進化がある。Premiere ProやDaVinci Resolveがこれに対応して来れば、新MacBook ProがHDR編集のスタンダード機になってくるだろう。
テレビ番組、CM、プロモーションビデオのテクニカルディレクターとして10数年のキャリアを持ち、「難しい話を簡単に、簡単な話を難しく」をモットーに、ビデオ・オーディオとコンテンツのフィールドで幅広く執筆を行なう。メールマガジン「小寺・西田のマンデーランチビュッフェ」( http://yakan-hiko.com/kodera.html )も好評配信中。