かなり進化! iPhone XSのカメラを試す。ボケ表現と4K HDR動画に注目

静かな船出?

9月21日より発売が開始されたiPhone XSと、XS Max。各キャリアの予約は大きな混乱もなく、スムーズに行なわれた印象だ。すでに入手された方もいらっしゃる事だろう。しかし、発売直後のお祭り騒ぎから落ち着いてみると、意外に実感の話が出てきていないような気がする。

すでに発売済みのiPhone XS(左)とiPhone XS Max

既発売の新iPhoneをざっくりまとめると、iPhone XSはiPhone Xと同サイズ、XS MaxはiPhone 7/8 Plusとほぼ同サイズでOLED(有機EL)採用、双方とも画面はiPhone Xで採用された全面タイプといったところだ。

ディスプレイの全画面化と物理ボタンの廃止は、iPhoneのラインナップとしては大きなポイントだ。現在もiPhone X以前のモデルが併売されているが、X前とX後では全然違うデザインであり、UIも変化したわけだ。

今やスマートフォンの主たる目的は、撮影&シェアと言っても過言ではない。年々性能がアップするカメラこそが、スマートフォンのウリとなってきているわけで、じゃあ今年のiPhoneはどうなの? という話になる。10月には液晶モデルのiPhone XRが控えているが、まずはXSシリーズのカメラ性能をテストしておこう。

気になる画面サイズは……

iPhone XS/XS Maxのスペックは、すでに多くのメディアでご覧になっていると思うので、あまり細かい話は抜きにして、概要だけをまとめておく。

主だったスペックを抜き出してみたが、プロセッサやカメラ性能はどちらも変わらず、違いはディスプレイサイズとバッテリーサイズぐらいである事がわかる。

片手で余裕の操作、iPhone XS

サイズ感は”Plus”と同じ、iPhone XS Max

ディスプレイに関しては、ほぼ全面スクリーンとなったことで、ボディサイズに比較して画面が大きくなっているわけだが、では具体的に以前のモデルと比べてどうなのか。

ボディサイズ比較ではなく、ディスプレイサイズで比較してみる。iPhone 7 Plusと比較してみると、iPhone XSでは高さ方向で1cmほど長い。ただ上部にはiPhone特有の切り欠きがあるので、その高さ分全部をディスプレイ領域として使えるわけではないが、ボディサイズと比較すると、やはり全面ディスプレイの恩恵は大きい。

ディスプレイの底辺で合わせてみると、XSはPlusより縦に長い

一方ディスプレイの横幅を比較すると、XSの方が8mm程度狭い。Webコンテンツやアプリはほとんどが縦長で作られるため、ディスプレイの縦長化の恩恵はそれなりにあるだろう。

左合わせで揃えると、XSが8mm狭い

iPhone XS Maxと旧モデルを比較すると、縦方向には2.3cm大きくなる。一方横幅は、元々旧モデルもそれなりに狭額縁であったため、ほぼ同じだ。

XS Maxはほぼアイコン1段ぶん縦長

横幅はほぼ同じ

個人的には、Plusに比べて重量が減ってもディスプレイサイズがやや大きいXSは、使い勝手がよさそうにみえる。

気になるカメラだが、Appleはセンサーサイズは公開していないものの、画素ピッチが1.2μmから1.4μmに拡大された。画素の開口部サイズが拡がったと考えられなくもないが、もっと単純に考えれば、センサーサイズが大きくなったと推測するのが妥当であろう。画素ピッチの拡大によって、暗所撮影に強くなったと言われている。

気になるカメラ性能はいかに

加えて新SOCのA12 Bionicで強化されたニューラルエンジンにより、被写体の識別や顔認識を行い、被写体と背景をより正確に分離できるようになる。特にシングルのフロントカメラは、iPhone Xでも演算により背景をぼかすことができたが、人物の輪郭切り取りの精度に多少怪しいところがあった。こうした部分をいかにカバーできているかが、今回の見所であろう。

新しい深度表現は?

新iPhoneはレンズスペックに関してあまり詳しい情報は出ていないが、画角に違いがあるのか、iPhone 8 Plusと比較してみた。

【静止画】iPhone 8 Plus Wide

【静止画】iPhone XS Max Wide

【静止画】iPhone 8 Plus Tele

【静止画】iPhone XS Max Tele

【動画】iPhone 8 Plus Wide

【動画】iPhone XS Max Wide

【動画】iPhone 8 Plus Tele

【動画】iPhone XS Max Tele

左端を基準に撮り比べてみたが、動画も静止画も、若干XSのほうが広くなっている。ただこれぐらいの差であれば、敢えてレンズ設計をやり直すほどの変化とは受け取れない。それよりは、センサー側の切り出し範囲が広くなったと考えるのが自然だろう。

iPhone XSシリーズではその強みとして、撮影後にも被写界深度表現を変えられる機能がある。ポートレートモードで撮影した場合、従来は「被写界深度エフェクト」として自動的に背景ボケが付き、編集時にはボケを無しにしてオリジナル画像に戻せるに留まっていた。しかし今シリーズから、撮影後に背景をどれぐらいぼかすのか、あるいはぼかさないのかを、標準アプリで調整できるようになった。

実はこれまでも、後からでも深度が変更できる「Focos」といったアプリも存在した。それが標準機能として搭載された意義は大きい。

ポートレートモードで撮影した写真を「写真」アプリで「編集」すると、画面下に絞り値が表示される。これをスライドして、背景のボケ具合を調整することができる。標準ではF4.5だが、F1.4からF16まで可変できる。

標準で被写界深度や光源タイプを変えられる機能が搭載

これをやるためには、フロントの被写体と背景を分離しなければならない。2D的に処理するのであれば、アルファチャンネルを使ったマスクを切るだけの話だが、昨今のスマートフォンでは撮影時に奥行き情報が取れるようになっており、顔認識機能と組み合わせながら、立体情報としてフロントとバックを分離するようになっている。

奥行き情報を元にマスキング処理を行うfocos

こうした演算をより高速に、正確に行えるように強化されたのが、今年発売のiPhoneで9倍高速になったニューラルエンジンというわけである。

では実際にポートレートモードで撮影した結果を元に、その機能を検証してみよう。

ポートレートモードで撮影した標準状態

上がメインカメラのポートレートモードで撮影した、標準状態である。デフォルトではF4.5と表示されている。

これをF16まで絞ると、以下のような画像となる。

F16に設定

ある意味これが、背面のTele側カメラで撮影された「素」の状態であり、F4.5の状態は演算にてもたらされた結果である。では次にF1.4に設定してみよう。

F1.4に設定

これが背景をボカす最大値である。顔の部分に注目すると、細い髪などは背景に溶け込んでなくなってしまったところはあるが、顔の輪郭はボケに溶け込ませず、はっきり輪郭を残そうとしているのがわかる。

若干右耳の下のあたりに奥行き情報のエラー後が見られるが、顔の輪郭と、背景のきわだった物体が近い場合、以前からもこうしたエラーが起こっていた。ただこうしたエラーも機械学習が進めば、次第に無くなっていくだろう。

若干不自然に思えるのが、服の部分だ。顔の位置と服の位置は、奥行きにして5cm程度しか違わない。いくらF1.4だとしても、本物のレンズだったらこうしたボケかたをするだろうか。

おそらくこのあたりは厳密に3D情報を使っておらず、顔を中心としてあとは成り行きでボカすようなアルゴリズムになっているものと思われる。

続いてフロントカメラでのポートレートモードを試してみる。いわゆるセルフィーでの撮影だが、iPhone 8以前はそもそもフロントカメラにはポートレートモードは存在しなかった。

だが、iPhone X以降はフロントカメラでもポートレートモードが使えるようになっている。10月発売のiPhone XRもメインカメラが単眼だが、同様にポートレートモードが使えるようになっている。

フロントカメラによる標準ポートレートモード

F16に設定

同様にF16に設定すると、フロントカメラで本来撮影されている画像が確認できる。これをF1.4までボカすと以下のようになる。

単眼カメラでここまで綺麗にぼかせれば大したものとは言えるが、ポニーテールのふわっとした部分が背景ボケと一緒にボカされている。F4.5の画像と比較しなければ気がつかないほど自然ではあるが、「正しくはない」とは言えるだろう。加えて体のほうも、右肩と左肩のボケ方が違うなど、不自然な部分も多い。

とは言え、写真としてここまでボカす必要があるかというと、実際にはF4.5か、あと少しボカすぐらいでポートレートとしては十分成立するはずだ。あくまでも“マックスまでやると破綻する部分もある”という認識で十分だろう。

HDRも段違い

新iPhoneのカメラ、もう一つのポイントは、賢くなったHDRである。HDRといっても映画や放送のHDR規格へ準拠という意味ではない。露出の違う画像を複数枚合成することで、ダイナミックレンジを上手い具合に圧縮する、スマートHDRである。

写真ではすでにお馴染みの手法で、iPhoneでも早くから搭載されている機能であるが、動画への応用はなかなか難しかった。ビデオカメラでは、パナソニックの一部の製品でトライした例がある程度である。

一方今秋のiPhoneでは、4K動画においても30fpsでスマートHDR撮影ができるという。そこで今回は、敢えて木陰が頻繁に横切るシーンで、iPhone 8 Plusと同時撮影を行い、4K/30pにおけるスマートHDR動画撮影の動作検証を行なった。

メインカメラのワイド側では、iPhone 8 Plusは木陰が横切った直後は補正が間に合わず、顔や地面が白飛びしてしまう。一方XS Maxは、露出追従のように全体が明るくなったり暗くなったりするわけではなく、同じ露出感の中で輝度を瞬間的に押さえ込む。

この事情はフロントカメラも同じだ。iPhone 8 Plusのフロントカメラによる動画撮影は、HDR処理をまったく行なっていないが、XSシリーズではフロントカメラでもHDR処理を行なっているのが見て取れる。

動画のHDR撮影は、1フレームずつ交互に露出を変えて60Pで撮影し、30pへとHDR合成を行なっているものと思われる。ということは、記録モードとして4K/60pで撮影した場合は、このような高速HDR処理は行なわれないはずである。

そこで4K/30pと4K/60p、暗部から光源へ向けてスイッシュパンを行ない、その追従性を確認してみた。60pでは、カメラを光源へ向けたあと、徐々に補正されていくのに対し、30p撮影では光源へ向けたとたん、ほぼ瞬時にHDR補正が行なわれているのが見て取れる。通常速に加えて25%スローでも比較してみたので、動画で確認してみて欲しい。

ついでに手ブレ補正も見ておこう。iPhone 8 Plusは、Tele側のカメラに手ブレ補正がないと思っていたのだが、それほど強力ではないものの、補正機能は一応あるようだ。詳細は公開されていないが、光学手ブレ補正ではなく、電子補正のみ搭載なのかもしれない。

一方XSはきちんと光学手ブレ補正が搭載されており、Wide側のカメラと比べても遜色ない補正力がある。

さらにフロントカメラでも比較してみたが、iPhone 8 Plusは全く手ブレ補正がないのに比べ、XSはきちんと手ブレ補正が搭載されているのも確認できた。

今回のカメラセンサーは、画素面積が拡大したため、暗所撮影に強いとされている。こちらもiPhone 8 Plusと比較してみた。Mainカメラはフラッシュなし、FrontカメラはOLED画面を白く光らせるRetina Flashで撮影している。

iPhone 8 Plusメインカメラ

iPhone XS Maxメインカメラ

iPhone 8 Plusフロントカメラ

iPhone XS Maxフロントカメラ

S/Nに関しては、正直それほど大きな違いは見られない。ただEXIF情報を見ると、XSの方がISO感度を上げて、シャッタースピードを速くしているのがわかる。暗所でもブレの少ない絵が撮れるという点では、XSのほうにアドバンテージがある。

なお今回の撮影にはiPhone XS Maxを使用しているが、カメラ性能はXSも同じなので、その効果も同じだと思っていただいていいだろう。

総論

まずはかなり膨大な文字数の検証レポートとなったことをお許し願いたい。実は正直なところ、カメラスペックはあまり変わっていないため、映像もそれほど違いはないのではないかと心配していたのだが、実際に撮り比べてみるとかなりの進化があることがわかった。

実際カメラユニットとしては、センサーが多少高感度になっただけだが、HDR処理に関しては、新SOCのA12 Bionicとニューラルエンジンで、劇的な処理の違いがあることがわかった。

静止画ならともかく、回しっぱなしの動画において瞬時にHDR処理が行なわれるのには驚いた。4Kでは30pに限るという条件は付くが、それでも今回の検証で、本当に1フレーム以内で処理が終わっていることが皆さんも確認できたと思う。

こうした映像処理は、狭ダイナミックレンジで不自然だという見方もできるだろう。だが白に飛んでディテールが見えなくなるより、見えた方がいいという評価も当然あるだろう。

中国勢のスマートフォンも、画像処理は非常に高いレベルになってきている。だが写真はともかくも、いざ動画となれば「それほどでもない」というのが正直なところだ。

写真だけ評価すると、新iPhoneは中国Android勢の後塵を拝しているという評価もあったが、こと4K動画に関してはレベルの高さを見せつけてくれた。

動画撮影者なら、研究のためにも、表現として一歩リードするためにも、今期の新iPhoneは入手しておいて損はないだろう。