ニュース
初のデュアルカメラ「Xperia XZ2 Premium」、4K/HDR撮影もできるスマホの内側
2018年7月14日 07:30
auとドコモから発売される、ソニーモバイルのフラッグシップスマートフォン「Xperia XZ2 Premium」。そのカメラ機能や、4K/HDRの撮影・表示に対応した動画性能などを解説するマスコミ向けの説明会が13日に開催。スマートフォンの域を越えた高感度撮影能力をいかに実現したかなどが語られた。
Android 8.0 Oreoを搭載したXperiaの最新・最上位モデルが「XZ2 Premium」。Xperiaシリーズで初めてデュアルカメラを搭載。1/2.3型19メガピクセルのメインカメラと、1/2.3型12メガのモノクロカメラを備えている。
このカメラのセンサーは、どちらも裏面照射型の「Exmor RS For mobile」だが、カラーのメインカメラはメモリー積層型が使われている。センサーサイズは1/2.3型で共通だが、ピクセルサイズはカラーセンサーが1.22μm、モノクロが1.55μmと、モノクロの方が大きい。また、レンズの明るさもカラーがF1.8、モノクロがF1.6と、モノクロが明るくなっている。
このカメラを、新映像プロセッサの「AUBE」と組み合わせ、2つのセンサーで捉えた画像を融合する事で高感度撮影に対応。静止画は最高ISO 51200、ビデオでも最高ISO 12800に対応する。このカメラは「Motion Eye Dual」と命名された。
高感度撮影の秘密
デュアルカメラシステムは、ソニーのデバイス設計部門と、カメラ部門が共同で開発。画像合成アルゴリズムや、プロセッサのAUBE開発もソニーによるもので、“One Sony”で開発されたスマホとなる。
2つのカメラが搭載されたカメラモジュールは、ソニー内製設備で作られているが、小さな部品であるため、2つのカメラの光軸を高精度に合わせてはいるが、それでも微妙なズレが生じるという。そこで、生産したモジュールごとに、ズレの個体調整値を記録しておく。
2つのカメラの光軸がズレていると、例えばカラーの画像は水平に撮影できているが、モノクロ画像は少し横に傾いている、といった違いが生まれる。その2枚の画像をそのまま重ねてしまうと写真がおかしくなってしまうため、傾いたモノクロ画像に、モジュールのズレの個体調整値を使った幾何変換処理を実施。水平に補正しつつ、2つのカメラの画像を綺麗に重ねられる。この信号処理をプロセッサの「AUBE」で行なっている。
補正するのは光軸のズレだけではない。2眼カメラでは、そもそもカメラが内蔵された位置がズレているため、レンズ間の距離によって“局所ズレ”が発生する。例えば、遠くに木があり、手前にリンゴがある撮影の場合、右のカメラで撮影すると木左側にリンゴが配置されるが、左のカメラでは木の右側にリンゴが配置される……という違いが出てしまう。この“局所ズレ”は被写体が近ければ近いほど位置ズレが大きくなる。
そこで、全画素に対して、どのくらいのズレ量があるかを検出、それを踏まえて画像の合成も行なっている。
こうした“ズレの補正”を行ないながら、感度の高いモノクロ画像からY(輝度信号)を抽出、カラー画像からはC(色)の情報を使い、画素ごとに位置を合わせながら合成。最終的にデュアルカメラを使い、高感度なカラー画像を生成している。
こうした処理は、信号処理のデータ量が多い。静止画だけでなく、動画撮影でも機能させようとした場合、通常のGPUで処理すると100ms以上の時間がかかる。30fpsの動画の場合、フレーム間の時間は3ms、60pでは16msとなり、GPUでは間に合わない。そこでAUBEを新たに開発し、リアルタイム処理を実現した。
このデュアルカメラモードは、「静止画・プレミアムおまかせオート」では、撮影シーンに応じて自動でデュアルカメラに切り替わる。主に、明るい時はカラーの単眼センサーを使い、暗い時にはデュアルカメラに切り替わる。
これ以外にも、静止画のマニュアルモードと動画モードでは、ユーザーがデュアルカメラのアイコンをタップし、デュアルカメラのON/OFFを切り替えられる。
また、前述の通り、被写体が近いと“ズレ量”が大きくなってしまうため、デュアルカメラモードでは被写体との距離は1m以上離れる事を推奨。被写体が近すぎると「離れてください」というメッセージが表示されたり、撮影時のチュートリアルが表示されるといった、UIの刷新も行なわれている。
今後の機能追加として、ボケ味を出した撮影モードと、モノクロ撮影モードを8月下旬以降、アップデートで提供予定。
世界初の4K HDR撮影対応スマホ
Xperia XZ2 Premiumの特徴はデュアルカメラだけでなく、世界初の4K HDR撮影対応スマホでもある。Xperiaでは2017年の「ZX Premium」で4K HDR表示に対応したが、2018年の「XZ2 Premium」と「XZ2」ではメモリー積層型イメージセンサーを搭載する事で、4K HDRの撮影にも対応したのがポイントとなる。上位機のXZ2 Premiumはこれに加え、4K HDR対応のディスプレイも搭載。撮影・表示の両方でHDRに対応している。
具体的には、HEVC/H.265で撮影動画をエンコード。10bitの階調も実現、HDRの方式はHLGに対応。色域もBT.2020に対応している。4Kだけでなく、フルHDでのHDR撮影も可能だが、フレームレートは4K/フルHDどちらも24fpsまでの対応となる。
【お詫びと訂正】記事初出時、フルHDのHDR撮影は30fpsまでの対応と記載しておりましたが、24fpsまででした。お詫びして訂正します。(7月19日)
HDR撮影の方法は一般的に、露光時間を短くして撮影した画像と、長時間露光した画像を撮影し、2つの画像の“いいとこどり”をするように合成する事で生成できる。
しかし、短露光と長露光を撮影するためには2フレームが必要になり、動画には不向きとなる。そこでXperia XZ2 Premiumでは、メモリー積層型センサーを採用。高速な読み出しができる事を活かし、1フレームの間に、短露光と長露光を実施。1フレームでHDR画像の生成を完結させた。
こうして撮影した4K/HDR映像を、SNSなどで共有する際はYouTubeを使う人が多い。そこでソニーでは、YouTubeと協業。YouTubeのサーバー上では、VP9にエンコードした動画が使われているが、Xperiaの動画は前述の通りHEVCの10bit/HLGとなる。そこで、XperiaからYouTubeに動画をアップロードすると、HEVCからVP9へとフォーマット変換を行なうようになっており、4K/HDR映像を気軽にシェアできるという。
Xperia XZ2 PremiumのYouTubeアプリでも、4K/HDR映像の表示が可能。ただし、「4K、HDR」などのキーワードでYouTubeを検索しても、実際は4K/HDR映像ではないコンテンツも多い。そこで、YouTubeアプリでは右上のアイコンから「(動画の)プロファイル」を表示するモードを用意。そこをタップすると、解像度やHDRであるか否かが判断できるという。
