西川善司の大画面☆マニア
第239回
10,000nitの高輝度でも自然な色と階調。ソニー新映像エンジン「X1 Ultimate」の実力
2018年1月11日 10:00
今年も映像機器豊作のCESソニーブース。最新プロジェクタや有機ELテレビについては、前回記事で紹介したが、もう一つの目玉が、次世代の映像エンジン「X1 Ultimate」だ。8Kにも対応し、8K液晶パネルと10,000nitの直下型バックライトシステムを組み合わせたデモで、そのポテンシャルとソニーの高画質化技術を紹介している。
8K時代を見据えたソニーの新世代映像プロセッサ「X1 Ultimate」
ソニーブースの高画質技術として注目したいのが、8K時代を見据えた新世代映像エンジン「X1 Ultimate」と、これを活用した試作8Kディスプレイ(8K"テレビ"とはあえて記述していないのが意味深)の実働展示だ。
X1 Ultimateは、現行プロセッサ「X1 Extreme」の約2倍の映像処理スループット性能を実現した新SoCで、関係者への取材によれば「結果としてスループットが約2倍になるような活用となったというだけで、プロセッサ単体の演算性能は強烈に向上している。理論性能値のFLOPSを公言したいが、公言すると数値性能競争に落ち込むのであえて言わないことにした」とのことで、控えめながらもその性能に対しての自信がみなぎっているようだった。
今回のブースでの展示は、X1 Ultimateの全貌は明かされていないようだったが、デモとしては、ほぼ暗室での半閉鎖ルームにて、3つの機能実演が披露されていた。
1つは、LG式のWRGBサブピクセル構造の4K有機ELパネルに対して、X1 Ultimateの機能をオン/オフ状態にした比較。
2つ目は同様に4K液晶パネルに対してX1 Ultimateの機能をオン/オフ状態にした比較。
3つ目は、10,000nitの直下型バックライトシステムを採用した8K解像度の液晶パネルをX1 Ultimateで制御した映像表示と、ソニーのフラッグシップ液晶テレビの75型のZ9Dとの比較デモだ。
1つ目と2つ目のデモは、超解像処理、コントラスト処理、色階調処理などを映像のフレーム単位ではなく、オブジェクト単位で行なった時の違いを見せるもので、X1 Ultimateの機能オンの方が、明部と暗部それぞれの解像感、コントラスト感、階調特性が最適化されている印象が得られていた。
たとえば、空に浮かぶ雲を題材に考えると、太陽に近い雲と遠い雲では陰影の出方はもちろんのこと、輝度値も違う。これをよりよく見えるような映像処理を行なう際、一般的なフレーム単位の映像処理メカニズムでは、その映像パネルを駆動するビット分解能が仮に8bitだったとしたら、映像パネル全体(フレーム全体)に対し、この8bit整数のダイナミックレンジでやりくりしなければならない。8bit整数で表現できる0-255の値に対し、リニア値でなく、非線形の値を対応づければ輝度ダイナミックレンジは上げられるが、その分、階調分解能は粗くなってしまう。
一般的なエリア駆動対応の液晶パネルの映像処理系では、映像中の平均輝度と映像フレーム内の明暗分布だけに着目して、その明暗分布ごとに適当な基準輝度を設定し、そのローカル領域にて、8bitのダイナミックレンジを使って映像処理を行なう。
ソニーのX1系映像エンジンでは、平均輝度や映像フレーム内の明暗分布だけではなく、映像中に存在する各オブジェクト単位で基準輝度も設定するし、超解像処理の陰影強化のゲインも調整、さらに、その映像パネル特有のカラーボリュームねじれに対する色補正も行なう。
そのキモとなる「オブジェクトの認識」については、機械学習ベースの推論メカニズムを使うが、処理単位としては、フレーム内を均等に分割したグリッド(格子分割)ベースで行なっている。隣接するグリッド内の映像パーツ同士に強い相関性が見出せればその隣接するグリッド同士を同一オブジェクトと推測して処理を行なう。
現行プロセッサのX1 Extremeでは、このグリッドベースの相関性の判断を4K解像度と4Kテレビで想定される画面サイズに最適化した仕様になっていた。
しかし、今回の新X1 Ultimateでは、このグリッドサイズを小さくして(つまりグリッド分解能を上げて)来たというわけである。なぜ小さくしたかといえば、8K解像度はより解像度が高く、同一ピクセル数からなるグリッドであっても、映像パネルに対する面積比は小さくなるため。
「なんだ、それだけか」とはならない、処理単位グリッドを小さくしたということは、隣接するグリッド同士の相関性の判断を広範囲に行なう必要が出てくる。例えば4Kの時には着目しているグリッドの隣だけに着目すればよかったものが、隣の隣まで見ないとならなくなるというようなイメージだ。つまり、それだけ演算パワーが必要になる。
そう、冒頭で関係者が述べていた「スループットは2倍でも、演算能力の方は強烈に引き上げている」という理由の一端はここにあるわけである。
3つ目の8Kデモは、ここまで解説してきたX1 Ultimateの高性能ぶりをフルポテンシャルで活用する事例となる。
この8Kデモは、実は2種類の映像がミックスされて表示されていた。
1つはネイティブ8K映像をX1 Ultimateに入力してそのまま表示させるデモ。もう一つは撮影は8Kだが、4Kにダウンスケールした映像を4KのままX1 Ultimateに入力して、X1 Ultimate内で超解像処理を行なって8K化して表示するデモだ。「どの映像がどっち」と言うところまでは教えてもらえず、もはやX1 Ultimateの処理品質が高すぎて判別のしようがないのだが、いずれにせよ、表示映像に不自然さは感じられず。
なにより凄いのは、10,000nitのコンテンツを液晶パネルと直下型バックライトシステムを使って表示しているにもかかわらず、輝度差の激しい映像であっても、色のグラデーション、輝度や階調の不連続性などが全くなかったというとところ。
目を開けて凝視出来ないくらいの10,000nitの高輝度表現に目を奪われがちのこの8Kデモだが、実は、たかだか8bitないしは10bit駆動の液晶パネルで最大輝度10,000nitのコンテンツを、輝度と階調と色に関して一切の不自然さなしに表示できていることこそが、このデモの凄いところなのである。
X-Motion ClarityはX1系映像エンジンだからこそできる技!?
さて、2018年の液晶モデルに搭載される新機能が「X-Motion Clarity」。これもX1系映像エンジンだからこそできる技術だ。
X-Motion Clarityは、「映像内の動体に対して、液晶特有のホールドボケを低減する」技術。この手の技術としては「補間フレームを挿入して動体の動きをスムーズに見せるテクニック」と、「黒挿入を行なって人間の視覚特有の残像を消し去るテクニック」があるが、X-Motion Clarityは後者の技術になる。
従来の黒挿入は画面全体(映像フレーム全体)に入れるもので、近年ではLEDバックライトのオン/オフ制御で実践するものが主流だった。
このバックライトをオンオフさせる方式の場合、連続時間視点で見ると、バックライトが消えている時間帯があるために、映像が暗く見えてしまう。これは、動体ではない映像領域まで、黒が挿入されてしまうから。
そこで、続く考え方として思いつくのが、動体オブジェクトに対してのみピンポイントで黒挿入をしてやろうというアイデアだ。
直下型バックライトシステムであれば、エリア駆動で映像フレーム中の特定領域に対して黒を挿入することはできるように思える。たとえば走行する車が画面を横切る映像の際、その車の形状でバックライトをオフにできればこのアイデアは実現できるだろう。
しかし、液晶パネルの背面に仕込まれるバックライトの配列分解能はそこまで高い精細度はないので、おそらく車の輪郭を大きくはみ出した外周にまで黒が挿入された不自然な表示になってしまう。
それと「画面全体のバックライトオン/オフ制御による黒挿入は映像が暗く見える」わけだから、このアイデアをやると、動体の車の周囲だけ映像が暗く見える事になり、その点においても不自然な見映えとなるだろう。
そこで、思い出して欲しいのが、X1系映像エンジンの、フレーム内のオブジェクト単位の映像処理を高精度に行なう技術だ。
X1系映像エンジンであれば、例のグリッドベースのオブジェクト認識と、その周囲との相関性に配慮した映像処理のポテンシャルがあれば、車であれば、その車の形状でピンポイントに黒挿入が行なえるのだ。
そして、車の形状でピンポイントで超解像処理、コントラスト処理、色階調処理までが行なえれば、車の形状で行なわれる黒挿入の時間帯分の輝度損失を、黒挿入が終わって車の実体表示の時により明るく表示して補償してやればいい。
喩えると、表示が1、黒挿入が0だとして、単位時間あたり2つ分に対して連続で映像表示したとすると1+1=2の輝度になる。ここで後者の単位時間に黒挿入0をいれると1+0=1で半分の輝度になってしまう。しかし、最初の単位時間での映像表示の輝度を倍化した2で表示してやれば、その後に黒挿入が入っても2+0=2となり、連続表示時の輝度と同じになる。こんな理屈の補償を行なう。
こんな処理概念によってX-Motion Clarityは実現されているのである。
ちなみに、上位のX1 Ultimateであれば、このオブジェクト単位の黒挿入を、より細かに高精度に行なえると想像ができる。
車の例でいえば、X1 ExtremeよりもX1 Ultimateのほうが、より車の形状やディテールに正確に適応した黒挿入が行なえる、ということである。
X1 Ultimateは8Kだけでなく、4Kにも適応できるプロセッサなので、できれば今期の4K液晶BRAVIA X90Fシリーズに搭載して欲しかったところだが、まだ具体的な搭載時期は明らかにされていない。しかし、今後開発されるBRAVIA上位機種(たとえばZ9Dの後継とか?)の高画質機能は、この新映像エンジンのコンセプトを前提としたものになるはずだ。
トライゼット西川善司
大画面映像機器評論家兼テクニカルジャーナリスト。大画面マニアで映画マニア。3Dグラフィックスのアーキテクチャや3Dゲームのテクノロジーを常に追い続け、映像機器については技術視点から高画質の秘密を読み解く。3D立体視支持者。ブログはこちら。