西田宗千佳のRandomTracking
第491回
「BRAVIA XR」の新エンジンは何をしているのか? “人の注視点”に着目した高画質化
2021年1月19日 08:00
米ソニーエレクトロニクスは、CESに先立つ1月7日、2021年に市場投入するBRAVIAのいくつかを発表した。発表はあくまでアメリカ市場に向けたものだが、例年のことを考えると、その要素の多くを搭載した製品が日本でも発売になっている。
では、今年のBRAVIAはどうなるのだろうか?
特に気になるのは、ハイエンドモデルに搭載される新しい画像処理エンジン「CognitiveProcessor XR」だ。プレスリリースや同時に公開された動画を見ても、表現が詩的……というか曖昧でよくわからない。
XRを搭載した「BRAVIA XR」は具体的にどういうものになるのだろうか?
そして、2020年の市場分析から、ソニーはどのようなテレビを今年提供しようとしているのだろうか? 担当者に聞いた。
ご対応いただいたのは、ソニーホームエンタテインメント&サウンドプロダクツ TV事業本部 商品企画部 統括部長の鈴木敏之氏だ。
ソニーにおける「画像処理エンジン」ブランドとは
発表された「BRAVIA XR」シリーズは、複数のラインナップから成り立つ。8K液晶の「Z9J」、4K有機EL「A90J」が「MASTERシリーズ」の名を冠するハイエンドとして存在し、さらに4K有機ELの「A80J」、4K液晶の「X95J」「X92」、「X90J」がある。サイズやラインナップはあくまでアメリカ市場向けのもので、日本では異なる可能性が高い点に留意していただきたい。詳しくは以下の記事をご参照いただきたい。
- 米ソニー、世界初“脳のように”処理するTV「BRAVIA XR」。80Mbps高画質配信「BRAVIACORE」
https://av.watch.impress.co.jp/docs/news/1299154.html - 米ソニー、”焦点”に着目したXRエンジン搭載8K液晶「BRAVIA Z9J」
https://av.watch.impress.co.jp/docs/news/1299205.html - 新エンジン搭載で4K/120p対応「BRAVIA XR」、4K有機EL/液晶5機種
https://av.watch.impress.co.jp/docs/news/1299183.html
簡単に言えば、共通項は新しい画像処理エンジン「CognitiveProcessor XR」(以下XR)を搭載していること。だからブランド名にも「XR」の2文字を冠することになった。
ちょっとここで、BRAVIAの画像処理エンジンと、そこに使われるプロセッサーの歴史を振り返ってみたい。
BRAVIAは2011年以降「X-Reality」シリーズを搭載した。初期には追加プロセッサーを搭載して「X-Reality PRO」とし、ハイエンドモデルでの差別化に利用してきたが、その後1チップ化した。これを4K化したものにHDR関連機能などを追加した「X1」を2015年に採用、それをパフォーマンス向上・改良する形で、「X1 Extreme」(2016年)、「X1 Ultimate」(2018年)と機能アップしてきた。同じ名称であっても搭載年によって性能は全く同じではなく、少しずつスペックアップとソフト改良を繰り返し、毎年の画質向上を図ってきた。処理エンジンの陳腐化に合わせて上位モデルから低価格モデルへと採用を広げていき、シャワー効果のように画質を改善していく……というのが基本的な戦略だ。
このやり方自体は珍しいものではなく、他のメーカーでも行なわれていること。画像処理エンジンに名称をつけてブランディングしていくやり方は東芝が始めたものだが、程なくソニーも追随した。以後、世界市場を見ると、東芝というよりはソニーのやり方を真似る形で他の家電メーカーにも広がり、今やハイエンドなテレビを売るメーカーは必ず「画像処理エンジンのブランド化」を行なう、といっても過言ではない。
「面」「信号」でなく「注視点」に処理を集中する新プロセッサー・XR
こういう流れを見れば、画像処理エンジンの刷新の際、「新ブランド」に移行することはかなり大きなことである、というのがお分かりいただけるのではないだろうか。
鈴木氏も、「今回の変更が非常に大きなものである」と説明する。
鈴木氏(以下敬称略)：XRは、「X1」や「X1 Ultimate」とはまったく違うアプローチを使います。そのため、プロセッサーも「XR」と名前を変えましたし、BRAVIAも「BRAVIA XR」としました。
確かに発表では「人間の脳に近い」といった、多少抽象的な説明をしています。というのは、一般の方には技術的な説明をしても、なかなか理解していただくのが難しいためです。
我々が映像を見るときには、女優さんの目や肌の質感に注目します。それは日常生活で世の中を見ている時と同じ目線です。
XRが目指しているのは「その場にいるようなリアリティ」です。
これまでのプロセッサーでは、画像全体に満遍なく処理をかけていたのですけれど、XRでは「写っている映像の中で重要だろうと思われる部分」に処理能力を集中させます。この考え方が、X1までの世代との根本的なジャンプになります。
全体に処理をかける場合、プロセッサーの処理能力には限界がありますから、「全体にある程度のところ」までしか処理をかけることができません。しかし、映像において人々がこの部分を見ているだろうと考えられる「注視点」に処理を集中させることで、さらに高画質化を目指した、ということです。
これを理解するには、半導体と処理能力の関係を頭に入れておいて判断する必要がある。画像処理に必要な処理というのはある程度決まっている。無限の処理能力があるならば、全てのピクセルに対して理想的な処理を徹底してかけ続ければいい。だが、テレビで高画質化に使える時間は数ミリ秒程度しかなく、プロセッサーの性能も、コストや発熱を考えると、最新のGPUほど高い処理性能を持っているわけではない。XRはもちろんX1 Ultimateより高性能化しているが、それでも全ピクセルに理想的な処理をかけるには足りない。「ある程度のプロセッサーの能力」と「限られた時間」という掛け算の中で用意されるのが演算資源であり、それを画像処理にどう使うかがポイントになる。
鈴木：例えば「人が出ている」「出てない」というのは観点ではありますが、「動きで変化があるかどうか」などもあります。あんまり動いていなければ注視量は少ないだろう……と判断します。複数の点から注視とその量を判断し、我々が「実際に見ているときの印象」の再現にフォーカスする、ということです。
今までは信号を見て全画面に一様に処理をかけていました。今回は人間の認知特性に合わせて総合的に判断し、最終的な結果に反映させるという形です。そういう意味ではより人間の「目」に近くなった。従来は「面」で検出していたので顔のある・なしくらいは(信号からも)わかっていたのですが、XRではどこに顔があるかというところなども見て処理します。
鈴木：例えば「面」でシャープネスを効かせると、確かにはっきりはするのですが、副作用として背景にノイズが出たりもします。顔の部分は質感を残しつつ背景は残す、というようなメリハリのある処理が可能です。また、信号からの判断では、人の顔とソファの区別がつかなかったので全体的に強くシャープネスをかけることはできなかったわけですが、XRでは見分けることができるので、自然な処理が可能です。
例えば、部屋に男子高校生がいて、壁にアイドルのポスターが貼ってあったとします。「どちらも顔じゃないか」という気がするかもしれませんが、別に顔認識だけで判断しているわけではありません。フォーカスが当たってるかどうか、カメラの動きに合わせてどこにあるのか、といった情報を多角的に組み合わせていて、1つの観点では判断していません。
映画やドラマの場合には、「真ん中に出ている」とか「動きがある」とか「大きい」とか、そういった情報で主役を検知して、そこに処理を集中することもできます。スポーツならば、選手とテロップを見分けて引き立たせる、ということも行ないます。
ソニーは「従来は全体にかけていた」というが、それでも、ある程度処理をかける場所の判断はしていた。逆に今回は「注視点に処理を集中する」といっても、それ以外でなにもしないわけでもないだろう。重要なのは、処理をより集中させることで、必要な部分での効果をより高めることで「自然と思える映像」を目指す、ということなのだろう。
鈴木氏によれば、XRで採用された処理のコンセプトを、商品企画の立場で最初に耳にしたのは「3、4年前」だという。研究開発の場では、もちろんそれよりも前から検討が進んでいたのだろう。「では、その処理をどうやって実現するのか。その世代が使えるプロセッサーと、技術開発のタイミングを待っていた」と鈴木氏はいう。X1 Ultimateがそのタイミングではすでにあったわけだが、「これで一部を実現するよりも、次の世代を待ちましょう」ということで、今世代から「XR」として導入することが決まった。
クリエイターの意図は「ダイレクトモード」で、そうでない一般的テレビ番組の臨場感をアップ
内容を判断して映像を表現するということになると、気になる部分も出てくる。
前述のような「誤認識」も気になるが、注視点と制作者の意図(いわゆるクリエイターズ・インテンション)のズレが出て、意図しない映像になってしまうのではないか……という懸念があるからだ。
この辺についても配慮はある。
鈴木：我々も「Netflix画質モード」のような要素を作るようになり、クリエイターの方々とのダイレクトな会話が増えてきました。
コンシューマ側のディスプレイの性能が上がることに対して、クリエイターの方々も「それだけの性能が出るのであれば絵作りを変えていけるね」ということを最近意識されるようになっています。
理想形は、クリエイターが調整に使うディスプレイと家庭用ディスプレイの性能が完全に合致して、クリエイターズ・インテンションがそのまま届けられるようになることです。しかし、それにはまだもうちょっと先かな、と。そこに向かうのが大きな流れです。
その手前の「今日」としてはですが……。
クリエイター側が明確にインテンションを持っているものについては、「クリエイターズ・モード」のようなものでお楽しみいただきたいです。一方、大半の映像、例えばスポーツ番組などの中には、そこまで強いインテンションが現れません。ならば、「こういう意図であろう」ということを想定しながらやっていこう、と考えています。結果として、バラエティ番組でも「収録スタジオにいるような実在感」を与えたい、ということがあります。そこで必要になるキーワードが「注視点」なのです。
すなわち、映画などのクリエイターズ・インテンションがはっきりしているものは「ダイレクトモード」を適用し、テレビのバラエティ番組やニュース、スポーツのような日常的な映像や、クリエイターズ・インテンションがそこまで強くないドラマなどについては、XRで実現される「より目で見た印象に近い映像」にするアプローチを使うことで画質を向上したい、と考えているようだ。
残念ながら、これらの主張はあくまで「ソニー側の言い分」である。例年なら、CESの場などで実機の映像を見てその価値を確かめることができたのだが、コロナ禍の今では難しい。
ソニーのいう「実在感」がどこまで出ているかは、改めて実機を取材できるようになったタイミングで検証してみたいと思う。
80Mbpsの超高画質配信「BRAVIA CORE」、日本での展開の可能性は?
今回の「BRAVIA XR」では「BRAVIA CORE」という専用の映像配信サービスが内蔵される。これは、UHD BD並みの画質を実現する、最高80Mbpsでの映像配信サービスである。アメリカなどから導入が始まるとのことだが、このサービスの準備の意図、そして日本での展開の可能性はどうなっているのだろうか?
鈴木：今後も画質とサウンドの進化で、新しい画・音質体験は次々とやっていきたいです。その時、それに対応するコンテンツはやはりセットで届けないといけません。BRAVIA COREで高画質配信をやるのはそのためです。要は総合でやりたかった。配信で儲けようとかそういうことではなく、まだ体験していない方に、「BRAVIA XRを買ってすぐに体験いただける価値」として用意したかったんです。配信規格の詳細は割愛しますが、ソニー・プロプライエタリな規格ではないです。ただし、どうエンコードすべきかということは、BRAVIAのエンジニアとソニー・ピクチャーズ側が協力して決めています。
アメリカや欧州の一部から始めますが、それ以外の地域でも展開したい、と準備をしています。
ということは、日本でも期待して良いのだろうか……？
コロナでもテレビ開発の方針は変わらず。パネルを選ばず「ソニーがいちばん良いものを出す」
最後に、2020年のテレビ市場がどうだったのか、ソニーの認識を聞いてみた。CESでは、中国メーカーを中心に「ミニLED」採用の流れもある。今年ソニーはミニLEDを採用していない。その点の真意も聞いた。
鈴木：コロナ禍の巣ごもり需要もあり、テレビは堅調です。2020年の春先には全く逆の懸念をしていたのですが。結果的に、年初に予定していた利益をあげることもできて、販売も好調でした。でも、2021年の製品がコロナ禍の影響でなにかを変えたかと言われれば、大きくは変えていません。
ご存知のことかとは思いますが、ディスプレイパネル選択は年々難しくなる一方です。昔は解像度とバックライトの種類、有機ELか液晶か、くらいの判断で良かったのですが、現在はより多様化しています。
結論から言えば、今年もミニLEDは採用していません。しかし「どうしようか」という話は毎年のようにしています。
重要なのは、使うことで「ハイエンドに見合う性能が出るのかどうか」ということです。今年については、「FALD(ファルド）」と呼ばれる通常のLEDの方が性能が出るね、という判断をしています。ミニLEDの性能とコストのバランス、コスト対性能でみています。あくまで「性能が出るか」というのが観点です。
数年前から始めさせていただいたやり方ですが、我々は「有機ELから液晶まで、デバイスは選びません。その中で一番いい性能を出します」という考え方です。今回「XR」を全面に出したのも、「パネルデバイスは問いません。ソニーが一番いいものを出します」という考え方なのです。