ソニー新BRAVIAに搭載される「X-Reality PRO」の秘密に迫る

X-Reality PRO。X-Reality(左)とXCA7(右)の2チップで構成される

　本連載で何度も取り上げてきたように、デジタルAV機器の命は「プラットフォーム」にある。汎用のLSIでも製品は作れるが、メーカー独自の発想やノウハウを組みこんだLSIやソフトを使った「開発プラットフォーム」の存在は、製品をより良いものにしていくために必要な存在である。

　というわけで今回から、今年のテレビ新製品向けの「プラットフォームLSI」について記事にしていきたいと考えている。まず取り上げるのは、ソニーの新LSI群「X-Reality PRO」だ。このLSI群は、3月16日に発表された新BRAVIA「HX920/HX820/HX720シリーズ」に採用された映像エンジンである。

　このLSI群はどのような能力を持っており、どのような狙いで作られたものなのだろうか? 特に画質面への効果について、開発者自身に聞いた。

　取材に答えてくれたのは、ソニー・ホームエンターテインメント事業本部 ホームエンタテインメント開発部門 1部 バックエンドシステム担当部長の本江寿史氏と、同開発部門1部 4課 シニア・ディスプレイシステムエンジニアの山本洋介氏である。

■ 「1チップ」、「2チップ」戦略で世界を攻める

ソニー・ホームエンターテインメント事業本部 バックエンドシステム担当部長 本江氏(左)と同事業部XCA7プロジェクトリーダーの山本氏

　まず、X-Reality PROの話をするまえに、ソニーがBRAVIAでどのようなプラットフォーム戦略を採っているかを整理しておこう。

　ソニーが今年に入って国内で発表したBRAVIAは、大まかに2つのグループに分けることができる。

　まずは、1月に発表された「CX400」「EX72S」などに代表される「X-Reality」を搭載したモデル。そしてもう一つが、今回発表された「HX920」「HX820」「HX720」など、「X-Reality PRO」搭載モデルである。

KDL-55HX920	KDL-46HX820	X-Reality(左)とXCA7(右)

ホームエンターテインメント事業本部 バックエンドシステム担当部長 本江氏

　両者の違いを、本江氏は次のように解説する。

本江氏：(以下敬称略)X-Realityとは、そもそも1チップのデジタルTVソリューションLSIを指します。デコーダ、フロントエンド処理、それに画質エンジンといったものが一つになっています。

山本：：X-Realityには、ネット処理などのアプリケーション処理系も含まれています。

本江：X-Realityには、我々が「オブジェクト型」と呼ぶ1枚型超解像エンジンが入っています。このアルゴリズムは、改良されてはいますが、我々が昨年まで利用していたアルゴリズムに近いものです。そもそもX-Reality自身が、昨年までのハイエンド向けのエンジンを継承しているわけですから、相当良いものが入っている、と自負しています。我々はこのLSIを、今年はミッドレンジ向けと位置づけています。

　そしてそれに「XCA7」を組み合わせ、ハイエンド向けに位置づけたのがX-Reality PROです。

　すなわち、1チップ構成なのが「X-Reality」で、2チップ構成なのが「X-Reality PRO」という切り分けだ。このチップ構成には大きな意味がある。

本江：X-Realityで、ソニーのテレビはワールドワイドで共通プラットフォームになりました。年々統合を進めていたのですが、ここまで一つになったのは初めてかも知れません。

　X-Reality PROでは「データベース型複数枚超解像」を導入しています。これがXCA7の目玉です。そのため、超解像のためにだけにXCA7という別チップを用意した、と思われているようですが、そうではありません。ハイエンド系に必要となる、高フレームレート、バックライト処理、ローカルディミングといった機能も組みこまれています。そうして、トータルでのパーツ点数を減らしているのです。

XCA7を担当した山本氏

山本：：XCA7は、LSIの規模としてもかなり大きなものになりました。ソニーマーケティング・ジャパンが取り扱うテレビ製品向けのLSIとしては、過去最大の規模です。

　ソニーは数年来、テレビのコスト競争力強化に努めてきた。そのために重要なのは、部品点数の削減と全世界レベルでの設計共通化である。

　液晶パネルドライバーやメモリーなどの細かなLSIをのぞくと、X-Reality系LSIの導入により、ソニーのテレビは基本LSI(X-Reality)だけか、さらにハイエンドLSI「XCA7」を追加するか(X-Reality PRO)というシンプルな構成になる。詳しくは後述するが、これらの設計には「様々な地域のニーズに答える」という考え方も盛り込まれており、日本だけでなく、他国向けのBRAVIAでも活用される。

　なお、これらのLSIはソニー内製ではなく、外部のLSI製造メーカーと共同で生産されるとのことだが、協力メーカーの名前は明かされていない。また、プロセスルールも未公表だ。ただし、相当に規模の大きなLSIであるだけに、低コスト化のためにもそれなりに最新に近い、微細なプロセスルールが使われていると見ていい。

■ 「解析してパターンにあてはめて」超解像、DRCの伝統を現在に

　ではもう少し具体的に、X-Reality PROにおけるX-RealityとXCA7の役割についてみていこう。

　図は、ソニーから提供を受けたX-Reality PROの構成図を元に、編集部で作成した模式図である。正確にはこの図は、X-Reality PROでの「複数枚超解像を用いた映像出力」の流れを描いたものであり、ネット配信対応などのアプリケーション系機能については描いていない。それらは基本的にすべてX-Reality側で処理されており、ミドルクラス機もハイエンド機も同様である、と考えていい。

X-Reality PROの処理工程

　すでに述べたように、X-Realityにも超解像機能は組みこまれているが、X-Reality PRO搭載機では使われていない。超解像機能については、XCA7側に搭載された「データベース型超解像」と呼ばれる機能が利用されることになる。

本江：まずX-Realityでノイズリダクションをかけ、それからXCA7に映像が渡されることになります。

山本：：XCA7の超解像と並ぶ目玉が「ピクチャーアナライザー」です。入力された映像が元々SD解像度なのかHD解像度なのか、フラットな領域なのかそうでないのかを判別し、超解像を行なうことになります。

　ソニーのいう「データベース型超解像」とは、簡単に言えば「どのような映像が入力されたのか」を内部で判別し、その種別に合った超解像をかけることで、よりクオリティの高い映像を作り出そう、という機能である。本江氏は、その狙いを次のように説明する。

本江：そもそも我々は、画質のいいSD解像度の映像や、HD解像度の映像に対しては良く効くようなアルゴリズムの超解像機能を持っていました。

　次世代のものを開発をする時に出てきたのが、IPTVに関する需要です。また特に、「Bloggie」に代表される、低コストで圧縮率の高いカムコーダー映像も増えてきました。

　そういった映像では、画質が低い部分のノイズがエンハンスされてしまい、従来のアルゴリズムではきれいにならないものもあります。そのままではトータル性能が出せない、という結論に至りました。

　そこで画質が低いものの超解像についても検討を行ないました。実際、色々とやりようはあるんです。そこで「これは画質の良い映像ではない」という考え方を入れてあげると、超解像の画質も良くなります。うまく切り替えて行く必要があるのです。

　従来のアルゴリズムは、超解像用のデータベースが1つしかありませんでした。

　今回は、SDのアプコン、SD、IPTV……と複数を用意して適用する、という形で画質向上を行なっています。

山本：：テレビセットですから、放送系のHDフォーマットには、特に注力してチューニングしました。

　それと同時に、商品企画からも「ネット映像の高画質化」の需要が高まっている、という希望が出ていました。今回はQVGA解像度にも対応しています。低解像度のIPTVについても、かなりの高解像度化が行なえます。

　特にIPTVの場合は、元々は きれいなコンテンツを圧縮したものが多いので、「元に戻せる」情報が含まれている場合が多いのです。もちろん、完全にベタ塗りになってしまった、なにもないところからは持ってこれないのですが。

本江：画質の低い映像の超解像については、特にアメリカマーケットを意識したものです。あちらから「ここまで汚いものもある」ということで提供を受けた映像を使って調整を行なったりしました。

　すなわち「映像がどのような素性のものか」を分析し、特徴を発見した上で、用意されているパターンにあわせて超解像のかけ方を変えるのがXCA7の「データベース型超解像」、というわけだ。

データベースから最適なパターンを照合、分類

入力画像の動きを含めてパターンを解析し、データベースと参照する

　ソニーによれば、XCA7内で使われる参照用データベースのパターン数は「数千」にのぼるという。図だけを見ると「解像度」や「映像ソース」で場合分けしているように見えるが、その辺はそこまで単純な話ではないようだ。

山本：：この解像度のものが多いとか、このジャンルのものが多いとか、そういった分類とはちょっと違うものです。具体的な内容については勘弁させていただきたいのですが……。

本江：研究していく中で、いろんな映像パターンが入ってきたものに対して、理想的な形のものを戻したい、と考えると、実はそのために何万ものの処理をしないと、理想的な形の映像にはならない、ということがわかってきました。

　仮に同じ処理をフィルタで行なうと、たくさんのフィルタ処理をかける必要がでて来ます。我々の求めているものは非常に非線形な処理になります。パターン変換を行なうことで、フィルタを複数かけるよりも、かなり処理能力を減らすことができました。

　XCA7のデータベース型超解像では、映像の種類を数千に分類し、「それぞれの映像の特徴にあわせた超解像処理」を行なう形になっている。本江氏が「XCA7の目玉の一つ」としてピクチャーアナライザーを挙げるのは、まず映像を「正確に分類する」処理を行なうことが重要だからである。

　他社の超解像処理では、いくつかのパターンに分けることはあっても、基本的には「一定のアルゴリズムに応じて」行なうものであるため、XCA7ほどは場合分けを行なわない。逆にいえば「どんな映像でどのような超解像をかければいいのか」というパターンの抽出には大変な努力とノウハウが必要となる。

本江：アルゴリズムの開発は研究開発部門が行ないましたが、スタートからは数年、かれこれ5年以上かかっているようなイメージがありますね。

山本：XCA7の開発期間そのものは、一般的なLSIの半導体開発期間と同様ですから、その前にはできていないといけない、ということになります。

本江：こういった部分に、我々が長く行なっているパターンマッチング技術が生きています。DRCで培ったノウハウ、というのはこの部分を指します。

　ソニーは1997年以降、解像度の低い映像をアップコンバートするための技術として、独自の「DRC」を利用してきた。この技術は当時としては画期的なもので、長く同社の看板技術とされてきた。そのDRCも、2009年モデルからは廃止され、ファンから嘆かれたものだ。

　元々DRCも、入力信号に対して「適応的にパターンをあてはめて」高解像度化を行う技術だった。XCA7も規模はまったく異なるものの、考え方はかなり近い。

本江：DRCの概念を打ち出して15年が経過していますが、他社から類似した概念はなかなか出てきません。もちろん先人の努力に負う部分も大きいとは思うのですが、それだけ真似しづらい技術なのだろう、と思います。

■ すっきりと見やすい映像が特徴、枚数より「小数点以下の制御」が重要

　技術はわかった。重要なのは、それで映像がどのように変わるか、ということである。

　映像サンプルを示すことができないので、筆者の言葉による印象となって恐縮だが、昨年モデル(LX900)と最新モデル(HX920)を比較しての画質の差をお伝えしよう。

　違いはいくつもあるが、それを一言で表すなら「すっきり」した印象だ。

　超解像はエンハンサー的な効果を生み出すことが多い。ディテールが持ち上がるものの、映像がざわついてしまったり、IP変換の失敗に伴うガタつきが強調されてしまったりすることが少なくない。特に、ゆっくりと動く部分では逆に解像感が失われてしまう印象もあった。

　それがX-Reality PROを使ったHX920では、解像感が上がっているにもかかわらず、ノイズ感が大幅に減少している。ディテール部に乗りがちな、ブロックノイズやカラー妨害だけでなく、IP変換に伴うちらつきやがくつきが大幅に改善されていたのが印象的だった。480iの映像がハイビジョンクラスに見えてくる(1080pとは言わないが、720pくらいの解像感はあるように感じる)ほどだ。HD解像度の映像であっても、放送時のノイズに起因する「見づらさ」が解消され、空気感がよりわかるようになる。

　これはどういった特性によるものなのか? それは、X-Reality PROが「複数枚型」かつ「データベース型」であるからのようだ。

本江：(X-Realityの)1枚超解像と(PROの)複数枚超解像では、動画解像度が大きく異なるのです。

　複数枚超解像では、時間軸に沿ってパターンを追いかけます。すると、ノイズ部はフレーム毎に変化しますから、パターンを解析すると「どれが異物なのか」が分かるんです。結果、MPEG系の映像の持つ、ザワザワしたノイズが減ります。

　MPEGのノイズというのは静止画でも出ますが、特に目立つところは、ゆっくりした動きでノイズのレートが変わるんです。時間軸で見ていくと、ブロックが出たり消えたりしています。

山本：：一般論ですが、巡回型(超解像)の場合、ノイズと正常な信号との差がわかりにくい部分があります。結果、ノイズが尾を引いて解像感が落ちてしまう、という傾向が出ます。今回の場合、映像の解像度を保ちながらノイズを「とっていく」のです。

　ここで重要なのは、X-Realityにある「ノイズリダクション部」と、ここでいうノイズの処理は異なる、ということだ。X-Realityでは入力信号でのノイズリダクションを行うが、XCA7では超解像時にフレーム単位で映像を見て、ノイズとわかるパターンを排除していく、という処理を行なっていることになる。

　また、複数枚超解像で排除するノイズはMPEGに起因するものだけでないため、より効果的にノイズを除去できるという。例えば、MPEG系のノイズが出やすい「動きの速い部分」は既存のノイズリダクションで取り除き、ゆっくり動く部分のノイズはXCA7で取り除く、といった流れだ。

　ちなみに、複数枚超解像というと処理に時間がかかり、映像に大きな遅延が生まれるのでは、という印象も受けるが、山本氏によれば「複数枚超解像に起因する遅延はほとんどないはず」だという。演算に使うのは、すでに過ぎ去った「過去分のフレーム」であり、映像の表示に与える影響はないからだ。とはいえ、「テレビセットとしての遅延」がどうなっているかは別の話なので、その点は実機での情報をお待ちいただきたい。

　ここで最後に気になることがある。

　XCA7の複数枚超解像では「何枚」の画像から超解像を行なっているのだろうか? 同じく複数枚超解像を謳う東芝の場合、都合4フレーム分の映像から超解像を行なっている。

本江：枚数については、公表していません。なぜなら、枚数よりも「精度」が重要だと考えているからです。

　我々も、枚数を変えて色々実験をしてみたのです。枚数を多くすれば良くなるのかどうか、ということですね。

　キー技術ができあがってみると、枚数よりも、時間軸内で正しいデータを見つける精度と動きを見る精度の方が重要であることがわかってきました。枚数が多くなると精度が良くなる、というイメージだと思うのですが、そうではないんです。

　例えば、テスト信号発生器などを使うと、1フレームに1画素ずつ信号を出してテスト、といったことができます。しかし実際に映像を流してテストしてみると「小数点動き」が問題なのがわかってきます。1フレームあたり0.2画素とか、2.4画素とか、といったような。そこをしっかりやらないと、いやらしい、目に残るようなちらつきやノイズが消えていかないんです。

　ですからソニーの回答としては「大切なのは制御精度である」ということになります。枚数よりも精度。精度が小さいと副作用が出ます。

山本：といってももちろん、少ないわけではありません。枚数＝スペックを見ていただくより、絵を見て判断していただきたい、ということです。

　なお、X-Reality PROには、同社のブルーレイレコーダに搭載されている「CREAS」にも組みこまれているバンディング防止技術「SBM-V」が搭載されている。擬似的にバンディングを防止する技術を「2つ同時に使う」とどうなるか、気になる人もいるのではないだろうか。

本江：SBM-VはCREASのものとほぼ同じと考えていただいてかまいません。我々としても最初に気にしたのは「二重掛けでどうなるか」だったのですが、結果的にいえば、問題はありません。SBM-Vの性能が一定のところで飽和するためです。

山本：：チューニングはレコーダ向けとは異なるのですが。アルゴリズム的な面で、たくさんかけても副作用が起きないことは確認されていますのでご安心を。

　X-Reality PROは、久々にソニーらしい「見れば分かる」ほどの差を生む技術だ。ライバルとの画質差を確かめるのが楽しみになってくる。

　こういう「差異化技術」を持ち込んだ上で、部品点数削減やLSIの統合といった「コスト面」まで配慮していることが、今「クオリティで差別化を図りたい」メーカーに求められること。両立は大変であるとはいえ、ソニーのような企業としては、こういったことにしっかり投資しないと「戦っていけない」のも事実。XCA7は、確かになかなか「いい武器」になりそうだ。