ニュース
レグザ、アニメ顔検出の次世代テレビ技術。ミリ波レーダーの自動画音調整も
2023年1月4日 08:00
TVS REGZAは、画面内の“アニメ顔”を自動検出して、ネット動画などのアニメ番組も高画質化するテレビ技術を開発。米ラスベガスで開催されるテクノロジー見本市「CES2023」にて技術展示する。会場では、業界初のミリ波レーダーによる画音質調整技術や最新エンジンを搭載した開発中の77型4K有機ELレグザ、75型4KミニLED液晶レグザも参考出品する。
CES2023は米国時間1月5日から8日まで開催。3日夕方には前夜祭、メディアデーの4日にはハイセンスなど大手メーカーによるプレスカンファレンスなどが予定されている。
Prime VideoやNetflixで“アニメ顔”検出。アニメがより高画質に
TVS REGZAが今回開発したのは、YouTubeやPrime Video、Netflixなどのネット番組がより高画質に再生できる「AIコンテンツ判別 ネット動画高画質化技術」。
現在発売中のレグザにおいても、動画配信サービス毎の画質特性や圧縮特性・解像度に応じて、コントラストや精細感の向上やフレームレートの最適化、バンディングノイズの抑制といったネット動画向けの高画質化技術は導入されているが、新技術では“素材判別”による自動画質調整が可能になった。
具体的には、プロセッサーの映像解析能力を高めることで、ネット動画のコンテンツ種類や特徴の判別を実現。ビデオ素材なのか、フィルム素材なのかをAI技術で見分ける事で、コンテンツに適した画質に自動調整できるようにした。
半導体開発ラボ長の山内氏は「ネット動画は、通常の放送番組と異なりジャンル情報などのメタデータの取得ができなかった。しかし高度な映像解析により、映像内のフィルムグレインまで検知できるように進化。結果、ビデオなのか、フィルムなのか、それともフィルム風ビデオなのかが識別できるようになった。フィルムの場合はグレインを残して処理、ビデオはノイズを極力抑制させるように処理する」と話す。
また、“アニメ顔”検出を使って、実写とアニメを判別。「アニメと判断した場合は、グレインノイズのあるセルアニメなのか、CGを含むデジタルアニメなのか、画調まで詳細に判別できるため、素材に最適な映像処理が施せる。ネット動画はビットレートが低く、グラデーションの部分や輪郭線周辺部にノイズが発生しがち。デジタルアニメの場合は、ノイズを抑えながら、クリアで滑らかなアニメ映像を目指した。また最近のアニメは実写のような描写の背景も多いが、今回の処理ではきめ細かく再現できるようになっている」という。
【更新】比較画像を追加しました。(1月10日12時)
今回はネット動画をターゲットにした技術展示だが、将来的にはHDMI入力からの信号に対しても、同等の処理ができるよう計画しているという。
さらに、AIを使った高画質化テクノロジー「構図推定 AI立体感復元超解像技術」も新開発。
最新レグザ(X9900L/Z875Lシリーズ)では、被写体と背景を識別しそれぞれに適応した超解像処理(AIナチュラルフォーカステクノロジー)を施していたが、新しい超解像技術では、映像内の“構図”を識別。
人物にフォーカスしている構図と判定した場合は、映像内の被写体の顔や衣服などのポイントに絞って質感や精細感を自動調整。人物をよりクッキリと描写しながら、背景のノイズを抑制する事で、立体感と奥行きのある映像を可能にしたという。
業界初、テレビに“ミリ波レーダー”搭載。位置測定を自動調整に生かす
“ミリ波レーダー”を用いた高画質・高音質化技術も初公開する。
ミリ波レーダーとは、波長1～10ミリ・周波数30～300GHz帯の電波のこと。対象物に当たって戻ってきたミリ波を受信する事で、対象物との距離や角度を高精度に検出することができるのが特徴。近年ではロボットや自動車に広く使われているが、レグザではこのミリ波を使ってユーザーとテレビの距離を測定。その情報を自動画質・音質の調整に生かす。国内の民生テレビ用として、ミリ波レーダーの採用は業界初という。
映像では、視聴距離に合わせて精細感とノイズ抑制を調整。画面の高さの1.5倍程度の近距離視聴と判断した場合は「ノイズを抑制して自然な画質」に、画面の高さの4倍程度の遠距離視聴の場合は「精細感を高めメリハリのある画質」に自動調整する。
音声の場合は、視聴角度に合わせて最適な音場へ自動調整。センターより左、もしくは右に偏っている場合は、位相のズレが発生しないよう左右の出力時間を調整。視聴位置に適した音像定位を実現する事で、サウンドの透明感を確保する。サウンド調整は位相のみで、Dolby Atmosなどのイマーシブオーディオ音源に対しても動作できるようにした。
開発中のミリ波レーダーの測定距離は、半径5m程度。最大2名を検知し、テレビに最も近い場所にいる人物で画と音を調整するようになっているという。
ブランド統括マネージャーの本村氏は「地デジはそもそも解像度が低く、なおかつMPEG2という古い圧縮方式を使っているためノイズも多い。地デジを如何に綺麗にするか? に注力してきた我々の悩みの1つが“お客様がどこで視聴しているのか”ということだった。視聴位置が特定できれば、超解像を最適にかけることができるし、観ている位置によって最適な高画質が提供できるようになった」と意義を話す。
なお、カメラではなくミリ波レーダーを採用した理由は、「比較的安価に搭載でき、なおかつ“カメラをリビングに設置したくない”というプライバシーの面でもメリットがあるから」とのことだ。
開発中の77型4K有機EL、75型4KミニLED液晶レグザを披露
説明会に登壇した同社副社長の石橋氏は「AIを駆使した映像解析技術、そしてミリ波レーダーを使った新しいセンシングシステムは、進化した次世代AIエンジン『レグザエンジンZRα』のディープニューラルネットワークを駆使したもの。進化する知的な頭脳と最新技術を組み合わせ、新世代の感動映像体験を目指したい」とコメント。
さらに、2023年はグローバルにおいてテレビの大型化がさらに進行する、と分析。「会場では、新しい映像エンジンを搭載した4K有機ELの最大サイズ77型モデルと、新開発の4KミニLED液晶の75型モデルを参考出品する。2023年のレグザは、『レグザエンジンZRα』、『センシング技術』、そして『大画面化』の3つキーワードで開発を進めていく。是非期待してほしい」と意気込みを話した。
