西川善司の大画面☆マニア
第279回
NVIDIAの超解像でYouTubeが綺麗に!? ネット動画を“RTX VSR”で見ちゃえ
2023年5月11日 08:00
NVIDIAグラボに“AIチップ”が入ってる事、知ってる?
NVIDIA GeForceシリーズは、PCゲーミングファンにとっては定番のGPU(グラフィックプロセッサー)である。とくに2018年に誕生した新世代のGeForce RTXシリーズは、リアルタイムレイトレーシング技術に対応しただけでなく、推論アクセラレータ(Tensorコア)も搭載されたことがホットトピックとなった。
この推論アクセラレータとは、GPUを汎用目的に活用する「GPGPU」(General Purpose GPU)と呼ばれる概念の延長線上にあるものだ。
もともとは、科学技術計算や人工知能(AI)技術の研究開発のために、GPUに内包される膨大な演算コアであるシェーダープロセッサを、GPGPU的に活用していたことが発端だった。しかしあまりにもGPGPUが便利で、学術界や産業界におけるGPUに対するGPGPU性能が重視される傾向が強まりすぎて、GPGPU用途で最も活用頻度が高い「畳み込み演算」(≒行列積演算)に特化した演算コアを搭載する流れとなった。これが、俗に言う「AIチップ」とか「推論アクセラレータ」である。
まさに、本末転倒的に「Tensorコア」は、GeForce GPUに搭載されることとなったのである。
このあたりの顛末は、PC watchの筆者連載に詳しいが、いずれにせよ、NVIDIAはこの推論アクセラレータをPCゲーミングファン向けのGeForce RTX製品に搭載する以上、その具体的な活用事例を示さなければならなくなったわけだ。
そこで、NVIDIAが第一弾として送り出したのが、ゲームグラフィックスにAI技術ベースの超解像効果とアンチエイリアス効果をもたらすDLSS(Deep Learning Super Sampling)機能だった。
この機能、予想以上にPCゲーミングファンからのウケがよく、2018年に最初のバージョンがリリースされて以降、現在はDLSS3にまで進化。最新版は、テレビ製品などでお馴染みの中間フレーム生成機能までを搭載し、テレビの映像エンジンに優るとも劣らぬ性能を実現。すっかり、NVIDIA GeForce RTXシリーズの大きな魅力となってしまった。
結果、PCゲーミングファン達がGPU製品を選ぶ際、NVIDIA GeForce RTXシリーズを選択する大きな動機にもなっていると思われる。ただ、一般的なノートPCにもGeForce RTXシリーズが普通に搭載されるようになった昨今、PCゲームをプレイしないユーザー層に対しては、DLSSだけでは、推論アクセラレータが内蔵されている優位性をアピールできない。
そんなこともあってなのか、NVIDIAは2023年3月、「非ゲーマーにも役に立つ新しいDLSS機能」として、Webブラウザ上で再生した一般的な動画に効果を発揮できる「RTX Video Super Resolution」(以下、RTX VSR)を発表した。
というわけで今回は、大画面☆マニアの番外編として、NVIDIAのRTX VSR技術が非ゲーマー……つまり、AV的に使えるのか否かを調査してみることにした。
RTX VSRを動作させるにはGeForce RTXシリーズが必要
まず、RTX VSRを使うためには、Tensorコアが必要になるため、PCにNVIDIA GeForce RTXシリーズが搭載されていることが前提だ。
2023年3月1日に初期リリースされたバージョンでは、GeForce RTX 30/40シリーズにのみ対応していたが、RTX VSR発表時に筆者が行なった取材によれば「遅れてGeForce RTX 20シリーズ対応版の提供もありうる」とNVIDIA担当者は述べていた。GeForce RTX 20シリーズユーザーはその言葉を信じて待とう。
それから、RTX VSRは単体アプリではなく、GeForceドライバーの最新版に内蔵されているため、GPUドライバーを最新のものにしておこう。NVIDIAの公式サイトから、最新版をダウンロード・インストールすればよい。
ドライバーバージョンは531.18以上がマスト。ドライバーバージョンは、GeForce Experienceか、NVIDIAコントロールパネルの「ヘルプ」-「システム情報」から確認できる。GeForce ExperienceやNVIDIAコントロールパネルは、[スタート]メニューを開き、最上部の検索欄に「nvidia」と入力すれば候補として出てくるはずだ。
現状RTX VSRは、Webブラウザ上で再生した動画に対して適用される設計となっている。対応するWebブラウザも、マイクロソフトの「Edge」か、Googleの「Chrome」の2つ。FireFoxなどには対応していない点に注意したい。
NetflixやDisney+、Amazon Prime Videoなどの動画配信サービスは、Windows環境に専用アプリを提供しているが、そうした単体アプリから再生した動画に対して、RTX VSRを適用させることはできない。
また、Windows上で動作する多様なDVD/ブルーレイ再生ソフトなど、各種動画再生ソフトの再生画面にもRTX VSRを働かせることもできない。
ただ、NVIDIAによると、メジャーな動画再生ソフトの開発元に対し、RTX VSRの導入を訴求しているとのことで、実際、「VLC media player」「MPC VIDEO RENDERER」など、徐々に対応ビデオプレイヤー、対応ビデオデコーダーが出てきている。GeForce RTXユーザーは今後もこの流れが続くことを期待しよう。
どうやって使う?「RTX VSR」
RTX VSRの使い方はそれほど難しくはない。ただ、「その振る舞い」は独特なので、使いこなしには慣れ、というか理解が必要だ。
まずは「使い方」から。
RTX VSRの有効化は「NVIDIAコントロールパネル」を開き「ビデオイメージ設定の調整」-「RTXビデオ強調」-「スーパー解像度」のチェックをオンにして「1～4」の品質設定を行なうだけ。以降は、対応Webブラウザ上で再生した動画に対し、RTX VSRの効果が適用されるようになる。
ちなみに、謎キーワードの“スーパー解像度”とは「Super Resolution」の和訳だと思われる。すでに業界のみならず、一般ユーザーにも浸透して定着している和訳語「超解像」があるにもかかわらず、「なぜそう訳した?」という違和感を感じるが、恐らく出始めということで、NVIDIA JAPAN側の日本語ディレクションがまだ行き届いていないのだろうと思われる。
ひとつ注意したいのは、「スーパー解像度」のオン/オフ切り替えや、「1～4」の品質設定を変更した場合、その新設定を反映させるためには、その動画を再生しているWebブラウザをリロード(更新/再読み込み)しなければならない(ことがある)という点だ。
具体的には、Windowsの標準キー割り当てならば、当該Webブラウザを一度マウスクリックするなどしてフォーカスしてから[F5]キーを押せばOK。そのため、画質を比較したい場合は、いちいち設定を変えてリロード操作をしなければならないため、ちょっと面倒だ。
一部メディアの記事で「RTX VSRを適用しても効果が分かりにくい」、「RTX VSRの画質パラメータを変更しても何も変わらない」という言及を目にしたが、恐らくこのあたりの操作を怠ったことが原因となっている可能性が高い。
画質評価などの目的でRTX VSRのオン状態とオフ状態を比較したい場合は、前述したRTX VSR対応ブラウザと、FireFoxなどのRTX VSR非対応Webブラウザとで同一動画を再生して見比べたほうが簡単だ。ちなみに、実際、筆者もそうして画質検証を行なった。
RTX VSRの画質特性を考察する
では、RTX VSRを適用するとどのような具合になるのか。実際に筆者のYouTubeチャンネルの動画を使って調べて見た。
最初は、筆者がグランツーリスモ7をPS VR2でプレイした様子をYouTubeライブで実況配信したときの映像だ。
ディスプレイ解像度は4K/3,840×2,160ドット。この環境で、マイクロソフトのEdgeブラウザを用いて、「YouTubeの再生画質設定をフルHD品質に設定してRTX VSRオフ、オンのそれぞれで表示した時」「YouTubeの再生画質設定を4K品質に設定してネイティブ4K表示させた時」の3パターンを示した。
中央：フルHD映像をRTX VSR(クオリティ=4設定)で超解像処理して4K解像度で表示させた状態
右：4K映像を4K解像度で表示させた状態
CG映像だけでは不充分かと思い、筆者の釣り動画も同様の条件で切り出したものも、合わせて示そう。
中央：フルHD映像をRTX VSR(クオリティ＝4設定)で超解像処理して4K解像度で表示させた状態
右：4K映像を4K解像度で表示させた状態
当然だが、ゲーム画面(CG)、実写映像ともに、最高画質なのは、画質4K設定をネイティブ表示させた場合だ。しかしフルHD画質設定に対して、RTX VSRオンした場合では、RTX VSRオフ時のボケた表示と比べて美麗な表示となっていることが分かるだろう。RTX VSRオンとしたことで、際立っておかしな表示となっている箇所は見当たらない。総じて表示品質は悪くはないと感じた。
いくつかの表示解像度と画質設定の組み合わせパターンで画質検証をしてみたところ、まず確実にわかったことは「映像解像度よりも表示解像度が高い」場合に、より大きな効果を発揮する、ということだった。
例えば、PCディスプレイの解像度が4K/3,840×2,160ドットだった場合、再生映像の解像度が4K未満……つまり、WQHD/2,560×1,440ドットや、フルHD/1,920×1,080ドットの場合、RTX VSRの効果が明瞭になるということだ。
逆に、映像解像度とディスプレイ解像度が同じ、もしくは映像解像度の方が高い場合、効果がないことも分かった。4K映像を4K解像度以下のディスプレイで表示する際、RTX VSRを適用しても何も効果が得られなかったのだ。
実際に、4Kゲーム映像を2Mbpsという低ビットレートで録画してブロックノイズだらけの映像として生成し、これをYouTubeにアップロードし、4K解像度のディスプレイで再生した時の見映えを検証した。
ここではブロックノイズが見やすいシーンが作りやすかった「ホグワーツ・レガシー」のゲーム映像を用いている。
結果は上記の通り。その映像の表示に全く変化が見られなかったのだ。
この現象について、NVIDIAに確認したところ、「RTX VSRは、映像解像度の方が、表示解像度と同等以上の時には作動しない」とのことで、筆者の実験結果は正しいようだ。
せっかく、ブロックノイズだらけの映像を作ったので、RTX VSRのブロックノイズ低減能力についても調べて見た。
こちらの実験は、前出のブロックノイズだらけのゲーム映像をYouTubeにフルHD解像度映像としてアップロードし、これを4K解像度の表示画面にてRTX VSRオフ/オンで比較したもの。
映像の元解像度がフルHD解像度であり、表示解像度を4Kとしたテストパターンなので、RTX VSRは必ず機能することになる。
結果は以下の通り。
右：低ビットレートのフルHD映像を4K解像度でRTX VSRオンにて表示させた状態
ここまで強いブロックノイズだと、完全に除去することはできなかったが、それでも、グラデーション表現付近で出ているブロックノイズはかなり平滑化されていて美しくなっている。
今回のテスト映像のような、酷いブロックノイズだらけの映像は一般的な映像コンテンツではあり得ない。しかしそんな映像に対し、ここまでブロックノイズ低減が実現できているのであれば、一般的な映像コンテンツ中のブロックノイズであれば、かなりいい案配で低減してくれることだろう。
非ゲーマーなら常用OK。ゲーマーはRTX VSRのオフし忘れに注意
現在、多くの映像コンテンツはフルHD解像度クラスになっている。フルHD解像度を超えた解像度(WQHDや4Kなど)のディスプレイを利用していて、普段それほどゲームをプレイしない一般ユーザー(≒非PCゲームファン)であれば、RTX VSRをオン状態でPCを常用するのもありだろう。
逆に、PCゲームファンは、RTX VSRのオン/オフはこまめに行なった方がよさそうだ。
というのも、ゲーム動作中であっても、バックグラウンドで動作しているWebブラウザで動画が再生されていたりすると、ユーザーの意識外で、誰も見ていない動画に対してRTX VSRを適用し続けている可能性があるためだ。
もし、プレイしているゲームの映像に対してDLSSを作動させていたりすれば、ゲーム側のDLSS処理系とRTX VSRの処理系とでTensorコアの奪い合いが発生することもある。もしそうなればゲームのパフォーマンスに影響が少なからず出ることもありうる。PCゲームファンは、RTX VSRの動作原理を理解した上で賢く使いたい。
具体的な使い方としては「昔の低解像度のアニメをフルHD解像度のディスプレイで見るとき」や「フルHD映像を4K解像度のディスプレイで見るとき」だろう。
テストした範囲では、過剰に効くような様子はなかったので、RTX VSRの品質設定は「4」の常用で良いかとは思うが、万が一、再生映像に違和感を感じた場合には、この品質レベルを一段下げてみて改善するかを確認しよう。
さて、ここで気になってくるのは、今後のAMD側の動きだ。
実は、AMDにもPC上の映像再生に対して高画質化処理を適用する「AMD Fluid Motion Video」なる技術が存在する。しかし、導入の手法がやや特殊だったのと、AMDのGPUがRDNAアーキテクチャに世代交代したタイミング(2019年)でサポートがほぼ終了し、フェードアウトしてしまった。
NVIDIAに強い対抗心を燃やすAMDのことなので、いずれ類似技術の投入があると筆者は考えている。
大画面映像機器評論家兼テクニカルジャーナリスト。東京工芸大学特別講師。monoAI Technology顧問。大画面マニアで映画マニア。3Dグラフィックスのアーキテクチャや3Dゲームのテクノロジーを常に追い続け、映像機器については技術視点から高画質の秘密を読み解く。近著に「ゲーム制作者になるための3Dグラフィックス技術 改訂3版」(インプレス刊)がある。3D立体視支持者。
Twitter: zenjinishikawa
YouTube: https://www.youtube.com/zenjinishikawa