西川善司の大画面☆マニア
番外編
あなたのテレビは遅れてませんか? 知っておきたい“遅延”の話
2020年3月5日 11:00
あなたのテレビも無関係じゃない。改めて知っておきたい遅延を取り上げます
こんにちは。大画面☆マニア、そして格闘ゲームマニアの西川善司です。
さて、今回AV Watch編集部から頂いた任務は「改めてテレビ/ディスプレイの遅延と応答速度にまつわる情報を整理して欲しい」というものだった。
たしかに、この手の話題は筆者が得意とするところである。
本誌でその名前ズバリの「西川善司の大画面☆マニア」を連載しているので、筆者がテレビ/ディスプレイの評価をいろいろと行なっていることは知っている方も多いはず。しかも、遅延と応答速度については、この2つの要素がシビアに関わってくる格闘ゲームを筆者は特に、真剣にプレイしている。ちなみに2021年12月7日時点では、格闘ゲーム「ストリートファイターV」は、UltraDiamondランク(LP25,000クラス)となっており、まあまあの腕前である。
そんなわけで、以前にもこの手の話題をいくつかのゲームメディアに寄稿したことはあるのだが、AV Watchでは、書いたことがなかった。しかも、他誌に寄稿したのも10年近く前のこと。最近はeSportsブームということもあって、ゲームプレイを意識したテレビ/ディスプレイ選びは、10年前よりも関心度が高くなっているだろう。このタイミングでこのネタを取り上げるのは悪いことではなさそうだ。
ということで今回は遅延をテーマに、なるべく基礎的なことから、やや高度な話題までを盛り込んでみた。ゲームプレイやeSportsでの活用を意識したテレビ/ディスプレイ選びの参考にして頂けたら幸いだ。
その表示、もう過去のものです。映像の表示には、ある一定の時間が必要
まずは、こちらの動画を見ていただきたい。
上記動画は、「ストリートファイターV」で連続技を決めているシーンを、分配器を使い2台のテレビ「REGZA 26ZP2」(2011年モデル)で表示した様子を、毎秒960コマでスーパースロー撮影した。映像モードは左が「あざやか」、右が「ゲームモード」と設定している。
右側の「ゲームモード」が点滅しているのは、残像低減のための黒挿入(バックライトオフ)処理を行なっていることによるもの。両機を見比べると、右側の「ゲームモード」が明らかに表示が先行しており、左側の「あざやか」モードが表示遅延を起こしていることが分かるだろう。
どうして、このようなことが起きるのか?
ゲーム機やPCをテレビ/ディスプレイに繋いで、プレイする場合を思い浮かべてみてほしい。プレイヤーはテレビに映し出された映像や音声を認識して、それに反応してゲームコントローラを操作する。プレイヤーの操作は、ゲーム機に入力され、ゲームプログラムはプレイヤー入力を処理したり、プレイヤーの発した攻撃などと敵キャラとの衝突判定を行なう。結果、ゲーム世界の状態が更新され、グラフィックスが生成される。そして最終的にゲーム機の映像出力端子からテレビ/ディスプレイに向かって出力される。
しかしここには、非常に大きな「不確定要素」が潜んでいる。
実際にテレビ/ディスプレイが映像を表示するには、一定の時間が必要であること。さらに、この所要時間には統一された規定が存在せず、メーカーごと、製品ごとにかかる時間がまちまちであることだ。
つまり、表示までにそれなりに時間を要するテレビ/ディスプレイの場合、格闘ゲームでの相手のカウンター攻撃であったり、シューティングゲームにおける敵弾と敵弾の間をすり抜ける操作、リズムアクションゲームでの打鍵操作などが、既に間に合っていないかも知れないわけだ。それこそ、テレビ/ディスプレイの表示に対して操作タイミングがドンピシャだったとしても、表示遅延があると、その表示は既に過去の映像なので、"この瞬間"の実時間上で動作しているゲーム機側のプログラムでは既に別の処理が進行している。
この「目に見えているものが実は過去の出来事」という現象。身近にも存在する。それが、夜空の星々だ。
「いま君が見ているあの星の光は、君が生まれる遙か昔に放たれたものかもしれないんだよ」……なんて、ロマンチックなことを囁いて女性をうっとりさせた経験は筆者にはないが、今我々が目にする夜空の星は、何年も前の光だということを知っている人は多いと思う。"この瞬間"の実時間上では、「その星」はとっくに消えてなくなっているかもしれないのだ。まぁ例え話としては少々スケールが大き過ぎたかも知れないが、これに近いことがゲーム機とテレビの間にも起きているわけだ。
映像処理で発生するのが表示遅延、パネルで発生するのが応答速度
テレビ/ディスプレイは、映像を表示するまでになぜ時間がかかってしまうのか。
ゲーム機/PCから送られてきた映像信号がテレビ側に到達すると、内部の映像エンジンへ渡される。ここでは、表示パネルに合わせた画像処理が行なわれる。
処理の内容は各メーカーや製品ごとに異なっているのだが、例えば、赤の発色が弱い液晶テレビがあったとしたら、「赤については、入力された映像データに対して25%ほど強める」など、映像パネルに対して最適な表示を行なうための処理のほか、解像度変換、超解像、ノイズ低減など、映像そのものを美化するためのフォトレタッチ的処理が入ってくる。
高画質を謳うテレビには欠かせない処理だし、そもそも各社の画質の差別化はこの処理がキモなわけだから無いと困るわけだが、パネルの最適化処理と違い、時間がかかる。この処理時間により発生するズレが表示遅延なのだ。
では、PCディスプレイのスペックシートなどで目にする応答速度とは何だろう。
映像エンジンで“整形”されたデータは、映像パネル側に伝送され、液晶パネルや有機ELパネルなどに書き込まれる。
映像データを画面内のピクセル(実際には赤緑青からなるサブピクセル)は受け取った映像データに合わせ、以前の表示状態から描き変わろうとする。例えば、それまで赤緑青が0:127:255という表示状態だったサブピクセルが、10:120:200に変化する。
イメージ的には電気で駆動するのだから、瞬間的にRGBが「0:127:255→10:120:200」に変化しそうなものだが、液晶パネルの場合は数msの時間をかけて描き変わる。つまり、映像パネルに映像データが書き込まれてから、画面が目的の表示状態になるまでの所要時間が応答速度というわけだ。
ゲームプレイにより大きな支障を及ぼすのは、どっち?
ここまでで、テレビ/ディスプレイには表示遅延と応答速度という2種類の遅延があることが分かってもらえたと思う。一番最初に観てもらった動画の遅延は、表示遅延と応答速度が組み合わさって発生したものだ。
では、ここでクイズ。「ゲームをプレイする際に重大な問題は表示遅延か、応答速度か、どっち?」
:
:
:
:Thinkng Time!
:
:
:
正解は「表示遅延」だ。
理由は2つある。
1つは、表示遅延は多くの場合、映像フレーム数単位で遅延する場合がほとんどだからだ。
例えば、絶対時間にして60fps時だと、1フレームの遅延で約16.67ms。画質を優先させたモードでのテレビの遅延は、6フレーム以上に及び約100msとなる。これは0.1秒もの遅延を意味する。
中には10フレーム程度を内部に溜め込み、現在フレームを基準にしながら、過去フレームと未来フレームに対して相関性を探査することで高画質化処理を行なう製品もあり、こうなると遅延は166msにもなる。四捨五入してざっくり0.2秒近くも遅延すると、PC接続時におけるマウス操作も違和感を感じるレベルだろう。
対して応答速度はというと、現在のテレビ/ディスプレイで採用されている液晶パネルでは速いもので1ms前後、遅いものでも8ms前後くらい。応答速度よりも表示遅延の方が桁違いに影響が大きいことが分かると思う。
もう1つの理由が、表示遅延は事実上「本来はすぐに表示されるべき映像フレームが、画面に表示されない時間」だから。
一体どういうことかというと、例えば、16.67ms表示遅延が起きているテレビ/ディスプレイというのは、現在表示されている映像は、ゲーム機/PCがリアルタイム出力している映像よりも16.67ms前の映像であって、表示パネルにはリアルタイム映像が書き込まれてもいないし、表示の取りかかりすら行なわれていない、ということだ。
逆に、16.67msの応答速度のテレビ/ディスプレイがあったとして、これが「表示遅延」の無い、すなわちゼロフレーム遅延だったとすると、ゲーム機/PCが出力している映像は、表示パネルにはリアルタイムに書き込まれているわけで、表示は進行中である。
たとえば画面上のあるピクセルが、前フレーム状態「RGB 0:127:255」だったとして、これから表示する状態「10:120:200」に変化するとすれば、16.67msの時間をかけてRは0から10へ、Gは127から120へ、Bは255から200へと変化する。少なくともゲーム機/PCがリアルタイム出力している映像はリアルタイムにじわりと見えているわけで、表示パネルにリアルタイム映像が書き込まれても表示の取りかかりすらも行なわれていない「表示遅延」と比べれば、だいぶマシなわけだ。
というわけで、表示遅延と応答速度では、ゲームプレイ時に支障が出やすいのは表示遅延であるのだが、応答速度が速いに越したことはない。この表示パネルの応答速度の大小は、映像を見たときの残像現象の大小にも深く関係するからだ。
60fpsでの映像表示では、1フレームの表示時間は60分の1秒だから16.67msである。例えば、10msかけて目的のピクセル状態になる応答速度の遅い表示パネルで60fps映像を表示する場合、その表示が終えたときには10msの時間が経っているから、その完成状態の映像フレームを6.67msの時間しかユーザーに見せることができない。しかし、1msで目的のピクセル状態になる映像パネルならば、1msで表示が完了するので、その完成状態の映像フレームを15.67msもの時間、ユーザーに見せることができる。
表示遅延を少なくするためにテレビ/ディスプレイが実践していること
では、この表示遅延と応答速度、どうしたら低減出来るのだろうか。
応答速度については、パネルメーカーが高速化に日々取り組んでおり、比較的応答速度が遅いと言われるIPS液晶でも8ms、最近では3m~5msくらいにまで高速化されてきた。1ms応答速度を謳うIPS液晶も出てきたが、筆者が実機で高速撮影して評価した感じでは、まだ微妙だ。最も高速なのはTN液晶で大体1ms~3ms。ゲーム用ディスプレイでTNパネルの採用が多いのはこのためだ。VA液晶は、IPS型とTN型の中間くらいの応答速度という理解で良いかと思う。
有機ELパネルの応答速度は数十μsなので、数msの液晶パネルと比較すると100倍近く速いのだが、焼き付き防止機構が介入する関係で1フレーム分遅延してしまう。これについての詳細は後述する。
表示遅延については、映像エンジン側の問題なので、テレビ/ディスプレイメーカーがその低減に取り組んでいる。
表示遅延の原因は、前述したように、映像エンジン内で行なわれている画像処理の所要時間だ。こうした処理は、データを映像エンジンのメモリーに書き込んで、プロセッサがこのメモリーを読み出して各種処理の結果をこのメモリーに書き出していくような流れで行なわれる。
映像エンジンの画像処理は、多段構成になっている場合もあって、Aプロセッサが1フレーム分の処理を終えてからでないと、Bプロセッサの処理が始められないというような状況が発生し、どんどん表示遅延は蓄積されていくわけだ。
そこで、表示遅延の低減手法として行われるのが、いくつかの処理をバイパス(スキップ)することだ。
よくよく考えればゲームの映像は、ゲーム機/PC内部で描画されたCGであり、MPEG圧縮などされていないベースバンド映像なわけで、ノイズ低減などは不要だし、その他の美化処理だって削減できる部分はあるはず。もちろん、表示パネルに映像信号を最適化するための色調変調処理などは省くことはできないが。
ということで、こうした必要最低限の画像処理だけを有効化し、処理が重かったり、重要度の低い画像処理系をバイパスするアプローチで最初期のテレビ/ディスプレイのゲームモード(≒低遅延モード)は実現された。2008年くらいの製品におけるゲームモードはだいたいそんな感じの実装だった。
2010年頃になると、低遅延を実現するために映像エンジンの最適化に取り組むメーカーが出てくるようになる。最近では「ゲームやるなら東芝レグザ」というキャッチコピーがすっかり浸透しつつある、東芝などはその最たるメーカーだった。
どういった最適化を行なったかというと、映像エンジンのメモリーにデータが書き込み終わってから、プロセッサにメモリーを読み出して画像処理をさせるのではなく、メモリーに一定量のデータが書き込まれた段階で、プロセッサが"見切り発車"で処理に取りかかるようにしたのだ。
この方式だと、複数の映像プロセッサを使って、複雑な画像処理を行なう場合でも、バケツリレーのように処理をオーバーラップ出来るため、それまで起きていた何フレーム分もの表示遅延を低減できることになる。
ただ、表示開始は、全ての映像プロセッサが1フレーム分の画像処理を終えてからになるので、2010年当時のレグザエンジンでも、1フレーム分+αは遅延していた。ちなみに、この"+α"の時間とは、上で「メモリーに一定量のデータが書き込まれた段階」と説明しているところのオーバーラップ処理の時間に相当する。
東芝は2011年には、さらに映像エンジンの低遅延化の改良を行ない、映像プロセッサ群の処理のオーバーラップのみならず、表示の取りかかり(≒表示パネルの駆動コントローラへの最終表示映像データ伝送)までをオーバーラップさせることを実現。東芝レグザにおいて、負荷の大きい超解像処理を有効化しても表示遅延が起きないのは、こうした究極のオーバーラップ処理が実現されていることによる。
最近では、東芝だけでなく、ソニーやパナソニックを初めとした様々なテレビメーカーがこのようなアプローチで表示遅延を実現するようになっている。
速いイメージの“倍速”。実は表示遅延の大きな原因に!?
では、表示遅延対策された最新のテレビ/ディスプレイ製品は、全て表示遅延がゼロに近なったのかというと、例外が存在する。
それが倍速駆動のテレビだ。倍速駆動に対応したテレビ製品は非対応製品よりも遅延が大きくなる特性があるのだ。
「え? だって倍速ってなんだか高速なイメージがあるよ? 倍速駆動の方が表示遅延が大きいってどういうことさ!」と思われる人も多いと思う。
では、どういうことが解説していこう。
映像業界では、毎秒60コマ(≒60fps,60Hz)表示を基準としていることを知っている人は多いと思う。映画などは、毎秒30コマだったり24コマだったりすることもあるが、(特殊機能を備えた一部製品を除けば)基本は毎秒60コマに変換して表示される仕様となっている。
倍速駆動は、この毎秒60コマの表示サイクルを、2倍の毎秒120コマへ拡張するものだ。
現在、PCゲームの映像を除けば、民生向けに流通している映像コンテンツで毎秒120コマ(120fps)のものはほとんどない。ゲーム用のディスプレイ製品はともかく、120fpsのHDMI入力ができるテレビは東芝レグザくらいだ。
つまり、倍速駆動対応テレビでは、毎秒60コマからなるオリジナル映像を毎秒120コマへ拡張する処理が入るわけで、この処理も映像エンジンが行なうことになる。倍速駆動に対応したテレビは、入力された毎秒60コマのオリジナル映像を、映像プロセッサが解析して、中間画像をリアルタイムに算術合成して表示する仕組みが組み込まれるわけだ。
この中間画像は、オリジナル映像を構成する「実体フレーム」と呼ぶのに対して「補間フレーム」などと呼ばれる。なので、倍速駆動テレビ製品では倍速駆動というキャッチコピーに列んで「補間フレーム挿入」というキーワードがアピールされることも多い。
では、どうして倍速駆動対応テレビで表示遅延が大きくなるのか、この仕組みを図に表すと以下のようになる。
この図でポイントとなるのは、補間フレームの合成処理に取りかかるためには、あるフレームの全データと、その次に表示する全データが必要なことだ。
この処理系を実現するための最もシンプルなアルゴリズムは「過去フレームと現在フレームの両フレームが揃ってから補間フレームの合成処理に取りかかること」だが、そうなると遅延があまりにも大きくなってしまう。
そのため、上の「映像エンジンの進化」のところでも紹介した"見切り発車"の発想で補間フレームの算術合成処理を仕掛けるのだ。つまり、これから表示する実体フレームのデータが半分伝送されてきたら、その時点から過去フレーム側を参照して補間フレームの解析と合成処理に取りかかり、さらに補間フレームの表示処理(映像パネルへの書きだし)も同時進行で行なう。これならば、次の実体フレームの映像データがすべて届いた時点で、補間フレームの表示処理も完了している計算になる。
このとき注意が必要なのは、上の図でも分かるように、倍速駆動では「実フレームの全データが揃って、やっと実フレームの表示が始まる」ところ。補間フレームを駆使して倍速駆動を実現するテレビでは、表示遅延が最低でも1フレームが生じてしまう理由はここにある。
では、もしこの補間フレームの算術合成をやめたらどうなるのだろうか。
実際、最近のテレビ製品に搭載されている「ゲームモード」(≒低遅延モード)では、この補間フレームの合成を無効化できるようになっている。
倍速駆動対応テレビで、補間フレーム表示の機能をキャンセルするということは、すなわち補間フレームは生成せず、やってきた映像データを最短時間で表示を仕掛けるということだ。これならば、倍速駆動対応テレビでも表示遅延をなくすことができるのではないか? そう考えてしまうことだろう。
しかし、そうはならない。
どうしてか。まず「倍速駆動対応テレビにおいて、映像パネルは、60Hz比で2倍となる120Hzの速度で駆動されている」ことを忘れてはならない。
なので倍速駆動対応の映像パネルでは、毎秒60コマの映像データが伝送されてきた瞬間から表示を仕掛けてしまうと、映像データが半分やってきた時点で、映像パネルの表示メカニズムは映像データの伝送よりも早く表示を終えてしまうのだ。もちろん、それを放置すると、倍速駆動させた時点で映像は画面の半分までしか表示されなくなってしまう。これはマズい事態だ。
そこで、倍速駆動で補間フレームを生成しない場合には、毎秒60コマの映像データが半分揃ったあたりから(=0.5フレーム分の時間が過ぎたタイミングから)表示を仕掛けるようにするのだ。こうすれば倍速駆動の映像パネルに対して、ちゃんと画面全体を表示することができる。
このあたりの動作を図解したものを下に示す。
この流れを「表示遅延の観点」から見れば、毎秒60コマの映像が0.5フレーム分やってきたときから表示が始まる以上、倍速駆動対応テレビは、補間フレーム機能をキャンセルしたとしても、表示原理上0.5フレームの遅延が避けられないことが分かる。つまり、下の図のようになる。
まあ、いろいろ解説してきたが、結論だけいえば「倍速駆動対応テレビは残像低減の効果はあるが、その分、遅延が発生する」ということだ。
とはいえ、たかだか0.5フレーム遅延は、実際のゲームプレイではほとんど無視できるレベルだと思う。なので、倍速駆動テレビでも、補間フレーム挿入を無効化できるゲームモードがあれば、それほど神経質にならなくてもよいだろう。
ただ「どうしても表示遅延を重視してテレビを選びたい」というこだわり派は、倍速駆動非対応の製品を選ぶといい。
なお、ゲーム用ディスプレイの中にはリフレッシュレート120Hzや、240Hzに対応したものまで出てきているわけだが、こうしたディスプレイでは60fps映像をどう表示しているのか。
もちろん、リフレッシュレート設定を120Hz以上に設定していれば、ここで述べたような遅延は起こりうる。しかし、ディスプレイ製品はテレビと違って、リフレッシュレートを映像送出元のPC/ゲーム機に合わせることができるので、この問題が顕在化することはあまりない。
例えば、最大リフレッシュレート120Hzに対応したディスプレイに、60Hz(60fps)出力までの対応のPS4を接続したとすると、そのディスプレイ側はリフレッシュレートを60Hzにして動作するため、上で述べたような0.5フレーム表示遅延は起きない。同じ理屈で、東芝レグザのHDMI 120Hz(120fps)入力できるモデルを使えば、120fps映像を入力したときは表示遅延が起きない。
有機ELの応答速度は液晶の100倍速いのに、表示遅延は大きい!?
後回しにしてきた有機ELテレビについての遅延事情も紹介しておこう。
現在、市販されている有機ELテレビは、全てLGディスプレイが生産した有機ELパネルを採用している。そして、日本企業のJOLED製の有機ELパネルを採用したディスプレイ製品もちらほらと出始めている。
筆者が調べた限りではあるが、60fps映像入力時、どちらも約1.0フレームの遅延が発生していることが分かっている。
上でも述べたが、有機ELパネルの応答速度はμs(マイクロ秒)台で、ms(ミリ秒)台の液晶パネルと比較すれば数十倍から100倍高速だ。まあ、ここまで読み進めてもらえた方ならば分かってもらえると思うが、応答速度と表示遅延は別もの。事情があるのだ。
ここまで「表示遅延は映像エンジン側で起きている」と解説してきたわけだが、有機ELパネルの表示遅延は、映像エンジン側ではなく、むしろ有機ELパネル側に近いところで発生している。
実は有機ELパネルは焼き付き抑止や寿命延命のため、入力された映像信号の最大輝度や平均輝度に配慮して、映像パネル上の画素の駆動電圧を算定する工程(ゲインコントロール)が必要となっている。言うまでもないことだが、この算定は、有機ELパネルが映像データが完全に受け取り終わらないと行なえない。このため60fps映像だろうが、120fps映像だろうが、表示までに1フレーム分の時間を要してしまうのである(≒有機ELパネルは映像データを取得しながらのオーバーラップ表示は行なえない)。
有機ELパネルの駆動電力算定にまつわる遅延をなくすことはできるのか、といえば「やってできなくはない」というのが回答だ。
では、どうすればいいのかというと、シンプルに「算定しない」ことだ。
しかし、焼き付き抑止や寿命延命をあきらめるわけにもいかないので、算定を止める場合は、最大輝度映像が常にやってきているくらいの想定をして、有機ELパネルを保護する駆動を常に行なう必要がある。分かりやすく言えば「常時、暗めに有機ELパネルを駆動する」ことだ。そろそろ、有機ELテレビにおけるゲームモードについては、「表示は暗くなるが低遅延となる」モードを搭載すべきではないか、と筆者は考えている。
なお、ノートPCや携帯電話の有機ELパネルでは、こうしたゲインコントロールは行われていない機種が多いそうだ。これは、ノートPCや携帯電話の有機ELパネルはテレビほど高輝度ではない(≒焼き付きや劣化にあまり影響がない)ため、だとのことである。つまり、ここで紹介した表示遅延は、ノートPCや携帯電話では起きていないかもしれない。
ゲームの腕前が上がらないのは表示遅延のせいかも!?
長々と書いてきたが、これで大体「応答速度」と「表示遅延」にまつわる話題は網羅できたと思っている。
まとめとしては……
- 「表示遅延」と「応答速度」は別もの
- 表示遅延の方が応答速度よりも値が大きい分、ユーザー(ゲームの場合はプレイヤー)に与える影響が大きい
- 「ゲームモード」(低遅延モード)を搭載しているテレビ製品は、表示遅延を少なくできる(機種によっては"ほぼなし"というくらいにまで)
- 「倍速駆動」「補間フレーム」対応テレビは、60fps映像入力時には表示遅延が避けられない
- 倍速駆動対応テレビでも、補間フレームを無効化できるゲームモード(低遅延モード)があれば、60fps入力時、理論上は0.5フレームにまで短縮はできる
- 60fps映像表示における表示遅延を気にするならば、倍速駆動ではないモデルを選択すべき
- 有機ELテレビ/ディスプレイはその駆動制御の関係で表示遅延が避けられないモデルが多い
……といった感じだろうか。
表示遅延を伴ったテレビ/ディスプレイでゲームをプレイすることは、例えるならば徒競走で自分だけ向かい風が来ているコースで走っているようなものだ。いや、自分のコースだけ、進行方向とは逆の「動く歩道」で走らされているようなものと言っていいかもしれない。
もし、「ちゃんと敵弾を避けているはずなのに被弾してしまう」「ちゃんとガードしているはずなのに攻撃を受けたことになってしまう」といった事態によく遭遇するのならば、あなたのテレビ/ディスプレイは表示遅延が原因かもしれない。
運動選手が、性能のいいウェアやシューズにこだわるように、ゲームプレイヤーも性能のよいテレビ/ディスプレイにこだわってみて欲しい。