西田宗千佳のRandomTracking
第546回
PlayStation VR2はいかにして生まれたか。開発責任者に聞いた
2023年2月21日 22:00
PlayStation VR2(PS VR2)が2月22日に発売になる。
すでにレビューなどは掲載しているが、もう少し知りたいことはある。
PS VR2がどのように生まれ、初代PlayStation VR(PS VR1)から何を学び、そしてどのような機器を目指して開発されたのか、ということだ。
PS VR2の開発を統括した、ソニー・インタラクティブエンタテインメント グローバル商品企画部 シニアスタッフプロダクトマネージャーの高橋泰生氏への単独インタビューをお届けする。
結果として、これまでのPS VR2に関する記事では出てこなかった、多数の要素が語られている、貴重なインタビューになった。
PS VR1完成と同時に開発開始
PS VR2の開発はいつからスタートしたのか? 高橋氏は「2016年から」と話す。この年は、PS VR1が出荷された年。すなわち、PS VR1が世に出るのとほぼ平行に、次の世代の検討が開始されたということだ。
高橋氏(以下敬称略)：PS VR1に対するいろいろなフィードバック、使っていただいての反応を見ながら、一方で「我々が実現したい次世代の世界はどういうものか」というところで議論を進めていきました。
その中では、「やはり、PlayStationとしてVR機をやっていくのであれば、圧倒的な没入感をユーザーの方々に提供していきたい」というところと、「シンプルで、かつ快適な形でお届けしたい」という2つの柱を立て、それを実現するにはどうしたらいいか? というところで検討を進めていきました。
2017年からは技術的検討であるとか、プロトタイプの開発を行なっていった形です。その過程で、各機能を決めていきました。
現在のPS VR2のフィーチャーである「4K/HDR」や「アイトラッキング搭載」、「コントローラーに対するハプティック(振動)フィードバック搭載」、さらには頭にもフィードバックを入れて没入感を高めていきましょう、ということを決定し、それをどんどん最適化していったような形です。
なお、後述するように、PS VR2はPlayStation 5(PS5)開発の初期から同時に進んできた。PS5の出荷(2020年11月)以降もPS VR2の開発は続けられたが、一方でPS VR2自体の開発完了から出荷までにはそれなりの時間的な余裕もあった、という印象を受ける。
その点については高橋氏も認める。
高橋：PS VR1での知見が高まったところで開発を進めているので、今回、かなり完成度は高いと思います。今後の機能追加については、コメント出来ないのですが。
ゲームプラットフォームとしては「ローンチタイトルの量」も重要なので、かなり早いタイミングから、完成度の高いハードウエアを、デベロッパーの方々に提供しなければいけません。その関係もあります。
結果として、ローンチタイトルがかなり多くなった、ということのようだ。
PS5らしい「ビジュアル」にこだわって
では、それぞれどう決めたのか、もう少し各論を聞いてみよう。
まずはビジュアル性能についてだ。
高橋：ビジュアルを決めるには複数のパラメーターがありますが、まず「解像度」です。これについては、PS5を前提としており、しっかりパフォーマンスが出せて解像度も高いところ、という意味で、比較的シンプルに決まりました。
PS5が4Kの映像を出せますから、両目で4K分、すなわち片目2K(※HMDでは左右の目の映像を別々に生成するので、倍の解像度は必要になる)ということです。
ただ、ビジュアルを人間が感じる上で重要なパラメーターは解像度だけではありません。
PlayStationでは、PS4時代から、「ゲーム体験上のビジュアルとしてHDR表現をやっていきましょう」という前提がありました。ですから、PS VR2でも「HDRをちゃんと表現したい」という話になりました。
ですからディスプレイパネル選定にあたっても、まずHDRをきちんと表現できるもの、要はコントラストと色がしっかり出せるもの、ということを重視しました。
実際、採用したディスプレイパネルでは10bitカラーのパネルを使っています。PS VR1は8bitでした。また、有機EL採用でちゃんと「黒が漆黒になる」ことを維持しつつ、輝度のダイナミックレンジも、PS VR1に比べ2倍に上げています。結果として、ゲームデベロッパーの方々がしっかりHDR感を出せる空間的なキャンバスを作ることができました。
これは確かにそうだ。
単純な解像感では、PS VR2に勝るHMDもある。
ただ、色表現とダイナミックレンジ、それに伴ったHDR表現がちゃんとできるものは皆無と言っていい。ゲームでも配信映像でも、HDRのものは増えている。PS VR2のローンチタイトルで言えば、「Horizon Call of the Mountain」がわかりやすい。木立や機械獣の隙間から差し込む鋭い光で、独特のビジュアルが表現されている。「色域の広さとHDR表現」は、PS VR2を選ぶ大きな理由になると思う。
Horizon Call of the Mountain (C)Sony Interactive Entertainment Europe. Developed by Guerrilla.“Horizon Call of the Mountain”is a trademark of Sony Interactive Entertainment LLC.
では、ビジュアル表現を司る要素である「精彩感」や「広い視野角」の実現に寄与する、「レンズ」の設計はどうだろうか?
PS VR1では、ソリッドで厚みのあるレンズが採用されているが、PS VR2は、レンズ表面に刻みを入れた「フレネルレンズ」が採用された。フレネルレンズは光の回折の関係から、迷光や色割れが起きやすい、というトレードオフがある。近年、特にハイエンド機では「パンケーキレンズ」など、他のレンズが使われる例が増えている。
高橋：HDR感・解像感も重要なのですが、同時に今回重視したのは「視野角を広げる」ということです。PS VR2は水平視野角を(PS VR1の)100度から110度に広げています。そのためにこだわりを持ってレンズを選択しました。
フレネルでない非球面レンズですと、視野角を広げていくとレンズが分厚く、重くなります。
また、パンケーキレンズのようなテクノロジーももちろん検討したのですが、輝度の損失があまりにも大きい。
だとするなら、フレネルでもうまく使いこなせば、我々が実現したい圧倒的なビジュアルを実現することも可能だと考えたのです。
狙いは確かに実現できていたと思う。
不自然な光(ゴッドレイ)もゼロではない。目の位置が最適なところからずれたり、周囲をじっくり見たりした時には、文字に色割れを感じることがある。
だが、ゲームプレイ中の体験は非常に良く、特に視野の広さとHDR感の高さが大きな魅力だと感じられた。かなり「ゲームに求められる画質」に特化したチューニングだ。その辺、汎用性を重視した「Meta Quest Pro」あたりとは真逆である印象もある。
コストは増すが将来を見据えて「視線トラッキング」を搭載
ゲームに特化した体験、という意味では、「視線トラッキング」機能も重要なものだ。ゲームの操作に利用する他、周辺視野の演算リソースを減らして画質・処理量を最適化する「Foveated Rendering」にも使う。
視線トラッキングがどのように行われているかは、次の動画を見ていただくのがわかりやすい。
高橋：視線トラッキングがVRと相性のいい技術である、という話は昔からあったのですが、コストの問題もあって、実際に広く使われるには至っていませんでした。
ただ、我々は、ポテンシャルは高い、と思っていたのです。
まずやはりFoveated Renderingですね。非常に効率的にレンダリングして、ビジュアルのクオリティを上げていけます。それに、VRを新しい体験として導入する中で、新しいユーザーインターフェースで新たなゲーム体験を作っていく、というところは、プラットフォームとして次世代でやっていきたい、と考えました。
ここでポイントとなるのは、そのために価格が上がってしまうという点だ。他のプラットフォームでは、視線トラッキングは業務用に近いハイエンド機種にしか採用されていない。それだけコストの課題が大きい、という話でもある。
高橋：視線トラッキングを上位機種だけに載せる、という考え方もあると思います。しかしやはり、この機能は「プラットフォーム全体で使えるものにしたい」と考えました。
色々技術的課題はありましたが、PS VR2というプラットフォーム全体で、基本機能として使えるようにしたい、という強い意思を持ってやっていこう、と決めました。
もう1つあるのは、弊社の場合、プロダクトの寿命が長い、ということ。PS VR2が出て3年後、5年後に視線トラッキングを使っていないか? と考えたとき、使っていないとは想像しにくいところがあった。だとすれば、最初のタイミングからしっかりプラットフォームに組み込み、躊躇なく使えるような技術にしよう、ということになったのです。
PS5設計初期からPS VR2を想定して開発
その上で、PS5とPS VR2の関係はどのような形で進んだのだろうか? PS VR2がPS5をターゲットとしていたのは明白だ。その上で両者の開発部隊はどう連携していたのか。
高橋：PS5にはフロントにインターフェースがあります。それはPS VR2を意識したものだったわけですが、インターフェースに関しては、PS5の初期検討の段階から関わってきます。SoCの構成にも関わってくるので、そこはしっかりと議論したところです。
それから、VRでは映像遅延の少なさが非常に重要な要素になります。ですから、できるだけ遅延を増やさず、PS5で処理したものがPS VR2に表示できるのか、ということも議論しています。
要は、PS5側からPS VR2へのパスとして、無駄なものが一切ないような構成で設計してもらった、ということが一番大きいですね。
この辺はPC向けのVRと異なるところだろう。ハードウエア構成からシステムソフトウエアまでを一気通貫に設計していけるので、遅延につながる無駄を排除しやすい。
Foveated Renderingも、PS5の設計段階から入れたものだ。
高橋：Foveated Renderingは開発段階の初期から、PS5のGPUに機能を入れています。
Foveated Renderingは視線トラッキングと非常に相性の良い技術です。そこで、高解像度(視野中心)から低解像度(周辺視野)に向けて変化点がほとんどわからないよう、スムーズな処理をすることで、視線トラッキングで視点が動いても、その境目にほとんど気づくことはありません。
そのような処理をPS5の設計段階から入れておくことで、視線トラッキングが入った上で、粗も目立ちにくくなり、効率も上げることができました。
プロセッサーユニットはPS VR2でも「なくなっていない」
最適化設計、という点では、PS4向けに作られたPS VR1もそうだった。
PS VR1には「プロセッサーユニット」と呼ばれる外付けの機器があった。HMDとPS4の間に入り、テレビとPS4をそれぞれHDMIで繋ぐ、という機器だ。プロセッサーユニットがある関係で接続が複雑になってしまっていたのだが、実は非常に重要な役割を担っていた。
VRでは、首の動きに合わせて映像の位置を変える必要がある。もちろん、映像の書き換えが必要だから処理の主体はPCやゲーム機本体側、ということになるが、より遅延なく実現するため、本体側で少し広めの映像を用意し、首の動きに合わせて映像位置を動かす「リプロジェクション」「タイムワープ」などと呼ばれる処理が挟まる時がある。
プロセッサーユニットはこの処理を主に担当していた。性能に余裕があるわけではないPS 4でVRを実現するには必須のものでもあった。
また、2Dの映像やゲーム画面をVR空間内に表示する「シネマティックモード」も、プロセッサーユニットによるリプロジェクションで実現されていた。
ただしPS VR2には、見かけ上プロセッサーユニットがない。では、リプロジェクションなどの処理はPS5自体でやっているのだろうか?
実はそうではないのだ。
プロセッサーユニットは意外なところに隠れている。
高橋：シネマティックモードもVR空間と行き来する形で実装する必要があるので、最初からきちんと設計する必要がありました。
PS VR1ではプロセッサーユニットでこれを実現していたわけです。では、ユニットを無くし、HMDに直接ケーブルで入力する形にする場合どうするか? という話になり、「頭の方に入れる素子で処理しましょう」ということになったのです。
すなわち、今回、プロセッサー“ユニット”はなくなったが、シネマティックモードやリプロジェクションのための補助プロセッサーはなくなったわけではなく、「HMDの中に入れるようにした」ということなのだ。
高橋：そうすると、シネマティックモードについても、HMD内で処理する場合、PS5の画面全体を表示するのは難しくなります。(※「黒い空間にPS5の画面が表示されている」という3D空間をHMDで再現するには、HMDのディスプレイの解像度内で映像を処理することになり、片目2Kのディスプレイでは、実質的にそれ以下の解像度になる)
だとすれば、HMDのディスプレイパネルが120Hzに対応していますし、ゲームにも120Hz対応のものがあります。ですから、シネマティックモードで提供できる映像の画質も「1,920×1,080ドット・HDR・120Hz」となるわけです。
PS VR2をPCでも使えないのか? という話があるが、こうした要素を考えると、PCで使うのはやはりちょっと難しいだろう(一部の機能は使えるようにハックすることは不可能ではないだろうが)。
見やすいシースルーは「エンジニアが作ってきた」
PS VR2の特徴として、モノクロ映像ながら、周囲の様子を「ビデオシースルー」で確認できる。その一端を映像でキャプチャできたので、ちょっとご覧いただきたい。
高橋氏は「ビデオシースルーの搭載は必須と考えていた」と話す。
高橋：イメージセンサーを内蔵し、インサイド・アウト型のポジショントラッキングを内蔵するのは早期から決まっていました。
一方で「外部を安全に確認する方法は必要だろう」という話にもなり、ビデオ・シースルーも必要という判断になりました。ただそこでどう実現するかについては、「真ん中に2つカメラを追加し、双眼にした方がいいのか」「カラーがいいのかモノクロがいいのか」「シースルーのフレームレートや遅延はどうすべきか」と、細かな検討を進めていました。
そうしている間にですね、ポジショントラッキングの部分を作っていたエンジニアチームが、ポジショントラッキング用のセンサーを使い、今の形のビデオ・シースルーを作ってきたのです。そのため、解像度についても遅延についても立体感についても、非常に最適化した形のものが用意できました。
ですから、トラッキング・エンジニアチームに私は頭が上がりません(笑)。
別途センサーを取り付けるとコストがさらにかかるので、企画側としては確かにありがたかったろう、と思う。
一方で、このビデオ・シースルーの機能は、ゲームなどのアプリ側から使えるのだろうか? 要は、モノクロシースルーの上にCGを重ねる、Mixed Reality的なゲームなどを作れるか、という点だ。
答えは「ノー」。
あくまでシステムでの利用を前提としており、ゲーム側から使うためのAPIは用意されていないという。
Blu-ray 3Dの対応予定はなし、他の3D映像系は「他社次第」
AV Watch的な視点で気になったのは、Blu-ray 3Dを含めた、3D映像への対応が、現状ほとんど存在しないことだ。
Blu-ray 3Dについては、PS5自体が対応しておらず、その影響から、PS VR2でも対応していない。
高橋氏は「Blu-ray 3Dについては、現状対応の予定はない」と話す。
これはとても残念なことだ。個人としてはぜひ対応をお願いしたい。一方で、対応ソフトが出づらくなっており、フォーマットとして対応コストが出づらい、という事情もわからないではない。
一方で、配信やYouTubeなどでの対応は可能なはずだ。他のプラットフォームでは初期からそうした部分にも対応している。
高橋氏は「そうしたアプリを作ることは可能で、SIEとして止めているわけではない」と話す。ここからPS VR2の普及を見越して、各プラットフォーマーがどう対応していくのか……ということになるだろう。SIEとしても、もう少しPS VR1の時と同様、“体験系”アプリの拡充を目指して欲しい、とは思う。
特に今後は、ライブ配信などでVRの出番も増えると思う。そこで1つのプラットフォームとして認知されれば、PS VR2にとってもプラスであるのは間違いない。
