西田宗千佳のRandomTracking
第499回
PS5開発陣に聞く「Tempest 3Dオーディオ」の意義と可能性
2021年5月11日 06:00
PlayStation 5(PS5)といえば、高性能を生かしたグラフィックスやSSDに最適化したロードの速さが注目される。だが、それ以外にも重要な要素はある。
「音」だ。
PS5には「Tempest 3Dオーディオ」(以下Tempest)という、3Dオーディオ専用のハードウェアデバイスが搭載されている。昨年3月にPS5の詳細が初めて明かされた時にも、リード・システムアーキテクトであるマーク・サーニー氏はTempestの内容と重要性について触れている。
では、Tempestはどんな効果を生み出しているのか? そしてこの先どうなるのか? こうした部分を、開発にかかわる人々に直接インタビューする機会を得た。
対応いただいたのは、ソニー・インタラクティブエンタテインメント プラットフォームプランニング&マネジメント部門 グローバル商品企画部 部長の若井宏美氏と、ソフトウェア開発本部 副本部長の今井憲一氏だ。
PS5がTempestで実現する3Dオーディオとは
3Dオーディオとはどんなものなのか? 本誌読者の方々にはもう説明は不要かと思うが、一応おさらいしておきたい。
3Dオーディオは、読んで字のごとく、音が立体的に感じられるサウンドのことだ。CGと同じように、音が発する場所を3D空間内に配置し、「中心にいる自分からどのように聞こえるのか」を再現することで、リアルな聞こえ方を目指す。こうした仕組みを「オブジェクトベース・オーディオ」と言う。映画などで広く使われており、UHD BDや配信でも活用されている「Dolby Atmos」も、ソニーが日本でも展開を開始した3Dオーディオフォーマットである「360 Reality Audio」もオブジェクトベースだ。
ゲームで3Dオーディオが重要とされる理由は「音の位置が頻繁に移動し、そのことがゲーム性に大きく影響するため」だ。よく聞く例えだが、FPSなどでは、敵がどこにいるのか、弾がどちらから飛んでくるのかといった情報が「耳」で得られるのは大きな価値を持つ。そのため、PS3/PS4やXbox 360/One世代、PCと使われ続けている。それだけ重要な要素なのだ。
とはいえ、問題も複数ある。
簡単にいえば、PS5のTempestによる3Dオーディオは、その問題を解決することを目指した技術、と言っていい。
そのことは、PS5の企画において、Tempestが大きな差別化要因と定められていたことからもわかる。若井氏・今井氏は、企画段階での考えを次のように説明する。
若井氏(以下敬称略)：PS5のキーメッセージは「遊びの限界を超える(Play Has No Limits)」です。PS5というか、「次世代のプレイステーションがどうなるか」を企画している段階から、「どういうユーザー体験が重要か」という議論が行なわれたのですが、そこで出てきたのが「イマーシブ(没入感)」です。3Dオーディオではゲームに入り込んだような体験ができますから、SSDや(コントローラー搭載の)ハプテック・トリガーと同様、重要なファクターと位置付けられました。
今井：PS4を出した後から「次」の検討は始まったのですが、「没入感を増すとすればなにを増やすべきなのか?」という話になりました。そこで「サウンドに光を当てたい」と考えたわけです。
3Dオーディオは非常に効果的で、それ自体はすごく昔からあるものです。ただし、その没入感をさらに高めるにはどうすべきか……ということで、ハードウェアとして取り込み、演算でリアリティを高めることになりました。
3Dオーディオをレンダリングする際に構成される3D球面の解像感・オブジェクト数が増えればそれだけ精細で没入感も高いものになりますが、演算量も増えますから、CPUやGPU、一般的なDSPで処理するには限界があります。ゲーム側に演算資源を割り当てつつ、オーディオにできるだけ資源を割り当てたい。要はリソース制限を取っ払うには、専用のハードウェアを搭載することが望ましい、という結論に至ったのです。
Tempestの仕組みは公開されているのだが、Tempest自体の性能がどのくらいあるのかは、数字の形では公開されていない。ただ、今井氏によれば「PS4の数倍」の能力があるとのことだ。以下の画像はSIEから示されたPS5でTempestを使った際のサウンドのイメージ映像だ。まあ、この画像そのものには情報はないのだが、要は「より精密な球に近づくほど精度が高まった処理を、ゲームそのもののリソースを奪うことなく実現できる」というイメージを示しているのだろう。
ハードウェア化したため、ゲームソフト開発側から見れば、当然PS5向けの専用開発は必要になる。だが、その点は「できる限り開発サポートをしており、ライブラリーも日々更新している」(今井氏)という。
なお、現状では、Tempestによる3Dオーディオはゲーム向けで、映像再生時のDolby Atmosなどでは利用されていないという。この点はぜひ検討をお願いしたい。
「Returnal」＋普通のヘッドフォンでわかる3Dオーディオの価値
ではその成果を楽しむにはどうするのがいいのか? 今井氏は、「SIEから発売されているタイトルなら、『Demon's Souls』、もしくは『Marvel's Spider-Man:Miles Morales』はわかりやすく、おすすめの作品。『Returnal』も、うまく3Dオーディオを活用している」と推薦する。
「Returnal」は4月30日に発売されたばかりのタイトルだが、確かに、Tempestによる3Dオーディオの効果が素晴らしい。
(C)2021 Sony Interactive Entertainment Europe. Published by Sony Interactive Entertainment Europe Ltd. Developed by Housemarque Oy. “Returnal” is a trademark of Sony Interactive Entertainment Europe. All rights reserved.
ゲームとしてはいわゆるサードパーソン型のシューティングなのだが、ローグライクな「やられたら元に戻ってやり直し」という側面があるので、周囲の状況把握が非常に大切だ。3Dオーディオで聴くと、演出的に素晴らしいということに加え、敵の位置や弾の飛んでくる様子などが微細に把握できて、面白さが大きく変わる。
さらにいえば、専用コントローラーである「DualSense」の活用もかなりレベルが高い。走る・ジャンプする・撃つといった動作が細かく振動でわかる上に、撃つ時の感覚もトリガーの「硬さ」で感じられる。3DオーディオやSSDの高速ロードとセットで、「PS5らしさ」を体験できる作品になっている。まあ、ゲームの方がなかなか難しいので、心してかかる必要があるのだけれど。
さて、「Returnal」のような作品で3Dオーディオを楽しむには、現状、1つの制約がある。それは「ヘッドフォンを使う必要がある」ということだ。
こうなっている理由は、3Dオーディオの「立体感再現」の精度を高めるためでもある。
3Dオーディオを再現するなら、多数のスピーカーを配置してそこから音を鳴らすのが近道だ。だが、それでは使える人が限られてしまう。そこで、ヘッドフォンを使うことを前提に特別な仕組みを用意し、3Dオーディオをできるだけ多くの人が簡単に使えることを目指して開発されたのが、現在のPS5の仕組みである。今井氏も「コントローラーにヘッドフォンをつなぐだけで、3Dオーディオを楽しめるようにするのが狙い」と話す。
PS5のコントローラーには3.5mmのヘッドフォン端子があり、ここに有線でヘッドフォンをつなぐか、USB経由でヘッドフォンをつなぐかして3Dオーディオを聴く。ここでヘッドフォン端子につなぐヘッドフォンは、特別なものである必要はない。
なお、PS5はBluetoothのオーディオヘッドフォンには対応していない。理由は「コントローラーもBluetooth。複数のBluetooth通信により遅延などが発生するのを避けるため」(若井氏)だという。ワイヤレスでヘッドフォンだけを接続する場合には、純正の「PULSE 3D ワイヤレスヘッドセット」などの、USBドングルを使うものである必要がある、
PULSE 3D ワイヤレスヘッドセットを使った場合もコントローラーにヘッドフォンを接続して使った場合も、音質特性はともかく3Dオーディオとしての品質には「大きな違いはない」(今井氏)という。
発売時から純正オプションとして「PULSE 3D ワイヤレスヘッドセット」が用意された理由は、「どれを選べばいいかわからない、というユーザーの方々向けに、まずこれで体験して欲しい、という意味合い」(若井氏)があったという。
「HRTF」を生かして普通のヘッドフォンで3Dオーディオを
では、普通のヘッドフォンで3Dオーディオを実現するために必要な仕組みとはなんなのか?
ここで出てくるのが「頭部伝達関数(HRTF)」という考え方である。この辺も、3Dオーディオに詳しい本誌読者の方々なら、聞いたことがあるのではないだろうか。
人は普段から2つの耳で音を聞いている。日常の音も「立体の音」として聞こえているわけだが、それは単に頭や肩、耳などを通じて伝わる音の変化によって脳内でそう感じられている、という部分がある。この、頭や耳を通じて音が変化する特性が「HRTF」だ。HRTFを生かして音の周波数特性を変えると、ヘッドフォンから伝わる音が3Dオーディオとして感じやすくなるのである。
問題は、HRTFは人によって差がある、ということだ。主に耳の形によって左右されるらしいのだが、千差万別だ。
そこでSIEは、たくさんの人からHRTFを計測し、そこから平均的なデータを集め、5つのパターンに分けてPS5に搭載している。サンプルとなった人の数はおよそ「数百人」だという。
PS5におけるHRTFは「設定」の中から切り替えられるようになっているが、その際には、音を実際に聴きながら、自分にもっとも適していると思えるものを選べる。
若井：どう人々の耳に音が届いているのか、ということが重要だと考えています。人によって聞こえ方が違うのは事実なので、今は多数のプロファイルから効果を最適化した上で、5つのプリセットとして用意しています。
今井：5種類をどう選ぶのか、ということもずいぶん迷いました。やはり耳の特性によってずいぶん変わってきます。今回は「代表として5つの特性を選んだ」という形。色々と聞いてもらって、評価の高いものを選びました。
もちろん、設定はこれからもどんどん改善していきます。個々人に合わせた最適化の導入も検討しています。
実は、HRTFの適応を含めた処理もTempestがハードウェアで担う部分になっている。「(HRTF適応は)まだまだ負荷の高い処理なので、専用ハードウェアによって処理を軽減することが重要」(今井氏)という判断からだ。
テレビのスピーカーでの「3Dオーディオ」は現在開発中
普通のヘッドフォンで3Dオーディオを楽しめる、ということは、ハードルを下げる上で重要な点だと言える。
だが、本当にハードルを下げるなら、究極的には、「普通のテレビのスピーカーだけで3Dオーディオが体験できる」のが望ましいだろう。SIEはここにも取り組んでいる。
今井：テレビのバーチャルスピーカー化についても、開発は進めています。できるだけヘッドフォンと同じような体験を届けたいとは考えています。
ただ、問題になるのはクロストークのキャンセル(音の混じり合いの解消)です。テレビ向けの最適化として、この部分が特に重要になります。テレビのスピーカーは、3Dオーディオを楽しむには理想的な環境ではないのですが、最終的に、どのくらいまで理想に近い体験にできるかがポイントです。
性質は異なりますが、サウンドバーなどへの対応も進めていきます。
重要なことは「全ての人に3Dオーディオを届けたい」ということです。すごいオーディオセットをお持ちの方だけに……という形ではタッチポイントは広がりません。テレビ向けにも、種別も含め、段々と広げていきたいと考えています。