試聴環境から制作ツールまで。日本でも見えてきたソニー「360 Reality Audio」

ソニーは、オブジェクトベースの空間オーディオ技術「360 Reality Audio」(360RA)の展開を拡大中だ。今年のCESでもアピールの軸の一つとして扱われている。

一方、日本ではまだ360RAを採用したサービスが「Amazon Music HD」のみで、しかも対応機器である「Echo Studio」が必要だった。色々なサービスがあってスマホなどで気軽に聴ける状態ではなく、内容が理解されているとは言い難い。

だが今回のCESに合わせ、無料で体験できるアプリも公開され、変化が少し見え始めた。

今年360RAはどのような展開を予定しているのか。ソニーの担当者に聞いた。

ご対応いただいたのは、ソニーホームエンタメインメント&サウンドプロダクツ株式会社 V&S事業本部 事業開発部 統括部長の岡崎真治氏、同・担当部長の横山達也氏、同・コンテンツ開発課の花田祐氏だ。

360 Reality Audioとはなにか

まず360RAがどのようなものか、おさらいしておこう。

360RAは、俗に「オブジェクトベース」と呼ばれるタイプのオーディオフォーマット。空間内に音源を配置し、それが自分の位置からどう聞こえるのかをシミュレートして音を作る。似たものとしてはDolby AtmosやDTS:Xがある。

一番の違いは、そもそも360RAは、フォーマットとしては「MPEG-H 3D Audio」という標準規格に基づいている、という点が挙げられる。再生環境を限定しているわけではないが、「処理能力と通信能力のある機器」であることが前提となるので、現状ではスマートフォン・タブレットでの再生が主軸。その場合、ヘッドフォンを利用することが前提となる。

360RAの概要。オブジェクトを空間に配置し、そこから発せられる音がどう聞こえるかを再現する

標準規格でソニーはどうビジネスをするのか? 具体的には、配信環境や機器での再生環境など、ビジネス的に必要な環境と、スピーカーやヘッドフォンなどのコンシューマ向け製品の提供が中心となる。

360RAのソニーでのビジネススキーム。配信フォーマットはスタンダードな技術だが、制作から視聴まで、必要なツールの提供がソニーの差別化領域になる

ソニー製のヘッドフォンでなくても聞くことはできるのだが、やはりそこは差別化要因が必要。そのため、ソニーは自社のヘッドフォン向けのスマホアプリ「Sony|Headphones Connect」を介して自分に「最適化」をすることで、より良い体験ができるようになっている。

360RAは、すでに欧米でTidalやAmazon Musicなどに採用され、昨年末まで4,000曲がラインナップされているという。「年末にはTidalなどでクリスマス関連楽曲のプレイリストも提供された」(岡崎氏)そうだ。

無料体験コンテンツ提供、ソニーアプリから「耳を計測して最適化」も可能に

このように、360RAはすでにビジネスとして走り始めているわけだが、日本ではその状況がなかなか掴めないできた。前述のように、現状ではAmazon Music HDで、しかもEcho Studioを使った時に聴けるという形なので、あまり目立たなかった。

だが、CESに合わせて、この点に変化が起きた。日本版の「Sony|Headphones Connect」にも360RA用の最適化機能が搭載され、さらにCES向けにデモ音源を入れたアプリが公開になったためだ。「Artist Connection」という名称のアプリで、ソニーのヘッドフォンを持っていない人でも無料でダウンロードできる。

CESに合わせて公開された「Artist Connection」。360RAのデモコンテンツが視聴できる。このページから無料でダウンロードできる

CESに向けてアピールするために用意された環境だが、シンプルなデモ音源に加え、今回はザラ・ラーソンのパフォーマンスが「ビデオ」の形で配信された。デモ音源は「今後も時期を見て追加されていく予定」(岡崎氏)だという。

なお、日本での360RA対応サービスについては「検討はされているが、確定していない」(岡崎氏)という状況。開始したい……という意向は強いようなので、とりあえずアナウンスを待つことにしよう。ソフトなどの準備は、とりあえずもう整っている。

360RAをヘッドフォンで聴く場合には、頭部伝達関数(HRTF)を使って音を変換する必要がある。本来、HRTFは人によって異なるもので、特に耳の形に大きく依存していることが知られている。

360RAをヘッドフォンで聴く場合には、頭部伝達関数(HRTF)に応じて変換し、立体的に聞こえるようにする必要がある

360RAでは全てのヘッドフォンで聞けるように、サービス提供側に標準的な(多くの人の平均をとった)HRTFが組み込まれている。そのため、「Artist Connection」を他の、普通のヘッドフォンで使った場合にも立体感は感じられる。

だが前述のように、ソニーのヘッドフォン向けスマホアプリ「Sony|Headphones Connect」には、各人への最適化機能が組み込まれてている。アプリを最新版にアップデートすれば、誰もが使えるようになっているはずだ。最適化の際には自分の両耳の写真をアプリ内で撮り、それをソニー側にアップロードして解析し、最適化する。

実際に最適化する過程のスクリーンショット。筆者もやってみたが、作業自体は数分で終わる

問題は、最適化した場合とそうでない場合と、どう違うのかという点だ。この表現が少々難しい。というのは、「人によって違いが異なる」(横山氏)からだ。筆者の場合には、最適化することで上下の立体感表現が大きく増したように感じられたが、これが一般的、というわけでもないようだ。

360RAの開発を含めた厳密な視聴環境では、耳にマイクを差し込み、その後に周囲から音を流してHRTFを計測する。その環境で聞いた状況を、ソニー内部では「神体験」と呼んでいるという。スマホカメラを使った最適化は、最適化後に「できるだけ神体験に近づけることを目標としたもの」(横山氏)だという。

ちなみに、ソニー側の評価では、最適化を行なわない平均的なHRTFを使った体験は、「神体験と比較してざっくり2、3割は落ちる」(横山氏)という。それに対してスマホアプリでの最適化後の結果は、かなり神体験に近づくのだとか。

それでも全員が「完全に最適化される」とは言えない部分もあり、クラウド側で日々最適化の改善が進められているという。すなわち、多くの人が使えば使うほど精度は改善されていく、ということだ。

360RAを「ミュージックビデオ」でも提供

CESでの新発表という意味では、実は、ザラ・ラーソンのパフォーマンス自体が今回の「新発表事物」でもあった。

昨年まで360RAは純粋な「オーディオ」としての展開だったが、今回のCESで「ミュージックビデオ」としての展開が公開された。といっても「特別なことをしているわけではない」(横山氏)そうで、一般的な映像コーデックと360RAのMPEG-H 3D Audioを組み合わせているだけ、とも言える。

だが、実際のビデオを見ると、360RAはとても映像との相性が良いことがわかる。ザラ・ラーソンのパフォーマンスはデモ的に「ステージを移動しながら歌う」形になっていて立体感がわかりやすいものになっているのだが、視覚と音響の両方があると効果はわかりやすい。

ザラ・ラーソンのパフォーマンス。ステージを彼女が歩きながら歌う構成で、音の移動などが分かりやすい、「立体映え」する音響設計のビデオになっている

実のところ、ヘッドフォンで立体感を得るだけなら、バイノーラル録音のようなもっと簡単な仕組みもある。シンプルなデモ音源を聞くだけならば、差が分かりづらいかもしれない。

だが、バイノーラル録音では「ダミーヘッドの形状で音が決まるので、視聴する個人に最適化した体験は作りづらい」(横山氏)し、音源が自由に移動するコンテンツを作るのも難しい。360RAの場合には、過去に収録した音源からトラックごとに切り出してオーサリングすることも可能だ。映像を組み合わせられること、製作自由度の高さの両面が360RAのメリットといえるだろう。

ハード制作ライセンスに加え、「DAWから制作」するためのツールも提供へ

今回CESで発表されたソニーのビジネス施策は、大きく分けると2つある。

1つは「ライセンシング」。360RAを配信サービスに提供するだけでなく、自社でヘッドフォンやスピーカーを作るために使っている技術を社外にライセンス提供する、ということだ。これにより、他社から360RAに最適化された製品が出やすくなる。ハードウエアとしてはそこまで高性能なものは必要とされないが、「契約した企業にはスペックや最低限の品質などが開示される」(横山氏)とのことだ。

これまで、ソニー以外で360RA対応の機器というとAmazonの「Echo Studio」だけだったが、現状明かすことはできないそうだが、ライセンス提供の企業は「すでに増加中」(横山氏)だという。

ソニーから対応スピーカーがいよいよ登場。それに加え、他社で対応機器を作るためのライセンシングプログラムも始まった

2つ目は、制作のためのツールが販売される、ということだ。このツールは「360 Reality Audio Creative Suite」という名称。アメリカの音楽ツールメーカーであるVirtual Sonics社とのコラボレーションの形で開発しているものだ。以下の画像は、開発中のツールの画像である。

「360 Reality Audio Creative Suite」（開発途上版）の画面。DAWのプラグインの形で動作する

見る人が見ればすぐお分かりだと思うが、制作ツールといっても単独の特別なソフトではない。「Pro Tools」などのデジタル・オーディオ・ワークステーション(DAW)のプラグイン、具体的にはAAXもしくはVST3に対応したものになっているので、環境を用意するのが非常に容易になっている。

これは「既存のオブジェクトオーディオのオーサリング環境では、独自のDAWやレンダラーを用意する必要があり、整えるのが非常に難しかった」(花田氏)という分析に基づく。「360 Reality Audio Creative Suite」は、ソニー側で仕様を考えた上でVirtual Sonicsが実装する形になっているのだが、これも「従来のR&D的な形ではなく、より業界標準に近い形で提供したかった」(岡崎氏)という狙いがあってのことだ。

操作自体は、一般的なDAWに慣れていればすぐに使えそうだ。音をそれぞれ配置し、タイムラインに沿って動かしていくだけ。「DAWでイコライザーをかけるように、グループ化した音源の定位を、楽曲の進行に合わせて変えていくということができる」(花田氏)わけで、見る限り、確かに難しいものではなさそうだ。

配置した音源それぞれの位置や強度をコントロールできるようになっていて、さらにそれをDAWの側でタイムラインに合わせて制御する

実際に作る際にはもちろん、ちゃんと複数のスピーカーを用意して聴ける環境がベストだが、ツールの中に平均的なHRTFのデータは入っているので、ヘッドフォン＋通常のPCだけで制作作業が行なえる。実際取材時のデモも、一般的なインテル版MacBook Proで行なわれていた。

制作作業イメージ。最低限、PCとヘッドフォンがあれば作業可能。通常の音楽制作と変わらない

ツールは4月に販売される予定で、以下のサイトに情報が用意されている。気になる人はサインアップしておいてはいかがだろうか。

【更新】記事初出時、ツールの販売開始時期を“1月末”と記載しておりましたが、その後、4月に延期されました。これも伴い記事内の時期も更新しました。(2021年2月4日)

360 Reality Audio Creative Suiteは、4月より販売予定。https://www.360ra.com/にアクセスを