藤本健のDigital Audio Laboratory

第1023回

ステレオ音源を空間オーディオ化するAQUOSスマホ。日本発の8Way Audio技術とは

NTTドコモのスマホ「AQUOS R9 pro SH-54E」

先日、NTTドコモからシャープ製造のAndroidスマホ「AQUOS R9 pro SH-54E」が発売された。これはAQUOSのフラッグシップ機という位置づけのものだが、シャープの直販や一般の小売店で販売されているAQUOS R9 proとは異なり、「8Way Audio」という特殊な機能が搭載されている。

8Way Audioのメニュー画面

8Way Audioは、本体に入っている音源でもストリーミングでも、YouTubeなどの動画であっても、ステレオのサウンドをヘッドフォン、イヤフォンで聴くことで立体化して空間オーディオにしてくれる、というユニークな技術だ。

8Way Audioは、もともとレコーディングエンジニアである飛澤正人氏が開発し、2021年に特許を取得した音響立体化技術「8Way Reflection」をベースに、ステレオ素材を立体化できるようにした新たな技術。飛澤氏が代表を務めるnext Sound株式会社と、モバイル、インターネットサービスを手掛けるネオス株式会社が共同で開発した、完全日本オリジナルの技術だ。

これがどんなものなのか紹介するとともに、先日開発陣にインタビューすることができたので、その様子も紹介していこう。

ドコモ版「AQUOS R9 pro SH-54E」のみに搭載された8Way Audio

世界初となる8Way Audio搭載デバイスとして登場した、AQUOS R9 pro SH-54E。ハードウェア的にはSIMフリー版のAQUOS R9 proと基本的に同じであるが、シャッター音設定の有無のほかに、一つ大きな機能差がある。それが8Way Audio機能の有無なのだ。

これは普通のステレオサウンドをより立体的に広げて空間オーディオにするというもので、ヘッドフォン・イヤフォンで使うことを前提にしたバイノーラルサウンド生成機能。

言葉で紹介するよりも、まずは音で確認するのが分かりやすいので、以下のビデオをヘッドフォンまたはイヤフォンで聴いてみてほしい。冒頭は解説なので1分57秒あたりからのデモを聴くと、その威力を実感できるはずだ。

8Way Audio 紹介ビデオ

ヘッドフォン、イヤフォンでと書いたが実は小型スピーカーでも、その音の広がり、広い空間え聴いている感じは存分に味わえるだろう。

この機能がこのスマホに搭載されているので、スマホ内のメモリにあるWAVファイルやMP3、AACファイルなどの再生はもちろんのこと、Spotifyを始めとするストリーミングサービス、YT MusicやYouTubeなど、ステレオのサウンドであれば、基本的に何でもすべて空間オーディオにすることができるのだ。

ステレオを立体化というと、昔からいろいろあるではないか……と思う方もいるかもしれない。

確かに似たコンセプトのものはいろいろあった聴いてみると分かる通り、従来のものとは明らかに違う。単にリバーブなどで広げたのではないので変な余韻などもつかないし、音がボケてしまうようなこともない。気持ちいい感じに音が広がって聴こえるのだ。

8Way Audio機能の使い方

使い方はいたって簡単だ。「設定」の中の「音とバイブレーション」を見ると、「サウンドエフェクト」という項目がある。

「設定」の中の「音とバイブレーション」

これを選ぶと、Dolby Soundと8Way AudioのいずれかをONにできるようになっているので、8Way Audioをオンにすればよい。

サウンドエフェクトから「Dolby Sound」または「8Way Audio」が選択できる
8Way Audioの画面

この際、「Basic」「Wide」「Large」の3種類を選択できるので、いずれかを選択すると、音が広がる。また画面下のスライダーを動かすことで、BasicとWideの中間とか、WideとLargeの中間といったものを連続的に調整することも可能になっている。これによって、すべてのステレオサウンドに8Way Audioがかかる形になるのだ。

「Basic」「Wide」「Large」の3種類を選択できる

ちなみに、8Way Audioが有効になるのは前述のとおり、ヘッドフォンやイヤフォンで、本体内蔵のスピーカーは対象外。また、ヘッドフォン・イヤフォンはBluetooth接続したものでも、USBーC端子にDAC経由で接続したものでもOKだ。

もっとも、8Way Audioのオン・オフや調整にいちいち設定画面に行くのは面倒。そのためフローティング設定というものをオンにしておくと、フローティングアイコンが表示されるようになる。

フローティング設定をオンにしておくと……
フローティングアイコンが表示される

そして、このアイコンをタップすると8Way Audioの設定画面がフローティング表示されるので、ここでオン/オフや設定変更もできるようになっている。

オン/オフの設定変更ができる

実際試してみると、8Way Audioのサウンドが非常に快適であるため、常時オンの状態でまったく問題ないように感じた。また一番効果が強く感じられるLargeのままでいいというのが個人的な感想。いろいろな音楽を聴いてみたり、YouTube動画なども見てみたが、どれでもマッチして、不安定さだったり気持ち悪さを感じるものはまったくなかった。

なお、前述のとおり、設定において8Way AudioとDolby Soundは排他の関係にあって、両方をONにすることはできない。

一方、AQUOS R9 pro SH-54Eのシステム図というわけではなく、やや一般化した図ではあるが、信号の流れについてのイメージ図がある、排他関係の話とは直接関係ないが、信号の流れという意味では参考になると思う。

イメージ図

図からも分かる通り、すべてのステレオ音源を8Way Audioで空間オーディオにすることができる。

この8Way Audioの技術やその元となった8Way Reflectionの技術については先日、筆者が書いているDTMステーションで記事にしたことがあったので、そちらを参照していただきたいのだが、8Way AudioのAQUOS R9 pro SH-54Eへの搭載について、開発陣にインタビューすることができた。

開発陣の皆さん。写真左から、ネオスの黒木伸和氏、next Sound代表取締役 飛澤正人氏、ネオス代表取締役 池田昌史氏、ネオスの安藤嘉規氏

対応していただいたのは中心人物であるnext Sound株式会社の代表取締役 飛澤正人氏。そして、共同開発会社であるネオス株式会社 代表取締役の池田昌史氏、同社執行役員サービス開発本部長である黒木伸和氏、同社サービス開発本部シニアマネージャーの安藤嘉規氏だ。

また、シャープ側のチームは広島にいるためオンラインで接続する形でのインタビューとなったが参加いただいたのはシャープ株式会社 通信事業本部 パーソナル通信事業部商品企画部の課長である清水寛幸氏、主任の今井啓介氏、さらに同事業部 第一ソフト開発部 技師の賀紋孝夫氏のそれぞれだ。

特許技術「8Way Reflection」がハードウェアに実装されるまで

――飛澤さんは以前クラウドファンディングの形で8Way Reflectionに関するエンジェル投資家を集めていましたが、その後どんな展開になっていったのでしょうか?

飛澤氏(以下敬称略):ずっと行なってきた立体音響技術の研究が功を奏し、ヘッドフォンで音を立体的に聴かせる技術「8Way Reflection」を開発し、2021年に特許も取得しました。

これを事業化していくために、2020年6月に当社next soundの株主を募集するというクラウドファンディングを実施しました。おかげ様でスタート数時間で規定の募集数に達し、2,500万円の資金を調達することができました。これを使ってプラグインを作成するとともに、一緒に事業を推進していく協力者を探していったなか、たどり着いたのがネオスさんだったのです。

next Sound株式会社 代表取締役 飛澤正人氏

――そのプラグインというのは、一般に販売するためのものですか?

飛澤:いいえ、このプラグインはPro Tools用です。私が8Way Reflectionを実験的に使うために開発したものですから、一般に販売するようなものではありません。

音を3Dにするためには3Dパンナーを通すのですが、3Dパンナーを通過すると、Ambisonicsというデータに置き換わります。このプラグインはその3次のAmbisonicsになったところで作用する形で作っているので、一般の人が普通に使えるようなものではないんです。ネオスさんとは、このプラグインを活用して技術を発展させてシステム化していったのです。

――一番最初に話をされたのは池田さんだったのですか? 8Way Reflectionは実際どんな印象でしたか?

池田:ネオスは私が立ち上げた会社なのですが、前職がNECで、そこで少し音楽のビジネスに携わっていました。その関係で知人から紹介されて飛澤さんにお会いしたのが最初です。

実際、飛澤さんのスタジオに行って音を聴かせていただいて、非常にビックりしました。こういう立体音響というものがデジタルで実現できる、これは大きな可能性がありそうだと実感しました。それで、ぜひ一緒にやりましょう、ということでスタートしたのです。

飛澤:最初は、これをどのように世の中にだしていくのか、僕も分からなかったので池田さんと一緒に、いろいろ作戦を練る形で考えていきました。

――それが2021年だったわけですね。そこからどのように具体化していったのですか?

池田:技術としてはよくできているけれど、世の中の配信とどのように組み合わせていくかが課題です。さまざまなサブスクサービスもあれば、YouTubeなどもあるなか、できるだけオールマイティーに効果を出すためには、結局ユーザーが使うハードウェアに実装するのが一番早い。

もちろん、将来的には配信側で予め8Way Reflectionのエンコードをしてしまうというのもありえなくはないですが、対応するプレーヤーもいろいろあり、配信環境のサーバーにも違いがあるので、複雑になってしまいます。やはりハードウェアに実装すべきだろうという結論には、比較的すぐに達しました。

ネオス株式会社 代表取締役 池田昌史氏

ターゲットはスマホ。搭載の3種プリセットもソフトウェアで動作

――ハードウェアとひとことで言っても、DAPだったりヘッドフォン、イヤフォンだったり、いろいろありますよね。

飛澤:そこは、いまユーザーが一番、音楽や映像を視聴しているのはスマートフォンになるので、やはりそこに向けて展開するのが一番多くのユーザーに聞いていただける道だ、というように思いました。

池田:まあ、スマホで行くのがよさそうだ、ということにはなったのですが、その時点ではまだ影も形もないので、本当にスマホでうまくいくのか、まったく分からないなかで着手した、というのが実際のところです。

――そこから具体的にはどのようにしていったのですか?

安藤:飛澤さんの環境であったプラグインを、Macのスタンドアロンで動くソフトウェアにするところからスタートしました。最終的にスマホに組み込むにもC++にする必要があるので、まずはMac上でそれを行なっていったのです。

飛澤:単純にプラグインをMac上のソフトにしたというわけではなく、8Way Reflectionを4、5つ組み合わせてコントロールするものになっています。

1個の8Way Reflectionだと空間化が難しいので、組み合わせたシステムにしてポーティングしていきました。プラグインのプログラムをそのまま使えるわけではなかったため、またいちから作り直した形です。

もっとも、これ単体では動きません。それぞれの位相感をどのくらいにするかというプリセットを僕が作っていかなくては動かず、ここが大きなポイントになっています。今回発売されたAQUOS R9 pro SH-54Eでは、BASIC、WIDE、LARGEという3つのプリセットがありますが、こういったプリセットも、このソフトで行なっています。

池田:ここに至るまで2年くらいかかりましたね。一方で、これをハードウェアに落とし込むにはハードウェアメーカーさんがいないといけないわけで……。

――そこでメーカー探しに入るわけですか?

安藤:その前にまずMacのソフトウェアをAndroidに移植する形になるので、AOSP(Android オープンソース プロジェクト)というものを入手し、これで実現できないかという検討を開始しました。GoogleのPixelを使いながらAOSPのお作法に則る形で、作業を進めていきました。

ネオス サービス開発本部シニアマネージャー 安藤嘉規氏

安藤:またAndroid 13以降、空間オーディオという機能が搭載されたので、その機能の部分に入れることで、うまく使えるのではないか、と検証を行ないました。

我々もWebアプリケーションや普通のスマホアプリの開発はいっぱいやってきたのですが、Android OSのところまで手を入れる開発はあまり経験がなかったため、試行錯誤を繰り返し、7~8カ月かかりましたが、なんとかうまく動くようになりました。

池田:これでなんとか行けるだろうという感触を持った段階でシャープさんにプレゼンに伺ったんです。2022年の年末に広島の事業所に行ったら20人くらいの方が来られて、デモなどを行ったんです。もっとも開発と並行しながらだったので、このときはスマホで聴かせるというところまでは行かず…でしたね。

――反応はどうだったのでしょうか?

黒木:Macアプリと同時にiPadアプリも作っていたので、iPadでデモを行ないました。まあ、このiPadはスタンドアロンで動いてはいるんですが、入力ソースは端末内で鳴らしている音ではなく、外部で鳴らしている音をオーディオインターフェイスで取り込んでという形でしたが、とても好評でした。

ネオス 執行役員サービス開発本部長 黒木伸和氏

池田:音として非常に面白いという反応をいただきました。ただ、そのときは、そんなすごい機材を使ってのデモだったので、一度テストしてみようという感じのお話をいただき、喜んで東京に戻った覚えがあります。

3次のAmbisonics処理を1次に最適化。消費電力を下げスマホへ実装

――シャープさんとしては、スマートフォンの音の部分のプライオリティというのはどのように見てらっしゃるのでしょうか?

清水:弊社スマートフォンのブランドAQUOSはテレビと同じブランドを使っていることもあり、これまでは画質を中心にテレビの技術をスマートフォンに搭載するなど、最高の映像を楽しんでいただけるデバイスとして取り組んできました。音に関していうと、ここ数年とくに力を入れてきています。

今井:R9 proにおいてはスピーカー部の高音質化を図っております。具体的には2つのスピーカーを搭載していますが、それぞれBOX化をしております。

とくに耳元側のスピーカーはフルメタルBOXスピーカーにして、音のキレをよくし、重低音も出せるようにしています。また単体で聴いてもこのスピーカーで十分な音量と迫力を感じていただけるよう開発してきました。

シャープ 通信事業本部 パーソナル通信事業部商品企画部 主任 今井啓介氏

――スピーカー部以外にも音に関して特筆すべきものはありますか?

清水:今回、クアルコムさんのSnapdragon 8s Gen 3というSoCを搭載しているのも音質強化という意味では大きな意味を持っているかと思います。

そのチップの機能であるSnapdragon Soundによって、CODECとしてaptX LosslessやaptX Adaptiveに対応しており、低遅延であったり、混雑したところでのビットレートを自動調整して接続性を保つなど、より快適にサウンドを楽しんでいただけるようにしています。

シャープ株式会社 通信事業本部 パーソナル通信事業部商品企画部 課長 清水寛幸氏

――そこに今回ネオスさんからの提案で8Way Audioを見て、これはすぐに行ける、という感触を持たれたのですか?

清水:そうですね。2chのステレオを空間に展開するというのは、これまで聞いたことがなかったので、非常に独自性が強いなという感触は持ちました。

それからスマートフォンで視聴するコンテンツって、もともと5.1chやイマーシブ対応のものは少ない中、ステレオの音楽ライブ映像や映画、アニメなど幅広い映像コンテンツとの相性が非常によさそうだと思いました。

とくにライブ音源など、もともと広い空間で演奏されていたような音源での再現性は非常にいいことはすぐに分かりました。

――実際、そこから開発に入っていかれたのだと思いますが、その辺を少し伺えますか?

賀紋:ネオスさん側ですでにAndroidでテストされていたということもあり、基本的にはそこまで大きな苦労もなく、実装することができました。ただパフォーマンスといいますか、消費電流について弊社のほうで測定した結果、改善をお願いしたというようなことがありました。

シャープ株式会社 通信事業本部 パーソナル通信事業部 第一ソフト開発部 技師 賀紋孝夫氏

安藤:先ほどの飛澤さんのお話にも合った通り、当初は3次のAmbisonicsで処理していたので、負荷が大きかったのです。これを1次にまで落としてもらったことで、かなり軽くすることができました。

あとは細かい計算のところで、浮動小数点処理をしていたところを整数化したとか、計算の効率を上げられるところを突き詰めるなどして、消費電力を落としていきました。

――そうした調整によって問題はクリアされたのですか?

賀紋:はい。もちろん1度にすべてというわけではなく、何回かやりとりさせていただいたり、測定をしていった結果ですが、かなり頑張っていただいたという印象です。

――消費電力を落とすのはいいですが、3次Ambisonicsを1次にすると、音の立体化という面で精度がかなり落ちてしまう、ということはないですか?

賀紋:もちろん、電流とともに音のほうも一緒に確認させていただき、そこに関しても問題ないという形でした。音の広がりなどについては聴感上で確認するとともに、音圧レベルについては測定も行なっています。

飛澤:3次Ambisonicsを1次にするというと、かなり劣化してしまように思えるかもしれませんが、かなり綿密な調整を行なっているので、聴感上でその違いはほぼ分からないレベルにまで仕上げています。効果という意味では十分なレベルまで持っていくことができたと思っています。

――今後、この8Way AudioはほかのAQUOS製品にも順次展開していく予定なのでしょうか?

清水:今回8Way Audio搭載機であるAQUOS R9 pro SH-54EはR9 proの中でNTTドコモさん向けのモデルとなっていて、その他の販路、たとえば弊社のオープンモデルや海外モデルなどには搭載されていません。というのも、もともとNTTドコモさんも交えて3社で話を進めながら展開してきたという経緯があるのです。

池田:少し補足すると、先ほどシャープさんには2022年の年末に伺ったという話をしましたが、その前にドコモさんとも話をしてきました。プロダクトの部長さんが非常に強い興味を持っていただき、一緒に話を進めてきたという経緯から、3社で進めてきたのです。

清水:まずはフラッグシップ機であるAQUOS R9 pro SH-54Eに搭載した形であり、新たな挑戦であり、世の中にない新しいものを発表できたかな、と思っております。ここからはユーザーのみなさまからの評価をいただき、企画していければと思います。

――一方のネオスさんとしては、シャープさんに限らず、幅広く展開し、スマホ以外にもヘッドフォンやDAPなどに搭載していくという考えはないのでしょうか?

池田:もちろん、我々としてはこの技術をより多くの人へ広めていくことなので、いろいろな展開は考えているところです。とはいえ、まずは今回のシャープさんのAQUOS R9 pro SH-54Eが、ユーザーのみなさんにどう評価されるのか見守っていきたいと思っています。

藤本健

リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。 著書に「コンプリートDTMガイドブック」(リットーミュージック)、「できる初音ミク&鏡音リン・レン 」(インプレスジャパン)、「MASTER OF SONAR」(BNN新社)などがある。またブログ型ニュースサイトDTMステーションを運営するほか、All AboutではDTM・デジタルレコーディング担当ガイドも務めている。Twitterは@kenfujimoto