藤本健のDigital Audio Laboratory
第801回
ソニー「Sonic Surf VR」で音が自在に動く不思議体験。仕組みを聞いた
2019年3月18日 12:18
ソニーが開発した空間音響技術「Sonic Surf VR」というものをご存知だろうか? 見た目はちょっと長いサウンドバーであり、小さなスピーカーが一直線上にたくさん並んだものだが、その前に立つと、そこはまさに魔法の世界。自分のすぐ隣で音が鳴っていたり、後方から音が飛び出てきたり、その音が動き回ったりする。
驚くのは、隣で出ている音のほうに、歩いていっても音像が変わらないどころか、その音の位置を追い越すことができ、まさに、そこに定位している音の周りをぐるりと一周回ることまでできてしまうところ。システム側で指示すれば、その音源を自由に動かし回せて、その音源の数も最大10個まで定位させることができるのだとか。
そんな不思議なスピーカーのSonic Surf VRを用い、5組のアーティストが制作した空間音響作品を体験できるサウンド・インスタレーション展「Touch that Sound!」が、2019年3月15日～24日の10日間、東京の「御茶ノ水 Rittor Base」で開催されている。先日、その展覧会での作品の制作現場にうかがって、その様子を見学するとともに、Sonic Surf VRとは何なのか、どのような技術で実現しているのか、ソニーの担当者に話を聞いてきたので紹介しよう。
Sonic Surf VRはどうして生まれた?
この不思議なSonic Surf VRはソニーが開発したシステムであり、BtoBでの販売、システム提供を始めたもの。昨年2018年4月にアメリカで開催されたSXSW(サウスバイサウスウエスト)でそのプロトタイプとなるシステムが展示されて大きな話題になったので、ご存知の方もいると思うが、今回、ソニー本社内の大きな実験室的な部屋で初めて体験して驚いた。
このSonic Surf VRは家庭内に置くオーディオシステムではなく、テーマパークやミュージアム、またショールームのようなスペースで利用することを想定したもの。サウンドバーによるサラウンドサウンドとは、明らかに違う不思議な体験ができるシステムだったのだが、いったいこれは何なのか? まずは、このシステムの開発者であるソニー R&D センター 基盤技術研究開発第1部門2課 統括課長の光藤祐基氏、そしてソニーイメージングプロダクツ&ソリューションズ プロフェッショナル・プロダクツ&ソリューション本部 商品設計第2部門 システム設計1部 担当部長の板倉英三郎氏の2人に話をうかがった。
――今回、この波面合成スピーカーというものを初めて体験して驚きました。そもそも、この波面というのは、普通にイメージする水に石を落とした時に広がる波面の意味でいいのですか?
光藤氏(以下敬称略)：その通りです。ポチャンと落とした時の第1波のインパルスが広がっていくときの形作る波面ですね。3Dなので、面になって広がっていくものを合成するということです。この波面合成という理論は学術の世界においては20年以上前からあるもので、複数のスピーカーを用いて1つの波面を作り出すことが理論的に可能だということで研究がスタートしたものです。
ステレオで2つのスピーカーだと、そうしたことは難しいのですが、数多くのスピーカーで制御することで、実現可能になるのです。あたかも、そこに人がいて、そこでしゃべるようなことができるので、音のホログラム、といった表現をする場合もあります。物理的にスピーカーはないけれど、そこにスピーカーがあるかのごとく波面を合成すること。それを学問的に波面合成と言ってきたのです。
ソニー社内でも波面合成スピーカーを家庭で使えるようにしようと、2000年代初頭から研究をすすめてきました。ただ技術的に実現できることと、理論との乖離が大きく、社内ではなんども没になったり、復活したりを繰り返していました。
板倉：その繰り返しの中、今の流れになったのは2013年。PCによる計算処理能力が向上したので、もう一度やり直してみようということになって、改めて研究開発がスタートしたのです。2017年にソニーイメージングプロダクツ&ソリューションズという会社として分社化しており、これにともない、コンシューマ用でなく、BtoB用途での商品化がしやすくなったのも大きな要因でした。結果的に2018年6月にサービスローンチとなり、ハードウェア、ソフトウェアとも出荷可能な状況になりました。
――先ほど体験したシステムでは、中にたくさんのスピーカーが入っていたように見えましたが、どんな構成になっていたのですか?
板倉：1台のスピーカーの中に8つの小さなスピーカーが入った形で1ユニットとして販売をしています。このユニットに対してイーサーケーブル(LANケーブル)を用いて8chのオーディオ信号と電源を合わせて送ることができるようになっています。PoE(Power over Ethernet)プロトコルではありませんが、それに似た独自規格で電源、オーディオ信号を伝送しているのです。ユニット内にはスピーカーのほかにアンプとDACも入っており、それぞれ8chが独立した形で信号を受信して鳴らすことで、波面を合成しています。
PCの計算処理能力の向上について触れましたが、それと同時にコネクタやケーブルを簡素化できる技術が出てきたことも製品化実現においての重要なポイントでした。先ほど体験いただいたデモでは16台のユニットが一直線に並んでいたので、計128個のスピーカーを使っていたのです。もしこれを従来の方式で配線していたら128本の配線が必要で、それとは別途電源も必要となり、配線するだけでとても大変。でもイーサーケーブル1本で8chの信号に加え電力供給までできるので、非常にスマートになっています。
各ユニットはHubのようなコントロールユニットと呼ばれるものと接続されており、1つのコントロールユニットで64ch分、つまり8ユニットを接続して使えます。そのため、ここでは2つのコントロールユニットを使ってシステムを構成していました。接続は非常にシンプルになったため、インストールの簡便性、及び可搬性に優れているのも大きな特徴です。
光藤：波面合成技術にはいい点と悪い点がある、と以前から言われており、昔から悪い点として挙げられていたのが、システムが大きくなる点でした。そこで我々はコントロールユニットとイーサーケーブルの利用で、接続するケーブルの数を大幅に減らし、悪い点を克服できました。以前、研究所で作ったプロトタイプは1chごとに同軸ケーブルを用いていたので、扱いにくい巨大なものでした。その後、D-SUBケーブルを用いるなど、いろいろ試してきましたが、ここまでシンプルな構成にできたのです。
実際どんなことができる? 主な利用シーンとは
――システム構成はある程度分かりましたが、どうしてこんな不思議な音の世界が構築できているのでしょうか? 簡単に仕組みなどを教えていただけますか?
光藤：いま「VRサウンド」ということが盛んにいわれています。ヘッドフォンだとバイノーラルテクノロジーがありますし、2chのスピーカーで実現するトランスオーラルといったものもあります。また1面から表現するのではなく、囲ってしまうサラウンドというものもあり、5.1ch、7.1chからハイトも含む22.2chといったものも普及しはじめています。しかし、我々の目的は、ある点から音が放射されているようにすること。ある空間に音圧の極がある状態を作りだすということです。これは複数のスピーカーからタイミングを合わせてパワーを集中させることで実現できるのです。つまり、音を出したい点に対して、一番近いスピーカーからは音を遅く出し、遠いスピーカーからは早く出す。3や4つの少ないスピーカーだと空間の解像度が荒くなってうまく表現できないのですが、128個もあれば、キレイになだらかになります。
――なるほど、ちょっと分かってきました! 位置の異なるスピーカーから出す音の時間を変えることで、空間に音を定位させるというわけですね。ということは、ディレイを利用して音を出す時間をズラしているということですか?
光藤：波面合成には、単なるディレイをかけるものもあれば、時間領域でのフィルターをかけるものもあります。後者は音の周波数によって遅らせる時間と音量を変えてコントロールできるフィルターを用意することで実現します。一方で、波面合成でコントロールできる周波数の上限というものもあります。これは人が音の定位をどこまで知覚できるのかとも関係があるのですが、Sonic Surf VRでは8kHzまでコントロールするようにしています。
――ということは、高域の音は使えないということですか? またユニット内のスピーカーの大きさや、スピーカーとスピーカーの間の距離というのはどのくらいなのでしょうか?
板倉：もちろん8kHz以上の音も扱うことができますが、それは場所を定位させる形ではなく、ここに並ぶスピーカーからそのまま出している形になります。このように、ソフトウェア的に綿密な制御することで波面合成を行なっているわけです。そのため、Sonic Surf VRのシステムはハードウェアとソフトウェアがセットになって初めて使えるもので、他社の似たサウンドバーのようなスピーカーを買ってきて実現できるというものではないのです。
光藤：波面合成ではスピーカーとスピーカーの距離は小さいことが求められます。そのため1つのスピーカー自体も小さいものが必要になりますが、その大きさや距離によって、どこまでいい音にできるかが変わってくるため、そこが我々のノウハウでもあるのです。
――そのソフトウェアを動かしているのは、普通のPCのように見えましたが、DSPを駆使した特殊な装置だったりするのでしょうか?
板倉：システムとして、プレーヤーソフトウェアがインストールされたPCサーバーを含めて納品する形にしています。プレーヤーサーバーとコントロールユニット間はMADIで接続しているのですが、MADIボードとの互換性や相性などの問題もあり、一般のPCだと不具合が起こる可能性があるからです。とはいえ、特殊なハードウェアというわけではなく、IntelのCPUを搭載したWindowsが動作するPCサーバーを使っており、特殊なDSPなどは使用していません。あくまでもCPU処理で実現させるシステムですが、業務用途のシステムであるため弊社として動作確認をしたマシンでのパッケージ提供となっています。
――Sonic Surf VRの実際の使い方としては、どのような利用シーンが考えられるのでしょうか?
板倉：先ほど体験いただいたと思いますが、「飛び出す音」、「自在に動く音」、「音空間の分割」という大きく3つの演出を可能にしています。たとえば「自在に動く音の」場合、ホラー系の利用なども可能です。「もういいかい」、「まーだだよ」などとオバケが追いかけてくるような演出をするのも面白いです。また、「音空間の分割」は体験いただいたデモにもあったとおり、ここのエリアは英語が、ここではスペイン語が、ここでは日本語が、といったようなゾーニングが可能です。
――先ほど、言語が違うのは体験しましたが、あまりすごさを感じなかったのですが……。「英語はこの辺のスピーカーが鳴っているから英語が聴こえているだけだな」と。
光藤：もし、たくさんのスピーカーを並べて、この30個は英語、こちらの30個はスペイン語、なんて鳴らし方をした場合、どうしても隣からの音が聴こえてきてしまいます。でも、先ほどのデモは、エリアによって「英語だけ」、「スペイン語だけ」などとなっていて、他の言語の音は聴こえなかったはずです。つまり、隣の音を打ち消しているのです。こうすることで、非常に聴き取りやすいシステムになっているのです。音を足すだけでなく、引くことも行なっているわけです。
板倉：こうしたシーンに合わせた空間音響の演出ができるように、オーサリングツールを用意しています。オブジェクトは最大10個まで設定でき、オブジェクト音源を指定の位置に配置したり、動かしていくことが可能になっています。今回、このシステムを各アーティストさんに使っていただき、「Touch that Sound!」での作品作りをしていただきました。
エレベーターホールで吹いたサックスの音を再現?
上記のような説明をうかがったのちに、Sonic Surf VRのシステムのあるところに再度移動すると、サックス奏者の清水靖晃氏が、そのオーサリングシステムを使って3月15日から開催されるイベント「Touch that Sound!」での作品を作っているところだった。
清水氏は、古くからサラウンド作品やバイノーラル作品など実験的な音作りをしてきたことで知られるアーティストでもある。このイベントには清水氏のほかに中野雅之氏(BOOM BOOM SATELLITES)、Cornelius(小山田圭吾氏)、evala氏、そしてHello, Wendy! + zAkの5組のアーティストが参加し、Sonic Surf VRを使った作品を発表する。このイベントの仕掛人であり、キュレーターを務めるのはリットーミュージックの國崎晋氏。國崎氏も清水氏といっしょに作業をしていた。
実は、5組のアーティストのうち、清水氏の作品作りに関しては、企画作り、レコーディング時からすべて國崎氏とともに行なっていたのだとか。
清水氏はその方法について「Sonic Surf VRがどんなものなのかの説明を受けるため、最初にここへ来た時に『エレベーターホールのところでサクソフォンを吹いてみたら面白いのでは』というアイディアが浮かび、それを実現してみました。そのレコーディングした音にソフトウェア音源でのウナコルダピアノやパイプオルガンなどの音を加えてLogic Pro Xで調整した16トラックのデータを持ち込んで、今ここでオーサリングをしているところです」と説明している。
國崎氏に聞いたところ、Sonic Surf VRのシステムで実際の演奏と同じ空間とを再現できるように、システムの大きさに合わせて、ソニー本社内のエレベーターホールにマイクをセッティングしてレコーディングをしたとのこと。マイクは以前にも記事で紹介したことがあるソニーのハイレゾ対応「C-100」および「ECM-100N」を使用。清水氏が演奏するサクソフォンに対するメインマイクにC-100を1本、ECM-100Nを今回のSonic Surf VRの長さに合わせ、等間隔で４本配置。さらにリバーブ成分を録るために、空間の外側にC-100を2本立てて、計7chでレコーディングしたとのことだった。
その7chに、ソフトウェア音源を加えた16chを再生して、オーサリングシステムに流し込み、リアルタイムで空間的なミックスをしていた。取材した時点では、とりあえず空間のどこにどの音源を置くのかなどをだいたい決めたところで、その先の作業で音源を動かす作業をするとのことだった。その状態で、少し音を聴かせていただいたが、確かにホールにいるような立体的な音響空間になっていて、最初に聴いたソニーによるデモとはまただいぶ違う世界になっていた。これがどのように動いて作品として完成するのかが楽しみだ。
このイベント、冒頭でも紹介した通り、3月15日からスタートしており、3月24日まで東京・御茶ノ水にある「御茶ノ水 Rittor Base」で行なわれている。誰でも無料で参加して、このサウンドを体験できるとのことだが、Peatixによる日時指定入場予約が必要になる。また、こちらは有料(2,000円)になるが、参加する5組のアーティストによるトークイベントもあり、清水氏によるものも3月19日に予定されている。
Sonic Surf VRは、現時点では、国内で常設されているところはなく、珍しいシステムなので、この機会に、この不思議な音の世界を体験してみてはいかがだろうか?
藤本健
リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。 著書に「コンプリートDTMガイドブック」(リットーミュージック)、「できる初音ミク&鏡音リン・レン 」(インプレスジャパン)、「MASTER OF SONAR」(BNN新社)などがある。またブログ型ニュースサイトDTMステーションを運営するほか、All AboutではDTM・デジタルレコーディング担当ガイドも務めている。Twitterは@kenfujimoto。