ネット越しの演奏“遠隔セッション”が本格化!? 「Smart Hall」の取り組み

昨年11月のInter BEEで実施していた、ネットワーク越しで行なわれたマリンバとパーカッションによるセッション。遠隔地とリアルタイムで行なうセッションは、ネットワークがつながれば一見簡単にできそうだが、実際には音を伝送する上で生じるレイテンシーの問題があって非常に難しいものだ。しかも、このとき行なわれていたのは、単にセッションするだけでなく、遠隔地から届く音を空間的に表現するため、マルチチャンネルを用いたイマーシブ(没入型)オーディオとなっており、より難易度の高いものだった。

Inter BEEでのマリンバとパーカッションによる遠隔セッション

Smart Hallと名付けられたこのデモを行なっていたのがヒビノ。ヒビノは、ここに至るまで、さまざまな試行錯誤、実証実験を繰り返してきたとのことだ。ヒビノの担当者にSmart Hallの技術がどんなものであり、これまでどのような経緯で取り組んできたのかなどをうかがったので紹介したい。

ヒビノのSmart Hall

遠隔地で演奏を聴けるようにしたかった理由とは?

「Smart Hallを始めることになったキッカケは、私がヒビノに入社する以前の2015年ころのこと。当時クラシックコンサートなどを行なうホールで仕事をしていたのですが、通常のクラシックって、子供や障がい者が入場できないケースが多いんです。でも、障がいのある子供たちに、もっといい形で、コンサートを体感させてあげたい、そんな思いから、マルチのスピーカーを並べてステージと同じ空間を作る、ということを企画してみたのです」と語るのは、同社ヒビノプロオーディオセールス Div. 公共企業システム事業推進部 ホール開発チームのマネージャー、庄健治氏。

Smart Hallを手掛けるヒビノの庄健治氏

マルチのスピーカーで、ステージと同じ空間を作るとは、どういう意味なのか? このとき企画したのは、ヴァイオリン、チェロ、ピアノという3人による劇場での演奏。それぞれの楽器にマルチでマイクをセッティングし、その音をリアルタイムに別の会場へと伝送する。

ヴァイオリン、チェロ、ピアノの演奏を別会場へ伝送

そして、ステージ上とほぼ同じ位置にヴァイオリン用、チェロ用、ピアノ用のスピーカーを設置し、そこから音を出すことで、ステージと同じ空間、空気感を再現するというアイディアであり、2015年7月に岐阜県の可児市文化創造センターで実現させた。

ステージ上とほぼ同じ位置に各パート用のスピーカーを設置。音を出してステージと同じような空間を再現

ここでは、片方向の通信ではあったが、オーディオはDanteを、映像はSDIを用いて伝送し、400mの光ケーブルを用いて2つの会場を接続。リアルタイムに音が伝わるようにしたのだ。

「障がい者の子供たちにコンサートを開こうと企画したところ、親御さんがとても喜んでくれました。子供が周りに迷惑をかけるのではないか、という心配が取り払われたときに、親御さんご自身も楽しんでいただけたようなのです。ここでは、子供も大人も自由にステージに乗れるようにし、『ヴァイオリンはここから聴こえるんだ! 』、『チェロってこんなに音が響くんだね! 』って、普通のコンサートでは体験できないような新しい体験ができたように思いました。ライブビューイングの一つではありますが、現場側のコンサートではできない、新しい体験が加わる、付加価値があるというのは、要素としてありなのでは、と実感したのです」と庄氏。

その時のシステム側を担当していたのがヒビノであり、そうした経緯もあって、庄氏はヒビノに翌年転職しているのだが、同社のネットワーク事業準備プロジェクト シニアネットワークスペシャリストの宮本宰氏は「その後、次はIP伝送を目指すとともに、双方向での通信を目指そうと、いくつもの実験を重ねてきました。ある程度メドがたってきたところで、兵庫県立芸術文化センターにおいて、ユニークで実験的な合唱によるコンサートを開催しました」と語る。

宮本宰氏

“実験的”に行なったというのは、アマチュアの「レ・ミゼラブル」の合唱。ただ全員が大ホールのメインステージに立つのではなく、奥舞台とスタジオの2つの部屋にそれぞれ15～16人が配置され、その部屋で歌った歌声が、大ホールのスピーカーから流れるというもの。

奥舞台

スタジオ

大ホール

主要な登場人物であるジャン・ヴァルジャンやジャヴェール警部などのソリストも別の部屋で歌う形。メインステージには、本来それぞれの人が立つ位置に無指向性スピーカーが設置され、そこから声が出るので、まさにリアルな合唱コンサートが披露される、という仕組みになっていた。

「合唱隊はトータル44人でしたが、ほかに20台強のオーケストラもあり、スピーカーとしては計68本を設置しました。2ミックスで大きな音を再生するのではなく、舞台の上の小さなスピーカーから音を出すので、生声・生演奏のように聴いてもらいたいという意図で実験的に行なってみたのです」と宮本氏。

システム的には、大ホール(Main Stage)、スタジオ(Studio #5)と奥舞台(Backstage)のそれぞれにLAWO V-remote 4というIPベースでオーディオやビデオを送受信できるシステムを設置。そして、その3か所をRAVENNA over IPを使って相互にオーディオが行き来できるようにしていた。また、MADIやDanteを用いてそれぞれの部屋のミキサーと接続する構成になっていた。

大ホール(Main Stage)、スタジオ(Studio #5)、奥舞台(Backstage)を接続

「インターネットを介すわけではなく、あくまで構内でのネットワークであったこともあり、レイテンシーは5msec程度。これであれば、お互いでモニターしても、問題なく歌うことができました。やはりレイテンシーは非常に重要な問題ではありますが、インターネットに出たときの遅延は僕らには、どうしようもないのが実情。ただ、今後5Gなどが出てきたときは、そのネットワーク技術が解決してくれるはずです。そのときのために、まずは知見を整えていきたい、というのがここでの目的でした。でも、このときのコンサート、歌ってるのは素人ではあったけれど、本当に感動的でしたよ」と宮本氏は話す。

インターネットを介して演奏を合わせたワザとは?

そして次に行なったのがいよいよインターネット越しでの実証実験。これは2017年6月に開催された愛知県の刈谷市総合文化センターでのコンサートを、刈谷市の山間部にある市民館に届けるというものだ。

「刈谷市総合文化センターは駅前にある劇場ですが、山間部にいるお年寄りにとっては、なかなか遠く、気軽に見に行くことができないというのが行政の悩みでもありました。そこで劇場の演奏を市内のケーブルテレビ網で市民館に伝送し、そこで仮想的なステージを作ってみてもらおう、というのがこの時の目的でした」と庄氏は話す。

このときは弦楽器と木管楽器、ホルンとピアノによる演奏。舞台において22本のマイクで拾うと同時に、アンビエントマイク4本を立てて、計26ch。これを32chの伝送経路に載せて、市民館へと届けた。各チャンネルは24bit/48kHzの非圧縮で伝送、ただ回線速度の問題もあり、映像は品質を落として接続したことで、うまく成功させることができた。

弦楽器と木管楽器、ホルンとピアノで構成

現場の写真を見ても分かる通り、市民館側は演奏者の位置に白い無指向性スピーカーを立ててステージを再現。最初の可児市のときと同様、まるでステージの上を歩き回れるような音楽との触れ合いを実現させたのだ。

演奏者の位置にスピーカーを立ててステージを再現

「このときトークバックを入れることで双方向にはしましたが、市民館側で演奏をするわけではなく、レイテンシーはあまり気にする必要がなかったので、そこは楽でした。映像とはどうしてもズレてしまうので、どこまでリップシンクをとるかが今後の課題ではありましたが、意義あるシステムを実現することができました」(庄氏)。

さらに2017年8月には、遠隔地での双方向にチャレンジ。新木場にあるスタジオと、ヒビノが運営する銀座のライブハウスを結んでセッションを行なうというものだった。具体的には新木場から銀座へはボーカル1chを送り、銀座から新木場へはバンドのミックスを2chで送る形で双方向で接続し、音としては48kHz/24bitの非圧縮というもの。ただ、実際接続してみるとかなりのレイテンシーがあったとのこと。

新木場のスタジオと、銀座のライブハウスを結んでセッション

「測定はしてないですが30msec以上あり、これではまともにセッションすることができません。そこで、ちょっとした仕掛けを作ったのです。ライブハウス側からはオフセットを掛けた上で、ドンカマ(クリック信号)だけを送り、シンガーはそこにあるカラオケを聴く形で歌ってもらったのです。実際そうしないと、セッションを実現するのは難しかったのですが、それでは意味がないのでは……とその後もいろいろと議論しつつ、実験は繰り返しました。それまで、あまり回線を気にしてなかったのですが、社内で回線を持つべきだということになり、IIJのSEILというサービスを導入するなどしてきました。もちろん、ヒビノはネットワークインフラの会社ではないので、あくまでも入口と出口の技術力を構築するのがテーマではあるのですが」と宮本氏は振り返る。

さらに同年12月には、ある企業のパーティーを東京・名古屋・大阪をネットワークで接続し、音と映像を双方向でやりとりすることで一体感を演出しようという試みも行なったとのこと。ここではその会社が持つ専用線を使用することができたため、インターネットほどのレイテンシーはなかったほか、直接音楽のセッションをすることが目的だったわけではないので、スムーズにことが運んだのだとか。

次に行なったのは、音楽の演奏はどのくらいのレイテンシーまで許容できるのか、という実験。2018年6月に国立音大付属高校で実施されたもので、ここではインターネットではなく、ローカルネットワークでの実験だった。普段、この学校では弦楽器と管楽器は異なる部屋で別々に行なっているが、これを接続したらどうなるかを試してみたという。弦楽器のほうには指揮者の先生がいて、部屋の後ろにスピーカーが並べられており、ここに管楽器側からの音がパートごとにミックスされた形で流れるようになっている。

弦楽器の部屋に先生がいて、スピーカーから管楽器側からの音が流れる

一方、管楽器の部屋では指揮者の先生が画面に映り、前のほうに弦楽器の音が鳴るスピーカーが配置されているという形。ローカルでの接続であるため音声は5msec程度の遅れであり、十分合奏ができる範囲内。ただし、指揮者を見ながら演奏するとなると、今度は映像との同期が非常に重要になってくる。

管楽器の部屋では指揮者の先生が画面に映り、前のほうに弦楽器の音が鳴るスピーカーが配置

「ちょっと反則ワザではあったのですが、映像だけはIPではなく、SDIで直接接続しました。それでもスイッチャーなどがあるため、92msecもの遅れが出てしまうのです。そのため、最初はかなり違和感はあったのですが、生徒たちには事前に映像が遅れる旨の説明をしていたこともあり、20分ほど演奏しているうちに、慣れてきたんですよ。生徒たちからも『慣れれば大丈夫です』という声が返ってきたので、前半の1時間半が終了した時点で、こっそりSDIからIPに戻したんです。でも、それでも慣れでうまく演奏できてしまったんですよね」と宮本氏。技術だけで解決できないものは、人間の慣れで解決する手法もあるということを証明できた格好だ。

本格展開も近い? 「双方向と臨場感」追求

さらに2018年9月には、また少し変わった形での実証実験を行なっている。これは前出の東京・銀座のライブハウスと、山口県の新山口駅前のコンコースを繋ぎ、双方向通信を2日に分けて実施するというもので、1日目は銀座のライブハウスでの演奏をバックに山口側でラップを合わせたという。2日目は銀座のライブハウスの演奏に合わせて、山口側ではライブパフォーマンスを行なった。

銀座のライブハウス側

山口の会場でラップ

2日目は、銀座のライブハウスの演奏に合わせて山口でライブパフォーマンス

「このときは、われわれもビジネスに近い形で行なっていきました。実際、ライブハウス側にはフリーのお客さんも入っているし、山口側には音響2名、照明2名、ネット回線担当2名ほか、IPでインカムも引いていたのでそれに1名、さらに映像3名など、総勢10名ほどで山口側に技術者が張り付き、ステージの後ろ側に机を4つ並べて体制を整えました」と庄氏。

「銀座からは、バンド演奏をパラで23ch送信し、山口からは5chを送っていました。双方向なので、当然レイテンシーが大きなテーマとなるわけですが、NTT東西をまたぐことで、10msec程度遅延が増えると言われていました。実際に計ってみたところ都内だと14msecの遅れで伝送できるのに対し、こちらは21msec遅れと、想定していたよりも小さいレイテンシーで実現することができました。ここでもやはりRAVENNA over IPを用いて伝送していますが、十分実用可能な範囲に入ってきていますね。銀座から送られてきた信号を元に、山口の会場用にミックスバランスの調整をするわけですが、サウンドチェックにおいて、山口から東京へ「キックくださーい! 」なんて1,000km離れたところにトークバックを送り、普通にドンドン、と返ってくるのですから、なかなか不思議な感じがしましたね」と宮本氏。

ちなみに映像のほうのレイテンシーは380msec程度あったとのことだが、1日目は音の遅れをなくすのを最優先したので、映像が遅れて見えたが、2日目は映像との同期が重要とのことで、リップシンクをとることを優先し、あえて300msec以上音を遅らせたとのこと。それでもライブハウス側は山口での反応を見ながら演奏できることから、双方ともに大きく盛り上がったようだ。

このような実験を繰り返してきた結果、ノウハウもだいぶ蓄積され、その結果、先日レポートしたInter BEE 2018での遠隔地ライブが実現できたわけだ。今後について、宮本氏は「これからは双方向と臨場感がキーワードだと考ええています。会場が遠く離れているからこそのメリットを前面に出して感動、臨場感が伝わる映像と音響の仕組みを構築していきたいですね」と語る。

Inter BEEで2つの会場を結んでセッション

これまでの実験を見ている限り、基本的に現在ある技術を組み合わせて行なっており、特殊な機材や装置、伝送システムなどは、あまり使っていないのが面白いところ。単に技術的な実験に留まらず、社会でどのように役立てられるのかを、いろいろな角度から試してきたという点も、大きな意義があったように思える。今後、どのように実用化され、どんな環境で使われるようになるのか楽しみだ。