藤本健のDigital Audio Laboratory

第1033回

これが近未来のライブ配信!? 即時伝送&遠隔Atmosミックスの最先端実験に潜入!

(C)SHUN ITABA

先週の7月3日、東京・六本木にあるBillboard Live Tokyoで、NHKテクノロジーズが、山麓丸スタジオ、輝日、ミハル通信の各社の協力を得る形で、画期的ともいえる技術を用いた実証実験を行なった。

シンガーソングライターである一十三十一(ひとみとい)さんのライブ演奏を数多くのマイクで捉えるとともに、渋谷にあるNHKの音声中継車、南青山にあるDolby Atmosスタジオの3拠点をネットワークで接続し、リアルタイムに50ch以上の音声信号を伝送。それを中継車およびDolby Atmosスタジオでミックスし、そのままKORGのLive Extremeを用いてDolby AtmosとHPLバイノーラル配信を行なう、という内容だ。

かなり複雑な接続の実験ではあったが、その現場を見てきたのでレポートしてみよう。

渋谷にあるNHKテクノロジーズのT-2音声中継車
南青山にあるDolby Atmosスタジオ

極超低遅延伝送を支えるミハル通信の「ELL Lite」と輝日のネットワーク

今回の実験の話に入る前の前提として触れておきたいのが、以前の記事でも取り上げた、ミハル通信の極超低遅延音声伝送システム「ELL Lite(エル・ライト=Extreme Low Latency Lite)」という機材だ。

ミハル通信の極超低遅延音声伝送システム「ELL Lite」

記事取材時はプロトタイプであったが、その後製品化され、現在さまざまな現場で使われている。

ELL Liteについてごく簡単に説明すると、ネットワーク接続された2拠点間それぞれにELL Liteを設置することで、非圧縮音声で最大64ch、さらに2K/4Kの映像を極超低遅延で伝送できるという機材。

ネットワークの条件などにもよるが、30msec前後のレイテンシーでの接続が可能であるため、遠隔地でのセッションも可能。こうしたシステムとしてはヤマハがSYNCROOMというシステムをフリーで提供しているが、それの業務版ともいえばいいだろうか。

ここでポイントとなるのがその2拠点間を接続するネットワーク。

専用線を引くとなると、非常に高コストになってしまうが、NTTのフレッツ光回線などを利用しながらやや特殊な方法で安定性の高い高速回線を実現するのが、SoftEtherなどとも関係の深い輝日だ。

同社の代表取締役である佐藤大哲氏は「当社のネットワークを利用することで、レイヤー2での接続が可能になります。つまり遠隔地ではありますが実質上巨大なLANケーブルで接続できているのと同等となっています。これにより、高速で非常に低遅延な接続が可能になるのです」と語る。

輝日 代表取締役の佐藤大哲氏

そんなELL Liteとネットワーク回線を利用するというのがベースにあって、行なわれたのが今回の実証実験。その概要図は以下の通り。

Billboardでは一十三十一さんが来場した観客の前で普通にライブを行なうのだが、その様子をカメラでとらえるとともに、ステージ上のボーカルマイクやギター、ベースなどのチャンネルに加え、会場に仕掛けられた数多くマイクで会場全体の音を収録する。

一十三十一さん
(C)SHUN ITABA
(C)SHUN ITABA
会場に仕掛けられたマイク

最終目的は、これらをDolby Atmosの3Dミックスを行ない、Live ExtremeでDolby Atmos配信を行なうこと。しかし、そのためには巨大なコンソールが必要で、そうした設備はBillboardにはない。そこでELL Liteを用いて64chの音声をそのままリアルタイムに渋谷にある音声中継車に送って、3Dミックスしよう、というのだ。

この音声中継車には、そうしたミックスが可能な巨大なSSLのデジタルミキサーコンソールが搭載されている。

音声中継車内のコンソール

ところが「ここにはそのSSLコンソールを操作するミックスエンジニアがいない」というのが、今回の実証実験の大きなポイント。

というのも、狭いトラックの中であるため、5.1.4chのモニタースピーカーしかなくDolby Atmosミックス用としては物足りない。

そこで、音声中継車のSSLコンソールの音を、別の回線とELL Liteを用いてそのまま南青山にある山麓丸スタジオに伝送。ここでモニタリングするとともに、ここにいるエンジニアが、3Dミックスの操作をしていくのだ。

山麓丸スタジオのスタジオ

でも、ミックスに利用しているのは音声中継車のコンソール。そこで、ネットワーク越しのリモート操作で山麓丸スタジオで音声中継車内に設置されているSSLのコンソールを動かしてミックスするという、かなり煩雑なことをしているのだ。

さらに、その結果を音声中継車内のSSLコンソールからKORGのLive Extremeのシステムへと送って配信する、というのが、今回の実証実験の大きな流れとなっている。

ネットワーク伝送でイマーシブ制作のハードルを下げる

では、その中身をもう少し具体的に見ていこう。

まずBillboardのライブ会場だが、前述の通り、会場内に音を立体的にとらえるため、会場にもともと設置されているアンビエンスマイクに加え、当日別途19本のマイクが仕掛けられた。その19本の内訳を示したのがこちらのマイク図面だ。

会場の音を拾うアンビエンスマイク
マイク図面

リハーサル中に会場を案内してもらい、各マイクを見せてもらったが、ステージの左右には音を客席方向を捉えるノイマンの「U87Ai」と、ゼンハイザーのショートガンマイク「MKH416」が設置されているほか、ゼンハイザーの単一指向マイク「MKH8040」、無指向性マイク「MKH8040」などが設置されていた。図を見るとわかる通り、マイクの方向もいろいろで、会場の雰囲気をリアルに捉えられるようになっている。

ノイマン「U87Ai」
ゼンハイザー「MKH416」
ゼンハイザー「MKH8040」

これらのマイクが捉えた音を使って3Dミックスをしていくのだが、前述の通り、Billboardの会場にミックス可能な大きなコンソールがないので、ELL Liteを用いて渋谷にあるNHKの音声中継車へと音声信号をパラでそのまま送る。

ちなみにこの音声中継車・T2は2023年末の「N響第9チャリティコンサート」のミックスを行なった中継車。以前「MPEG-H・Atmos・AURO揃い踏み。次世代放送の空間オーディオ聴き比べ実験」という記事でも紹介したことがあった中継車だ。そのときにも登場していただいたNHKテクノロジーズ メディア技術本部制作技術部の寺田淳氏が、説明してくれた。

NHKテクノロジーズ メディア技術本部制作技術部 寺田淳氏

「従来の中継スタイルでは、この中継車が現場に行って、現地でプロダクションするのですが、クルマが入り込めない場合には、例えば、楽屋などに非常に労力をかけてコンソールを持ち込んで、モニター環境を組んでライブミキシングする形でした。それがネットワークの力を使って現場には音を入力し、伝送する機材だけを持ち込み、ミキシング自体はこっち側でやろう、というのが今回の実証実験です」

要するに設営の手間を省き、音響設計が優れた、いつもと変わらない環境で制作しようというのが今回の実験というわけだ。

「今回のBillboardさんなど、特に都市型のライブハウスだとクルマを停める場所がなかったり、イマーシブの制作環境を作るのが難しかったりするのですが、今回のシステムであればイマーシブ制作のハードルを大きく下げることができます」と寺田氏。

ちなみに、なぜあえて普通のスタジオでなく音声中継車で行なっているかというと、実はNHKテクノロジーズのスタジオはステレオ、5.1chサラウンド制作などが中心で、リモートプロダクションに対応したスタジオがこの音声中継車のみであるため、NHKテクノロジーズ社内の駐車場内で行なっているのだ。

「今回の実証実験における新たなチャレンジとなるのが、ここのモニター出力を山麓丸スタジオさんにELL Liteを用いて送っていることです。音声中継車のコアであるSSLのミックスコンソールをフルコントロールできるソフトウェアとフェーダーコントローラーが向こうにあり、それで動かしてもらっています。ここは5.1.4chの環境ですが、実際の出音は7.1.4chになります。つまりこの音声中継車のスペック以上のことが他のスタジオでできるわけなのです」(寺田氏)

実際、取材中に山麓丸スタジオ側でフェーダーコントローラーを操作してもらって、音声中継車のコンソールのフェーダーを動かしてもらったのが以下の動画だ。

NHK音声中継車のフェーダー

さらに、この音声中継車と山麓丸スタジオ間においてトリッキーな仕掛けが2つ用意されている。

音作りにはミキシングコンソールの操作だけでなく、エフェクト操作なども必須。そこでSoundGridというネットワーク越しでリモートコントロール可能なエフェクト機材を音声中継車において、これを山麓丸スタジオからコントロール。

中継車には、ネットワーク越しでリモートコントロール可能なエフェクト機材を使用
山麓丸スタジオから、遠隔でコントロールする

さらに、アナログのアウトボード機材も音声中継車に搭載されているが、これらについてはBillboard、音声中継車、山麓丸スタジオの3拠点をつなぐ音声回線を使い、会話で操作を山麓丸スタジオから依頼し、音声中継車側で手でコントロールしている。ここだけは半分アナログなやり取りとはなるが、音作りを多角的に行なっているのだ。

アナログのアウトボード機材
Billboard、音声中継車、山麓丸スタジオの3拠点をつなぐ音声回線

このようにして出来上がった音をKORGのLive Extremeで配信していくわけである。

配信の様子

遠隔操作も問題なし、レイテンシーも感じず「実験は成功」

では各拠点間の音声接続はどうなっているのか。この点についてミハル通信の技術統括本部ネットワーク事業推進プロジェクト長の福永智之氏は次のように語る。

ミハル通信 技術統括本部ネットワーク事業推進プロジェクト長 福永智之氏

「今回の接続は、BillboardさんからNHKテクノロジーズさんのT-2音声中継車へというものが1つと、音声中継車から山麓丸スタジオさんへ、という2つの異なる接続をしています。そのため、音声中継車のところにはそれぞれ別々のネットワーク用のELL Liteが2つ設置されています。これを輝日さんのネットワークを介して接続しているのです。その結果、数多くの機器が接続されている形となっています」

実験に使用したELL Lite

といって福永氏が見せてくれたのが下の図。かなり複雑になっているが、まさにこれが今回の実証実験のすべてともいえるもの。

ちなみにここで使っているのはNTTのフレッツ回線で1Gbpsのもの。ベストエフォート型のネットワークではあるが、これで60ch程度の非圧縮の音声と映像を伝送している。

「Ell Liteでは映像は4Kまで送れますが、今回は配信用とオペレーション用として使うだけなので、フルHD、いわゆる2Kで送っています」と福永氏。

さて、その後に向かったのが南青山にある山麓丸スタジオ。ここはDolby Atmosなどのイマーシブミックスを行なうスタジオで、ここにいる當麻拓美氏が実際の3Dミックス作業を担当している。

ミックスの様子

実際、その本番ライブでのミックス中に、この部屋でミックスしている音を聴きながら見学させてもらったが、まさにBillboardの会場にいるかのような立体的な音が鳴り響いた。演奏自体は前方から聴こえてくるが、客席からの拍手などの音が左右背後から、聴こえてくる。

実際の操作感などはどうなのか?

「普段慣れているスタジオで作業でき、まったく違和感がないですね。このSSLのリモートコントロールの操作がまだ不慣れであるという以外はかなりレスポンスもよく使いやすいです。今はすでに音を追求するところまで行けているので、まったく問題はないです。強いていうと、細かな操作でまだ慣れていない部分があるので、その辺を掴むとともに、コンソールのトラックの置き方などをもう少し詰めていきたいですね」と當麻氏。

南青山・山麓丸スタジオの當麻拓美氏

ちなみにここでリモートコントローラーのフェーダーを操作した結果、ネットワークを通じて音声中継車のコンソールのフェーダーが動き、最終的にその音が改めてELL Liteを通じて、山麓丸スタジオのモニタースピーカーへと返ってくる。そうした操作におけるレイテンシーはどうなのか。

「そこはまったく感じません。そういう意味では実験としては十分成功かと思います。しかし、実際に使ってみると、もっとやってみたいこと、効率面で改善したいところなど、いろいろアイディアも出てきているので、さらに試していきたいですね」と當麻氏。

今回の実験は、個人間をつないでオンラインセッションを行なうSYNCROOMとは、規模も目的も大きく異なる。フレッツ回線の裏側で、別回線を使ったバックアップ体制もとるなど、まさに業務用のシステムといえるが、まさに未来を感じさせてくれる最先端のシステムと感じた。今後こうしたものが、さまざまな現場に導入されていくのかもしれない。

藤本健

リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。 著書に「コンプリートDTMガイドブック」(リットーミュージック)、「できる初音ミク&鏡音リン・レン 」(インプレスジャパン)、「MASTER OF SONAR」(BNN新社)などがある。またブログ型ニュースサイトDTMステーションを運営するほか、All AboutではDTM・デジタルレコーディング担当ガイドも務めている。Twitterは@kenfujimoto