藤本健のDigital Audio Laboratory
第951回
時代はバーチャルプロダクション。最強DJデュオのMV制作現場に潜入した
2022年8月8日 11:13
「“xR”を使った、かなり最先端なミュージックPVの撮影があるんですが、見に来ませんか?」との誘いを受け、先日興味深い撮影現場を取材してきた。
そもそもxRとは何なのかもピンと来ない中、大阪にある株式会社タケナカのスタジオに行ってきたのだが、そこにはイギリスのdisguise社のメディアサーバーを中心に、LED光源を埋め込んだステージとスクリーン、そして特殊な仕掛けをしたカメラが組み込まれていた。
どんなシステムで、何をしていたのか、タケナカの担当者にも話を伺ったので、紹介してみよう。
バーチャルプロダクションで「KIREEK」のMVを撮影
声をかけてくれたのは、独Native Instrumentsの担当者。同社のDJソフトウェア「TRAKTOR」が20周年を迎えたことを記念し、“インパクトのあるミュージックビデオ”を作るべく、大阪で撮影が行なわれたのだ。
そこに登場したアーティストとは、DJ YASA、DJ Hi-Cの二人からなるDJデュオの「KIREEK」(キリーク)。
彼らはDJの世界大会「DMC World DJ Championships」に日本代表として出場し、前人未到の5連覇(2007年～2011年)という偉業を成し遂げた伝説のDJ。互いに納得のいく音楽を求め、いちど2018年に解散していたのだが、この日限りの復活を果たしたわけだ。以下がそのミュージックビデオである。
いかがだろうか? スタジオでの撮影だが、背景に神社の鳥居などが映っていて、CGの世界と融合しているのが分かる。ただ、そのリアルさを不思議に感じないだろうか? ぜひ、途中でビデオを止めて細部を拡大していると、それが分かると思う。また、動きを追っていくと、CGの背景がカメラアングルに応じて変化しており、まるで本物の3D空間で撮影しているかのような動きをしているのだ。
「よくあるグリーンバックと違うの?」と思う方も多いと思うが、画面を拡大してみると、キレイに人とCGが融合しているのが分かるはず。実は、この映像、後から合成して作っているのではなく、その場でリアルタイムに出来上がっており、横にあるモニターテレビで見ていて、この合成結果が映し出されていたのだから、やや頭が混乱するくらい。
実際、その現場がどんなだったのかを紹介するメイキングビデオをタケナカが公開したので、こちらを見るとより雰囲気が分かる。
実はステージ(床)もスクリーン(背景の壁)も、大きなLEDディスプレイ。その上でKIREEKの二人がDJをプレイし、カメラの動きに伴い、ディスプレイの表示がリアルタイムに動いていたわけだ。
ビデオ後半はタケナカバージョンのミュージックビデオになっていて、先ほどのNative Instrumentsのバージョンよりも、さらに派手なCGの動きをしているのが分かる。Native Instruments的には、TRAKTORの20周年記念ビデオなので、同社製品に視線がいくようにしたいとのことで、あまりにも派手すぎるCGを敬遠したようで、比較的おとなし目な作品に仕上がっていたが、「やろうと思えば、こんなことだってできる」ということで作ったのがタケナカバージョン、ということのようだ。
スタジオ内に埋め込まれたマーカーで、背景とカメラワークが連動
実際どんな仕組みで、何をしていたのか、タケナカの担当者4人に話を聞いてみた。対応いただいたのは営業部アカウントプロデュース部マネジャー/プロデューサーの坪井洋一氏、サウンドシステム部マネジャー/アコースティックエンジニア&ミキシングの大内敏氏、制作部 映像制作課(D.I.G.I.fix)チームリーダーの伊藤大輔氏、そしてテクニカルディレクターの板谷由貴氏のそれぞれだ。
――このシステムを導入した経緯などを教えてください。
坪井氏(以下敬称略)：当社は創業1926年の会社で、最初は映写機メーカーとしてスタートしています。映画からテレビ、そしてアナログからデジタルへと変遷するなかで、デジタル機器の映像を手掛けるようになると同時に、レンタルやオペレート、コンテンツ制作(D.I.G.I.fix)などの事業を展開してきました。
坪井：コロナ禍に伴い、リアルなイベントがほぼなくなり、世の中全体がオンラインミーティングやバーチャルといった方面に進みつつあります。そこで、我々もオンラインのイベントを手掛けるようになっていったのですが、単にZoomやTeamsを使うのではなく、もっと高い演出をできるようにしたい、と考えるようになりました。
4、5年ほど前でしょうか。海外で行なわれていた最新テクノロジーの展示会などを視察している中で、xRの存在を知りました。そして、そこでdisguiseが使われていることを知り、コロナ禍になる前に導入しました。リアル映像とCGによる世界を後から合成することは、従来システムでも不可能ではなかったのですが、かなり大変であると同時に、それをリアルタイムで行なう場合はハードルが高かった。disguiseのメディアサーバーなら使えそうと導入したのですが、オンラインイベントにもピッタリだと分かったのです。
――メディアサーバーとはどんなものなのでしょう?
板谷：基本的には、高速なWindowsマシンですね。SDIの入出力ができ、多いものだと4Kが4つ入るようになっています。カードを通じてディスプレイポート、HDMI、4つのDVI、4つのSDIへ出力できる形になっていて、サーバーの後ろにコンバーターを置くのではなく、サーバー自身がこれらの出力を持っているのです。一方、オーディオインターフェイスはRMEのPCI型のものを用いています。
――一般に実写と背景の合成というと、グリーンバックのようなものを思い浮かべますが、それらと何が違うのでしょうか?
伊藤：切り抜いているわけではなく、その上に被せているのです。カメラワークにしたがってバックも動いているからこそ実現できるものです。バックがあるため、演者さんもどこにいるかが分かりますし、演技もしやすい。LEDの色が肌に乗ってくることもあり、よりリアルになります。またグリーンで抜かなくていいので、髪の毛の1本1本もキレイに表示できるのも大きな違いです。
このステージで使われている床や壁のLEDディスプレイは、中国メーカーのROE製です。xRにマッチした製品を開発製造しているメーカーで、クオリティが高く、色の再現性も高い。コンピュータ内でのCG映像とシームレスにつながります。
板谷：カメラから見たCGをリアルタイムにレンダリングしてくれ、どの部分がLEDなのかを計算し、それを平面上に引き伸ばして出力しています。動くトリックアートという感じでしょうか。このレンダリングは3台のマシンで分担しており、その映像をHDMIなどで送るのではなく、ネットワークで伝送しています。伝送速度的には25Gbpsです。これによりコンテンツをレンダリングマシンとLEDのマシンが通信しているのです。
――どのようにカメラの動き検知して、レンダリングしているのでしょうか?
板谷：実は天井には数多くのマーカーが設置されています。パッと見はわかりませんが、カメラのストロボをたくと、マーカーが確認できるはずです。そのマーカーを検知して、カメラがどこを狙っているかを認識します。それをメディアサーバーが処理し、動きに合わせてリアルタイムにステージで表示させる画像を作りだしているのです。
――映像のすごさは体感できましたが、音はどのように組み合わせているのでしょうか。
大内：今回のミュージックビデオでは、あらかじめ別録りしてあるステレオ素材を使っていますが今後はイマーシブオーディオと組み合わせたコンテンツなども展開していきたいと考えています。
私自身は、もともとコンサート音響をやってきて、10年ほど前にここに加わりました。そうしたこともあり、やはり視覚的だけでなく、音も合わせて感じてもらえるようにしていきたいです。ただ、このxRとイマーシブオーディオを直接結び付けるのは簡単ではなさそうなので、イベントなどを通じて、その場で感じてもらえるシステムから始めていきたいと思っています。遊園地であったり、大阪・関西万博だったり。
坪井：我々は映像全般に取り組んでいる企業ですから、イベントでの仮設だけでなく、テーマパークや企業のショールーム、ミュージアムなどにシステムを常設していき、そこで音楽も合わせてイマーシブ体験ができるようにしていければと考えています。
――ところで、今回の作品におけるバックのCG。鳥居があったり、大仏が出てきたり、五重塔のようなものがあったりと、かなり幻想的なものとなっていますが、これは誰がどうように作っているのですか?
伊藤：今回は私が担当しました。もともとNative Instrumentsさんから「和風なテイストで作ってほしい」との依頼を受けていました。ドイツの会社であり、Traktorの20周年記念企画として、世界中の人が見て、すぐに日本であることが分かるように、という要望でしたので、“The 日本”という感じのアイテムをちりばめています。
大阪城を入れたり、桜を散らせたり。これをリアルタイムでインタラクティブに描くにはUnreal Engineしかないだろうと。普段からバーチャル空間の中でカンファレンスをするなど、ちょっととがったセミナー企画などを手掛けていて、そこでUnreal Engineを使っていましたので、それほど多くの時間をかけずに完成させることができました。ぜひ、多くの方に今回の作品をご覧いただければと思っています。
リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。 著書に「コンプリートDTMガイドブック」(リットーミュージック)、「できる初音ミク&鏡音リン・レン 」(インプレスジャパン)、「MASTER OF SONAR」(BNN新社)などがある。またブログ型ニュースサイトDTMステーションを運営するほか、All AboutではDTM・デジタルレコーディング担当ガイドも務めている。Twitterは@kenfujimoto。