藤本健のDigital Audio Laboratory

第531回:「冨田勲×初音ミク」コンサート実現の舞台裏

第531回:「冨田勲×初音ミク」コンサート実現の舞台裏

“史上最年長P”のオーケストラ曲に合わせてミクが歌い、踊る

(C) Crypton Future Media, Inc. www.piapro.net
写真提供:ビルボードジャパン

 11月23日、東京オペラシティコンサートホールにて、作曲家であり日本におけるシンセサイザー音楽のパイオニアである冨田勲氏による新作の交響曲「イーハトーヴ」の世界で初の演奏が行なわれた。宮沢賢治の世界を交響曲に仕立て上げたというもので、指揮は大友直人氏、管弦楽は日本フィルハーモニー交響楽団。また男声・女声の合唱団、さらには少年少女合唱団も交え、総勢300人以上になる演奏はまさに壮大なものとなったのだが、そこにはもうひとつの主役、初音ミクがいたのだ。そう、大友氏の指揮に従って初音ミクも歌い、舞うという非常に実験的な演奏会でもあったのだ。

 いまや世界中でコンサートを行なっている初音ミクだから、こうした大舞台も慣れているはずではあるが、今回はこれまでと抜本的な違いがひとつあった。これまでコンサートは、同期モノであり、ミクの歌に合わせてミュージシャンが演奏するスタイルであったのに対し、今回は指揮者に合わせてミクが歌う必要があったのだ。まさか、指揮者がクリックを聞きながら指揮棒を振るというわけにはいかないので、ミクがそれに合わせて、歌うというわけだ。でも、本当にそんなことができるのか、できるとしたら、どうやって実現するのかなど、気になる点もいっぱいだ。本番前日のリハーサルから現場に張り付いて、その演奏の仕組みを探ってきたので、レポートしてみよう。

指揮者に合わせてミクが歌う仕組みを構築するまで

公演後の記者会見にて。左から伊藤氏、冨田氏、大友氏

 時を遡ること、今年の3月。冨田氏とクリプトン・フューチャー・メディアの代表取締役、伊藤博之氏の2人は、オーディオインターフェイスやDAWの輸入販売を行なうエムアイセブンジャパンの代表、村井清二氏の紹介で出会っている。このとき、冨田氏から「11月にオペラシティでやる新しいコンサートでミクちゃんに出てもらえないかな」と伊藤氏に持ちかけたのがスタートだったそうだ。伊藤氏は驚いて「先生、ミクをご存知なんですか? 先生、いまおいくつなんですか? 」と聞いたと話しているが、返ってきた答えは80歳。「これは史上最年長P(注:PとはVOCALOID作品のプロデューサの略称)になるだろう、絶対になんとしても成功させなくてはと思いました」と伊藤氏は振り返る。

 しかし、そこから苦悩の日々はスタートした。「やはり指揮者にガイドのクロックを聞かせての演奏というのは邪道。そうではなく、指揮者に従ってミクが演奏できる仕組みを構築しなくては…と、社内のスタッフに無茶振りをしつつ、試行錯誤をはじめました」と伊藤氏。

冨田氏(右)と大友氏(左)
写真提供:ビルボードジャパン

 本番のコンサートは、筆者も観客として3階席から見ていたのだが、本当に感動的なものだった。筆者自身も初めてシンセサイザのサウンドに触れたのは小学校時代に祖父の家で聴いた冨田氏の「惑星」であったこともあり、感激もひとしお。コンサート中盤、指揮者である大友氏に呼ばれ、ステージに上がった冨田氏の話によれば、このイーハトーヴは5月から作っていったというから、これにも驚いた。御歳80になられてから、初音ミクを主役に置いた壮大なスケールの交響曲を書き下ろし、発表するというのだから、世界にも例がないだろう。大友氏も「交響曲を作る作曲家はバッハやベートーベンなど数多くいるけれど、80代で交響曲を作った人は過去に殆どいない」と話していたが、年齢のことはともかく、聴いていて鳥肌が立つほどの感激が得られるというのは、実は筆者自身、想像していなかった。

 コンサートについての感想は、この程度にして、実際のシステムについて見ていこう。ここには実に多くの人々が関わっているのだが、まず、このコンサートにおいて、ミクを操る主役であったのはキーボーディストの篠田元一氏だ。本番では写真を撮ることができなかったので、ここからの写真は主に当日直前のリハーサル時と、前日の杉並公会堂でのリハーサルで撮影したもの。これを見ると分かるように、指揮者の大友直人氏の目の前に篠田氏がソリストのように座り、篠田氏の演奏に伴い、ミクが歌うシステムになっているが、普段見る、篠田氏の華麗なキーボード演奏とはまったく違う、ちょっと妙なプレイ。使っていたのはローランドのRD-700NXという88鍵のステージ・ピアノで、そう、この鍵盤の演奏をトリガーにしてミクが歌うシステムになっているのだ。

 「簡単にいえば、アニメのセル画が鍵盤に割り振られているようなものと考えればいいでね。ただ、アニメなら1秒間のフレーム数などは決まっているのですが、歌の場合は、そうはいきません。単純に1音1音均等に鍵盤に割り振るのではなく、音符のニュアンス、唄い回し、テンポ感などによって16分だったり、8分だったり、いろいろ。しかも、母音なのか子音なのかによって、割り振りも違うので、そのタイミングを取るのはとても難しいのです。ちなみにアンコールでやった「リボンの騎士」なんかは、かなり微妙なノリが必要なので、1音ずつすべての音を鍵盤上に割り振って演奏しています。」と篠田氏は話す。

リハーサル時の様子
ローランドの「RD-700NX」という88鍵のステージ・ピアノを使用
篠田氏
本番直前も楽屋でずっと練習

 たとえば、「し」という音の場合、実際の音程が出る前に無声音の子音部分があり、そこが発音されないと「ち」になってしまう。だから、ジャストタイミングにはせず、前の子音部分を含めるわけだが、それを正しく再生するためには、少し突っ込んだ絶妙なタイミングで鍵盤を叩く必要がある。「今まで、多くの演奏をしてきたし、冨田先生の源氏物語などでもかなり綱渡り的な難しい環境でシンセを鳴らしたりもしてきましたが、今回はこれまでとは比較にならないほど緊張しました。相手がオーケストラだし指揮者だし、いろんなテンポでスムーズにミクを鳴らさないといけません。ちょっとでも隣の鍵盤をひっかけてしまったり、タイミングをハズすとミクのかわいい歌声は崩壊します(笑)。何より冨田先生の初演、それにNHKの番組収録、CDレコーディング、ネットのライブ配信などもすべて同時進行。失敗が絶対許されない、ものすごい重圧の中でかなり難しい鍵盤のリアルタイムコントロールが要求されました」と篠田氏。本番直前も楽屋でずっと練習していたが、調整と練習に3ヶ月以上を要し、前日もほぼ徹夜で練習していたという。

 「とくに難しいのは指揮に合わせてテンポがだんだんゆっくりになって行くリタルダンドのところ。リタルダンドさせながら4拍目裏で音符を伸ばすフェルマータ、次の小節頭でアタックを付けてインテンポで入るなどは一番緊張する場面。冨田先生も一番こだわったのがこういうところなんです。また、ゆったりとした揺らぎのあるテンポ中では歌心を持たせてタイミングをはかってスムーズに歌わせることなどもかなり難しいです。指揮に細かく合わせるという実践練習はひとりじゃイメージを頼りにするしかないし。至難の連続だったけど本番はうまくいって、冨田先生も喜んでくれたのでホッとしてますが、今でも動悸と心身疲労が……(笑)」と本番を振り返る。

左から漢那氏、ことぶき氏、百々氏

 では、その篠田氏がトリガーとして送ったMIDI信号はどう処理されているのか。また、そもそもどうやってミクの歌が作られているのか。ここには一緒に動いてきた3人のメンバーと、彼らが構築した同期システムがあるのだ。

 予め作成しておいたミクの歌を、篠田氏からのMIDI信号によって発声するようになっているのだ。ただし、これは大舞台での動かすシステムであり、万が一にでもトラブルが起こってはいけないもの。絶対に落ちないシステムとして、多重化したバックアップ体制がとられた強固なシステムとなっていたのだ。その3人というのは、ことぶき光氏、百々政幸氏、漢那拓也氏。

 ことぶき氏は元P-MODELのメンバーであり、キーボーディスト、コンポーザー、アレンジャー、コンピュータシステム奏者として活躍する人。今回のシステム設計における中心人物でもある。また百々氏はシンセサイザープログラマー、サウンドクリエイター、レコーディングエンジニアで、今回のコンサートでは、その多重化したシステムから出てくる音をミックスする担当だ。本番ステージ上では、観客席から見て指揮者の右手奥にコンピュータブースのような、やや異様な要塞があり、ここにことぶき氏と百々氏が立って、オペレーションを行なっていた。それに対し、漢那氏は、ステージには立たない裏方。漢那氏は冨田氏の元で働くクリエイターで、今回はミクのデータ作成、いわゆる調教を行なっている人物だ。

コンピュータブースのような要塞にことぶき氏と百々氏が立ち、オペレーションを行なっていた

 「今回の歌は、初音ミク・アペンドを音源にVOCALOID3 Editorを使って作っています。具体的にはDARK、SOFT、SWEETを使い分けています。たとえば『注文の多い料理店』では前半はDARKを中心にSWEETを少し混ぜ、後半ではSOFTを使っている……といった具合。当初VOCALOID2で作っていたのですが、子音の発音が思ったように作り出せなかったため、VOCALOID3 Editorにミクのライブラリをインポートして使いました。ここで細かく調整した後、それをNuendoに持って行き、ここでコンプやEQで調整するなど、1音1音丁寧に処理しました」と漢那氏。こうしてオーディオ化したデータを、様々な加工をくわえた上でミクの声を鳴らしている。

 「篠田さんとは何度も議論しながら、音の割り振りを決めていきました。あまり長い音で割り振ると、指揮とズレてしまうし、細かいと演奏が難しくなってしまいます。また子音と母音の位置調整など、いろいろと試行錯誤しました。しかし、最終的な演奏は篠田さんの神ワザに委ねる形となりました」(漢那氏)。

 ただ、演奏を聴いてみると、同じ言葉、同じ音の部分も多数あるが、この辺はどのように処理したのだろうか? 「たとえば、『風の叉三郎』では『どっどど どどうど どどうど どどう』というフレーズが繰り返されます。でも、データ上はどの『ど』も違う処理が施されていて、違う音なのです」とのことだ。ただし1箇所だけ同じ鍵盤を繰り返したところがある。それは『銀河鉄道の夜』でミクがキラキラサウンドで『シャラシャラシャラ、シャラララン』と歌うオブリガード部分。「冨田先生からの指示で、ここは敢えてあまり調教せずに、ミクっぽさを出してほしいといわれていました。そのため、この部分の繰り返しは、篠田さんにも同じキーを弾いてもらっていました」。

 その篠田氏は「同じ音程なのに違う鍵盤を弾いたり、音程とはまったく違う鍵盤を弾いていくというのにはすごい違和感があり、大変でした。またキーボーディストなので、弾いていると、つい左手がピッチベンダーのところに行ってしまうのですが、この操作も禁物。MIDI信号が大量に発生して、データの抜け落ちやタイミングのズレが発生する可能性があるので、やってはいけないんですよね」と苦笑いする。そういう話を聞いても、本当にシビアでデリケートな操作が行なわれていたことが見えてくる。

 とはいえ、篠田氏の弾くRD-700NXにある鍵盤は88。長い曲の場合、分割していくと、88では収まらないケースもある。その場合は、予め曲を途中で2つ、3つに分けておき、違うデータとして処理しているのだ。

ことぶき氏による手描きのシステム図

 では、そのデータの切り替えはどのように行なっていたのか、そもそも、バックアップ体制とはどのようなものなのだろうか? ステージ上の要塞に置かれているのはMacが4台、それにDigitalPerfomer7の動いているMacもあり、見ただけでは何がどう接続されているのかまったく分からない。単に篠田氏からのトリガーを鳴らすだけなら、Macが1台あればいいだけのようにも思えるわけだが、この全体像を握る、ことぶき氏に尋ねてみたところ、手描きのシステム図が出てきた。何度も何度もシステムを作り直し、最終本番もこの図とは若干違うところがあるとのこと。筆者自身で、この図と話を元に簡略化した図を書き起こそうかとも思ったが、やはりかなり煩雑なので、興味のあるかたは、ぜひ、これをじっくり見てみるとよさそうだ。

 「篠田さんには、キーボードでトリガーを出してもらっていますが、これはやはりコンピュータとMIDIで構築したシステムであって、どんなトラブルが発生するかわかりません。そこでバックアップとしてシーケンサも動かしているんです。そのシーケンサ側の音をミックス担当の百々ちゃんにもモニタリングしておいてもらい、何かミスやトラブルがあったら、スムーズに切り替えられる体勢を作ってもらっているんですよ」とことぶき氏。でも、シーケンサを動かすといったって、指揮者に合わせてシーケンサを正しく動かすことができるのだろうか?

 「これをうまく同期させるために、僕がTAPを打っているんですよ。いろいろなDAWを試してみましたが、TAPにリアルタイムで頭に合わせることができるものが唯一MOTUのDP(DigitalPerformer)でした。なので、TAP信号をDPに送り、そこにあるMIDI信号でミクの声を鳴らしています。もう1台あるMacもさらに、そのバックアップとしてミクの声を鳴らしているんですが、これも2重の不意なトラブル回避のためのものです」と、聞いていても頭が混乱するような話をことぶき氏は種明かししてくれた。

 そのTAPというのは、ことぶき氏の前に置かれたVestaxのDJマシン、VCI-100MKIIのボタンを叩くことを意味している。そう、別にこのDJマシンのターンテーブルを回すのではなく、単にボタンだけを使い、指揮に合わせて、トン、トン、トン、トンとリズムをとるのだ。すると、それに合わせてDPが動き、それに伴ってミクの声が鳴る。まさに異なる方式で篠田氏のバックアップ操作がリアルタイムで行なわれているわけだ。

MOTUのDigitalPerformerを使用
VestaxのDJマシン「VCI-100MKII」のボタンを叩く

 「本番中のトラブルを避けるため、いかに簡素なシステムにし、いかに操作を少なくするかというのも重要なポイントでした。そのため、篠田さんの信号を受けるソフトには全曲のデータが入っていて、実は全曲が同時にすべて鳴るように仕込んでいたのです」とことぶき氏。これは一体どういう意味なのだろうか? 。

 たとえば篠田氏が鍵盤を押すと、同時に全曲の第1声が発音されるようになっていた。

 「1曲ずつ設定を切り替えていくと、操作ミスをしてしまう可能性もあります。だから、すべての曲の発音をさせ、それぞれを別のオーディオチャンネルに分けて、私の手元のミキサーに届くようにしているのです。当然、使わない曲の音は完全にミュートするわけですが、これならばミキサー操作だけで確実な切り替えができるわけです」と百々氏。しかも、常に篠田氏の演奏をモニタリングしつつ、シーケンサからの音も聴きながら、いざというときに確実にバックアップが鳴らせる準備態勢を整えていたわけである。

岩崎健一郎氏がJUPITER-80とINTEGRA-7で演奏

 この百々氏のミキサー操作の音はステージの後方の上に映し出されるスクリーンの横にあるスピーカーから出力される形となっており、これがオーケストラや合唱の生の音といっしょに鳴っていたわけだ。

 ちなみに、ステージ上にはもうひとつ、このミクとはまったく別系統の電子音およびスピーカーが混じっていたので、これについても軽く触れておこう。それは、ことぶき氏、百々氏の後ろに構えていた篠田氏の一番弟子でもあるサポートのキーボーディストである岩崎健一郎氏が演奏するJUPITER-80とINTEGRA-7。JUPITER-80からは直接音は出さず、そのMIDI出力をINTEGRA-7に入れ、IINTEGRA-7の出力をキーボードアンプであるKC-880から鳴らしていたのだ。使ったのはリードオルガンと手回しオルガンなどの音。オーケストラサウンドと親和するように、PAは通さず、キーボードアンプからの音を直接会場に響かせていたのである。

アンコールに応じ、アドリブの動作も

 以上が、「イーハトーヴ」の初音ミクの歌のパートの舞台裏であるが、初音ミクにはもうひとつ重要な役割がある。そう、踊りのほうだ。映像システム関連は筆者も詳しくないので、あまり詳細にはお伝えできないが、これを操っていたのはクリプトン・フューチャー・メディア社内の開発チーム「らぼぷとん」。GTXと名づけられたそのシステムを開発した中心人物であり、実際の現場でも舞台袖でシステムを操作していたのは、以前、第514回の「WebMidiLink」の記事でインタビューした、藍圭介氏だった。「このシステムは、音声チームから送られてきたMIDI信号を元に動作する映像システムとなっています。ただこちらも、もしもの事故に備えた二重化構造になっていて、バックアップでももう1台のシステムが動作しています。何もなければ、基本的には見ていればいいのですが、いざとなったら、私が指揮者をモニターテレビで見ながら手動で動かしていくことになります」と藍氏は前日に話していた。そう、ことぶき氏がTAPを叩き、DPで作り出されるMIDI信号が、藍氏の元へと届くシステムになっていたのである。実際には、そうしたトラブルは発生しなかったようだが、本番直前に現場を見に行くと、かなり緊張したピリピリした雰囲気も伝わってきた。

藍圭介氏
指揮者をモニターテレビで見ながら手動で動かすことも想定していたという

 あらかじめ用意しておいたモーションデータを指揮のタイミングなどその場に応じてミクを動かしていくことが求められるので、リアルタイムにレンダリングして映し出すというシステムになっていたようだ。そこに使われたのが、コンサートシステム専用に新規開発されたレンダリングソフトウェア。MMD形式の3Dモデルデータを動かせるように一部オープンソースのコードを流用しているものの、その心臓部はクリプトンが独自に開発したもので、MIDIのノートナンバーに従って高速にレンダリングをおこなう仕組みになっている。これによってキーを叩くと右手を上げたり、お辞儀をしたり…といったことができるようになっていたのだ。

 本番中、アンコールがかかったところで、ミクが何度か登場したり、お辞儀をしたりしたが、これらは打ち合わせにあったものではなく、すべてその場でのアドリブ。「小さなモニターテレビなので、みなさんが何をしているところか、ハッキリ分からなかったので、うまいタイミングで操作できたかは分かりませんが、私がミクの動きを操作しました」と藍氏。客席から見ている限り、とても自然に見えたので、大成功だったわけだ。

 更に、映像を舞台中央のスクリーンに映し出すための投影システムは、札幌の映像制作会社プリズムが全面的に協力してくれたとのこと。コンサートホールの正面にはパイプオルガンが設置されており、本来は映像投射に適さないコンディションであるが、寧ろその特徴を活かした映像の演出がなされていた。映像制作のクレジットには、まさたかP氏やTda氏などボカロファンにはおなじみの名前もあった。

 見ているだけだと、なかなか分からない、オーケストラに合わせて歌い、踊る、初音ミク。裏には、クリプトン社内スタッフ以外にもこのように多くの人たちが長期間に渡ってシステム開発をし、調整し、現場で操作を行なっていたわけだ。それを知った上で、もう一度、このステージが見れれば、その感激も違ったものになってくるかもしれない。今後、盛岡などでも公演したい、という話も上がっているが、具体的なことについてはまったく未定。なお、この日のサウンドは、日本コロムビアのチームがProToolsを用いて24bit/96kHzでのレコーディングをしており、それがSACD(4.0chサラウンドSACD + 2chSACD + 2chCDの構成)として2013年1月23日にリリースされる予定となっている。

前日のリハーサルの風景(C)Crypton Future Media, Inc. www.piapro.net
日本コロムビアのチームがProToolsを用いて24bit/96kHzでレコーディング


Amazonで購入
イーハトーヴ交響曲
SACDハイブリッド

藤本健

 リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。  著書に「コンプリートDTMガイドブック」(リットーミュージック)、「できる初音ミク&鏡音リン・レン 」(インプレスジャパン)、「MASTER OF SONAR」(BNN新社)などがある。またブログ型ニュースサイトDTMステーションを運営するほか、All AboutではDTM・デジタルレコーディング担当ガイドも務めている。EPUBマガジン「MAGon」で、「藤本健のDigital Audio Laboratory's Journal」を配信中。Twitterは@kenfujimoto