第397回:DNA機能を搭載するCelemonyの新「Melodyne」

Melodyne Editor

　先日のInter BEE 2009のレポート記事でもお伝えしたとおり、ドイツのソフトメーカー、Celemony Softwareがオーディオ解析・エディットソフト「Melodyne」に画期的な新技術「DNA=Direct Note Access」を搭載した新バージョン「Melodyne Editor」を開発し、12月4日より国内でもHook Upから発売された。

　さっそく、そのMelodyne Editorを入手したので、噂のポリフォニック解析技術がホンモノなのか、試してみた。

■ 和音解析は難しい?

　CelemonyのMelodyneは、2001年に「オーディオを音楽的に編集する画期的なソフト」としてデビューをした。オーディオを周波数分析するソフトや、波形編集をするというソフトはそれまでもいろいろあったが、Melodyneはオーディオからメロディーを解析した上で、まるでMIDIデータのように音程を変更したり音長を変更できるというソフト。「MIDIと違ってオーディオは、レコーディング後にメロディーの修正などはできない」という従来の常識を覆したソフトだった。

　たとえばボーカルをレコーディングした上で、1カ所音程を間違えてしまったという場合、そこだけを簡単に修正したり、ピッチが微妙に外れているというものを修正することもできる。また、レコーディングしたメロディーからコーラスパートを生成するといったことも可能。これは従来からあったピッチシフターなどとは違い、常に3度高い音を生成するというのではなく、必要に応じて音程を変更したり、場合によっては音長も変更できるので、自然なコーラスパートの生成ができるということで、現在は幅広く使われている。

　もっともMelodyneの考え方自体は、その前年にローランドがリリースしたVP-9000というシステムで完成させていた。これはVariPhraseという技術を使ったものだが、PCを使って編集は行なうもののVP-9000というハードウェアが必要で、この中に搭載されたDSPを用いて演算処理を行なっていた。それに対し、MelodyneはPCのCPUの演算のみで処理していた点で画期的であり、ハードウェアが不要であったため、非常に低価格で実現できていた。

　その後、VariPhraseもSONARのV-Vocalという機能としてソフトウェア化するとともに、Melodyneもバージョンアップを重ねて機能強化を図ってきた。ただし、いずれもソロボーカルなど、単音のメロディーを解析し、編集できるというところからは脱却できてはいなかった。

スペクトラム・アナライザで分析

　やはり、普通に考えても和音を解析というのは難しそうで、いろいろな音程の音が混ざった音をバラバラに分離させるとなると、不可能なように思える。たとえば、ある瞬間のオーディオ信号をスペクトラム・アナライザで分析すれば、周波数の分布を調べることはできる。もし、いろいろ混ざっている音がすべてサイン波であるなら、スペクトルの山を見つけていくことで、どの音程の音なのかを見分けることは可能だろう。

　しかし、通常扱うのはボーカルやピアノ、ギター、バイオリン……といった音であり、単音であってもさまざまな周波数の音が交じり合っている。そうした複雑なスペクトルであっても、単音であれば、一番強く出ている周波数が、その音程であると予測できそうだが、これが和音になって混ざってきたら、何がなんだかわからないというのが実情だろう。

　そんな中、河合楽器がアプローチしたのが、こうした和音をコードとして解析するという方法だった。2006年にリリースされたバンドプロデューサーというのがそれで、現在はエンジンなどが改良されバンドプロデューサー2となっているが、Melodyneとはだいぶ違うソフトである。

■ 和音解析可能な技術「DNA」を搭載

　しかし、Celemonyはこの問題に正面から取り組み、2008年1月のNAMM SHOWでDNAという技術を発表した。通常の楽器の音が和音となっていても解析ができ、編集ができるという技術だ。

　これは世界的にも大きな話題になり、発表当初は筆者の周りでも、その話題で持ちきりとなった。当初は昨年の9月ごろに製品化という話であったのに、延期につぐ延期で、国内ではデモさえ見ることもできなかった。そのため、「あれは本当か?」という声も聞かれるようになり、海外のデモのビデオなどを見ても「仕込んであるのでは……」と懐疑的な声も出ていた。実際、それくらい画期的なことへの期待があったということでもある。

　そのDNA搭載のMelodyne Editorがついに発売された。標準価格が39,900円と、その画期的具合からすると、ずいぶん安い設定である。従来のMelodyneと同様にWindowsとMacのハイブリッドで、スタンドアロンで動作するとともにWindowsならVSTとRTAS、MacならAU、VST、VST3、RTASの各プラグインとしても動作し、各種DAWと組み合わせての利用が可能だ。

　さっそくこれを入手したところ、130ページほどの立派な日本語マニュアルもついてくる。結構大きなアプリケーションなのでは……と思ったがインストールCD-ROMを見ると、Windows版もMac版も130MB程度とコンパクト。必ず解析可能な、仕込んであるWAVファイルがついてくるわけでもないようだ。

　まず、このMelodyne editorをWindows Vistaにインストールしてみたところ、ファイルサイズも小さいのですぐに終了。チャレンジ・レスポンス方式のプロテクトがかけられており、ネット接続環境であれば簡単に認証され、起動できる。

　またチャレンジ・レスポンスで得たライセンスデータはProToolsなどにも利用されるUSBのドングル「iLok」にも転送できるため、それを行なってみた。その結果、Macにインストールしても問題なく起動させることができた。

起動画面	Macにインストールしても、問題なく起動

　画面を見てもわかるとおり、日本語化もされているので、扱いも簡単そうに思える。とりあえず、マニュアルも読まずに使ってみることにした。代理店のHook Upに聞いたところ、試しにループ素材集などを読み込むと、結構うまく解析できるとのことだったので、まずピアノデータを試してみたのがこれだ。

　このループ素材を切り出したMP3を聴いてもらうとわかるとおり、ごく普通のアコースティックピアノの4小節分のフレーズで、テンポ116だから8秒ちょっとのオーディオファイルだ。

解析中の画面表示

　開くと解析中の画面が表示され5秒ほど待たされる。この処理時間はマシンの処理速度によって異なるようだが、ここでテストに使ったのはCore2 Quad Q9550のマシンだ。

　とくに何の設定もしていなく、下のような解析画面が表示された。ちょっと信じられないという感じだが、まさにドンピシャ。強いて言うと4小節目の頭の拍で1つ間違えと思われる低音が入っている程度でそれ以外は完璧に解析できている。

　またよく見てみると、テンポも115.987、4/4拍子と解析がされているようだ。ここで、ひとつの音符をマウスでクリックすると、その音が単音で発音される。この音を聴くと、ちょっとピアノの音という感じではないのだが、確かにひとつの音程として分離されているようだ。

解析した画面	ひとつの音符をマウスでクリックすると、その音が単音で発音される

■ 範囲/音域など手動設定で解析

　次にもっと難しそうなアコースティックギターのストロークのサウンドを読み込んでみた。

解析した画面。先ほどのようにはうまくいかない

　すると、やはり和音が解析されるのだが、先ほどのようにうまくはいかない。たとえば1拍目からして明らかにストロークで弾いているから少なくても4弦分か5弦分は鳴っているように聴こえるのに、ここでは2音しか表示されていない。

　この辺で、わからなくなってマニュアルを読んでみたところ、やはり倍音の混じり具合などから、全自動でうまくいくことのほうが少ないとのこと。ある程度は手動での設定する必要があるそうだ。

　ここでまず必要になるのが、どのくらの数の音が出ているかの範囲指定。画面に表示されているオレンジの線をBlobというのだが、同時に2、3音というのは少ない。そこで、それを増やすためには、まず「ノートアサインメントモード」にする。すると、画面の色が変わるとともに、オレンジになっていない空のBlobがいろいろと登場してくる。

　実は、これが音が出ている可能性が高い候補を意味しているのだそうだ。ここで、「ノートアサインメントスライダー」というものを使って、ポリフォニック数がどのくらいかの範囲指定をしてやると、空のBlobがオレンジ色に変わっていく。

「ノートアサインメントモード」を実施	空のBlobがオレンジ色に変わっていく

　ちょっといじっただけだが、これだけで、だいたい良い感じになってくる。ただ、これでも正しく検知されていない場合は、候補の空のBlobをダブルクリックすることで有効化できるとともに、現在オレンジになっている部分をダブルクリックすることで無効化して、正しいノートへと訂正していく必要がある。

　今度はエレクトロニカ風のオルガンを読み込んでみた。が、今度は和音として表示されず、しかも音程もない。ここで、アルゴリズムというメニューを開くと、「パーカッシブ」にチェックが入っている。

和音表示されず、音程もない	「パーカッシブ」にチェックが入っている

　このMelodyne Editorでは従来同様にソロ演奏を解析・編集する「メロディック」、ドラムやパーカッション用の「パーカッシブ」、そしてDNAを活用する「ポリフォニック」の3つのモードがあるのだが、読み込む際に、どのモードが最適化をソフトが自動判別するようになっている。

　このオルガンはパーカッシブと判断されたようだが、手動で「メロディック」を選んでみたところ、またしばらくした後に、和音展開された。今度は音数的には合っていそうだが、譜面を見るとかなり低い音ばかり出ていることになっている。やはり倍音成分の多いオルガンだけに、間違って解析されたようだが、これを見る限り、倍音ではなく1オクターブ、2オクターブ低い音と認識してしまったようだ。

　ここで利用できるのが、音域の指定。ある一定以上の音を無効にしたり、一定以下の音を無効にできるという機能だ。譜面を見て、キレイに解析されているが、どうも音数が多いように思う。C4=中央ド以下の音をカットしてみた結果、あっさりとうまくいってしまった。

「メロディック」を選択すると、和音展開された	音域の指定で、C4=中央ド以下の音をカット

　ちなみに、ノートアサインメントモードで大きく役立つのがシンセサイザ機能。これは、解析した音程に合わせて元の音ではなくシンセサイザ(サイン波に近い単純な電子音)で発音させることで、正しく解析されているかをチェックするものだ。1音ずつ確認することもできるので、なかなか便利に活用できる。

　実際、自分でもこれまでうまく聴き取れなかったとあるCDのギターのコードを、その部分だけ切り出してMelodyne editorに読み込ませてみたところ、うまく解析することができ、なかなかの感激だった。きっと、耳コピをしている多くの人にとって、Melodyne Editorは大きな力になるはずだ。

　もちろん、Melodyne Editorは解析するだけでなく、検出した各音符というかBlobの音程を変更したり、音の長さを変えることで、フレーズをいじっていくことが可能。また、ピッチが安定していない場合、それを安定させたり、クォンタイズをかけるといったことも簡単にできる。

検出した各音符の音程変更や音の長さを変えることも可能	ピッチ補正などにも対応する

　さらにはフォルマントをいじることで男性ボイスを女性ボイスのようにしたり、いわゆるミッキーマウス効果と呼ばれる声質の変換もできる。もっとも、こうしたエディットもシングルボイスでの処理、つまりメロディックモードでの処理と比較すると、やはりポリフォニックモードでは、各音に完全に分離できていないだけに、キレイなエディットとは言い切れない部分も多いのは事実。それなので、ポリフォニックモードでのエディットに関しては、過度な期待をしないほうがいいかもしれない。

■ プラグイン利用も可能

スタンドアロンで動かす際、オーディオデバイスを指定

　ところで、このMelodyne Editorはスタンドアロンで動かす際は、出力先のオーディオデバイスを指定した上で操作することになる。この際、WindowsであればASIOドライバかDirectSoundを指定し、MacであればCoreAudioドライバを指定する。

　またこのドライバの指定においてInputという項目もあるが、これは録音のためのもの。そう、オーディオファイルを読み込むだけでなく、外部から直接Melodyne Editorで録音して解析するという方法も用意されているのだ。

　一方、VSTやAUなどのプラグインとしても動作するわけだが、まず、これはインストゥルメントではなくエフェクトとしてのプラグインだ。しがたって、DAW上のオーディオデータに対してかけることとなる。

　また、このソフトの性格上リアルタイムに動作するわけではなく、ちょっと変わった方法が用いられる。プラグインで起動させると「転送」というボタンが表示されるのだが、これはDAW側からオーディオをストリームで取り込むための、いわば録音ボタンだ。

プラグインとしても動作する	「転送」ボタンでDAW側からオーディオをストリームで取り込む

　つまり転送ボタンを押した上で、DAW側で再生させると、そのトラックの音のみが、まずMelodyne Editorに読み込まれる。その後、解析して、編集し終えたらDAWに戻って再生させると、その修正結果が反映される形となる。この転送という作業があるため、スマートさに欠ける面はあるが、各DAWとうまく融合してくれるので、応用範囲は広くなりそうだ。

　以上、新技術のDNAを中心にMelodyne Editorについてみてみたが、何でも全自動で解析するというわけにはいかないが、慣れてくると比較的効率よく解析することができる。もっとも、いろいろと試してみた結果、限界も感じた。

　ベースとギターといった程度の組み合わせならば解析は可能だが、CDをそのまま読み込ませて、全部を譜面化するといったところまではできない。それができるのは、まだ夢という状況だが、ここまでできるようになったのだから、いつかはそれがかなう日もやってきそうな気がする。