【バックナンバーインデックス】

第287回：ソニーCSLで開発中のリミックスエンジン「MMG」とは?
～ 誰でもリミックスできる音楽の新しい形を提案 ～

　6月5日と8日の2日間、株式会社ソニーコンピュータサイエンス研究所(以下ソニーCSL)は研究成果の一般公開として「オープンハウス2007」を開催した。

　同研究所はシステム脳科学、システム生物学、経済物理学、またヒューマン・コンピュータ・インタラクションなど幅広い分野を扱っているが、この中の研究発表のひとつに「高精度音楽時系列メタデータを利用したリミックスエンジン」と題するユニークな発表が行なわれた。

　今回は、その概要と、研究・開発者である宮島靖氏に改めて開発の経緯などについて伺った。

■ リミックス作業を容易にする「MMG」

MMG メイン画面

　今回オープンハウス2007で発表されたのは、楽曲をメロディーやビートのブロック単位で扱い、音楽知識や波形編集のいらないリミックスエンジン、「MMG(Music Mosaic Generator)」というもの。一言でいえば、MP3などとして存在する既存の楽曲をブロックのように組み合わせて、簡単にリミックスしてしまう、というツールだ。

　TRAKTOR DJなどをはじめ、最近は既存の曲を手軽にリミックスするツールがいろいろと出ているが、まだまだ敷居が高いのが実情。そこで、もっと誰もが気軽に楽しめるツールを、ということでソニーCSLで研究・開発に取り組んでいる。

　実際にデモを見せてもらったのだが、これがなかなか面白い。まず既存の楽曲に時系列に沿って、さまざまなメタデータが埋め込んであり、それを利用してリミックスしていく。具体的なメタデータとしては、小節、ビート、コード進行、メロディータイプ(イントロ、Aメロ、Bメロ、サビ、エンディングなど)、拍子、キーなど。これによって、曲がパーツ、パーツに分解され、さまざまな曲のパーツを組み合わせることができる構造。もちろん、この組み合わせにおいて、ピッチシフトやタイムストレッチが自動的に行なわれ、まったく違う曲でもコード進行さえ合っていればうまくマッチさせられるというわけだ。

　デモで行なっていたのは、Michael Jacksonの「Billie Jean」と、吉田兄弟の「津軽じょんがら節」のリミックス。Billie Jeanのほうは原曲のまま流し、それぞれのパートにマッチする三味線のフレーズを並べてマッチさせていた。実際、このまったく異なる二つの曲がビートもコードもピッタリとあった演奏には、会場にいた見学者も驚いている様子だった。

指定パートで検索をかけることで、マッチする別の楽曲を見つけられる

　またここで面白かったのが、レコメンド・エンジン。リミックスを行なったMMGというソフトには、メタデータが入った曲が多数収録されているのだが、ある指定したパートでレコメンド・エンジンで検索をかけると、そこにマッチする別の曲を自動的に見つけ出し、合う順に並べられるのだ。これによって、「Billie Jean」と「津軽じょんがら節」のように思いもよらぬリミックスの組み合わせが見つかったりするわけだ。あくまでも開発過程のソフトなので、ユーザーインターフェイスなどはこなれてないが、化粧直しすれば、すぐにでも使えそうなアプリケーションだった。

　さらに、このMMGの利用法として想定しているのは、自分で作るだけでなく、作ったデータをフリーで流通させようという概念だ。

　当然、Billie Jeanや津軽じょんがら節といった曲は著作権があるので、これらを含んだデータをそのまま流すことはできない。しかし、どの曲とどの曲をどのようにして組み合わせたのかという「レシピ」のデータだけなら基本的に原曲の著作権に触れるものではない。そして、原曲を持っている人であれば、このレシピをダウンロードすることで、誰でも同じリミックス作品を楽しめるというわけだ。

　また、人気レシピを聞くために、原曲を買うというアクションにもつながり得るので、原曲の制作者にとってもメリットがあるという発想なのだ。

リミックスの「レシピ」のメタデータを生成する「MetaPong!」

　ここで気になるのは、そのメタデータはどのように生成し、どうやって流通させるのか、ということ。まず、生成については、「MetaPong!」というソフトが別途開発されており、これを使って半自動で、原曲を解析し、ビートを検出、小節番号を振り、コードを振っていくことができるようになっている。

　このMetaPong! 自体は、一般に流通させるのではなく、ソニーの内部であったり、レコード会社、音楽配信会社などが持って、各曲にメタデータを割り当てる作業を行なう。1度作れば、あとはデータベースとして登録していけば、ユーザーはそれを利用できるわけだ。考え方としては、CDDBのGracenoteや、AMGのビジネスモデルに近い感じである。

■ レコードに変わる新たな音楽の形を目指して

　オープンハウス2007で見た「高精度音楽時系列メタデータを利用したリミックスエンジン」の概要としては以上のようなものだが、どうしてこんなソフトを考えたのか、その仕組みの詳細がどうなっているのか、そして将来どうしていこうと考えているのかなどを研究・開発者である宮島靖氏に伺った。

藤本:このソフトのアイディアはどのようにして思いついたのですか?

ソニーCSL 宮島靖氏

宮島:最初のコンセプトを思いついたのはちょうど3年ほど前です。趣味で「SONAR」や「ACID」などは使っていて、音をこねくり回すのは楽しく、曲ができるまでの体験は非常に面白いと感じていました。ただ、これらのソフトはやはりハイエンドユーザー向けであり、みんなが扱えるものではありません。そこで、どうやったらもっと身近になるかな、と思ったのがキッカケです。

　その一方で、昔から感じていた私の根底にあるものが、レコードに関する歴史観です。エジソンがレコード(蝋管)を発明して百数十年経ち、音楽とは売られているものを聴くというスタイルが当たり前になっています。でも、それ以前は当然ライブしか存在しなかった。エジソンの発明は時間と空間の縛りから解き放ったという意味ですごいけれど、いつも同じものを聴くようになってしまいました。

　でも、次の百年は大きく変わるのではないかというのが私の思いなんです。百年後の人たちは、「昔の人は再生しかできなかったの?」というようになるかもしれない。だからクリエイター側も今後は変わることを前提に作品を作るようになるのではないか、と。もし、そんな変化のキッカケになることができればな、とずっと思っていたんです。

藤本:なかなかすごい発想ですね。当時から、このソニーCSLにいらっしゃったんですか?

宮島:いいえ、ここに来たのは1年ほど前です。'93年にソニーに入社し、当初はNEWSやクォーターLの部署に入り、SCSIのドライバーを書いたりしていました。その流れでVAIOの事業部へと移り、GigaPocketなどの開発を行なった後、人間の感性を軸とした研究所、フィールウェアラボというところへ異動したのです。フィールウェアラボは3年で閉じてしまいましたが、ここでのテーマとしてこのリミックスエンジン(=MMG)に関する研究をスタートさせ、ソニーCSLへと持ってきました。

藤本:そのMMGという名前は、どんな意味なんですか?

宮島:Music Mosic Generatorの略です。小さな写真を多数モザイク状に組み合わせて遠くから見ると、他の絵に見えるPhoto Mosicというものがありますが、その音楽版というニュアンスです。1つ1つは別の曲だけど、組み合わせると新たな別の作品になるという……。

　ただ、実は別の意味も持っているんですよ。ドラえもんに「ムード盛り上げ楽団」というのが出てくるんですが、感情を読み取ってその時々に合わせたBGMを演奏してくれるんです。現在のMMGには感情を読み取るセンサーがありませんが、いずれはそんなセンサーを入れて、MMGはムード盛り上げ楽団の略です、なんて言いたいなと思って(笑)。

藤本:最初から今のような形を想定して開発をしはじめたのでしょうか?

宮島:最初はいろいろ悩みました。世の中は波形を編集して……というものばかり。とにかく、これが難しくするので、波形は出したくなかったのです。一方、MIDIなら波形はないし、小節の概念など構造を持っているので扱いやすいのですが、MIDIでは既存の楽曲を扱うことができません。

　そこで、オーディオデータに時系列のメタデータを埋め込むということを思いついたのです。そこで最初はビートのところからやってみようと思いました。当時のフィールウェアラボにいた仲間といっしょに開発し、ビートを検出するエンジンを作ったのです。ただ、100%ビートをとるのはなかなか難しいし、ビートが取れても、それを小節に置き換えていくのはさらに難しい。一方で、人が聴いて判断すれば簡単というケースがほとんどです。

　たとえば、4/4拍子でも、出だしと途中に2/4が1小節ずつ入るというものがよくありますが、これは人にはすぐに分かるけれど、機械に判断させるのはとても困難です。だから、人の得意なものは人が行なうというエディタツールをプロトタイピングで作っていったのです。それがMetaPong!ですね。

演奏曲から、bpmの誤差を検出し、視覚的に表示

藤本:確かにビート検出できるソフトはいろいろありますが、途中で拍子が違うものが入るとうまくいかないですよね。またそのビートが8ビートなのか16ビートなのを判断するのも難しいですよね。

宮島:そうですね。解像度はなかなか機械には判断できません。そこで、タップボタンを押しながら人が数えれば簡単に教えることができます。またゾーン機能によって途中で三拍子が入っても対応できるような構造にしてあります。

　ただ、打ち込み系のサウンドはいいのですが、人が演奏している曲はどうしても揺れがあって、自動的なビート検出ではうまくいかないことも多いのです。そこで、瞬時・瞬時のbpmの誤差を視覚的に出せるようにしてみました。黄色い線がその誤差。また水色が累積誤差です。こうすることで、曲の流れを視覚的に捉えることができます。

藤本:一方で、メタデータには、イントロやAメロ、サビといった構造も記述されているということでしたが、これも半自動的に行なうのですか?

宮島:これはなかなか困難でした。世の中にはサビ部分の自動抽出エンジンといったものもありますが、これはたいてい繰り返しているところを見つけ出すだけなんですね。そのため、小節単位で指定するのは非常に難しいのです。そのため、MetaPong!では基本的にここは人間の作業と捉えています。人が聴けば、どこがイントロでどこがAメロで……という判断はすぐにつきますから。

藤本:さらにコードを振るという作業もありますよね。この前使った河合楽器の「バンドプロデューサー」などは、なかなかよくできていましたが……。

宮島:私もいろいろなソフトを試してみましたが、やはりどれもキッチリコードが判断できる確率はいいとこ6～7割。当初、コード検出エンジンも組み込んでみたのですが、下手なコードが振られるより、慣れている人が0から行なっていったほうが早いので、現在ははずしてしまいました。また重要なのがスケール。その曲がハ長調なのか、ト短調なのかという判断も機械にはとてもむずかしく、ここも現在は人が行なっています。

藤本:なるほど、全自動ではなく半自動という考え方がいいですよね。このMetaPong!から開発に着手したとのことでしたが、マッシュアップツールであるMMGのほうは?

宮島:MMGはソニーCSLに来てからです。まずは、手でメタデータをどんどんつけていき、100曲程度のデータベースができたため、これを利用してマッシュアップするツールを作り始め昨年秋にようやくプリミティブなプロトタイプができました。実際に動かしてみると結構うまくいき、これは行けそうということになたったのです。

藤本:デモを見せてもらった際、レコメンドエンジンが非常に面白かったですが、あれは、どんな仕組みになっているんですか?

宮島:これはある区間のコード進行がどうなっているかをチェックするもので、一致しているかどうかを判定します。完全に一致していれば、高いスコア、完全一致でなくても、似ていればそれなりのスコアをつけて順番に並べています。メタデータにおけるコードは絶対高度ではなく、相対度数で持っているため、キーが違っても大丈夫になっています。また1度を3度にしても構成音が同じなので、代理コードとしてマッチしたと判断するようにしており、代理コードの度合いでもスコアに差をつけています。

藤本:なるほど、そうやって違う曲でもマッチするフレーズを見つけ出すわけですね。ぜひ、すぐにでも使ってみたいと思うのですが、いつごろ、どのようにしてリリースするのですか?

宮島:残念ながら、まだ具体的な話はありませんが、ぜひ早期のリリースができればと思っています。またその場合、パソコン版よりも先に携帯用やPS3用といったものから出していく可能性もあります。

藤本:携帯のCPUパワーでも動くのですか?

宮島:そうですね、最近の携帯は音楽再生用のDSPを積んでいたりするので、リアルタイムなタイムストレッチでもピッチシフトでもパワー的に可能です。プラットフォームはともかく、技術的なメドはついたので、あとはビジネス的にどう展開するか、ですね。

藤本:メタデータをどう配布し、ユーザーの楽曲データとマッチングさせるかも課題ですよね。

宮島:はい。音楽配信データであれば、そこに予めメタデータを埋め込むことはできそうです。問題は、すでにMP3などでリッピングされたデータとどう組み合わせるかです。楽曲の認識技術は存在しているので、それと組み合わせるとともに、頭部分の空白をどう処理するかということになります。ただ、この辺はなんとかなりそうです。

藤本:できあがったレシピはP2Pで流通させるのですか?

宮島:P2Pでは、どうしてもマニアだけのものになってしまうため、それは避けたいところです。やはりレシピのポータルサイトを作りたいですね。ポータルにすることで、ランキングがつけられるし、人気レシピに使われている無名の原曲が売れるかもしれませんよね。まさにロングテールの曲がヒットするかもしれません。

藤本:実現したら、本当に楽しそうですね。ぜひ、近いうちに実現してくれることを期待しています。ありがとうございました。

□ソニーCSLのホームページ
http://www.sonycsl.co.jp/index_j.shtml
□関連記事
【2月13日】【DAL】Roland/EDIROL/BOSSの新製品をチェック
～ NAMM2007出展のミキサーやキーボードなどが登場 ～
http://av.watch.impress.co.jp/docs/20070213/dal269.htm
【2006年10月10日】【DAL】2006楽器フェスティバルレポート
～ Roland「SONAR 6」や「R-4 Pro」などを発表 ～
http://av.watch.impress.co.jp/docs/20061010/dal253.htm

(2007年6月25日)

＝ 藤本健 ＝	リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。 最近の著書に「ザ・ベスト・リファレンスブック Cubase SX/SL 2.X」(リットーミュージック)、「音楽・映像デジタル化Professionalテクニック 」(インプレス)、「サウンド圧縮テクニカルガイド 」(BNN新社)などがある。また、All About JapanのDTM・デジタルレコーディング担当ガイドも勤めている。

[Text by 藤本健]