【第501回】:産総研が始めた“能動的音楽鑑賞”の「Songle」とは?

　産業技術総合研究所(以下産総研)が2012年2月2日より、能動的音楽鑑賞サービス「Songle(ソングル)」というWebサイトをベータ版として試験公開している。

　また、「初音ミク」発売元のクリプトン・フューチャー・メディアが運営するコンテンツ投稿サイト「ピアプロ」との連携も同日より開始し、ユーザーにとって非常に便利な音楽再生手段を実現している。この「能動的音楽鑑賞」とはどういう意味なのか、Songleでどんなことができるのかを紹介しよう。

試験公開されている「Songle」	VOCALOIDを中心としたCGM型のコンテンツ投稿サイト「ピアプロ」

■ 音楽を“能動的に聴く”ということ

産総研の情報技術研究部門 後藤真孝上席研究員

　産総研の情報技術研究部門・上席研究員、後藤真孝氏がプロジェクトリーダーを務めるチームが開発した能動的音楽鑑賞サービス、Songle。実際に使ったことのある方はまだ少ないと思うが、これは驚異的とも言えるサービスで、これまでにない新しい音楽の楽しみ方を提案してくれるものとなっている。

　「能動的音楽鑑賞」と、漢字で書くと非常に難しそうに思えてしまうが、要するに音楽を単に受身で聴くだけでなく、積極的に楽しもうということ。それを産総研の最先端技術を駆使して実現させたものがSongleなのだ。

情報処理学会の「インタラクション2012」

　実は先日、東京・お台場の「日本科学未来館」で行なわれた情報処理学会の「インタラクション2012」というシンポジウムでSongleがベストペーパー賞という最優秀賞を受賞している。その会場での受賞講演発表の後で、後藤氏に話をうかがうことができたので、後藤氏の話を交えながら、Songleについて見ていこう。

Songleが「ベストペーパー賞」という最優秀賞を受賞した

　Songleは、FLASHがインストールされているブラウザでアクセスするとすぐに利用できるシステムなので、まずはアクセスしてみるといいだろう。ここに、数多くの楽曲が登録されているので、例えば「おすすめ楽曲」の中から楽曲名をクリックすると、シーケンサのような画面が現れ、音楽の演奏がスタートする。これを見ると、誰かが作ったDAWのデータが公開されているようにも思えるが、そういうわけではない。MP3のデータを元にSongleが自動的に解析した結果が表示されているのだ。

　見慣れない画面なので、初めて見ると何を意味しているか分からないかもしれないが、これは音楽を解析した結果であり、「音楽地図」ともいえるもの。上から楽曲構造(サビ区間と繰り返し区間)、コード(ルート音と和音の種類)、メロディライン(歌声の主旋律)、階層的なビート構造(小節の先頭と拍位置)を示している。Songleではこの4種類の音楽的要素を推定し、音楽を可視化してくれるのだ。

登録されている楽曲の一覧	楽曲名をクリックすると、再生とともに解析した結果が表示される	楽曲構造やコード、メロディライン、階層的なビート構造の4つを表示

　一番分かりやすいのが、オレンジで示されているサビ区間。ここをクリックすると、サビ部分にジャンプして再生できるわけだが、サビ部分というのは1曲の中に何カ所もあることがこの画面からも分かる。ただ、サビへのジャンプという機能自体は、今やそれほど珍しいものではない。音楽試聴システムに組み込まれたり、音楽配信サービスに組み込まれて、すぐにその曲のサビ部分が聴けるというのをご存知の方も多いはずだ。ただし、Songleのサビ検出は一般のものとは次元が違うようなのだ。

　「一般的なサビ検出は音量などを見ながら、盛り上がっているところを見つける仕組みになっています。しかし、我々が開発したシステムは、転調にも対応しているし、伴奏がガラッと変わっても見つけ出します。信号的に大きく違っても、繰り返しとして認識できるようになっているのです」と後藤氏。

　確かに、オレンジ部分をクリックして、それぞれにジャンプして聴いてみると、歌詞は1番と2番で異なるなど違いはあるが確かにサビ部分だ。そしてBGMが変わっていたり、伴奏がなくなりボーカルソロであっても、転調している場合も、同じサビとして検出されていることが分かる。これを自動的に行なっているというのは、やはり驚きだ。

　オレンジのバー以外に青いバーもあるが、こちらはサビ以外の構成を示しており、これをみることで、どのようにパターンが繰り返されているかを確認することができ、そこをクリックすればジャンプすることも可能だ。

　さらに楽器演奏者にとって嬉しいのは、その下のコード解析だ。コード解析ソフトも現在いろいろなものが出ているが、Songleのそれは、かなり正確に解析してくれていて、結果が正しいのだ。しかも単純なコードではなくルート音を含む分数コードで示してくれるから、より実用的になっている。

メロディーをピアノロール風の画面で表示

　そして、もっとすごいのは、メロディーをピアノロール風な画面で表示してしまうということ。ちょっと考えてみると分かるが、これは信じられないほど、すごい機能。確かに音を解析してピアノロール表示させるというソフトはいくつか存在している。具体的にはCelemonyのMelodyneやRolandのV-VOCALなどだ。MelodyneのDNAという技術では和音でも解析してくれるが、すべての音がピアノロール表示されてしまうため、ボーカルだけを抽出するのは困難だ。

　一方、V-VOCALの場合、基本的に和音には対応していないからMP3を元に解析することは不可能。なのに、このSongleではしっかりとボーカルを捉えてメロディーラインを表示してくれているのだ。この検出したメロディーをMP3の楽曲に合わせてシンセサイザで演奏させることも可能なので、実際正しい音になっているかを確認することも可能だ。

　そして一番下の三角の山を見ると、どこが小節の先頭であり、拍がどこにあるかも視覚的に確認できるようになっているのだ。

■ ピアプロに登録されたVOCALOID曲なども利用可能に

　Songleにアクセスして使ってみれば分かるとおり、これら4つの音楽的要素として解析した音楽地図を見ながら、自在に再生を楽しむことができるようになっている。すでに膨大な曲が登録されているので、アーティスト一覧から選んだり、ランキングから選んだり、もちろん楽曲名から選んで再生することもできる。

「楽曲メニュー」から「楽曲の追加」を選び、ネット上にあるMP3ファイルのURLを指定するだけで登録

　でも、すでに登録されている曲を再生するだけではSongleのすごさはまだ実感できないかもしれない。やはり自分の指定した曲をSongleに解析させてみたいところ。OpenIDやピアプロIDを利用して、Songleへユーザー登録/ログインすることは必要ではあるが、その登録も解析もすべて無料で行なえる。方法はいたって簡単で、「楽曲メニュー」から「楽曲の追加」を選び、インターネット上にあるMP3ファイルのURLを指定すればいいだけだ。

　Songleで解析するための条件として、「そのMP3ファイルがインターネット上で公開されていること」となっている。公開されてさえいれば、自分の作った曲でもすぐに登録OKなのだ。実は、Songle自体はMP3の楽曲データを持たないというのも大きなポイント。SongleにMP3をアップロードするとなると、著作権に関する問題がいろいろと浮上しそうだが、SongleはMP3を配っておらず、解析結果のメタ情報を付加しているにすぎない。そのため楽曲データを配信してしまうような著作権的な問題も生じない形になっているのだ。

　「音楽データはSongleを経由せずに、元のサイトのMP3をユーザのブラウザが直接再生しているだけなので、元データが消えると再生できなくなってしまいます。また、削除申請が各曲のページから可能になっています。作者の方がそこから申請をしていただければ、消すこともできます」（後藤氏）

　また、前述のとおり、2月2日からピアプロと連携するようになっており、ピアプロに登録されているすべての曲のページに、Songleでの登録および再生用のリンクが追加されている。ピアプロのURLを直接指定しても大丈夫だ。

　また、解析作業自体はSongleのシステム側が行なってくれるため、PCのCPU負荷もかからないのもうれしいところだ。実際の解析には5分から10分程度を要する。後藤氏によると2月2日のベータ版オープン当初は、楽曲登録が殺到し、多少時間がかかってしまったとのことだが、サーバーシステムもそれなりに強力であるため、現在はある程度の登録が同時に行なわれても待ち時間はほぼ変わらないとのことだ。ためしに、ピアプロに登録されている楽曲をSongleに追加してみたところ、確かに5分ちょっと経過したところで、音楽地図が表示できるようになっていた。

Songleで解析済みのデータをピアプロプレーヤーで再生させると、「サビJUMP」というボタンが

　ピアプロとの連携というのは、もちろんそれだけではない。Songleで解析済みの楽曲をピアプロ側のプレーヤーで再生させる際、「サビJUMP」というボタンが現れるようになっている。そしてこのボタンをクリックすると、各サビの頭へとジャンプして再生ができるようになっている。またピアプロプレーヤーの下には小さく「サビ情報 by Songle」という表示がされており、この表示をクリックすると、Songleサイトが開き、音楽地図が表示されるようになっているのだ。このピアプロと組んだ理由について後藤氏は、以下のように述べている。

　「我々としては、Web上で音楽活動をするクリエイターを応援したいという気持ちが強くあります。やはりクリエイターとしては、より多くの人に自分の作った楽曲を聴いてもらいたいと思っているでしょう。そこでサビJUMP機能を利用すれば、多くの人に効率よく聴いてもらうことが可能になるだろうと考えました。また、ピアプロにはコンテンツ制作を学んでいる人が数多くいて、可視化された音楽的要素は参考になるかも知れません。まだSongleはそれほど多くのクリエイターに活用されているわけではありませんが、作者自身がSongleを利用して、自分の作品を見せていくことができれば、もっと幅が広がるのではないでしょうか」。

　現在のところ連携できているのはピアプロのみ。ニコニコ動画やYouTubeといった映像はMP3データではないため、今のところ実現していない。またSoundcloudあたりはできそうな気もするが、直接MP3指定の形式になっていないためか、まだ対応できていないようだ。

■ 能動的音楽鑑賞は、これからも進化

ビート編集

　ところで、いくらSongleがすごいとはいえ、やはりこれはコンピュータが処理するものであり、完璧な解析ができるわけではない。楽曲構造はおそらく作者が描くよりも正確に解析してくれているような気もするが、とくにメロディー解析になるとなかなかそうもいかない。そこで、Songleには解析結果を訂正するための編集機能というものを用意している。具体的にはビート編集、コード編集、メロディ編集、サビ編集のそれぞれの画面が用意されており、これを使うことで、楽曲制作者はもちろんのこと、一般リスナーも編集していくことができるようになっている。まさにネット時代の編集システムとなっており、みんなで訂正して正しい表示にしていくことができるわけだ。

コード編集	メロディ編集	サビ編集

　「でも、Songleは誤り訂正を集積することを目的にしているわけではないのです。あくまでも人々の音楽の聴き方を能動的で豊かにするのが目的ですから、訂正せずに能動的音楽鑑賞を楽しむだけでいいのです。実際ピアノロールを使った画面で訂正することができるのはDTMなどに精通した一部の人たちだけでしょう。また一度に全部完璧に訂正するのではなく、一部だけでもいいというのがSongleの考え方なのです」と後藤氏。

　実際、メロディ編集機能を少し触ってみたが、やはりWeb上のシステムであり、DAWのような高度な編集機能が装備されているわけではないので、操作はなかなか難しかった。編集自体が目的ではないとのことだったが、今後この辺がより使いやすくなったり、DAWとの連携ができるようになると、もっと面白くなっていきそうだ。

　また、後藤氏によると、能動的音楽鑑賞というのは、このSongleが完成形というわけではないようだ。

　「これまでも、EQで音質を調整して、音楽を自分好みにカスタマイズして能動的に鑑賞することはできました。でも、我々の研究している成果を利用することで、たとえばドラムの音量を上げる、さらにはドラムの音色を差し替えるといったことも実現できています。また、ボーカルやベースだけを抜いてしまうといったことも不完全ながら可能になりつつあります。全部の楽器に対して全自動で処理可能にするのは難しいのですが、楽譜情報を与えて抜き出すという研究にも取り組んでいました」(後藤氏)。

　確かに音楽を単に聴くだけでなく、能動的に自由にいじれるようになるとかなり楽しそうだ。今後こうした技術がどう進化し、利用できるようになっていくのか、とても楽しみだ。