スマホやロボット、服まで音楽と連動? 産総研「Songle Sync」の仕組み

　国立研究開発法人 産業技術総合研究所(産総研)から「Songle Sync」というインターネットを介した大規模音楽連動制御のためのプラットフォームが公開された。これはWeb上の音楽の再生に合わせて、多種多様な機器を同時に制御することで一体感のある演出ができるというもので、場所が違っていても、デバイスが違っていても、また、何十台、何百台という台数があっても、誤差が数十msecという正確さで同期を可能にするというシステムだ。

Songle Syncの内容

　にわかには信じられないが、確かに自分で試してみても目の前でそれを実現できる。8月2日に産総研で行なわれた記者発表会に参加してきたので、これが一体どういうもので、何に使うことができるのか、どんな可能性を持ったシステムなのかなどをレポートする。

産業技術総合研究所

100台以上のスマホやIoT機器がどうやって同期する?

　以前、“能動的音楽鑑賞”を実現するシステムとして「Songle」、Web上の音楽を可視化する「Songrium」、音楽に合わせて歌詞が動く動画を容易に制作・共有できるサービス「TextAlive」といったものを紹介してきたが、今回のSongle Syncもその延長線上にあるもの。Songle、Songrium、TextAliveと同様、産総研の情報技術研究部門の首席研究員である後藤真孝氏をトップとする研究者によって開発されたシステム。

　今回のSongle Syncでも多くのメンバーが携わっているようだが、中心となったのが井上隆広氏、尾形正泰氏、加藤淳氏。

左から産総研の後藤氏、井上氏、尾形氏、加藤氏

　まずは、発表会での記者席の周りを取り囲むように置かれていた100台を超える機材。これらが音と同期して動く様子をビデオに収めた。

様々な機材が音楽に連動

　なんとなくニュアンスがお分かりいただけただろうか? でも、このビデオを見ただけだと、まだ何が凄いのか、ピンとは来ないかもしれないので、順を追って説明していこう。

　最近のコンサートイベントだと、デジタルペンライトを使った演出が行なわれることがある。コンサート会場内で点灯させたペンライトが曲に合わせて同時に色が変わることで、全体を盛り上げるというものだ。また音との同期という点では、音楽に合わせて複数台のロボットがダンスをする、といったものもある。その意味では、音に合わせて映像が同期したり、ロボットがダンスをすること自体は珍しいというものではない。ただし、これは専用に開発されたものであり、当然大きなコストがかかるし、演出手段が固定化されるため、違うダンスを躍らせようとすると、別途プログラムを組む必要があったり、好きな曲で自由に動かすということも簡単にはいかない。

　それに対し、このSongle Syncを用いれば、もっと簡単に同期したプレイを楽しむことができ、スマホでもPCでも、またIoTデバイスでも、ネットに接続することさえできれば、数多くの機器での同期が可能になるというのだ。

　デモを行なっている中で、示されたのが1つのQRコードだった。自分のスマホでこのQRコードを読み取って、指定のURLへアクセスするとスマホ上のブラウザ画面にはグラフィックが表示され、それが会場にある各機器とピッタリと同期するのだ。ブラウザ上で動いていることからもわかる通りで、ここにはアプリなどは一切入れてない。また、発表会会場のWi-Fiに接続したということもなく、あくまでも携帯回線を使ってのネット接続だったのに、見た目上完全一致というくらいの同期具合になっているのだ。

スマホからアクセスして、会場にある各機器が同期した

　この実験は、発表会会場にいなくても、いつでもどこでも行なえる。Songle Syncのサイトに行くと、すぐに誰でも試すことができる。一番簡単なのが「Songle Syncを試す」ボタンを押し、さらに「今すぐ始める」ボタンをクリックして、「体験する」をクリックすること。

「Songle Syncを試す」ボタンを押す

「今すぐ始める」を選ぶ

「体験する」で早速利用可能に

　これは常時、繰り返し再生されているものなのだが、例えば手元のPCで再生すると同時に、携帯回線のスマホなどからアクセスして再生すると、画面はもちろん、音楽もピッタリと同期するのが確認できるはずだ。しいていえば、数msecのズレから、微妙なディレイがかかっている音という感じだろうか。ちなみに画面には接続数が表示されているが、これが自分を含め、各地からアクセスしている端末の数ということになる。

再生時の画面の例

　ここで同期できるのは、何もこのデモ楽曲に限るわけではない。Step.2の「好きな曲を連動させよう」を押して、出てくる画面に表示されている4曲(下のリスト)の中から選ぶか、「楽曲を探す」の検索画面からネット上にある楽曲を選ぶ。

好きな曲を選んで試すことも可能

• ハッピーシンセサイザ(YouTube)
• PROLOGUE(MP3)
• 妄想スケッチ(Piapro)
• I think of you (MP3)

　そして演出スタイルを選択した上で、「再生する」をクリックすれば、選んだ楽曲の再生がスタートすると同時に、画面にはQRコードとそのURLが表示される。ここに別の端末からアクセスすると、それぞれが同期する。ちなみに、ここで利用できるのはYouTube、ニコニコ動画、Piaproなどにある約110万曲以上の楽曲。もう少し具体的にいえばSongleに登録されて、すでに音楽の解析が行なわれた楽曲だ。

曲を選ぶとQRコードとURLが表示

　Songleについては以前詳しく紹介しているので、ここでの解説は省くが、各楽曲についてイントロ、Aメロ、Bメロ、サビといった曲の構成やリズム、またコードなどを半自動で解析するもの。そしてSongle自体はあくまでも解析結果のデータだけを持っており、音楽自体はあくまでも元のデータ(YouTubeなどのもの)をそのまま使うため、著作権上の侵害は起こらないというのがポイント。それは、Songleを活用するSongle Syncでもまったく同様だ。

　今回の発表会では、ブラウザが表示されるPCやスマホだけでなく、さまざまな機材があった。例えばオモチャのロボットがいたり、光る腕時計があったり、スポットライトや光る服がある。

ロボットの動きが連動

光る腕時計

スポットライト

光る服

　さらにはRaspberry Piに接続されたオブジェだったり、カーテンなども。そして、それぞれが同じように同期する。

Raspberry Piを介して様々なものと接続

カーテンとも連動

　もちろん、ここにはそれぞれ同期させるための簡単なプログラムが仕込んであり、ロボットが曲に合わせてダンスをしたり、腕時計やスポットライト、服などが曲に合わせて色を変えながら光ったり、サビになると、カーテンが開くなどの動作をするようになっているのだ。少し音量が小さいが、先ほどよりも各機器の近くに寄って撮影したビデオがあるので、こちらを見ると、その同期具合がわかるはずだ。

　産総研の説明によると、こうした機器を同期させるためのプログラマー向け開発キットが用意されているとのことで、大規模な音楽連動制御が容易にできるようになっているという。ここでは音楽に同期させるための時間管理はSongle Syncのシステムに任せられるので自らする必要がなく、他の機器との連動制御についても意識しないでいいとのこと。ビートに合わせて光るとか、サビが来たら何をする……というように、単純に1台を制御するつもりでの、イベント駆動プログラムをすれば、自動で同期してくれるというわけなのだ。

　なぜ、ここまでしっかりした同期が実現できているのかを聞いてみたところ、「中央のクロックに各端末が同期する」という単純な仕組みではないらしい。各端末が持っている時計機能を利用し、それぞれの誤差を徐々に補正しながらタイミングを合わせているのだという。だから、同じLAN内になくてもうまく同期できるようになっているそうだ。ただし、音楽そのものを複数の端末で同時に鳴らすとなると、ネットストリーミングの場合、どうしても遅延は起こりがちとなる。予め端末にダウンロードしてバッファリングできるMP3などのデータのほうが、よりタイミングは合わせこみやすいとのことだった。

ライブなど多用途での展開が可能に

　現時点で、Songle Syncは実証実験という段階のようだが、今後さまざまな応用が考えられるという。発表会の会場においても4つの利用シーンが示されていたので、紹介しておこう。

主な4つの利用シーン

　1つ目はライブ・イベント会場での活用だ。前述のペンライトのようなことを各自のスマホで実現できるのはもちろんのこと、スマホの画面を使うからもっと変化に富んだアニメーションを会場のスピーカーからの音に同期させることで表示させることが可能。この際、来場者のスマホと同じ表示を会場スクリーンにもだしたり、ステージ登壇者の衣装や腕輪などを同期させることで、来場者により一体感を与えることができそうだ。またライブ開始前の着席時であったり、イベントの入場待機列ができているときでも、会場に流れる音楽に合わせて来場者のスマホが動き出せば、盛り上がりそうだ。

　2つ目として挙げられていたのは、ショッピングモールや店舗での活用だ。例えば通路や店舗の壁面、床に置いた大型ディスプレイや照明機器、プロジェクター投影映像を店舗で流れるBGMに同期させることで、全体演出に一体感を出すことができそうだ。さらにQRコードを配布して、来店者のスマホと連動させた演出をすることで、従来にない楽しさ、一体感を得ることができるかもしれない。

　3番目はカフェや飲食店での活用。ここでは間接照明やディスプレイ、照明機器をBGMに連動させることでムードを変えた異なる印象を与えることができるだろう。そして4つ目は街中や屋外イベントでの活用。例えばディスプレイや照明、プロジェクションマッピングなどを組み合わせて音楽との連動制御をすることで演出ができる。さらに訪問者にQRコードを配布して、街中の音楽や映像と連動させることで、街への訪問者に新たな体験をさせることができそうだ。

　どう活用するかはアイディア次第ではあるが、とくにコンサート会場など、今後広く使われていく可能性もありそうだ。