藤本健のDigital Audio Laboratory
第584回:靴や料理で演奏? 音楽ハッカソン「Play-a-thon」レポート
第584回:靴や料理で演奏? 音楽ハッカソン「Play-a-thon」レポート
「TENORI-ON」や会場限定API「sonote」などで開発
（2014/3/10 13:26）
最近、音系ハッカソンが流行っている。Web Music Developers JP主催による「Web Music ハッカソン」が2013年10月、そして今年1月に開催されたほか、2月には「Music Hack Day Tokyo 2014」が行なわれた。そして先日3月6日、7日にはロフトワーク主催による「Play-a-thon」、7日の夜にはGoogle主催の「Roppongi ArtTech Night」が開催された。
筆者も、こうしたイベントにちょこちょこ出向いて取材をしているのだが、3月7日のPlay-a-thonにも、内容もよく分からないまま、誘われるままに発表の場に顔を出してみた。行ってみると、なかなかユニークな作品が出来上がっていたほか、ヤマハがその場限定の形で新しい技術の発表を行なっていたのだ。どんな内容だったのかレポートする。
「楽しく演奏する」を重視したハッカソン。会場限定のAPI「sonote」提供も
ハッカソンをご存じない方もいると思うので、簡単に説明する。ハッカソン(Hackathon)は、ハック(hack)とマラソン(marathon)を合わせた造語で、プログラミングやシステム開発のイベントのこと。チームに分かれた上で、お題を元に数時間から数日かけてプログラムを組んだり、システムを作り上げ、最後にその成果をプレゼンテーションするコンテスト的なものとなっている。
今回行なったPlay-a-thonは、開発だけでなく、演奏を行なうことにも重きが置かれたちょっと変わったもので、ロフトワークが「未来をデザインする」をコンセプトに、さまざまな社会的テーマをとりあげイノベーションを起すプロセスを体感するシリーズイベントの第3回目。ちなみに第1回は「宇宙」がテーマ、第2回は「家事」がテーマの「Ide-a-thon」、そして今回が「音楽」をテーマにした「Play-a-thon」で副題が「演奏をリデザインする」となっていたのだ。
ハッカソンではあったが、必ずしもエンジニアである必要はなく、プログラミングの経験のない人もOK。イベントのサイトでは、下記のような人々を対象として案内しており、結構多方面の方が参加していたようだ。
- 音楽、楽器、演奏に興味を持っている
- 未来を自身でデザインしたい
- ビジネスに活用できる新しいアイディア発想法を学びたい
- 参加者同士のディスカッションを通し新たなヒントを得たい
ハッカソンというと、技術中心となるのが一般的だが、このPlay-a-thonでは演奏自体も重要視されており、上手にというよりも「いかに楽しい演奏ができるか」もポイントになっている。
2日間の参加費は5,000円。この中にはPlay-a-thonで使う材料、工具、備品代、2日間分のランチ代、そして2日目最後の懇親会費が含まれているというものなので、実質的には実費だけ。平日での開催ではあったが、定員の20名はすぐに埋まっていたようだ。
このPlay-a-thonはヤマハが協賛となっていたこともあり、お題は、「ヤマハが提示する4つの技術、製品を活用した作品、演奏であること」となっていた。その4つとは下記の通り。
- TENORI-ON
- eVY1 Shield
- sonote
- 複音検索技術
簡単に紹介しておくと、TENORI-ON(テノリオン)はヤマハがメディアアーティストの岩井俊雄氏と共同で開発した電子楽器で、16×16のLEDボタンを操作することで演奏ができるというユニークなものだ。
eVY1 Shiledはスイッチサイエンスが発売する小さな基板型の「歌う音源ボード」。中枢にはヤマハのLSI、NSX-1が搭載されており、ここに採用されているeVocaloidというエンジンによって歌を歌わせることが可能なのだ。Shieldという名前からも想像できるとおり、基本的にはワンボードマイコン、Arduinoでコントロールするための基板だが、micro USB端子が用意されていることからPCなどからのコントロールも可能となっている。
sonote(ソノート)は音の断片を意味する造語であり、「グッとくる音を直感的に扱う」ための技術。サンプリングしたオーディオや既存のオーディオデータの中から、気に入った音を範囲指定した部分がsonoteなのだが、それに似た雰囲気のsonoteがデータベースから探し出され、置換可能にするという技術なのだ。単にフレーズの置き換えだけでなく、sonoteを並べてシーケンスを作り出すなど、これまでにない不思議な感覚での音作りが可能になるものだ。sonote自体は3年前に発表されているのだが、今回のPlay-a-thon限定でAPIが提供されたのだ。
【訂正】記事初出時、sonoteについて「現時点ではまだ商品化などはされておらず」としていましたが、実際は「sonote beat re:edit」が発売済みのため、誤りの箇所を削除しました(3月10日19時40分)
そしてもう一つの複音検索技術は、一般に対して今回が初お披露目となったヤマハの新技術。すでに2012年のシグナルプロセッシング関連の学会(ICASSP 2012)では発表されているそうだが、言葉からその内容がピンと来なかったので、ヤマハの担当者に少し説明してもらった。
それによると、これは単音ではなく複音のMIDIデータを対象とした類似楽曲の検索技術。簡単にいうと、探したい曲を下手でもいいから鍵盤などで弾いてみると、それを探し出してくれるという技術なのだ。
鼻歌での検索とか、流れている曲にマイクをかざすと何の曲なのかを探し出してくれるという技術があるが、利用シーンはよく似ているが、手法的にはまったく異なる技術となっている。ヤマハでは、すでに「弾いちゃお検索」というiOS用のアプリを出しており、このアプリの鍵盤で弾いた曲を見つけ出すことが可能になっているが、弾いちゃお検索で用いられているのが単音での検索技術であるのに対し、今回発表されたのが複音検索となっているのだ。
この複音検索の特徴は、演奏ミスやアレンジの違いがあっても検索が可能で、楽曲の断片からも検索ができること。和音情報やピッチ情報を手掛かりに検索したり、瞬時情報だけでなく、継時情報を確率的にモデル化して検索を行なうようになっている。ピアノロールで見た際、演奏がどのようにデータ化されているのかを見ると、分かりやすい。オクターブに関係なく音の構成が12段階でとらえられる一方、一番高い音、一番低い音が記録され、デュレーション(音の長さ)もデータ化される。その結果から類似度を見ていくのだ。実際のデモも見せてもらったが、かなり下手すぎるほどの演奏でも、しっかり検索してくれるのには驚いたところだ。
2日間で様々な演奏スタイルが誕生。「スニーカー」や「家事」も楽器に
さて、参加した20人は5つのチームに分かれてシステムを作成。2日目の夕方に1チームの持ち時間5分(演奏3分、プレゼン2分)で発表が行なわれた。
チーム1が発表したのはTENORI-ONを利用した音&リズム当てクイズ。出題者と回答者がそれぞれTENORI-ONを持ち、出題者が1小節の中に4つの音を入れて出題。これを回答者が別のTENORI-ONで当てていくのだ。1音当たるごとにバックで鳴るドラム音色が追加されてビートが激しくなっていくことで、演奏も楽しめるという仕組みになっていた。
チーム2は、会場をビデオ撮影して前方に映し、画面上に5色の色を表示。この色のエリアに手を伸ばして動きが検知されると、フレーズがだんだん増えていくという不思議な演奏を行なっていた。発表においては男性が女性にプロポーズするシーンの芝居がされ、その際に歌を口ずさむと、それに近い演奏がスタート。発表者の指示にしたがって、会場にいる人たちが手を振ると、演奏する音がどんどん追加され、演奏が盛り上がっていくという仕掛けも。ここでは、前述の複音検索技術が使われていた、とのことだ。
チーム3はsonoteを用い、似た音を導きだしてノイジーミュージックを作り出すというチャレンジ。マイクに向かってしゃべったり、歌ったりすると、カエルがそのニュアンスに近い音を出すのだ。さらにそのノイジーミュージックの演奏にはeVY1を使ったシステムも参加。これはiPad用にリリースされているiKerominのハードウェア版ともいえるもので、50音のキーを押しながら発音させると、その場で歌ってくれる。開発もiKerominの作者自身が担当している。
チーム4が発表したのは、電飾型のスニーカー、LouminouStep。このクツには圧力センサーとジャイロセンサーが仕掛けてあり、ステップを踏んだり、足を持ち上げて傾けることによって6種類の音が出せる仕組みになっている。
そしてチーム5は家事をすることで音楽演奏をするという大胆な発想のもの。包丁でトマトを刻むとそれに合わせて音楽がなったり、鍋を持ち上げると音が出るといった仕掛けがされている。家事をより楽しくするためのトライとのことだ。
こうした発表はいずれも2日間のうちにシステムを開発したとのこと。審査員による最終結果はチーム1のTENORI-ONのゲームシステムが優勝となったのだが、どれもユニークな発想で作られており、演奏もとても楽しいものばかり。なかなか甲乙のつけがたい、いい出来であったが、楽器会社では無さそうな作品ばかりだったのも、こうしたハッカソンの楽しいところだ。
探してみると、こうした音系ハッカソンは、多数開催されているので、興味のある方はチャレンジしてみてはいかがだろうか?
藤本健
リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。 著書に「コンプリートDTMガイドブック」(リットーミュージック)、「できる初音ミク&鏡音リン・レン 」(インプレスジャパン)、「MASTER OF SONAR」(BNN新社)などがある。またブログ型ニュースサイトDTMステーションを運営するほか、All AboutではDTM・デジタルレコーディング担当ガイドも務めている。EPUBマガジン「MAGon」で、「藤本健のDigital Audio Laboratory's Journal」を配信中。Twitterは@kenfujimoto。