藤本健のDigital Audio Laboratory
第816回
ダメ人間用楽器や、交通事故を減らす音楽? 「MUSIC HACK DAY」の独創的な作品
2019年7月22日 12:07
7月13日～14日の2日間、東京・新宿のLINE本社において音楽をテーマにしたハッカソン(ソフトウェア開発イベント)、「MUSIC HACK DAY Tokyo 2019」が開催された。
国内では4回目となるMUSIC HACK DAYには50人弱のエンジニアやデザイナー、プランナーなどが集まり、「テクノロジーで音楽表現をアップデートせよ」をテーマに、さまざまな作品づくりが行なわれた。土日の2日間という短時間ではあったが、ユニークな作品が数多く開発され、披露された。実際にその現場を見に行ったので紹介しよう。
世界20都市で開催、レコード会社や大手企業が協賛
MUSIC HACK DAYは2012年にロンドンとボストンでスタートした、音楽をテーマにしたハッカソン。そのロンドン、ボストンのほかにも、パリ、ニューヨーク、ヘルシンキ、トロント、ストックホルム、カンヌ……など13カ国20都市で開催されてきたイベントだ。東京では2014年にスタートし、今回で4回目。MUSIC HACK DAY Tokyo 2019事務局によると、世界的な主催者がいるというわけではなく、「この趣旨に賛同してくれれば、MUSIC HACK DAYという名前、ロゴを使って、世界各地でやっていいですよ、となっているんです」とのこと。参加者からは参加費を取らずに、場所や食事、機材などを提供するというのも、世界共通のようだ。
もちろん、そのためには予算や場所などが必要となるわけだが、それは協賛企業を集め、そこから捻出している。その協賛企業として場所を提供したLINEのほか、レコチョク、ソニーミュージック、TuneCoreJapan、Amazon、ツクモ……といった会社が参加していた。
これら協賛企業からは機材の貸し出しやAPIの提供もあった。具体的にはVR機材としてVIVE PROやOculus Go、Gear VR、モーションキャプチャツールとしてPERCEPTION NEURON PROなど、APIとしてはLINEの各種Messaging APIやClova Extension Kit、レコチョクの歌詞検索APIなど。とはいえ、これらを使うことが必須というわけではなく、開発するメンバーが必要であれば使うことができるという形になっていた。
実際、現場に行ってみると、よく見かける人もチラホラ。筆者もよく音系のハッカソン現場を取材しているが、やはり音系を狙って攻め入る常連エンジニアは少なくなく、そうした人たちがここに集結していたわけだ。もっとも、今回のテーマはやや抽象的。「テクノロジーで音楽表現をアップデートせよ」というものであり、特定の機材を使うとか、指定のAPIを使うといった縛りもなく、自由。「いまある音楽表現をテクノロジーを使ってアップデートしようというコンセプトです。VRとかモーションキャプチャを使う製品などが多くなるのでは、と思っています」と、事務局の担当者はハッカソンの初日に語っていた。
もともと80人以上が申し込んでいたそうだが、参加費が無料ということもあったためか欠席も多かったようで、実際の参加者は50人を下回ったという。集まったメンバーは、初日の午前中に、自分のやりたいことをプレゼンテーションし、それを元にしてチーム分け。結局1人チームも含めて13チームに分かれて開発がスタートした。この13チームとは別に事務局側から声をかけたエキシビションチームというものがあった。それがよしもとクリエイティブ・エージェンシー所属のYouTuber、藤原麻里菜さんを中心とした3人の開発チームだ。藤原さんは「無駄づくり」をテーマに無駄でくだらないモノを作るビデオブログを展開するYouTuber。その藤原さんが音楽、音の世界での作品開発に呼ばれたわけだ。ただし、エキシビジョンチームは審査の対象外、一般から集まった13チームの中から審査員が最優秀賞を決めるとともに、協賛企業のうち3社がそれぞれの賞を出すという形だ。
無限Marshallアンプ、ダメ人間用楽器、交通事故を減らす曲、脱人間ライブなど
2日間のタイムスケジュールを見ると、開発する時間であるハッキングタイムは実質10時間程度。それで、どこまでの作品を作り込めるかが勝負となるわけだ。もっとも、ある程度プロとタイム的なものを作ってから参加していた人もいたし、Day 1からDay 2の間、自宅で徹夜で開発を続けていた人もいたようだ。とはいえ、2日間で開発したとは思えない、高度な作品がいろいろとでき上がっていた。
その成果は、2日目から各チーム持ち時間3分でプレゼンテーションが行なわれた。このプレゼンテーションの場には、審査員となる3人が最前列に並び、内容をチェックし、質問の時間も用意された。その審査員となったのは、メディアアーティスト・妄想インベンターの市原えつこ氏、ホロラボ CTOの島田侑治氏、VRアーティストのせきぐちあいみ氏の3人。
そのプレゼンテーションの一つ「Infinity Marshall」をビデオで紹介する。
これを見ると分かる通り、ギターアンプメーカーとして著名なMarshallのアンプ(正確にはキャビネット)を自由自在に積み上げたライブ会場をVRの世界で実現しようというのがコンセプトの作品。システム的にはVRシステムとしてVIVE PROを、また開発ツールとしてUnityを使って、その世界観を出している。とはいえ、このハッカソンで開発していたのは、VR空間での操作性や見た目だった模様だ。個人的にはMarshallアンプのシミュレータと組み合わせたり、音の立体感まで付けられると非常に面白いと思う。
プレゼンテーションが非常に上手いなと思ったのは、「ひとり酒に寄り添う楽器」を開発していた前述のYouTuber、藤原麻里菜さん。「ハッカソン中に、なんとかお酒を飲む理由を作りたい」、「私のようなダメ人間だけが奏でられる楽器を作りたい」という発想の元に、アルコールセンサーを内蔵したボトルを用意し、アルコールの度合いに応じて鳴る音色などを変化させられるシステムにしており、プレゼンテーション中にデモまで実現させていた。
ほかのほとんどにチームはコンセプトの説明や、システム概要の説明に終始していたため、プレゼンテーションを見ただけでは、どんな作品に仕上がっているかまではよく分からなかったのが正直なところ。とはいえ、実は、この後にタッチ&トライの時間が用意されていたので、各チームとも、そのタッチ&トライとプレゼンテーションをうまく切り分けたのだろう。審査員や参加者も含め、各チームの作品を体験する時間が30分程度作られ、みんなで見て回った。
筆者も一緒に見て回ったので、いくつかをビデオとともに紹介しよう。「CUVR」は2005年にヤマハが発表した電子楽器、TENORI-ONをルービックキューブ化した、というユニークなコンセプトのもの。
TENORI-ONは16×16のスイッチで構成されるシーケンサだったが、CUVRは8×8のシーケンサが6面で構成されているもの。TENORI-ON同様に適当に操作しても音が破綻しないようになっていて、同時に多人数でも操作できるという。それをVR上で実現していこうというわけだ。ハッカソンなので、プロトタイプではあるが、それなりに動くものに仕上がっていた。
「絵のでる楽器」は、楽器が魔法の杖のようになり、メルヘンの世界へ導いてくれるというツール。ここではアコースティック楽器であるクラリネットの演奏をマイクで検出した上で、それをCG演出にリアルタイムに反映していくものとなっていた。LINEのAPIも利用され、LINEでメッセージを送ると、そのメルヘンのCGの世界に文字として送り出される仕組みも搭載されている。これにより演奏者はVR空間に入りながら演奏を楽しむことができ、VRしかできない自由な表現を可能にしているという。
「タケモトピアノVR」は人がジャンプすると、それを検知してオモチャの鉄琴を奏でるというVRシステム。
白井式重力制御装置という「ぶらさがり健康機」にゴム製のスーツを取り付けた装置を利用して人のジャンプを捉え、着地するとディスプレイ内でUnity-chanが鉄琴を鳴らす仕掛け。その大がかりさが笑いを誘っていたが、その様子も紹介しよう。
「ささやきonLine♪」は、最近流行りのASMR(人が心地良さなどを感じる音)をオンラインで販売しようというシステム。
ここでは実際のシステムというよりも、ビジネスアイディアという感じではあったが、バイノーラルマイクを使って録音した音をアップロードし、LINE経由で販売できるようにすることで、ミュージシャンでなくても売る側に参加することができる、マーケットプレイスを作っていこうというものになっていた。
「IndipendentVR」はVRライブハウスを目指し、動画の生配信とは異なり、空間を自由に移動できてインタラクティブな体験ができることを目指して作ったというもの。
足踏みすると移動できる仕様にしたり、演出をSwitchのコントローラで行なえるようにするなど、アイディアはいろいろできていたが、目指したものが大きすぎて、構想の一部しか実現はできていなかったようだった。
「fm loop7」は、交通事故を減らそうというコンセプトの元、クルマの制限速度と白線の間隔の関係性から、BPMをはじきだし、制限速度内で快適なリズムを楽しめるようにする、というテーマのシステム。
東京の環状七号線を舞台として設定。環状七号線の信号情報などもリアルタイムにチェックしつつ、BPMにマッチした曲を選曲し、それをクルマの中で流す仕掛けとなっていた。
個人的に一番スゴイと思ったのは音楽と映像を自動的に生成させてライブパフォーマンスを脱人間化するという「LAG=Live Auto Generator」。
現在ではDJやVJと言われる人が観客の様子を見つつ音楽や映像を流しているが、これを自動化しようというシステムだ。Webカメラを使って会場にいる人、またリモートで見ている人の顔の表情を読み取り、そこから感情値を数値化するという。それを元にプログラムを自動生成し、それで演奏や映像を作り出しているのだ。
そのほかにも、鍵盤を弾いたコードをリアルタイムにコード表示させる「リアルタイム演奏情報を用いたメディア表現の考察」、写真でとらえたオブジェクトを元にそれにマッチした楽曲を再生する「みゅざわ」、バーチャルカラオケボックスの「V-Kara BOX」、ヲタ芸をすると元気に歌ってくれるが、動きが止まると機嫌が悪くなってしまうバーチャルアイドルの「EMBRION」などなど、ユニークな作品がいろいろあった。
最終的な結果発表においては、4つの作品が受賞となった。
受賞作品
最優秀賞：「絵の出る楽器」
tunecore賞：「ささやきonLine♪」
SME賞：「fm loop7」
レコチョク賞「IndipendentVR」
2日間で作ったシステム、サービスなので、これが即そのまま現実のサービスに結び付くかどうかは分からないが、面白い可能性を持ったアイディアもいっぱいだったように思う。こうしたことがキッカケとなって、新しいモノが生まれてくると楽しそうだ。
藤本健
リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。 著書に「コンプリートDTMガイドブック」(リットーミュージック)、「できる初音ミク&鏡音リン・レン 」(インプレスジャパン)、「MASTER OF SONAR」(BNN新社)などがある。またブログ型ニュースサイトDTMステーションを運営するほか、All AboutではDTM・デジタルレコーディング担当ガイドも務めている。Twitterは@kenfujimoto。