藤本健のDigital Audio Laboratory
第728回
プラネタリウムやヘドバンが音楽作品に? ハッカソンで音と映像をつなぐ制作
2017年6月26日 13:18
6月24日と25日の2日間、神奈川県南西部にある真鶴町で「Creators Camp in 真鶴」というイベントが開催された。これは「START ME UP AWARDS」というエンターテインメント業界横断型の起業支援コンペティションの関連イベントとして行なわれたもので、今年で3回目の開催となる。
プロの作曲家・作詞家などが集まって複数名で共同の楽曲制作を行なう「コーライティング・キャンプ」、アマチュアの作曲家やDTMユーザーなどが集まって楽曲共同制作を行なう「コーライティング・ワークショップ」のほか、地元の子供たちに音楽制作を教える「キッズ・ワークショップ」、そして音楽とテクノロジーを組み合わせた作品制作を行なう「ハッカソン」の4つのイベントが並行して開催。筆者も昨年に続いて2回目の取材となったが、今回もハッカソンを中心に見てきたので、その内容についてレポートする。
「TouchDesigner」で制作する音楽ハッカソン
昨年のCreators Camp in 真鶴でのハッカソンは「Musician's Hackathon」と題し、ミュージシャンとエンジニアやデザイナなどがチームを組む形で一泊二日で作品作りが行なわれ、それぞれテーマは自由に取り組んでいたが、今回は「Overnight's Creattion in 真鶴」と題し、「TouchDesigner」というツールを用いて作品作りをするハッカソンとなった。
TouchDesignerというツールは、最近は国内においても急速に普及しはじめているようだが、これはカナダのDerivativeが開発したプログラミングツール。今回のハッカソンのまとめ役であり、TouchDesigner User Group Japanの代表、松山周平氏は「TouchDesignerはコーディングしていくプログラムツールというよりも、モジュールとモジュールを線で接続していくことで開発できるビジュアルプログラミングツール。MAX/MSPなどとも近い雰囲気のもので、音と映像を同じように扱い、接続できるというのが大きな特徴です」と説明する。
有料ソフトではあるが、商用での利用でなく、出力がマルチプロジェクターでなければ、基本的に誰でも無料で使えるのも大きな特徴。商用利用であっても600ドルで購入できる安価なシステムではあるが、実際に見てみると驚くほどの機能・性能を持っているようだ。最大の特徴はリアルタイム性。たとえば、音をオーディオで入力して、それをFFT分析して映像として表示させるといったことは当たり前の機能として装備するほか、入ってきた音圧を分析し、ある一定以上の音圧ならAの動画を表示し、一定以下ならBの動画を表示するとか、音の周波数帯によって、それにマッチしたビジュアルを表示させる……といったことが可能。また、オーディオの入出力だけでなく、MIDIの入出力を行なったり、OSCに対応させたりといったこともできるなど、音と映像をシームレスに繋ぐことができるツールとなっているのだ。
今回のハッカソンでは5つのチームに分かれて、作品作りが行なわれたのだが、各チームとも、事前にアイディアは決めており、ある程度のところまでは作ってきた上で、現場でまとめ作業を行なっていくという感じではあったが、なかなか面白い作品が集まった。どんな作品ができたのか、順番に紹介していこう。
楽器やボーカルに合わせて“網のスクリーン”に映像表示
まず1つ目の作品は、初日の夜に、真鶴の漁港で行なわれたライブ。まずは、以下のビデオをご覧いただきたい。
これは「DAW女シンガーソングライター」として活躍する小南千明さんの演奏と歌に、ガットギターで小木岳司さんが参加するというライブ。
この演奏をリアルタイムにビジュアル化して、網のスクリーンに映す出すという、ちょっと幻想的なものになっていた。まず小南さんが演奏するシンセサイザのMIDI出力をTouchDesignerに入れて音程信号を縦型の鍵盤のように表示。
同時にシンセサイザとボーカルの音をミックスさせたオーディオを別PCのTouchDesignerに入力。これをオーディオ解析した上で、ドラムのキックやスネアなどを検出し、これを元にDMX信号を利用してレーザー光を照射したり、ムービングライトにも利用されている。また文字は手動で出しているがこの文字への色づけもオーディオ信号をベースに行なっている。
さらに、これとは別に小木さんのギター演奏をPCにオーディオ入力してGuitar MIDI 2というソフトを使ってリアルタイムにMIDI変換。これをさらに別のTouchDesignerに送って、DMX信号を経由した上でLEDの点灯に利用している。
ただ、実は現場でなぜかGuitar MIDI 2がうまく動作しないという問題が発生。いろいろ応急処置を図ったのだがうまく解決することができず、港では代替する機材やケーブルなどもない。しかたなく、ノートPCの内蔵マイクで全体の音を捉えた上で、LEDの点滅に活用したのだ。演奏と映像のインタラクティブ性がやや分かりにくかったのが残念だったが、翌日の夕方に地域情報センターで行なわれた全体発表会においては、さまざまなトラブルを克服した上で再度のライブが開催された。
こちらは会議室でのライブではあったが、ギターの音程によってLEDが光ったり、ボーカルの大きさに応じて緑色のレーザー照射の模様が大きくなるなど、より分かりやすい演出になっていることが分かるだろう。
プラネタリウムと演奏が連動
2つ目は真鶴町立まなづる小学校の屋上に設置されているプラネタリウムを利用した作品。
これは、プラネタリウムの中で2人のプロミュージシャンが開発メンバーとともにジャズの演奏を行ない、その演奏に合わせ、プラネタリウムの天井にアニメーションを表示させるというシステムだ。チームリーダーの竹内伸氏によると、もともとはライブステージをカメラで捉えてVR化させるとを考えていたが、さらに一歩進めた考え方として、各プレイヤーの演奏を実写ではなく、アバター化することを思いついたという。このアバターによる演奏を、実際のプレイヤーが弾くのをリアルタイムに描写できれば面白いだろうと、TouchDesignerとUNITYを組み合わせたシステムを作ったという。
先ほどの小南さんのライブと同様に演奏情報をTouchDesingerに入れているのだが、こちらは6人の演奏すべてがMIDIで直接入力されている。そしてそのMIDI情報をTouchDesingerを経由して、音程(NOTE)信号と、音強(Velocity)信号をOSCを使ってUNITYへ送り、UNITYでアニメーションを動かしている。
ピアノを演奏するとアバターのキーボードが動いて演奏している風になるのと同時にここから花火のようなものが打ちあがる。またベースを弾くと蛇の首が伸び、ボコーダーを使って歌うと、蛇が口から火を吹くといった具合だ。こちらも、直前でややトラブルがあったようで、火を噴くシーンは現れなかったが、プラネタリウムでの演奏というなかなか不思議な体験であった。ちなみに、プラネタリウムの天井への投写は5,000ルーメンのプロジェクタにコンバージョンレンズを取り付けて行なっているとのことだったが、違和感ない投写ができていた。
“よく寝ること”がミッションのプロジェクト?
3つ目は「夢クラゲ」と題された、変わった作品だ。チームリーダーの岩間達也氏によると「最近、ぐっすり眠ることができないので、真鶴に行ったら、美味しいものを食べて、ゆっくりしたいところです。でもハッカソンに行くと、いつも夜中まで頑張ってしまうから、かえって疲労困憊になってしまう、という問題があります。そこでこれを解決すべく、寝ることをミッションにしたプロジェクトにしました」と説明する。
そこで今回開発された夢クラゲは2つの指にはめるセンサーを用いて人間のストレスを検知し、それを数字で表示させるとともに、その動きに合わせてクラゲの浮き沈みで表現。眠っているとどのような数値になるかを測定し、そのログから眠りの深さなどをチェックしようというのが今回の目的となっていたのだ。より快適な眠りを得られるように、石川泰昭氏が音楽を担当し、サラウンドで鳴らせるBGMを作成している。
自分たちがゆっくり休めるように、プログラムも音楽も真鶴に来る前にほとんど完成していたため、いち早くデモに入っていた。しかもデモ会場となっていたのは、真鶴の古民家を活用した施設、コミュニティ真鶴の和室。ここの各部屋で各チームとも開発を行なっていたのだが、過ごしやすそうな環境になっていた。
ちなみに、このセンサーはArduinoにGSR(Galvanic Skin Response)センサーというものを取り付けたシステム。これは電気性皮膚反射をセンシングするためのもので、精神的刺激により発汗活動と皮膚の電気抵抗の変換を測定する装置となっている。
ただし、実はこのチームだけはTouchDesignerを使っておらず、やはり無料で使えるUnreal Engineというゲーム用のエンジンを使っているとのこと。これもTouchDesignerと同様のビジュアルスクリプト型の開発ツールであり、岩間氏がこれに慣れているから、今回はUnreal Engineを使ったそうだ。
“ヘドバン”に映像が連動
続いて、このコミュニティ真鶴の地下駐車場を使って行なわれたのは、ヘヴィメタルライブステージ。パフォーマンスしたのはコーライティング・セッションに参加していたメンバーなど3人だが、まずは、以下の映像をご覧いただきたい。
このように真っ暗な会場でプレイする3人には、映像が照射されているが、実はこの映像は3人の演奏者の頭の動き、いわゆるヘッドバンギングに合わせて動作するようになっている。弾いている人の頭とギターのヘッド部分に小さな加速度センサーが取り付けられており、ここでの動きを検知するようになっている。
このセンサー自体はボタン電池で動くが、このセンサーが検知した動きの情報をコンピュータ上のTouchDesignerへ送るために、ZigBeeを用いて無線伝送しているとのことだ。さらに、ここではもう一つ別のセンサーも動いている。会場側でサイリウムのようなものを振っている人がいたが、実はあれはiPhoneやAndroidなどのスマートフォン。会場にはQRコードが置かれており、これでアクセスしたサイトに行くと、サイリウムのような色の画面が出てくるのと同時に、スマートフォンを振った情報がAmazonのサーバー経由で送られ、それがTouchDesignerに届くようになっていたのだ。まさに、ヘビメタライブでの演奏者と観客の動きを映像化するシステムとなっていたわけだ。
開発した2人は普段はデジタル系の広告代理店で制作を担当されている方々。これまでTouchDesignerは使っていなかったが、この日のために1カ月前から使い方を学んでいたという。「TouchDesignerはまだ慣れていませんが、直感的で使える面白いツールだと思いました。当初、プログラミングに慣れている僕らからすると、従来通りの作り方のほうが早そうな気がしましたが、こうしたものを作ってみて、インタラクティブとの相性の良さに驚きました」と話していた。
最後のチームが行なったのは、“髪の毛をセンシング”して映像に活かそうというもの。まずは、以下の映像をご覧いただきたい。
ここでは、髪の毛に花をつけたダンサーが躍ると、その髪の毛の揺れに応じて映像が動いているのだ。実際には髪の毛そのものの動きではなく、ダンサーの髪の毛に施した花の軌跡を赤外線カメラで追い、その情報を元にグラフィックを生成している。この際、大きめな動きをすると、ダンサーの前にあるスクリーンに映像が投写され、小さい動きのときは床にも映像が照射される形になっている。
今回のハッカソンでは、オーディオやMIDIを元にグラフィックを作り出す作品を紹介してきたが、この作品ではそうしたもののほかに、髪の毛の動きに応じて音を発生させるという仕組みも取り入れられている。そうTouchDesignerはシンセサイザ的な機能も装備しているので、楽器的に音を鳴らすこともできるのだ。具体的には回転したり、オーバーアクションをすると音が出るようになっているのだ。実際に見ていても、とてもキレイな作品に仕上がっていた。
以上、Creators Camp in 真鶴でのハッカソンの発表作品について紹介してみたが、今回初めてTouchDesignerがどんなものなのを知って、興味を持ったところだ。帰宅して、さっそくインストールしてみたところ、現場で見たのとそっくりな画面が出てくる。まだ手探りな状態ではあるが、いろいろと使ってみたら面白そうだ。
見ていただいても分かったと思うが、今回のイベントは真鶴町が全面的な協力をしてくれたおかげで実現したもの。実は、真鶴町は人口減少が進んでおり、今年2017年、神奈川県内で初めての過疎地域に指定されてしまった。こうしたイベントを定期的に開催することで、クリエイターを町に呼んで活気をづけようという意図や、できれば定住してもらいたいという思惑もある。一方でクリエイターも、自然がいっぱいで静かな場所で過ごせて、美味しい魚も食べられる場所ということで、ここに来るのをすごく楽しみにしている面もある。こうしたイベントなどが、これからの新しい町作りというものにつながっていくと面白いことになりそうだ。
藤本健
リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。 著書に「コンプリートDTMガイドブック」(リットーミュージック)、「できる初音ミク&鏡音リン・レン 」(インプレスジャパン)、「MASTER OF SONAR」(BNN新社)などがある。またブログ型ニュースサイトDTMステーションを運営するほか、All AboutではDTM・デジタルレコーディング担当ガイドも務めている。Twitterは@kenfujimoto。