AIだからできる自動作曲とは? 企業の「AIサウンドロゴ」作り方を聞いた

'18年12月18日、クリムゾンテクノロジーが「AI自動作曲システム brAInMelody(ブレインメロディー)」を応用し“AIサウンドロゴ”を開発したと発表した。これはフコク生命をクライアントに持つ広告代理店の大広とクリムゾンテクノロジーによるプロジェクトとして行なわれたもので、実際にAIがフコク生命のサウンドロゴを制作している。

クリムゾンテクノロジー「brAInMelody」

これまでも自動作曲には色々なものがあったが、いよいよ商用に耐え得る作曲が可能な時代に入ったということなのだろうか? そして具体的にどんなことをしているのか? いよいよAIが作曲者をおびやかす存在になったということなのだろうか? 実際にAI自動作曲を実現させたクリムゾンテクノロジー代表取締役の飛河和生氏、そしてbrAInMelodyのエンジン部分に携わっている東京都市大学のメディア情報学部情報システム学科 大谷紀子教授に話をうかがった。

クリムゾンテクノロジーの代表取締役の飛河和生氏(左)、東京都市大学のメディア情報学部情報システム学科の大谷紀子教授(右)

東京都市大学

「AIにしかできない作曲」に挑戦

実際のインタビューに入る前に、まずはフコク生命のサウンドロゴの制作ドキュメンタリーである以下のビデオをご覧いただきたい。

これはフコク生命の100周年に向けた記念事業「AIと職員でつくるサウンドロゴ－100周年プロジェクト－」のビデオ。ここからもわかる通り、フコク生命の多くの社員が協力する形で、それぞれが自分の思いで「フコク生命」にメロディーを付けて歌ったものを録音。計160個集まった歌声のデータを元に、AIがサウンドロゴを生み出しているのだという。

――このビデオを見ると、社員のみなさんそれぞれが歌っているようですが、これは何を目的にどんな条件で歌っているのでしょうか?

飛河氏(以下敬称略)：歌詞は「フコクセイメイ」の7文字。「この歌詞を3秒以内でメロディーをつけて歌って、スマホに録音してください」というお願いをしています。こんなに多くの方が参加してくれたのは予想外でしたが、本社33部門中32部門から70個、62支社中44支社から89個、および社長から1個の計160個の音声データが集まりました。中には歌っているというより、単に喋っている人もいましたが、それもすべて強制的にメロディーとして捉えた上でデータ化し、それをbrAInMelodyへと受け渡しているのです。ここではいったんMIDIデータ化した上で譜面データに変換して大谷先生に渡しています。

飛河和生氏

大谷：社員のみなさんに歌ってもらう際、「あなたが思うフコク生命のイメージについて該当するものを1つ選んでください。(明るい，優しい，真面目，親しみ，寄り添う，伝統，希望，信頼，未来，応援)」というアンケートも行なっています。その結果がこの円グラフです。これを見てもわかる通り、社員のみなさん、それぞれがいろいろな思いを持っていることが分かります。

大谷紀子教授

社員へのアンケートの結果

――この「明るい」や「優しい」、「真面目」……といったイメージも譜面データと一緒にデータとしてbrAInMelodyに取り込んでいるわけですか?

大谷：いいえ、これはあくまでもみなさんのイメージに偏りがないかのチェックをする目的でした。この結果を見る限り、各イメージを持つ人数に多少の差はあるものの、いずれかのイメージに大きく偏ることはなく、多様なイメージを持つ社員がいることがわかります。多数の社員がそれぞれ抱いている企業イメージをサウンドロゴに反映させることを目的として、企業名サウンドロゴのメロディを生成する手法を提案したのです。

――AIが自動作曲しているとのことだったので、プロの作曲家を超えるメロディーをAIが作り出すということなのかと想像していましたが、それとはちょっと違いそうですね。

飛河：そうですね。決してプロよりもすごいメロディーを作ろうというのではなく、社員みんなの思いをすべて吸い上げてメロディーを作るという、AIでしかできないことにチャレンジしたのです。従来であればプロの作曲家に依頼してサウンドロゴを作るわけで、この作曲家がいくら多くの人の思いを受け止めたとしても、作曲家のクセが出てしまうし、みんなの思いを反映させるというのは人間にはできないことです。ここでは160個集まった思いを元に、人の意思が入らない形でサウンドロゴを生成しているのです。

――スマホで録音したデータを元にMIDIデータを生成し、それを譜面化しているとのことでしたが、これは自動的に行なっているのですか?

飛河：いいえ、これは全部人力です(笑)。最長2小節という形でデータ化しているのですが、これには、それなりのノウハウが必要になります。実は当社では、もともとそうしたデータ化を事業として行なっているために実績があるのです。特許庁で音の商標の出願が可能になっていますが、その際に提出される楽譜とサウンドーデータ(WAVファイル)が合致しているかを調べるという仕事を当社が請け負っているのです。これは公開入札で得た業務なのですが、たとえば「こんにちはー」という言葉であっても「タッタララー」のように解釈し、それを音符化していくのです。そのノウハウを今回のプロジェクトでも利用しています。

――なるほど、そこは完全なる人力なんですね! いずれは、これもコンピュータ化ができそうな気もしますが、やはり人力だと苦労も多そうですよね。

飛河：トラブルというか、例外データのようなものもいろいろありましたから。「3秒以内」という条件はつけていたのですが、中にはすごい長い曲で歌っている人もいて、申し訳ないけど、それについては最後の3秒だけを抜き出しました。また大勢で歌っているものもあったのですが、聞いてみるとタイミングもメロディーもバラバラ(笑)。その場合は一番目立っている人のメロディーを抜き出しました。またギターで伴奏しならら歌ってくれている人もいたりで、すごく強い思いで挑んでくれているんですよね。ギターの伴奏のものは、もちろん一番簡単にメロディーを抜き出せましたよ。

――そのようにしてデータ化したものを元に、何をどうしているのでしょうか?

大谷：このデータから調、速さ、譜割り、メロディを社員のみなさんが持っているイメージの特徴として抽出します。これを特徴学習機能、メロディ生成機能を用いて、メロディにしているのです。

各メンバーが録音したデータを楽譜化、メンバーが持つイメージの特徴を盛り込んでメロディを生成

メロディの具体的な作り方。最終的に人の力も

――どうやってメロディを作り出しているのか、もう少し詳しく教えていただけますか?

大谷：ここでは、「遺伝的アルゴリズム」という手法を用いて作曲を行なっています。生物は環境に適応するように進化してきたわけですが、そこからヒントを得た手法です。良いものと、良いものを掛け合わせることで、より良いものができる、という手法ですね。160あるサンプルには、それぞれに調、速さ、譜割り、メロディと特徴を持っています。これを掛け合わせることで、無数の曲が出来上がるのですが、これらが最低限の音楽理論を満たしていないと聴くに耐えないので、それはフィルタリングします。そのうえで、より多くの特徴を盛り込んでいるものをピックアップしていくのです。

「遺伝的アルゴリズム」を採用

――つまり、160集まった作品の特徴をより多く備えたものがいい、ということですね。

大谷：そうですね。まさに無数の曲ができるので、私がボタンを押すたびに、異なる曲が生成されます。もともと集まったメロディは長調のデータが108個，短調のデータが52個となっていました。一般に、最初から決められた1つを提示されるより、複数の選択肢から選ぶことでより満足度が高まることから、ここでは長調のデータを用いて3つ、短調のデータを用いて2つのメロディを生成し、試聴用のサウンドロゴを5つ作成しています。

作成された5つの試聴用サウンドロゴ

飛河：これを周年記念事業メンバー10名の選考により最終的に採用するサウンドロゴを決めてもらいました。もっとも、コンピュータが作り出したメロディだけを聴いてもらってもピンとこないので、これは人間のアレンジャーに仮の編曲をお願いし、聴きやすい形にした上でプレゼンしています。その結果、選ばれたものを、よりしっかりした形で編曲してもらって、最終作品にしています。

――なるほど、確かに自分たちがスマホに吹き込んだメロディをAIが解釈して、みんなの思いを元に作ったサウンドロゴだ、と言われると協力した人たちの満足度も上がりそうですね。

飛河：はい、そこがAIサウンドロゴの狙いです。これが一般的な曲として素晴らしいかどうかというよりも、みんなの思いが込められたサウンドロゴであるということに意義があるわけです。一般的にいう自動作曲とはずいぶん違うものであるのも事実です。従来は作曲が目的だったわけですが、ここでは自動作曲は手段に過ぎません。大きな目標は人の感性をより豊かにすること。作曲家の仕事を奪う…というものではないのです。作曲家の感性は大切なものですし、それは尊重していきます。それとはまったく別のものとして、みんなの思いをまとめて作品にするということを行なっているわけです。もともとbrAInMelodyは大阪大学 産業科学研究所の沼尾正行教授の研究を元に進めているもので、今回のAIサウンドロゴは、その一例として取り組んだものなのです。

遺伝的アルゴリズムの様々な応用例

――大谷先生は、ずっと音楽の研究をされてきたのですか?

大谷：まったくそうではないんです。遺伝的アルゴリズムには、いくつかの種類がありますが、その1つの方式について2000年ごろから研究を続けていました。その適用分野は本当に多岐にわたるので、いろいろなもので使ってきました。私自身がもともと沼尾先生の元にいたことで、このプロジェクトに入って音楽についてもやっていますが、音楽は今も勉強中です。そんなわけで、私が入っている学会も、土木、物流、生物……といろいろな分野に参加しています。

――土木に物流ですか!?

大谷：たとえば、CO2の排出力が一番少なくなるような荷物の配達経路を探すといった命題に対し、この遺伝的アルゴリズムが役に立つのです。通常の最短経路検索ではうまくいかず、できるだけ重たい荷物を早く下すというのがポイントとなり、このシステムが利用できるのです。この東京都市大学のキャンパスにもいろいろな分野の先生がいて、多方面から声を掛けられるので、それぞれの分野で取り組んでいます。学生たちもいろいろな分野に遺伝的アルゴリズムを適用した研究を行なっています。これは学生の作った作品の一つですが「チェックメーカー」というユーザーにお勧めのチェック柄を作成するシステムがあります。これを使ってみると、遺伝的アルゴリズムとはどんなものなのか、少しつかめると思うので、ぜひ試してみてください。

――今回はフコク生命のサウンドロゴでしたが、今後これは事業として展開していくのですか?

飛河：ぜひそうしていきたいと思います。今回は160ものデータが集まりましたが、理論上は2つ以上あれば作成することは可能ですので、小さなベンチャー企業から大企業に至るまで対応することは可能です。もっともサウンドロゴ生成は、brAInMelodyの活用法の一つなので、まだまだいろいろな形での実用化を模索していきたいと思っています。