藤本健のDigital Audio Laboratory
第650回:曲に合わせて動く“歌詞アニメ”を簡単作成/共有。産総研「TextAlive」の仕組み
第650回:曲に合わせて動く“歌詞アニメ”を簡単作成/共有。産総研「TextAlive」の仕組み
（2015/9/14 12:14）
9月8日、産業技術総合研究所(産総研)と科学技術振興機構(JST)が共同でプレス発表会を行ない、音楽に合わせて歌詞が動く動画を容易に制作・共有できるサービス「TextAlive」(テキストアライブ)を公開した。
これは、以前発表された能動的音楽鑑賞サービス「Songle」および音楽視聴支援サービス「Songrium」と連携して動作するまったく新しいシステム。公開されたTextAliveのサイトにアクセスすることで、誰でも無料で簡単に使えるユニークなサービスとなっている。そのプレス発表会に参加するとともに、TextAliveのサービスにアクセスして少し使ってみたので、これがどんなサービスでどう使うものなのか、技術的にはどうなっているのかなどを紹介しよう。
初心者でも歌詞のアニメーションが簡単に作成可能
歌詞アニメーションというものをご存じだろうか? その言葉通り、歌の歌詞をアニメーション表示させたものだ。そう言われて、すぐに思いつくのはカラオケの歌詞表示だと思うが、カラオケの歌詞表示は発音に合わせて色が変わるだけの単純なものだ。そのカラオケの歌詞表示だって、自分で作成するとなると、かなり手間が掛かるものだが、歌詞アニメーションはそれを大きく発展させたものだ。まさにアニメーションとして表現力豊かに歌詞表示を演出させるものだが、これを制作するのには、かなり手間がかかる。表示タイミングを合わせるのはもちろんだが、フォントサイズの変化や色の変化、場所の変化や変形、さらには視覚的なエフェクトをかけたりと、一筋縄ではいかない。
そんな中、今回登場したTextAliveは、まったくアニメーションの作成などしたことがない人はもちろん、グラフィック制作も音楽制作もしたことのない人でも、簡単に歌詞アニメーションが作れるツールだ。かなりクリエイティブなことができるツールではあるけれど、どちらかというと音楽プレーヤーソフトの延長線上にあるもので、一般的なリスナーが使うツールという位置づけなのだ。まずは、実際どんな映像ができるのか、以下のビデオをご覧いただきたい。
視覚的にもなかなか楽しいビデオになっていることが分かると思うが、こうしたものがほぼ自動的に生成できてしまうのだ。
では、これはどうやって使い、どのようにして歌詞アニメーションを作るのだろうか? まずはTextAliveのサイトにアクセスするところから始めるのだが、ここで歌詞アニメーションをつけたい楽曲を探す。「いきなり曲を探すって、どういうこと? 」と思ったのだが、ここで利用できる曲はYouTubeやニコニコ動画、Piaproに登録されている曲であり、かつSongleにも登録されている曲である必要がある。
Songleについては、以前の記事で紹介しているので、ここでは詳細は割愛するが、これは同じ産総研のプロジェクトとして開発された「能動的音楽鑑賞サービス」と呼ばれるもの。音楽を自動的に解析し、どこがイントロで、どこがサビかといった構造や、コード進行、ビート……といった情報を見出すとともに、視覚的に表示させるというシステムだ。つまり、Songleによって解析した上で、歌詞アニメーションを生成していく、というわけなのだ。
では、その歌詞情報はどのように与えるのか? こちらもPiaproのテキストページまたは初音ミクWikiの曲ページに登録されている曲である必要がある。登録されていない場合は、自分でPiaproテキストページなどに登録するか、もしくはURLが拡張子「.txt」で終わるプレーンテキストに対応しているので、自分のサイトなどに自作曲の歌詞をアップロードして公開状態にしておくことでも利用できる。
この2つを指定すれば、あとはほぼ自動で生成してくれるのだ。
アニメーション作成の仕組みとは? 自由度の高い編集も
このTextAliveの開発を担当した産総研の情報技術研究部門 メディアインタラクション研究グループの研究員である加藤淳氏によると「Songleの音楽理解技術を利用し、楽曲と歌詞を照らし合わせて歌詞発音タイミングをシステム的に推定しています。そのため、人が発音タイミングを1文字1文字調整する必要なく、歌詞アニメーションが作成できるようになっています」とのこと。
といっても、ただ単に自動で歌詞が流れるだけでなく、自分の好みによって、いろいろと調整できるのがTextAliveの楽しいところ。まずは、デフォルトで4つのスタイルが用意されている。具体的には「ポップ」、「おとなしく上品」、「大胆不敵」、「シンプル」のそれぞれで、これを選ぶと、その場でアニメーションの雰囲気がガラリと切り替わるようになっている。その状況をデモしたのが以下のビデオだ。
「事前に動画を作っているわけではなく、リアルタイムでアニメーションを生成しているので、スタイルを選ぶとその場で切り替わるようになっているのです。こうしたシステムは世界初のものです」と加藤氏は語るが、ここで変えられるのはこの4つのスタイルに限らない。もっとずっとフレキシビリティの高いものとなっているのだ。
「動画を編集する」というボタンをクリックすると画面が切り替わり、この自動生成された歌詞アニメーションの編集画面となる。画面下にフレーズ、単語、文字、グラフィック、音量とあるが、まず重要になるのがタイミングだ。前述のとおり、自動的に歌詞の発音タイミングを推定してはくれるものの、やはり間違いも往々にしてある。そんな場合、実際の音を聞きながらタイミングを補正することができる。
また、1曲を通して同じ見せ方のアニメーションにするのではなく、フレーズごと、文字ごとに切り替えていくこともできるようになっている。具体的にはまず、変更したいフレーズや文字を選択した上で、フォントを変更したり、文字のサイズを変えられるほか、アニメーションに関する数多くのテンプレートが用意されているので、これを選ぶ。たとえば「縦書き配置」、「円の上を動く(ビート同期)」、「でかい文字」……などなど、いろいろあるので、ここから選んで指定していく。どのテンプレートにするかによって、アニメーション内容は大きく変わってくるし、それぞれのテンプレートごとにさらに細かなパラメータが用意されているので、これらを変えることでもさまざまなバリエーションに変化させていくことができるのだ。また、どのテンプレートを選んでも結構いいセンスに仕上がるのが面白いところでもある。
さらに、そのTextAliveの自由度は事前に用意されているテンプレートに留まらない。どのような歌詞アニメーションにするかをJavaScriptで記述できるようになっているのだ。分かりやすいのはテンプレートを記述しているJavaScriptのプログラムを見ることができるので、それをその場で修正してしまうこと。これによって、テンプレートのパラメータ操作だけではできないことまで可能になるのだ。
「テンプレートはJavaScriptで記述できるため、プログラミング可能である方なら、誰でもテンプレートを追加することができます。しかも、できたテンプレートは公開されるので、多くのユーザーで共有することができるのです」と加藤氏。そうしたプログラム変更についてデモしたのが以下のビデオだ。
作成した動画を公開/共有
このようにして作られた歌詞アニメーション作品は、共有できるのもTextAliveの大きな特徴だ。TextAlive上で保存をすると、そのまま公開されるため、ネットにアクセスできれば、世界中の誰もが見ることができる。でも、他人が作った楽曲、歌詞をそのままアニメーション化して公開することに、著作権的な問題はないのだろうか?
その点について産総研・情報技術研究部門の首席研究員、後藤真孝氏は次のように語る「そうした問題が起こらないように十分配慮して作っているのがTextAliveの特徴です。実際、このTextAlive自体は音楽データも歌詞データも直接もっていないのです。音楽はPiaproやニコニコ動画、YouTubeなどから直接再生しており、歌詞もPiaproなどのサイトから公開されている情報を持ってきて、その場でアニメーション化しているのです。TextAlive上のデータはいわばレシピのようなもので、素材であるデータはオリジナルのものをそのまま使っているため、仮に元データが消えれば、自動的に再生できなくなってしまうのです」と後藤氏は説明する。実際、表示される文字自体も著作権的にフリーで公開されているフォントを元にリアルタイムでレンダリングしているのだそうだ。
「このように著作権的に問題なく、2次創作として歌詞アニメーションを作ることができるので、楽曲を作る人は1枚絵のみでニコニコ動画などにアップロードし、その曲を気に入った人が歌詞アニメーションを作成して公開する、といったコラボレーションが活発化してくれるといいなと思っています」と加藤氏も語る。
ここで気になるのは、自分で制作した楽曲に歌詞アニメーションをつけた上で、YouTubeやニコニコ動画を使って公開できないのか、という点。これまでの説明から考えると、TextAliveで歌詞アニメーションを作成するためには、事前にニコニコ動画やYouTubeで公開してある楽曲を利用し、かつSongleに登録しておく必要もある。さらに、歌詞データもPiaproなどで公開しておく必要があるわけだが、音楽の製作者側の立場としては、初めて発表する楽曲に歌詞アニメーションをつけたい。
これについて質問してみたところ、加藤氏によれば「歌詞アニメーション自体もレンダリングした結果をファイルとして書き出す機能は設けていません。どうしてもという場合、動画キャプチャソフトなどを使ってファイル化するという方法がないわけではありませんが、あまりいい手段ではないですよね」とのこと。また、後藤氏も「技術的には可能ですが、このTextAliveのサービスとしては提供していません。著作権に配慮して、楽曲や歌詞をTextAliveから配信したりダウンロードできたりする形にはしていないからです。でも産総研、JSTの大きな目標の一つは産業界と連携してさまざまな応用を実現していくことです。まずは、こうした技術があることを多くの人に知っていただければと思っています」と語る。
以上、産総研で発表されたTextAliveについて紹介してみたが、いかがだっただろうか? TextAliveで利用できるのは現在のところ、ボーカロイド楽曲など一部のものに限られているのが実情だが、技術としては非常に汎用的に利用できるユニークなものなので、今後この技術が幅広く利用されるようになることを期待したい。まずは、どんなことができるのか試してみてはいかがだろうか?
藤本健
リクルートに15年勤務した後、2004年に有限会社フラクタル・デザインを設立。リクルート在籍時代からMIDI、オーディオ、レコーディング関連の記事を中心に執筆している。以前にはシーケンスソフトの開発やMIDIインターフェイス、パソコン用音源の開発に携わったこともあるため、現在でも、システム周りの知識は深い。 著書に「コンプリートDTMガイドブック」(リットーミュージック)、「できる初音ミク&鏡音リン・レン 」(インプレスジャパン)、「MASTER OF SONAR」(BNN新社)などがある。またブログ型ニュースサイトDTMステーションを運営するほか、All AboutではDTM・デジタルレコーディング担当ガイドも務めている。EPUBマガジン「MAGon」で、「藤本健のDigital Audio Laboratory's Journal」を配信中。Twitterは@kenfujimoto。