CEATEC JAPAN 2009【AR技術編】

　経済産業省のコンテンツ国際取引市場強化事業「ライフコンテンツ・フロンティア」のブースでは、音楽や動画などのコンテンツ技術の新たな可能性を模索する取り組みが紹介されている。複数のメーカーや団体が、AR(Augmented Reality/拡張現実)を応用したコンテンツ技術を展示していた。

ヤマハ、頓知ドットなどのブース

　ヤマハは、iPhone用アプリ「セカイカメラ」の頓知ドットらと共同でブースを展開。ピアノと最新技術を組み合わせた「音を楽しむ喜び」を提案している。

　ピアノの演奏情報(MIDI)をネットワーク経由でリアルタイム伝送する技術の紹介として、iPhone/iPod touch向けに提供されているピアノアプリ「Finger Piano Share」(株式会社電算システム製)とリアルの電子ピアノを連動させるデモを実施。このアプリは、画面のガイドに従ってリズムゲームの感覚で誰でもピアノが弾けるというもので、iTunesのApp Storeで公開中。ユーザーから投稿された楽譜を共有できることが特徴となっている。

Finger Piano Shareと電子ピアノで同じ楽曲データを共有可能

　今回のデモでは、このアプリの楽曲データをサーバーにアップロードして、電子ピアノと共有。アプリで弾いた楽曲を、無線LAN経由で電子ピアノに演奏させることができるほか、電子ピアノでの演奏を記録して、アプリと共有することも可能。無線LANなどの遅延も加味して同期演奏ができるという。デモではサーバーに記録してあったデータを使って、アプリと電子ピアノのセッションも行なった。

　また、自動演奏対応のヤマハ製グランドピアノ「ディスクラビア」で演奏したビデオをYouTubeにアップロードしておいて、別のピアノでその曲がビデオに合わせて自動演奏されるというデモも行なった。映像と、演奏情報の同期信号、時間情報を元にして、他のディスクラビアに演奏データがサーバーから呼び出され、映像と同期して演奏を行なうという。有名なピアニストの音が自分のピアノから奏でられる、といったことが現実になるとしている。

リアルタイムMIDI伝送技術の特徴	サーバー上の演奏データに合わせて、2台のiPhoneでセッション	ヤマハの「ディスクラビア」

離れた場所での同期演奏を可能にする、楽器演奏と動画の配信技術	YouTubeにアップロードした動画と会場のピアノで同期演奏が行なわれた	プロのアーティストによる演奏が生のピアノの音で聴けるというデモも

　そのほかの利用例として提案されたのは、自分の演奏記録をサーバー上に時刻情報とともに積み重ねていく「Piano Lifelog」。これは、子供の成長記録としての利用のほか、自分の演奏を客観的に見ることで演奏技術の向上を図るといった使われ方が想定されている。

Piano Lifelogの利用イメージ。「幼い頃の演奏をピアノが覚えている」とする		Piano Lifelogの概要

　また、ヤマハの音声合成エンジン「VOCALOID」をこれらの演奏技術と組み合わせたデモも実施。VOCALOIDの歌声合成と同時に、ロボットの振り付けも合成するというもので、リップシンクなどロボットの動作とピアノの伴奏、VOCALOIDの歌声が完全に同期されるという。

　今回は、VOCALOIDのβ版「CV4Cβ」と、独立行政法人産業技術総合研究所(産総研)のロボット「HRP-4C 未夢(ミーム)」を使って、ピアノの自動演奏がコラボレーション。未夢の口の動きとVOCALOIDの歌、ピアノが同期して、見事なライブが実現した。

 　また、iPhoneのカメラを通じて見える世界に、様々な「エアタグ」という情報がつけられるAR技術「セカイカメラ」との共同技術として、前述の「Piano Lifelog」のサーバー上のデータをエアタグにするという試みもなされている。今回、VOCALOIDと未夢に歌って欲しい曲をリクエストする際に、セカイカメラからエアタグを飛ばすことで受け付けられるという方法が採られていた。

産総研の「HRP-4C 未夢」	歌声合成とロボット操作、自動伴奏のデモ概要	セカイカメラとヤマハのコラボレーション内容

■ そのほか

　五十嵐デザインインタフェースプロジェクトは、テーブル内に埋め込まれたディスプレイを使って、実際に部屋にある家具や家電を操作するAR技術「CRISTAL」(Control of Remotely Interfaced Systems using Touch-based Action in Living spaces)などをデモ。

　システム内に保存されたDVDや写真などのコンテンツを、ユーザーがディスプレイ上でテレビやデジタルフォトフレームのアイコンにドラッグ&ドロップすることで、部屋のテレビなどで再生できるというもの。早送りや巻き戻しなどの操作も直感的におこなえるという。また、照明のアイコンを触ってON/OFFすることも可能なほか、掃除ロボットに掃除の指示を行なうこともできる。

　聴覚障害者向けに、DVDビデオ用の字幕をネットワーク経由で提供するサービス「字幕をつけ隊! 」を運営するキュー・テックは、これまでのPCやPSP向け字幕配信に加え、ニコンのヘッドフォン一体型ヘッドマウントディスプレイ「UP」に多言語字幕を配信するという技術を紹介。テレビで再生される邦画に合わせて、英語の字幕をUPに表示するデモを行なっていた。言語や障害などの壁を越えたソリューションとして、家庭や劇場での普及を目指すという。

「CRISTAL」のデモ。ディスプレイ上の照明にタッチすると明かりがついた		CRISTALの概要

ニコン「UP」を使った多言語字幕配信のデモ		エイチアイのブースでは、携帯電話を使って観光名所の案内情報や周囲の交通情報が取得できるAR技術を紹介