ニュース
視触覚クローン、HMDでVR映像、歌詞が動くスピーカー。デジタルコンテンツEXPO開幕
（2015/10/22 19:25）
コンピュータグラフィクス(CG)や拡張現実(AR)のコンテンツ、新たなディスプレイなどの最新技術を展示・紹介するイベント「デジタルコンテンツEXPO 2015」が10月22日に開幕した。会場は東京・お台場の日本科学未来館で、期間は10月25日(日)まで。入場は無料。
離れた相手に触れる「視触覚クローン」、動くボールに追従するプロジェクションマッピングなど
「視触覚クローン」は、2台用意された装置の片方に1人が手を入れて、もう片方に別の人が手を入れると、互いに触れたような感覚を擬似的に伝えられるというもの。
手に感触を与えているのは、超音波を集束させることによる細かな振動。超音波の波形を変えることで、受ける感触を変えられる。昨年、「空中触感タッチパネル」を展示した東京大学 大学院 新領域創成科学研究科 篠田・牧野研究室が開発している。
感触だけでなく相手の手も見えるが、2つの装置はカメラなどで撮影して伝送するのではなく、特殊なミラーの反射で互いに見えるようにしている。アスカネットの「エアリアルイメージング(AI)プレート」を使用することで、映像が空中に浮かんでいるように見える。装置の中に入れた手の動きは、奥にあるKinectで読み取っている。
手で触れあうだけでなく、例えば紙風船のような軽い物体を片方に置くと、もう片方から触ることで紙風船を押し出すことなどが可能。触覚を利用したコミュニケーションのほか、アミューズメント施設のアトラクションなどの用途も想定している。現在は「押す」感触を伝えるだけだが、例えば紙風船を持ち上げるといった他の動作もできるようにするなど、改良を続けていくという。
「EnchanTable」(エンチャンテーブル)は、映像キャラクターを机の上などに表示させるシステム。机の奥で表示した映像を、前述したAIプレートや机の反射などによって机にキャラクターが立っているような映像が浮かんで見える。さらに、机の上にカードなどを置くと、魔法をかけたように飛び出る映像が表示される。東京大学の苗村研究室が開発している。
ヘッドマウントディスプレイなどを使用しなくても裸眼で楽しめる点などが特徴。今後は、机の上に置かれた実際の物体と映像を連動させることなども検討中で、例えば机に置いたお菓子を下から磁石などで動かし、映像内のキャラがそれを動かしたように見せるといった例を紹介している。具体的な用途の一例として、デジタルサイネージで使うと人の目を引きやすい映像が作れるという。
デジタルサイネージ向けの技術としては、NHKが「Augumented TV」を展示。あるサイネージに表示された映像にスマートフォン/タブレットのカメラを見せると、スマホ画面ではサイネージ画面からキャラクターが飛び出てくるような演出が可能なもの。今回のデモ映像では、アノマロカリスなどの古代生物が画面から飛び出し、辺りを動き回ったりする様子をタブレットで見られる。タブレットのジャイロセンサーなどを利用し、本体を動かすことで見え方が変わる。サイネージ映像に埋め込まれたARマーカーを読み取ることで、タブレットと同期して表示できる。
「るみぺん2」は、物体に映像を投写するプロジェクションマッピングを進化させたもので、ボールなど動くものに映像を表示して、ボールが動いてもそれに映像が追従する。カメラで撮影した画像を1秒間に1,000枚処理できる技術や、プロジェクタの投影光軸を高速に制御できる回転ミラー(ガルバノミラー)を使用。これまで学会などで展示していた「るみぺん」は、カメラとプロジェクタを組み合わせた技術だったが、「るみぺん2」はそれを投写するために「再帰性反射材」というシートを背景に使うことで、対象のシルエットを鮮明にとらえ、安定した画像認識が行なえるため、暗い環境などでも物体の動きに映像が遅れず追従できるようになったという。
表情に合わせてアバターが動く「なりきろいど」。OculusなどのVRコンテンツ多数
ヤフーが展示しているのは、スマートフォンアプリとして4月に提供開始した「なりきろいど」。スマホのフェイスカメラでユーザーの表情を読み取り、それをアニメーションのキャラクターに反映させるというもの。キャラクターをアバターとしてチャットなどのコミュニケーションに使えるほか、動画をキャプチャして「歌ってみた」のような投稿動画としてアップロードするといった使い方がされている。
例えばユーザーが笑顔を見せるとキャラクターの目がハート形になり、怒った表情ではキャラも怒る。今後の展開として、ライブストリーミング配信での利用なども計画。ユーザーが顔を晒さずにアバターで表情豊かな生配信が行なえるというもので、アプリ単独で配信できるようにするか、ニコニコ生放送のような他のサービスと連携するかといった方法を今後検討していくという。
Oculus Riftなどのヘッドマウントディスプレイ(HMD)を用いた展示は今年も増えている。
“バーチャルリアル人形遊び”として展示されている「OcumaRion(オキュマリオン)」は、手元の可動フィギュアを動かすと、Oculus Riftで見ている3DCGキャラクターもそれに合わせて動くというもの。セルシスの人型入力デバイス「クーマリオン」を使ったもので、映像のキャラクターに実際に触れているような現実感を味わえるという。企業のイベントなどでの活用を想定している。
スマホアプリの「ぱられるダイバー」は、3DCG投稿サービスの「ニコニ立体」と連携し、投稿された人型のキャラに動きを付けられるというもの。音楽に合わせてキャラが歌いながら踊るステージを、「Milbox」や「ハコスコ」などのVRシステムで立体視聴できる。このシステムには、セルシスの3Dコンテンツ制作ソフト「CLIP STUDIO ACTION」の技術が用いられている。今後は、単に観賞するだけでなく、何らかのインタラクティブ性を持たせることなども検討しているという。
Live2Dは、360度の立体表現も可能になった2Dキャラクター表現技術「Live2D Euclid」を展示。2Dキャラを、様々な角度から描いたカットを原画として用意することで、それらをつなぎ合わせ、3Dキャラクターとして活用できるもので、ゲームなどインタラクティブなコンテンツのほか、アニメ制作での利用も想定。
その応用として、Oculus Riftを用いたVR映像の「Euclid×VR」をデモ体験可能。Oculus Riftを装着したユーザーの目の前にキャラクターの「Meryl」が現れて“大事な話”をするという内容。Merylの話に対し、ユーザーがうなずく、または首を振るのどちらかで返答することによって、Merylが異なる反応を示す。
曲に合わせてスピーカーが歌詞表示。ヤマハはミュージカルをアプリで自動翻訳
「Lyric Speaker(リリックスピーカー)」は、スマホで再生している音楽を、Wi-Fi接続したスピーカーで聴きながら、独自の動きを持たせた歌詞も同時に表示できるというもの。再生はスマホの専用アプリで行ない、歌詞はインターネット経由で取得したものを使用。表示は透過型の液晶ディスプレイを使用し、再生する曲のムードや構造を読み取り、「明るい」や「エネルギッシュ」などカテゴリ分けして、それに合わせた動きで歌詞表示に違いを持たせている。
スピーカーは'16年6月に発売予定となっているほか、歌詞表示を行なうAPIを、スマートテレビなど他の機器メーカーにも提供予定。“進化した歌詞表示”を様々な形で楽しめるようにすることが狙いだという。
ヤマハは、駅などのアナウンスをスマホで自動翻訳して文字化する技術を用いた「おもてなしガイド」を展示。インターネットへの接続が不要で、音と同時に発した信号をスマホのマイクに認識させることで、専用アプリの「おもてなしガイド」上で翻訳された、日本語/英語/中国語/韓国語などを表示可能。電車の遅延情報などのアナウンスを、外国人も正しく知ることができる。歌声合成技術のVOCALOIDを手掛けた開発者などが参加している。
実用化に向けた実証実験が進められており、成田空港や関西空港など交通分野のほか、イオンモール幕張新都心、成田や、高島屋京都店、渋谷センター街などでも実施。アミューズメント施設のサンリオピューロランドでは、上演されるミュージカルを多言語で楽しめるという外国人観光客などをターゲットとした取り組みも実施されている。
