ニュース
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO
2017年10月27日 21:46
コンピュータグラフィクス(CG)やバーチャルリアリティ(VR)、人工知能(AI)などを用いた最新のコンテンツ技術を展示・紹介するイベント「デジタルコンテンツEXPO 2017」が、東京・お台場の日本科学未来館で27日開幕した。開場時間は10時～17時、期間は10月29日(日)まで。入場は無料で入退場自由。
企画展示の見どころのひとつが、ヤマハが開発したAIを用いた合奏技術。1階ロビーのブースではこの技術を搭載したスマートフォンアプリ「ふこうよアンサンブル」と、実際の楽器を用いた合奏体験ができる。さらに7階のホールでは、合奏技術を搭載したPCソフトとピアニスト・ユーフォニアム奏者の共演を観覧できるミニコンサート「みらいのアンサンブル」(予約制、当日席有り)を実施している。
1階ブースでは、アニメ「響け! ユーフォニアム」のタイアップアプリ「ふこうよアンサンブル」に、このAI合奏技術を搭載した特別版を参考展示。ユーフォニアム、トランペット、キーボードの3種類の楽器を用意しており、来場者が実際に演奏可能。iPhoneのマイクからアプリに入力された音を認識し、その音にあわせて登場キャラクターが指導役として一緒に演奏(伴奏)してくれる。音程を外したり演奏スピードが遅いと、キャラクターが様々な台詞でアシスト。演奏が止まるとAIの合奏も止まり、楽譜の途中から演奏をやり直すと自動で合奏を再開するなど、インタラクティブな体験ができる。
デモ用iPhoneは、管楽器から音声を入力するためのサイレントブラスや後方の大型ディスプレイなどと各種ケーブルで接続されていたが、多数の来場者が訪れる広い空間でなければ、スマートフォンのアプリと楽器だけでも合奏体験が可能だという。なお、「ふこうよアンサンブル」は既にApp Storeで配信されているアプリだが、今回体験できる特別版の提供は未定だという。
7階のミニコンサートでは、ユーフォニアム奏者の今村耀さん、ピアニストの紅い流星さん、よみぃさんが、それぞれAIの奏でる音との共演を披露する。予約制で、出演者は時間帯毎に異なる。詳細は公式サイトを参照のこと。
ホールの片隅にはAI合奏ソフトを搭載したノートPCなどで構成された演奏システムとスピーカー、プロジェクタなどが用意されており、演奏に合わせて動く共演相手を模した影絵映像が、プロジェクタから床に投影されていた。
実際に演奏を聴くと、今村さんの近くにトランペット奏者がいるのでは? と感じてしまうほど自然な共演が楽しめた。今村さんは本番まで練習して互いの演奏を確認し合いながら共演レベルをあげたとのこと。また、今後のAIのブラッシュアップには、音が流れるタイミングをより正確にする必要があるほか、和音や倍音表現の豊かさが課題となるそうだ。
AIはヤマハが独自に開発したもの。2016年に東京藝術大学に技術協力を行ない、ピアニストの故スヴャトスラフ・リヒテルの演奏を同社の自動演奏ピアノで再現する「人工知能演奏システム」を開発しており、共演者の演奏に合わせて演奏を柔軟に変化させ、人間とのスムーズな共演を可能にした。今回のデジタルコンテンツEXPOではこうした技術を活かし、PCソフトだけでなく、スマートフォンアプリに入るサイズまで落とし込むことを可能とした。
ヤマハはこのほか、自然応答技術「HEARTalk」をエクシヴィ(XVI)のVRコンテンツに提供し、バーチャルキャラクターとの自然な対話を楽しめる体験デモを行なっている。ゲームエンジン「Unity」上で動くCGキャラクター「ユニティちゃん」とHEARTalkを組み合わせ、ユニティちゃんと実際に自然な会話をしているかのような体験ができるという。
VR体験の舞台は、とある学校のパソコン教室。来場者はユニティちゃんと二人きりで、一緒に楽しくUnityを学べる。ユニティちゃんの“耳”として、フュートレックの音声認識技術「vGate ASR」を使っている。
NHKなど共同開発の“乗れる8K VR”
「8K:VRライド」は、ドーム型ワイドスクリーンと座席が動く2人乗りモーションライド、5.1ch音声を組み合わせた体験型展示。当日会場での抽選となる。
東京をテーマに、過去から現在、2020年に向かう様子を8K実写とCGを組み合わせた映像を、サザンオールスターズの楽曲「東京VICTORY」に乗せて、ヘッドマウントディスプレイを使わずにVR体験できる。
報道関係者向けには先行公開されていたが、一般公開は今回が初めて。細かなブラッシュアップでより見やすいものに仕上げたという。NHKエンタープライズとNHKメディアテクノロジーが、放送以外の8Kコンテンツとして企画。WONDER VISION TECHNO LABORATORYの映像システムやJVCの8Kプロジェクタを使っている。
凸版の8K/3D遠隔生配信デモ
凸版印刷は、2つのブースを出展。1階の企画展示エリアには最大4人の来場者が入れる小型ドームスクリーン、ロビーには8K/3D撮影が可能な全天球カメラを取り付けた自走式の「テレプレゼンス・ロボット」を用意し、ロボットからネットワーク経由でリアルタイムに送られる8K/3Dの360度映像をドームスクリーンに投影。WebRTC(Web Real-Time Communication)技術を活用し、ロビーとドーム内の間で、映像/音声を使ったコミュニケーションVRを体験できる。視聴時は、映画館で配布されるような3Dグラスが貸し出される。
昨年のデジタルコンテンツEXPOでも、2つのブースを使った同様の展示を行なっていたが、ロボット側のカメラはコダックの4K 360度カメラから「Insta 360 Pro」に変わり、より解像度の高い立体的で臨場感あるVR体験が可能。足回りのクルマもより丈夫なものに刷新しており、来場者がロボットに搭乗した気分で1階ロビーを動き回れる。このデモは東京大学大学院情報学環 暦本研究室と協力している。
企画展示エリアのブースでは、シャープ製の8Kディスプレイを用意し、凸版印刷がデジタルデータ化した、東京国立博物館所蔵の工芸の名品国宝「八橋蒔絵螺鈿硯箱」(尾形光琳作)と重要文化財「色絵月梅図茶壺」(野々村仁清作)のデモコンテンツを体験できる。コントローラを用いて360度回したり近づいて細かな意匠を見られる。
いずれも凸版印刷が長年培ってきた文化財VR技術を活かし、2つの工芸品を高精細撮影して、立体形状計測やX線CT撮影などの最新技術を用いてデジタルデータ化。作品の美しさを訴求するだけでなく、それぞれの工芸品の内側からも意匠を間近で鑑賞できるようにするなど、作者が作り出した世界観を、実物では実現不可能なVRならではの視点で体感できる。
メガネ型端末「b.g.」で屛風鑑賞
メガネスーパーのウェアラブル新事業を担うEnhanlabo(エンハンラボ)は、開発中のメガネ型ウェアラブル端末「b.g.」を使用し、凸版印刷が提供する「洛中洛外図屛風(舟木本)」(複製画)と組み合わせて“視覚拡張”を体感できるデモを実施。
文化財は通常ケースに収められ、人が近づけない形で展示されるが、そのために肉眼では細部が見えないことが多い。今回のb.g.デモでは、そうした細部を高精細デジタルデータを用いて目元に拡大表示したり、作品解説のテキスト(日本語・英語)や関連映像なども合わせて紹介することで、作品の理解をより深められることをアピールしている。
使用されていたb.g.は、6月に発表された新デザインではなく、左右にディスプレイが分かれた量産前の試作デザインのもの。量産納品開始は’18年春〜夏を見込んでおり、想定価格として10万〜12万円前後での提供を検討しているとのこと。
VR/AR/MR活用のコンテンツ技術が多数出展
ドワンゴは、花魁姿の初音ミクが目の前で舞を踊るARコンテンツとマイクロソフトのMR(Mixed Reality:複合現実)ヘッドマウントディスプレイ「HoloLens」を使った、大規模同期ARライブシステム「DAHLES」を展示。
角川ドワンゴ学園が運営するN高等学校の’17年度入学式で活用されたシステムで、“1対多人数”型の、大空間での多人数利用に特化した制御を実現。裸眼で見える光景を基準に、HoloLens越しに見るAR表示と、放送用のカメラに映る映像を同期させ、その場にいる観客や遠隔地の観客(生放送視聴者)を含め「同じARライブ体験」を得られるようにするのが狙いで、今後のイベントのニコ生配信などでの活用を想定している。
全天球カメラのTHETA V 2台とOculus Riftを使った、リアルタイム立体視テレプレゼンスシステム「TwinCam」を展示していたのは、首都大学東京 大学院システムデザイン研究科や、NTT コミュニケーション科学基礎研究所、電気通信大学、豊橋技術科学大学によるチーム。
離れた場所にあるカメラとOculus Riftを装着したユーザーの頭の動きをリンクさせ、全天球の立体映像をリアルタイムに表示可能。2台のTHETA Vを瞳孔間距離と同じ距離に配置し、レンズの光軸の方位を一定にしたままで回転させる構成としたことで、頭を回したときの映像の動画ボケと、遠隔映像の見かけの遅延を同時に抑制し、映像酔いを低減できるという。
東映ツークン研究所とコンセプトは、VR/AR技術を映像制作のプロダクションワークフローに組み込んだ「バーチャルプロダクション」を出展。実写映像とバーチャル映像が合成された映像を現場でリアルタイムで確認できる。自己位置推定技術(SLAM)を用いたリアルタイムトラッキングシステムを備え、撮影している周囲の環境や人物を3DCGのバーチャルセット、バーチャルキャラクターに置き換えてリアルタイムにレンダリング。人物の動きはモーションキャプチャやフェイシャルキャプチャを利用する。バンドのミュージックビデオの製作などでの活用事例を紹介していた。
そのほかの展示
