ニュース

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO

 コンピュータグラフィクス(CG)やバーチャルリアリティ(VR)、人工知能(AI)などを用いた最新のコンテンツ技術を展示・紹介するイベント「デジタルコンテンツEXPO 2017」が、東京・お台場の日本科学未来館で27日開幕した。開場時間は10時~17時、期間は10月29日(日)まで。入場は無料で入退場自由。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO デジタルコンテンツEXPO 2017が日本科学未来館で開幕
デジタルコンテンツEXPO 2017が日本科学未来館で開幕

 企画展示の見どころのひとつが、ヤマハが開発したAIを用いた合奏技術。1階ロビーのブースではこの技術を搭載したスマートフォンアプリ「ふこうよアンサンブル」と、実際の楽器を用いた合奏体験ができる。さらに7階のホールでは、合奏技術を搭載したPCソフトとピアニスト・ユーフォニアム奏者の共演を観覧できるミニコンサート「みらいのアンサンブル」(予約制、当日席有り)を実施している。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO ヤマハは、スマホアプリ「ふこうよアンサンブル」にAI合奏技術を搭載した特別版を参考展示
ヤマハは、スマホアプリ「ふこうよアンサンブル」にAI合奏技術を搭載した特別版を参考展示
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO ミニコンサート「みらいのアンサンブル」の様子
ミニコンサート「みらいのアンサンブル」の様子

 1階ブースでは、アニメ「響け! ユーフォニアム」のタイアップアプリ「ふこうよアンサンブル」に、このAI合奏技術を搭載した特別版を参考展示。ユーフォニアム、トランペット、キーボードの3種類の楽器を用意しており、来場者が実際に演奏可能。iPhoneのマイクからアプリに入力された音を認識し、その音にあわせて登場キャラクターが指導役として一緒に演奏(伴奏)してくれる。音程を外したり演奏スピードが遅いと、キャラクターが様々な台詞でアシスト。演奏が止まるとAIの合奏も止まり、楽譜の途中から演奏をやり直すと自動で合奏を再開するなど、インタラクティブな体験ができる。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO ユーフォニアムの演奏デモ。音程や演奏スピードをAIが判定し、画面にキャラクターの台詞を随時表示
ユーフォニアムの演奏デモ。音程や演奏スピードをAIが判定し、画面にキャラクターの台詞を随時表示
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO キーボードを使ったデモも行なっている。左にアプリを搭載したデモ用のiPhoneがある
キーボードを使ったデモも行なっている。左にアプリを搭載したデモ用のiPhoneがある

 デモ用iPhoneは、管楽器から音声を入力するためのサイレントブラスや後方の大型ディスプレイなどと各種ケーブルで接続されていたが、多数の来場者が訪れる広い空間でなければ、スマートフォンのアプリと楽器だけでも合奏体験が可能だという。なお、「ふこうよアンサンブル」は既にApp Storeで配信されているアプリだが、今回体験できる特別版の提供は未定だという。

 7階のミニコンサートでは、ユーフォニアム奏者の今村耀さん、ピアニストの紅い流星さん、よみぃさんが、それぞれAIの奏でる音との共演を披露する。予約制で、出演者は時間帯毎に異なる。詳細は公式サイトを参照のこと。

 ホールの片隅にはAI合奏ソフトを搭載したノートPCなどで構成された演奏システムとスピーカー、プロジェクタなどが用意されており、演奏に合わせて動く共演相手を模した影絵映像が、プロジェクタから床に投影されていた。

デジタルコンテンツEXPO 2017「みらいのアンサンブル」演奏デモ

 実際に演奏を聴くと、今村さんの近くにトランペット奏者がいるのでは? と感じてしまうほど自然な共演が楽しめた。今村さんは本番まで練習して互いの演奏を確認し合いながら共演レベルをあげたとのこと。また、今後のAIのブラッシュアップには、音が流れるタイミングをより正確にする必要があるほか、和音や倍音表現の豊かさが課題となるそうだ。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO ホールの裏ではAI合奏ソフトがPC上で動いていた
ホールの裏ではAI合奏ソフトがPC上で動いていた

 AIはヤマハが独自に開発したもの。2016年に東京藝術大学に技術協力を行ない、ピアニストの故スヴャトスラフ・リヒテルの演奏を同社の自動演奏ピアノで再現する「人工知能演奏システム」を開発しており、共演者の演奏に合わせて演奏を柔軟に変化させ、人間とのスムーズな共演を可能にした。今回のデジタルコンテンツEXPOではこうした技術を活かし、PCソフトだけでなく、スマートフォンアプリに入るサイズまで落とし込むことを可能とした。

 ヤマハはこのほか、自然応答技術「HEARTalk」をエクシヴィ(XVI)のVRコンテンツに提供し、バーチャルキャラクターとの自然な対話を楽しめる体験デモを行なっている。ゲームエンジン「Unity」上で動くCGキャラクター「ユニティちゃん」とHEARTalkを組み合わせ、ユニティちゃんと実際に自然な会話をしているかのような体験ができるという。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO CGキャラクター「ユニティちゃん」とHEARTalkを組み合わせ、VR会話できるエクシヴィのデモ
CGキャラクター「ユニティちゃん」とHEARTalkを組み合わせ、VR会話できるエクシヴィのデモ

 VR体験の舞台は、とある学校のパソコン教室。来場者はユニティちゃんと二人きりで、一緒に楽しくUnityを学べる。ユニティちゃんの“耳”として、フュートレックの音声認識技術「vGate ASR」を使っている。

NHKなど共同開発の“乗れる8K VR”

 「8K:VRライド」は、ドーム型ワイドスクリーンと座席が動く2人乗りモーションライド、5.1ch音声を組み合わせた体験型展示。当日会場での抽選となる。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO NHKなどが共同開発した8K:VRライドが一般初公開
NHKなどが共同開発した8K:VRライドが一般初公開

 東京をテーマに、過去から現在、2020年に向かう様子を8K実写とCGを組み合わせた映像を、サザンオールスターズの楽曲「東京VICTORY」に乗せて、ヘッドマウントディスプレイを使わずにVR体験できる。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 東京をテーマにした8K実写+CG映像をヘッドマウントディスプレイを使わずにVR体験
東京をテーマにした8K実写+CG映像をヘッドマウントディスプレイを使わずにVR体験

 報道関係者向けには先行公開されていたが、一般公開は今回が初めて。細かなブラッシュアップでより見やすいものに仕上げたという。NHKエンタープライズとNHKメディアテクノロジーが、放送以外の8Kコンテンツとして企画。WONDER VISION TECHNO LABORATORYの映像システムやJVCの8Kプロジェクタを使っている。

凸版の8K/3D遠隔生配信デモ

 凸版印刷は、2つのブースを出展。1階の企画展示エリアには最大4人の来場者が入れる小型ドームスクリーン、ロビーには8K/3D撮影が可能な全天球カメラを取り付けた自走式の「テレプレゼンス・ロボット」を用意し、ロボットからネットワーク経由でリアルタイムに送られる8K/3Dの360度映像をドームスクリーンに投影。WebRTC(Web Real-Time Communication)技術を活用し、ロビーとドーム内の間で、映像/音声を使ったコミュニケーションVRを体験できる。視聴時は、映画館で配布されるような3Dグラスが貸し出される。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 凸版印刷ブースのドームスクリーン
凸版印刷ブースのドームスクリーン
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 360度カメラを取り付けた自走式の「テレプレゼンス・ロボット」
360度カメラを取り付けた自走式の「テレプレゼンス・ロボット」

 昨年のデジタルコンテンツEXPOでも、2つのブースを使った同様の展示を行なっていたが、ロボット側のカメラはコダックの4K 360度カメラから「Insta 360 Pro」に変わり、より解像度の高い立体的で臨場感あるVR体験が可能。足回りのクルマもより丈夫なものに刷新しており、来場者がロボットに搭乗した気分で1階ロビーを動き回れる。このデモは東京大学大学院情報学環 暦本研究室と協力している。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO テレプレゼンス・ロボットは全天球カメラ「Insta 360 Pro」を搭載
テレプレゼンス・ロボットは全天球カメラ「Insta 360 Pro」を搭載
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO ドームでは講談社が手がけるVRアイドル「Hop Step Sing!」の3Dライブ映像も楽しめた
ドームでは講談社が手がけるVRアイドル「Hop Step Sing!」の3Dライブ映像も楽しめた

 企画展示エリアのブースでは、シャープ製の8Kディスプレイを用意し、凸版印刷がデジタルデータ化した、東京国立博物館所蔵の工芸の名品国宝「八橋蒔絵螺鈿硯箱」(尾形光琳作)と重要文化財「色絵月梅図茶壺」(野々村仁清作)のデモコンテンツを体験できる。コントローラを用いて360度回したり近づいて細かな意匠を見られる。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 重要文化財「色絵月梅図茶壺」のVRコンテンツ
重要文化財「色絵月梅図茶壺」のVRコンテンツ

 いずれも凸版印刷が長年培ってきた文化財VR技術を活かし、2つの工芸品を高精細撮影して、立体形状計測やX線CT撮影などの最新技術を用いてデジタルデータ化。作品の美しさを訴求するだけでなく、それぞれの工芸品の内側からも意匠を間近で鑑賞できるようにするなど、作者が作り出した世界観を、実物では実現不可能なVRならではの視点で体感できる。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 名品国宝「八橋蒔絵螺鈿硯箱」のVRコンテンツでは、箱の中からの視点で意匠を間近に見られる
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 名品国宝「八橋蒔絵螺鈿硯箱」のVRコンテンツでは、箱の中からの視点で意匠を間近に見られる
名品国宝「八橋蒔絵螺鈿硯箱」のVRコンテンツでは、箱の中からの視点で意匠を間近に見られる

メガネ型端末「b.g.」で屛風鑑賞

 メガネスーパーのウェアラブル新事業を担うEnhanlabo(エンハンラボ)は、開発中のメガネ型ウェアラブル端末「b.g.」を使用し、凸版印刷が提供する「洛中洛外図屛風(舟木本)」(複製画)と組み合わせて“視覚拡張”を体感できるデモを実施。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO b.g.で洛中洛外図屛風(舟木本)の複製画を鑑賞
b.g.で洛中洛外図屛風(舟木本)の複製画を鑑賞

 文化財は通常ケースに収められ、人が近づけない形で展示されるが、そのために肉眼では細部が見えないことが多い。今回のb.g.デモでは、そうした細部を高精細デジタルデータを用いて目元に拡大表示したり、作品解説のテキスト(日本語・英語)や関連映像なども合わせて紹介することで、作品の理解をより深められることをアピールしている。

 使用されていたb.g.は、6月に発表された新デザインではなく、左右にディスプレイが分かれた量産前の試作デザインのもの。量産納品開始は’18年春〜夏を見込んでおり、想定価格として10万〜12万円前後での提供を検討しているとのこと。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO Enhanlaboが開発中のb.g.
Enhanlaboが開発中のb.g.

VR/AR/MR活用のコンテンツ技術が多数出展

 ドワンゴは、花魁姿の初音ミクが目の前で舞を踊るARコンテンツとマイクロソフトのMR(Mixed Reality:複合現実)ヘッドマウントディスプレイ「HoloLens」を使った、大規模同期ARライブシステム「DAHLES」を展示。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO ドワンゴの、HoloLensと「DAHLES」を活用して花魁姿の初音ミクのARコンテンツを視聴するデモ
ドワンゴの、HoloLensと「DAHLES」を活用して花魁姿の初音ミクのARコンテンツを視聴するデモ
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO HoloLens
HoloLens

 角川ドワンゴ学園が運営するN高等学校の’17年度入学式で活用されたシステムで、“1対多人数”型の、大空間での多人数利用に特化した制御を実現。裸眼で見える光景を基準に、HoloLens越しに見るAR表示と、放送用のカメラに映る映像を同期させ、その場にいる観客や遠隔地の観客(生放送視聴者)を含め「同じARライブ体験」を得られるようにするのが狙いで、今後のイベントのニコ生配信などでの活用を想定している。

 全天球カメラのTHETA V 2台とOculus Riftを使った、リアルタイム立体視テレプレゼンスシステム「TwinCam」を展示していたのは、首都大学東京 大学院システムデザイン研究科や、NTT コミュニケーション科学基礎研究所、電気通信大学、豊橋技術科学大学によるチーム。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO THETA V 2台とOculus Riftを使った、リアルタイム立体視テレプレゼンスシステム「TwinCam」
THETA V 2台とOculus Riftを使った、リアルタイム立体視テレプレゼンスシステム「TwinCam」

 離れた場所にあるカメラとOculus Riftを装着したユーザーの頭の動きをリンクさせ、全天球の立体映像をリアルタイムに表示可能。2台のTHETA Vを瞳孔間距離と同じ距離に配置し、レンズの光軸の方位を一定にしたままで回転させる構成としたことで、頭を回したときの映像の動画ボケと、遠隔映像の見かけの遅延を同時に抑制し、映像酔いを低減できるという。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 2台のTHETA Vを眼球間距離と同じ距離に配置。レンズの光軸の方位を一定にしたまま回転させる仕組み
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 2台のTHETA Vを眼球間距離と同じ距離に配置。レンズの光軸の方位を一定にしたまま回転させる仕組み
2台のTHETA Vを眼球間距離と同じ距離に配置。レンズの光軸の方位を一定にしたまま回転させる仕組み

 東映ツークン研究所とコンセプトは、VR/AR技術を映像制作のプロダクションワークフローに組み込んだ「バーチャルプロダクション」を出展。実写映像とバーチャル映像が合成された映像を現場でリアルタイムで確認できる。自己位置推定技術(SLAM)を用いたリアルタイムトラッキングシステムを備え、撮影している周囲の環境や人物を3DCGのバーチャルセット、バーチャルキャラクターに置き換えてリアルタイムにレンダリング。人物の動きはモーションキャプチャやフェイシャルキャプチャを利用する。バンドのミュージックビデオの製作などでの活用事例を紹介していた。

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 東映ツークン研究所とコンセプトの「バーチャルプロダクション」
東映ツークン研究所とコンセプトの「バーチャルプロダクション」

そのほかの展示

AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO NTTドコモの浮遊球体ドローンディスプレイ。弧状LEDを高速回転させて残像効果による映像表示を行ないながら飛行できる
NTTドコモの浮遊球体ドローンディスプレイ。弧状LEDを高速回転させて残像効果による映像表示を行ないながら飛行できる
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO ソニーが開発したトイ・プラットフォーム「toio」の体験デモ
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO ソニーが開発したトイ・プラットフォーム「toio」の体験デモ
ソニーが開発したトイ・プラットフォーム「toio」の体験デモ
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 球体の中のシートに乗ってVR空間を自由操縦できる「VR Sphere」
球体の中のシートに乗ってVR空間を自由操縦できる「VR Sphere」
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 「日本列島VR」は、国土地理院の情報を元に実写のようなCGを生成し、リアルタイムに描画するコンテンツ。Oculus RiftとOculus Touchを使って日本の地形を上空から見下ろす体験ができる。時間帯や天候表示も変えられる
「日本列島VR」は、国土地理院の情報を元に実写のようなCGを生成し、リアルタイムに描画するコンテンツ。Oculus RiftとOculus Touchを使って日本の地形を上空から見下ろす体験ができる。時間帯や天候表示も変えられる
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO エージーエーコーポレーションが提供する「ウルトラマッピング」は、現実空間で行なわれるプロジェクションマッピングの映像演出に合わせて3Dオブジェクトを発生させ、透過型ヘッドマウントディスプレイで見られるようにするもの。壁面の雪の演出に合わせて小さな3D雪だるまを沢山目の前に出す、といった演出をしていた
エージーエーコーポレーションが提供する「ウルトラマッピング」は、現実空間で行なわれるプロジェクションマッピングの映像演出に合わせて3Dオブジェクトを発生させ、透過型ヘッドマウントディスプレイで見られるようにするもの。壁面の雪の演出に合わせて小さな3D雪だるまを沢山目の前に出す、といった演出をしていた
AIと一緒にユーフォニアム合奏、ドームで8K/3D生映像。デジタルコンテンツEXPO 専用VRゴーグルで現実空間の映像と仮想ドローンを重ねて飛ばし、対戦ゲームもできる「バーチャルドローン」
専用VRゴーグルで現実空間の映像と仮想ドローンを重ねて飛ばし、対戦ゲームもできる「バーチャルドローン」