ニュース
ソニーの電気自動車を体験。驚きの“バーチャル背景”映像、視線追従の立体視も
2020年1月9日 08:00
ソニーが「CES 2020」で披露した電気自動車のコンセプトカー「VISION-S」を実際に体験。その他にも、同社の強みであるセンシングを活用した様々な映像技術など、ソニーブースの見どころを紹介する。
ソニー電気自動車コンセプトカー「VISION-S」を体験
ブースで最も注目されているのは、会見で吉田憲一郎社長兼CEOが発表した、ソニーのコンセプトカー「VISION-S」。
“人の目を超える”ソニーのイメージセンシング技術のコンセプト「Safety Cocoon」に基づいて開発。センサーはCMOSやToFなど数種類を合計33個配置。AIや通信、クラウド技術も活用した車載ソフトウェアの制御により、様々な角度で快適な運転や安全をサポート。各機能は継続的にアップデートされる。
安全や快適さだけでなく、映像や音楽などエンターテインメント性も重視しているのも特徴。没入感のある立体的な音響を実現するソニーの360 Reality Audio(360RA)を車載向けに最適化して搭載。各スピーカーにエンクロージャーを設け、音響をコントロールしながら車外への音漏れも防ぐといった細かいこだわりも、オーディオを手掛けるソニーならではの特徴だ。
前方にはワイドな「パノラミックスクリーン」が配置され、映画など様々なエンタメコンテンツをタッチで操作して楽しめるようになっていた。自動運転の普及により、こうしたエンタメ体験の快適さもクルマの重要なカギになりそうだ。
グリーンバックを使わずCrystal LED映像で高度な背景合成を実現
展示を一見しただけでは気づかないかもしれないが、実際は驚きの映像を実現しているのが、「3D空間キャプチャによるバーチャル制作技術」。映画などで背景を合成したい時に、リアルな奥行きのある背景を表現できるというものだ。
この技術では、背景用に8K×3K(10×4m)のCrystal LEDを設置して、そこに高精細な映像を表示して、実際の映画などと同様にカメラで撮影。背景映像は、ソニー・ピクチャーズのスタジオにあるセットを高解像度な3次元データとして取り込んだもので、カメラが移動するとセンサーで感知して背景映像もリアルタイムに変化。平面的なカキワリのような絵ではなく、適切な視点と奥行きを持った背景映像を撮影可能な点が特徴。
スタジオを模したコーナーで、実際にカメラが移動すると、それに合わせて背景の建物の見え方も変化。ここでは、歩道の縁石よりも奥側がCrystal LEDの映像で、風に吹かれる落ち葉はCGで合成されたものだが、カメラで撮影された映像をモニターで観ると、後ろに実際の建物があるかのように自然な立体感を表現。担当者が「IMAXのような大画面でも気づかないはず」と自信を見せる通り、とても背景が平面ディスプレイの映像だとはわからなかった。
様々な背景のデータを保存しておくことで、セットの実物が無い場所でもその背景を使って撮影が可能。また、グリーンバックを使う場合とは異なり、照明の反射などを気にせずに撮影しやすいのもメリットだという。背景にディスプレイ映像を使う技術は以前からあったとのことだが、Crystal LEDのリアルな映像表現によって、さらに自然な合成が可能になったという。映画などの制作において、今後強力な武器になりそうな技術だと感じた。
視線を追って3D映像表示するライトフィールドディスプレイ
独自技術による「視線認識型ライトフィールドディスプレイ」は、裸眼立体映像を表示する時に、観る人が視点を変えても、追従して様々な角度から高精細な立体映像が楽しめるというもの。例えば人の頭の映像なら、上から眺めると頭頂部が見えて、左右からは横顔(真横まではいかないが斜め横顔)が見える。
ライトフィールドディスプレイの技術は以前からあるものだが、多くの視点の映像を作ろうとするほど、1視点分の映像は解像度が落ちるという課題があった。
今回の技術では、視線/顔を認識してそこだけに最適な立体映像をリアルタイムレンダリングで表示するため、左右の目に見せる映像だけ表示すればいいのが大きな違い。ソニーの高速ビジョンセンサーや、顔認識アルゴリズムを活かして、従来にはない超高精細な立体空間表現を可能にしたという。
この技術により、VRやARのコンテンツ、プロダクトデザインなど様々なクリエイターに汎用性の高い立体コンテンツ制作環境を提供することを目指す。
