ニュース
ソニーの先端技術が集結。8Kや360度音響、次世代ゲーム用レイトレーシングなど
2019年9月19日 19:10
ソニーは18日、独自の最新技術を紹介するイベント「Sony Technology Day」をマスコミ向けに開催した。高臨場感の8Kを生み出す映像技術や、音を自在に配置できる360度音響技術のほか、イメージセンサーを活用したセンシングや精密な操作を可能にするロボティクス技術、空間や人間を3次元データ化するキャプチャ技術など、各分野における最新の研究開発を披露すると同時に、デモを交えた展示を実施した。
会場には「数ある中から選りすぐった」(ソニー専務・勝本氏)という、13項目の技術を用意。リアリティとリアルタイムでクリエイターの感性をユーザーに伝えるテクノロジー「Connect(つなぐ)」、拡張・融合技術でクリエイターの想像力を拡げるテクノロジー「Empower(解き放つ」、そして人の能力を超え、サステナブル社会の課題に貢献するテクノロジー「Exceed(超える)」という、3ブースに分けて展示された。以下、AVに関連した技術を中心に紹介する。
8K高画質技術やオブジェクトベース空間音響技術など
高画質技術のブースでは、ソニーホームエンタテインメン&サウンドプロダクツ TV事業本部による98型8Kディスプレイ「Z9G」(日本未発売)を使ったデモを実施。
ソニーが目指すのは“クリエイターが生み出すコンテンツを高い品質でユーザーに届けること”であり、テレビの進化の過程に「8K」があると強調。8K画素の密度は実物感としてのリアリティを一段と高めるという。
デモに使用されたZ9Gには、映像プロセッサー「X1 Ultimate」や高精細処理を行なう「8K X-Reality PRO」、独自のパネル制御「Backlight Master Drive」といった様々な高画質技術が盛り込まれており「要素技術、映像を正しく評価する優秀な技術者の目、そして技術的なノウハウが揃ってこそ、圧倒的な没入感を生む高画質な8K映像が実現できる」と説明する。
またテレビとコンテンツの両輪の進化が不可欠と話した上で「クリエイターを刺激する技術や環境を我々が先んじて実現し、クリエイターらに提供することで、更に進化したコンテンツが創造される」とし、8Kを含む更なる技術進化を積極的に行なっていくとした。
音を自在に配置できる独自の音響技術「360 REALITY AUDIO」も展示されていた。
既報の通り、同技術は'19年のCESで発表されたオブジェクトベースの空間音響技術。音源に対して3次元の位置情報を付加することで、制作者は音を自由に配置したり、移動させることができる。リスナーを取り囲むような配置も可能で、その場合は従来以上の没入感が味わえる。スピーカーだけでなく、ヘッドフォンでも再現可能で、音楽ライブやスポーツ観戦、VR/ARなどへの応用が期待されている。
同社では、オブジェクト音源を臨場感を損なわずに符号化する技術と、音色の変化で上下左右を認識する人間の聴覚特性(HRTF)を個人で最適化する技術がキモであると説明。現在、低ビットレートでも高音質を実現する符号化と、スマートフォンで撮影した耳の写真から個々のHRTFを算出するソフトウェアの開発に取り組んでいるという。
イベントでは、円形状に配置した13個のパワードスピーカー(上5・中5・下3)と、ヘッドフォンを使って360度音源を再生するデモを実施。
音場が前方に定位する、聞き慣れたステレオの感覚とは別物で、固定されたスピーカーから出力されているとは思えないほど、音があちこちに飛び回る。専用マイクを使ってHRTFの最適化を行なった環境でヘッドフォン再生すると、今まで存在したサラウンドヘッドフォンは何だったのか、と思いたくなるほどの強烈なサラウンド感が楽しめる。
IP映像伝送と、低遅延で高速・大容量の5G回線を組み合わせた活用事例として、クラウドスイッチャー「Virtual Production」も紹介された。
これまでのライブ制作では、中継車や局のオペレーションシステムなどのハードウェアでカメラの切替えやテロップ挿入などを行なっていたが、スイッチャー機能をクラウドにWebアプリ化。
5Gの高速・無線回線による(ほぼ)リアルタイムオペレーションがWebブラウザ経由で行なえ、大規模なシステムを用意すること無く、誰もがライブ映像を効率よく届ける環境が構築できる。
ソニーモバイルコミュニケーションズ(SOMC)からは、高性能スマートフォン「Xperia 1」を制作時のピクチャーモニターとして活用する事例を紹介。
Xperia 1は、厚木の業務用モニターチームと連携することで、スマートフォンのディスプレイでありながら、業務用モニターに近い映像表示を実現している。
SOMCは、業務用カメラVENICEのSDIから出力されたフルHD/S-log3信号を無線伝送するシステムを開発。制作スタッフらは、マスターモニターをのぞき込むこと無く、手元のXperiaでフォーカス確認やカメラに写る演者の衣装チェックなどが行なえる。
海外の映画制作現場では、Xperiaを現場スタッフらのピクチャーモニターとして活用するトライアルを実施済みで、反応も上々という。
グラボ40基並列接続の4K/30Hzリアルタイム・レイトレーシング
ソニー・インタラクティブエンタテインメントからは、映り込みや反射などの“光線”を物理的に正しくシミュレートすることで、現実世界のようなCG描写を実現するレイトレーシング技術の紹介が行なわれた。
NVIDIAの高性能グラフィックボード「Geforce RTX 2080 Ti」を40基並列に接続した専用PCを制作し、4K/30フレームのレイトレーシング映像をリアルタイムに4K表示するシステムを実現したという。
「例えば、1ピクセル当たり72光線の軌道(12サンプル×6バウンス)を計算する場合、4K解像度(約830万ピクセル)では、1フレームで約6通りの軌道計算が必要になる。この膨大な計算をリアルタイムに処理し、4K/30フレーム映像を生成するためには40基の並列演算が必要だった」という。
会場には、PS4やPS VR、PCなどを置いたテーブルがあり、目の前の4Kディスプレイではその卓上をカメラで映したような映像が表示されていた。しかし、実はディスプレイに映っているのは実写映像ではなく、リアルタイムに生成された3D CG映像という仕掛け。
取材タイミングは機材トラブルのため、30基並列・4K/20フレームの生成環境だったが、それでも十分リアルな映像が体感できた。
素材の拡散や反射をカメラでキャプチャし、CGに反映する「マテリアルエスティメーション」も実演。ガラスやアクリル、ゴムなどの素材をキャプチャすると、画面上の物体がキャプチャした材質そっくりにシミュレートされていた。
最終的には人体をリアルタイムにシミュレートすることを目標として掲げており、映画やゲームへの応用はもちろん、焦点距離を制御するレンズシミュレートやポスト処理による色・ボケ調整といったカメラ用途にも使えるとしている。
撮影した人物を立体空間に登場させる「6DoF映像技術」では、スタジオ内で動く人物をカメラで追跡しながら、クロマキー無しに人物だけを抽出、PS VR上にリアルタイムマッピングするデモを実演。
従来の3DoFでは、VR中に頭部(視点)を動かしても画面全体が動くが、6DoFでは、頭部の動きに応じて、映像内の位置関係も変化させることが可能。
6DoF技術とクロマキーレス合成により、実写の人物を立体空間へ手軽に合成できると、自然な距離感の映像コンテンツが可能になり、VRなどにおいてよりリアリティが増すとしている。
この他にも、小型軽量センサーを身体の6箇所に装着するだけで、全身の動きをキャプチャできる技術や、空間をまるごと撮りこむ「ボリュメトリック・キャプチャ」技術なども紹介。
後者は映画「MIB International」のテレビCMですでに運用済み。映画セット解体後にCMを撮影する必要に迫られたが、解体前のセットをまるごとキャプチャ(=デジタル・セット)していたことで、あたかも実際のセットで撮影したかのような映像を再現することができたという。
テクノロジーを活かした空間価値と時間価値の創造に取り組む
展示会に先立ち、ソニーの社長兼CEOの吉田憲一郎氏が登壇。
冒頭、コーポレートメッセージとして掲げる同社の存在意義(“クリエイティビティとテクノロジーの力で、世界を感動で満たす”)、アイデンティティ(“テクノロジーに裏打ちされたクリエイティブエンタテインメントカンパニー”)、経営の方向性(“人に近づく”)に改めて触れ「今回展示しているテクノロジーのテーマも“人に近づく”ことを目指したものであり、我々が持つ様々な技術と経営の方向性は一致している」と説明。
展示内容については「我々は空間と時間で生きる存在であり、ソニーが取り組むべきはテクノロジーを活かした空間価値と時間価値の創造。リアリティを生むレイトレーシング技術は、次世代プレイステーションでも追求しており、ライブ伝送や瞳AFなどのイメージングはリアルタイムかつ、“人に近づく”ものだ。そして我々は人を目を超えるセンシング技術に加え、医療分野にも技術を活用することで社会への貢献も幅広行なっていく」とアピールした。
