ニュース

ソニーの先端技術が集結。8Kや360度音響、次世代ゲーム用レイトレーシングなど

ソニーは18日、独自の最新技術を紹介するイベント「Sony Technology Day」をマスコミ向けに開催した。高臨場感の8Kを生み出す映像技術や、音を自在に配置できる360度音響技術のほか、イメージセンサーを活用したセンシングや精密な操作を可能にするロボティクス技術、空間や人間を3次元データ化するキャプチャ技術など、各分野における最新の研究開発を披露すると同時に、デモを交えた展示を実施した。

会場には「数ある中から選りすぐった」(ソニー専務・勝本氏)という、13項目の技術を用意。リアリティとリアルタイムでクリエイターの感性をユーザーに伝えるテクノロジー「Connect(つなぐ)」、拡張・融合技術でクリエイターの想像力を拡げるテクノロジー「Empower(解き放つ」、そして人の能力を超え、サステナブル社会の課題に貢献するテクノロジー「Exceed(超える)」という、3ブースに分けて展示された。以下、AVに関連した技術を中心に紹介する。

8K高画質技術やオブジェクトベース空間音響技術など

高画質技術のブースでは、ソニーホームエンタテインメン&サウンドプロダクツ TV事業本部による98型8Kディスプレイ「Z9G」(日本未発売)を使ったデモを実施。

98型8Kディスプレイ「Z9G」

ソニーが目指すのは“クリエイターが生み出すコンテンツを高い品質でユーザーに届けること”であり、テレビの進化の過程に「8K」があると強調。8K画素の密度は実物感としてのリアリティを一段と高めるという。

デモに使用されたZ9Gには、映像プロセッサー「X1 Ultimate」や高精細処理を行なう「8K X-Reality PRO」、独自のパネル制御「Backlight Master Drive」といった様々な高画質技術が盛り込まれており「要素技術、映像を正しく評価する優秀な技術者の目、そして技術的なノウハウが揃ってこそ、圧倒的な没入感を生む高画質な8K映像が実現できる」と説明する。

独自の高画質技術を搭載することで高品位な8K映像を実現

またテレビとコンテンツの両輪の進化が不可欠と話した上で「クリエイターを刺激する技術や環境を我々が先んじて実現し、クリエイターらに提供することで、更に進化したコンテンツが創造される」とし、8Kを含む更なる技術進化を積極的に行なっていくとした。

8Kレンダリングされた「グランツーリスモ」のプロモ映像や、3板式8Kカメラ「UHC-8300」で撮影したリオのカーニバルなどを表示

音を自在に配置できる独自の音響技術「360 REALITY AUDIO」も展示されていた。

既報の通り、同技術は'19年のCESで発表されたオブジェクトベースの空間音響技術。音源に対して3次元の位置情報を付加することで、制作者は音を自由に配置したり、移動させることができる。リスナーを取り囲むような配置も可能で、その場合は従来以上の没入感が味わえる。スピーカーだけでなく、ヘッドフォンでも再現可能で、音楽ライブやスポーツ観戦、VR/ARなどへの応用が期待されている。

同社では、オブジェクト音源を臨場感を損なわずに符号化する技術と、音色の変化で上下左右を認識する人間の聴覚特性(HRTF)を個人で最適化する技術がキモであると説明。現在、低ビットレートでも高音質を実現する符号化と、スマートフォンで撮影した耳の写真から個々のHRTFを算出するソフトウェアの開発に取り組んでいるという。

スマホで撮影した耳の写真から個人のHRTFを算出する

イベントでは、円形状に配置した13個のパワードスピーカー(上5・中5・下3)と、ヘッドフォンを使って360度音源を再生するデモを実施。

音場が前方に定位する、聞き慣れたステレオの感覚とは別物で、固定されたスピーカーから出力されているとは思えないほど、音があちこちに飛び回る。専用マイクを使ってHRTFの最適化を行なった環境でヘッドフォン再生すると、今まで存在したサラウンドヘッドフォンは何だったのか、と思いたくなるほどの強烈なサラウンド感が楽しめる。

円形配置された天井スピーカー
前方下部には3本のスピーカーを配置

IP映像伝送と、低遅延で高速・大容量の5G回線を組み合わせた活用事例として、クラウドスイッチャー「Virtual Production」も紹介された。

これまでのライブ制作では、中継車や局のオペレーションシステムなどのハードウェアでカメラの切替えやテロップ挿入などを行なっていたが、スイッチャー機能をクラウドにWebアプリ化。

5Gの高速・無線回線による(ほぼ)リアルタイムオペレーションがWebブラウザ経由で行なえ、大規模なシステムを用意すること無く、誰もがライブ映像を効率よく届ける環境が構築できる。

スタジオや中継車など大規模なハードウェアを使わずに、クラウドのソフトウェアだけで各種操作を行なう
左のディスプレイが視聴者が観る画面、右がオペレーション用。カメラ切り替えやテロップ挿入も簡単に行なえる

ソニーモバイルコミュニケーションズ(SOMC)からは、高性能スマートフォン「Xperia 1」を制作時のピクチャーモニターとして活用する事例を紹介。

Xperia 1は、厚木の業務用モニターチームと連携することで、スマートフォンのディスプレイでありながら、業務用モニターに近い映像表示を実現している。

SOMCは、業務用カメラVENICEのSDIから出力されたフルHD/S-log3信号を無線伝送するシステムを開発。制作スタッフらは、マスターモニターをのぞき込むこと無く、手元のXperiaでフォーカス確認やカメラに写る演者の衣装チェックなどが行なえる。

海外の映画制作現場では、Xperiaを現場スタッフらのピクチャーモニターとして活用するトライアルを実施済みで、反応も上々という。

VENICEの映像をスタッフが持つXperiaに無線伝送するシステムを開発
2台のXperiaにはHX310ライクな映像を表示可能

グラボ40基並列接続の4K/30Hzリアルタイム・レイトレーシング

ソニー・インタラクティブエンタテインメントからは、映り込みや反射などの“光線”を物理的に正しくシミュレートすることで、現実世界のようなCG描写を実現するレイトレーシング技術の紹介が行なわれた。

NVIDIAの高性能グラフィックボード「Geforce RTX 2080 Ti」を40基並列に接続した専用PCを制作し、4K/30フレームのレイトレーシング映像をリアルタイムに4K表示するシステムを実現したという。

グラフィックボード10枚構成のPC

「例えば、1ピクセル当たり72光線の軌道(12サンプル×6バウンス)を計算する場合、4K解像度(約830万ピクセル)では、1フレームで約6通りの軌道計算が必要になる。この膨大な計算をリアルタイムに処理し、4K/30フレーム映像を生成するためには40基の並列演算が必要だった」という。

会場には、PS4やPS VR、PCなどを置いたテーブルがあり、目の前の4Kディスプレイではその卓上をカメラで映したような映像が表示されていた。しかし、実はディスプレイに映っているのは実写映像ではなく、リアルタイムに生成された3D CG映像という仕掛け。

会場に設置された実際のテーブル
4Kディスプレイに表示した、リアルタイム生成の3D CG映像。CG上ではクルマがBVMになっている

取材タイミングは機材トラブルのため、30基並列・4K/20フレームの生成環境だったが、それでも十分リアルな映像が体感できた。

素材の拡散や反射をカメラでキャプチャし、CGに反映する「マテリアルエスティメーション」も実演。ガラスやアクリル、ゴムなどの素材をキャプチャすると、画面上の物体がキャプチャした材質そっくりにシミュレートされていた。

マテリアルエスティメーションの概要
カメラで素材をキャプチャすると……
画面上の物体がキャプチャした材質に変化した
ガラス仕様になったPS3
アクリル仕様のVAIO

最終的には人体をリアルタイムにシミュレートすることを目標として掲げており、映画やゲームへの応用はもちろん、焦点距離を制御するレンズシミュレートやポスト処理による色・ボケ調整といったカメラ用途にも使えるとしている。

レンズシミュレートで焦点距離を変更

撮影した人物を立体空間に登場させる「6DoF映像技術」では、スタジオ内で動く人物をカメラで追跡しながら、クロマキー無しに人物だけを抽出、PS VR上にリアルタイムマッピングするデモを実演。

従来の3DoFでは、VR中に頭部(視点)を動かしても画面全体が動くが、6DoFでは、頭部の動きに応じて、映像内の位置関係も変化させることが可能。

6DoF技術とクロマキーレス合成により、実写の人物を立体空間へ手軽に合成できると、自然な距離感の映像コンテンツが可能になり、VRなどにおいてよりリアリティが増すとしている。

カメラの方向と被写体との空間位置を追跡するセンシングとプロセッシング技術に加え、ディープラーニングを活用した人物抽出技術を組み合わせた

この他にも、小型軽量センサーを身体の6箇所に装着するだけで、全身の動きをキャプチャできる技術や、空間をまるごと撮りこむ「ボリュメトリック・キャプチャ」技術なども紹介。

小型軽量センサー6箇所だけで、全身の動きをキャプチャ可能
キャプチャの仕組み

後者は映画「MIB International」のテレビCMですでに運用済み。映画セット解体後にCMを撮影する必要に迫られたが、解体前のセットをまるごとキャプチャ(=デジタル・セット)していたことで、あたかも実際のセットで撮影したかのような映像を再現することができたという。

「ボリュメトリック・キャプチャ」のコア技術
今後の方向性

テクノロジーを活かした空間価値と時間価値の創造に取り組む

展示会に先立ち、ソニーの社長兼CEOの吉田憲一郎氏が登壇。

吉田憲一郎氏(ソニー社長兼CEO)

冒頭、コーポレートメッセージとして掲げる同社の存在意義(“クリエイティビティとテクノロジーの力で、世界を感動で満たす”)、アイデンティティ(“テクノロジーに裏打ちされたクリエイティブエンタテインメントカンパニー”)、経営の方向性(“人に近づく”)に改めて触れ「今回展示しているテクノロジーのテーマも“人に近づく”ことを目指したものであり、我々が持つ様々な技術と経営の方向性は一致している」と説明。

テクノロジーを活かした空間価値と時間価値の創造に取り組むという

展示内容については「我々は空間と時間で生きる存在であり、ソニーが取り組むべきはテクノロジーを活かした空間価値と時間価値の創造。リアリティを生むレイトレーシング技術は、次世代プレイステーションでも追求しており、ライブ伝送や瞳AFなどのイメージングはリアルタイムかつ、“人に近づく”ものだ。そして我々は人を目を超えるセンシング技術に加え、医療分野にも技術を活用することで社会への貢献も幅広行なっていく」とアピールした。

画素上に4種(0/45/90/135度)の微細な偏光素子を配置することで、人間の目や従来のセンサーでは捉えることができなかった“偏光”を可視化。車体塗装の傷検出や、レンズなどの透明な物体の歪みが検出可能になる
スタッフが持つデモキットにはペアのステレオカメラを搭載。物体までの距離を検出することで、周囲の存在情報を環境地図としてリアルタイムに構築している
操縦者が力の変化を感じ取りながら、人の手ではできなかった精密な操作を可能にする「精密バイラテラル制御」。0.8mm、0.5mm、0.2mmという微小なブロックを積み上げるデモを実演