ニュース
ソニー、OLEDマイクロディスプレイ搭載HMD、考えて掴むロボットアーム
2021年12月7日 18:29
ソニーは、ソニーグループのテクノロジーを紹介する「Sony Technology Day」をオンラインで開催。片目で4K、両目で8Kの高解像度を実現したHMDや、Crystal LEDとシネマカメラを組み合わせた「In-Camera VFX」、PS5に導入されているTempest 3Dオーディオなどの技術、人の手を再現するマニピュレーター技術などを紹介した。
OLEDマイクロディスプレイ活用で両目で8Kを実現したHMD
今回紹介されたHMDシステムは、OLEDマイクロディスプレイにより、片目で4K、両目で8Kの高画質化を実現し、高精細な3次元空間を映し出すもの。複数のセンサーの情報を組み合わせることで、システム全体で遅延量の削減を行ない、処理時間を短縮。視聴している人の頭の動きに合わせて素材のテクスチャや人の表情などを高精細にリアルタイムで表現できる。
OLEDマイクロディスプレイは、CMOSイメージセンサーの開発・製造で培った微細加工技術を生かした多画素、小型化と、ディスプレイ開発で培ったデバイス・回路技術を生かして開発。スマホのディスプレイと比較した場合、2倍の解像度を1/20のサイズで実現したという。
ピクセル感がない現実に近い映像が観られるため、例えば、医療領域の場合は手術のシミュレートといった用途のほか、産業用途では製品開発において、3DCGでモックを作成して目視でのチェックが行なえるとしている。また、エンタテインメント領域における活用も期待できるとする。
物の滑りやすさを計測して掴めるロボットアーム技術
今回新たに発表された技術としては、繊細な人の手を再現する「マニピュレーター」技術を紹介。硬さ、材質、どこに重心があるかなど、特性が分からない物体をロボットが丁寧に扱うことができる技術で、ロボットの指先に搭載されたセンサーにより、検出した圧力分布の変化から物体の滑りの前兆をリアルタイムに検知。適切に物体を持つ力を調整して、滑り落とすことなく物体を掴めるというもの。
ロボットの指先に装着されている突起のような部分は、ぷにぷにとした触り心地の柔らかい素材で、この突起の裏側に装着された圧力センサーで、突起の1つ1つにどれくらいの圧力が掛かっているかを計測するという。人間の場合、記憶や経験に基づいて、目の前の物に対してどれくらいの力を入れて持つかを瞬時に判断しているが、ロボットにとっては、全てが“未知のもの”という認識で、測定して判断する必要があると説明した。
また、距離センサーも備えており、指から物体までの距離を把握でき、適切な位置や姿勢で物体を持つことができる。人間の手のように繊細に物体をつかむことができるため、従来ロボットの導入が難しかった新しい領域において、人間の仕事を手伝うことが期待できるという。例えば、介護領域において介護士のサポートを行なったり、スーパーなどでの陳列作業といった、様々な特性を持ったものを扱う場所においても活躍が期待できるという。
AIと高度なセンシング技術をロボットに組み込むことでマニピュレーターの能力を強化し、人の生活を豊かにするロボット技術の開発を続けていくとしている。
地球上の異変を察知する「地球みまもりプラットフォーム」や既存技術も
地球上のあらゆる場所をセンシングし、環境問題、災害などの異変の予兆を察知して問題の発生を未然に防ぐ仕組み「地球みまもりプラットフォーム」も紹介。実現すれば、人々に異変を事前に知らせることで、サステナビリティに繋がる行動を促せるという。
水分量測定が可能な土壌水分センサー、LPWA(Low Power Wide Area)の無線通信規格ELTRESTM(エルトレス)、AIを活用した予兆分析技術など、ソニーグループの技術を活用して構成。フィールドワークや実証実験を通じて、プラットフォームと持続可能な未来の実現に向け、取り組んでいくという。
高精細な映像を高輝度かつ広視野角で映し出すCrystal LEDとシネマカメラ「VENICE 2」を組み合わせることで、実写映像とCGをリアルタイムで合成する新しい映像制作技術「In-Camera VFX」も紹介。カメラの動きと連動させた3DCG映像を、スタジオに設置したLEDディスプレイに背景として映し出し、その前の演者を撮影することで、従来のグリーンバックでの撮影に必要なCG合成の手間と、天候や時間・場所などの制約からクリエイターを解放するとしている。
VENICE 2は、8.6Kイメージセンサーを搭載し、高い解像力と広色域による豊かな表現力を備え、幅広い輝度条件下でも豊かな階調での表現が可能なため、ディスプレイに映し出された映像をより現実の描写に近い形で撮影して再現できるとしている。
これらの自社製ディスプレイとカメラの組み合わせは、色再現や階調表現における親和性が高く、よりリアリティのある映像制作を実現するという。また、ソニーグループ内にクリエイターや実際の撮影に携わるエンジニアが在籍するため、連携を深め、高品位なコンテンツを効率的に制作できるのもソニーの強みであると説明した。
スポーツ領域で活躍している機能も。ソニーのグループ会社ホークアイ イノベーションズの技術で、専用のトラッキングカメラで撮影された試合映像から選手やボールなどの動きを捉え、ミリ単位の正確性で迅速に骨格情報やプレーデータを収集するEPTS“SkeleTRACK”と、それで得られたデータを、Data Visualization Technologyを活用して、バーチャルリクリエーションで映像化できるというもの。
ホークアイの得意とする高度な画像処理技術・AI認識技術と、ソニーの得意とする放送用途の品質で映像を扱う技術やイメージセンサー関連技術の融合により、選手の姿勢まで含めたすべてのプレーをデータ化。今まで捉え切れなかったパフォーマンスを可視化する。
サッカーの場合、それぞれの選手の関節19カ所やボールの軌道を3DCGで可視化することなどができる。映像はほぼリアルタイムで作成できるため、テレビ放送のリプレイ映像としてカメラでテレビ用のカメラで撮影していかなった角度からのプレーが観られたり、スローで動きを分析できたりするほか、選手達のコーチング用のデータとしても活用できるという。
そのほか、今後2D領域から3Dへ応用範囲を広げていく超解像技術や、車載LiDARの検知・認識性能の進化に貢献するという「積層型 SPAD 距離センサー」、PlayStation 5に導入されている、Tempest 3Dオーディオ、ハプティックフィードバック、アダプティブトリガーの3つの技術についても紹介されている。