ニュース
映像の場所ごとに解像度やフレームレートを変えられるイメージセンサー
2023年5月30日 18:29
NHK放送技術研究所にて、「技研公開2023」が6月1日～4日に開催する。2023年のテーマは「メディアを支え、未来を創る」とし、高精細360度映像の無線伝送技術や、次世代の地上デジタル放送の実現に向けた放送システムといった最新技術が展示されている。
去年は事前予約制だったが、今年はそういった制限のない出入り自由のリアル開催となっている。なお、Webサイトにも情報は掲載されており、6月1日より詳細ページが公開される。
映像の領域ごとに解像度とフレームレートを調整する新イメージセンサー
様々な動きや被写体が画面内に存在する360度映像撮影向けの、新たなイメージング技術として、映像を瞬時に解析して、領域ごとにイメージセンサーの解像度やフレームレートを変更する技術を展示。
例えば、画面内で細かいものが映っている箇所は高解像に、高速で動く被写体の部分は高フレームレート(解像度は1/2になる)に、暗い場所はフレームレートを下げて明るくしつつノイズを抑制、明るい場所は電子シャッターをONにするといった処理が行なえる。
会場では、イメージセンサー本体と、イメージセンサーを搭載した撮影装置で実際に撮影している様子を展示。映像のどの部分に設定が割り振られているかを色つきで表示している。
回転する円盤に書かれている文字は高速モードに割り振られていることで読めるようになっているほか、暗い場所と明るい場所はバランスが取れるように割り振られていて見やすくなっているなど、通常のカメラの設定では難しいバランスで撮影されている様子がわかる。
今後は、2024年までにイメージセンサーの高解像度化を進め、実用的な解像度の映像取得ができるシーン適応型イメージングシステムを開発するとしている。
映像や音声を好みにカスタマイズできる次世代地デジ放送
次世代の地上デジタル放送の実現に向けた研究の展示では、伝送の効率化を図り、従来の地デジの周波数内で、2K、4K、8K放送を伝送。さらに手話の映像や、スポーツ中継の別カメラ映像、音声情報を、メインとなる映像とは別枠として伝送するマルチレイヤー映像符号化により、好きな映像と音声を組み合わせてテレビ放送が楽しめるという技術を展示している。
伝送の効率化では、従来の2K放送、4K放送、8K放送をそれぞれ伝送するのではなく、2Kの映像(1Mbps)をベースの映像として伝送。その映像を補うための4Kのレイヤー情報(8Mbps)、8Kのレイヤー情報(30Mbps)を合わせて伝送することで効率化を図る。また、このマルチレイヤー符号化技術を活かすために放送電波だけでなく、ネット通信も活用。例えば、4Kのレイヤー情報までは放送で、8Kのレイヤー情報はネット通信を使うことで、放送電波の容量を節約する。
例えば、タブレットで視聴する場合は2K映像のデータのみを受け取るだけで済み、4Kテレビの場合は2Kのデータと4Kのレイヤー情報を受けてテレビ内で処理、8Kテレビも同様に8Kまでのレイヤー情報を受け取って処理することでこれまでの4K/8K放送と同クオリティで番組を楽しめるという。
解像度だけでなく、番組を補完/拡張する情報や音声もマルチレイヤー符号化信号で載せることで、例えば、サッカーの試合でメインとなっている映像の上に応援したいチームの選手をピックアップするカメラ映像を表示したり、応援チーム贔屓の解説音声を設定したりできるという。
また、ネット通信側でさらに付加価値のある情報/音声のレイヤーを伝送すれば、ネットと接続しているテレビでは、さらに個人の好みに合わせたコンテンツが楽しめるようになるとしている。
実際に1つの番組内で映像と音声を切り替えながらを観られる展示も用意されている。
高精細360度映像の無線伝送技術
昨年末の紅白歌合戦でも実際に使われていた4K映像の無線伝送技術をアップデートした、伝送容量400Mbps級の無線伝送技術も展示。会場では、屋上に設置されたカメラから8Kの360度映像がリアルタイムに伝送されており、HMDを装着して見られる。
昨年末の紅白歌合戦では148Mbpsの伝送容量で4K映像の無線伝送を実現。基本的に4K映像の場合は100Mbps程度で伝送可能だが、有線で伝送しているカメラからの映像とのギャップが生じないように148Mbpsを確保していたという。
今回も8Kの映像であれば通常は200Mbpsで伝送可能だが、400Mbps級の伝送容量を確保することで、よりクオリティの高い360度の映像をリアルタイムで表示できているとのこと。
NHKでは、解像度30K×15Kの360度映像の無線伝送を目標としており、今後この伝送技術については、2025年までに伝送容量700Mbpsの実現にむけ開発を進めていくという。
3次元空間の好きな場所から視聴できるイマーシブメディア
3次元の映像空間内を自由に動いて楽しめるイマーシブメディアの実現に向けた技術として、イマーシブメディアを簡単に作成できる3次元オーサリングツールを展示。
展示のイマーシブメディアは360度で撮影された背景映像内に、別のスタジオで撮影された3次元情報を持ったボリュメトリック映像とシーン記述を組み合わせ、半球状の3次元空間を構成。視聴者はHMD、スマホ/タブレットなどで、その半球のエリア内であれば視点を移動させて映像を楽しめるという内容になっている。テレビでは、最適な視点からの映像が映されるようになっているとのこと。
想定としては、レンダラーを通して三次元空間からレンダリングされた映像を配信することで、処理能力の低いスマホやタブレットでも3次元の映像が楽しめるとのこと。また、将来的にドーム型ディスプレイ、ライトフィールドディスプレイなどでも楽しめるコンテンツになるという。
直近の目標は、2026年頃までに、自由に動ける空間の範囲を広げる技術を開発し、実践的な環境での検証を踏まえてツールの改善を図ることだという。
