ニュース

ラインアレイスピーカーで「音場合成」。SFアニメ風のプロジェクションも

展示されていたラインアレイスピーカー

5月26日~29日に開催される「技研公開2022」に先駆けて行なわれたマスコミプレビューにて、ラインアレイスピーカーによる音場合成技術や放送と通信のシームレスな視聴プラットフォーム技術の展示が紹介された。また会場ではインタラクティブプロジェクションを活用したソーシャルディスタンス確保の取り組みも行なわれている。

NHK放送技術研究所の最新の研究開発成果を一般に公開する技研公開。'22年はオンライン開催に加え、3年ぶりに実際に展示を体験できるリアル開催も復活する。入場は無料だが、新型コロナウイルス感染拡大防止のため、日時指定予約制で入場者数を制限しての実施となる。

今年は「技術が紡ぐ未来のメディア」がテーマ。2030〜40年ごろの多様な視聴スタイルとコンテンツ制作環境を想定し、「イマーシブメディア」「ユニバーサルサービス」「フロンティアサイエンス」の3分野から、16件の研究開発成果が紹介される。

なお、これらの展示は26日10時頃にオープン予定のオンライン展示でも閲覧でき、研究員による動画解説も視聴可能。会期中に行なわれる講演、ラボトークの収録動画なども後日掲載されるほか、会期終了後も当面の間は閲覧できる。

音が動き回る「音場合成技術」や、放送/配信を意識しないサービス

「よりリアルに世界を体感」をテーマとするイマーシブメディア分野からは、画面から飛び出す音の実現を目指した「ラインアレイスピーカーによる音場合成技術」が紹介・展示された。

より臨場感・没入感の高い音響体験を目指して、テレビ画面から飛び出す音を実現するための研究成果。ラインアレイスピーカーから再生される音の強さやタイミングを個別に調整することで、音波の広がりをコントロールする技術を応用し、空間上に仮想音源を作ることで、その位置で音が鳴っているように感じられる。

展示ブースでは、各楽器が鳴る場所を示す表示も

展示では正面のスクリーン裏と、体験者の背面にラインアレイスピーカーを設置したブースが用意され、「音で楽しむピタゴラスイッチ」として、動き回るビー玉にあわせてコンガやグロッケン、ミュージックベルといった楽器が前後左右から鳴る体験を味わえる。音が動き回るため「ぜひブース中央で体験してほしい」とのこと。

放送と通信の融合に向けた取り組みとしては、伝送路やデバイス機能に依存しない仕組みとして、チューナー内蔵のテレビや非搭載のディスプレイ、PC、タブレット、スマートフォンと、放送受信機能やインターネット接続機能など、デバイスの機能によらず、同様の放送サービスを楽しめるサービスのイメ―ジを紹介していた。

いずれの端末からも番組表からワンタップで番組を視聴でき、その際、チューナ内蔵デバイスでは自動的に放送で、それ以外のデバイスではインターネット配信経由で番組を表示する。番組情報には関連番組として配信サービスのコンテンツも含めて表示され、ユーザーが放送/配信を意識せずにコンテンツを楽しめるサービスがイメージされていた。この仕組みはHTMLを活用して作成したという。

マルチレイヤー符号の放送例。タブレットでは2K映像を、テレビで4K映像を符号化して表示している
NHK技研が開発したマルチレイヤー対応リアルタイムVVCデコーダー
マルチレイヤー符号を使うことで、テレビのリモコンを操作することでサブコンテンツの表示/非表示もできるようになる

そのほか地上波放送の高度化に向けた、伝送方式と放送サービスの研究成果や映像・音声符号化技術も展示。このうち、映像・音声符号化技術ではマルチレイヤー符号に対応したリアルタイムVVCデコーダーを活用し、2K映像と4K映像を同時に伝送し、受信機側で表示する映像を切り替える複数解像度サービス、同じく受信機側で選択可能な解説映像サービスの活用例を紹介していた。

まるでSFアニメの世界。密回避を促すインタラクティブプロジェクション

会場の混雑状況を可視化するシステム

コロナ禍での開催となる技研公開では、感染拡大防止策として混雑状況の見える化も実施している。会場に設置した6台のカメラ映像から人の位置をリアルタイムに検出してマップ上に表示することで、会場の混雑状況を視覚化して表示していた。

1階エントラス奥の展示エリア。頭上にプロジェクターが吊るされている
投写されるソーシャルサークル

また1階エントラス奥のエリアでは、来場者の足元にソーシャルディスタンス確保を促すための円(ソーシャルサークル)を、頭上のプロジェクターから投写するシステムも用意。通常はブルーのサークルに「MAINTAIN SOCAL DISTANCING!」と投影されるが、距離が近くなると絵柄が変化。イエローのサークルで「はなれて!」と表示され、ソーシャルディスタンス確保が促される。

「ソーシャルサークルプロジェクション」と名付けられたシステムは、人の動きなどに反応してプロジェクターの映像を変化させるインタラクティブプロジェクション技術と、技研で開発した小型8Kカメラ、人物認識AIを組み合わせて実現。通常は多くのカメラや距離センサーが必要になるとのことだが、広い範囲を鮮明に撮影できる小型8Kカメラ1台と、人物が映像上で重なっても座標を推定する人物認識AIを組み合わせて運用されている。

「ソーシャルサークルプロジェクション」に使われている小型8Kカメラ
「ソーシャルサークルプロジェクション」に使われている人物認識AIの画像。人の足元にマーカーが表示されている
距離が確保されているとソーシャルサークルはブルーの表示に
距離が近づくとサークルがイエローに変わり、密回避を促す