ニュース
8Kで見る深海や「はやぶさ2」、AIやセンサー活用でNHK番組制作が進化
2019年2月13日 20:37
8KやAIなど先端技術の活用が進む、NHKの番組制作。その中で生まれた技術やノウハウを一堂に集めて紹介する「第48回 NHK番組技術展」が、NHK放送センター(東京・渋谷)で2月11日～13日に開催された。地球や深海の8K撮影映像、「はやぶさ2」の小惑星探査を8K SHV(スーパーハイビジョン)で3D CG映像化する技術、AI(人工知能)や機械学習を活用した番組制作支援のデモなどが披露された。
8Kは宇宙、そして深海へ
小惑星リュウグウへのタッチダウン・サンプル採取を目指す探査機「はやぶさ2」。NHKと宇宙航空研究開発機構(JAXA)が共同で開発した、「SHVはやぶさ2可視化システム」(既報)のデモが行なわれていた。
映像は3月中旬のNHK番組で紹介する予定。担当者は「22日のタッチダウンの様子をWebサイト上で映像配信することも、検討したい」と話していた。
はやぶさ2から送られてくる数値データ(姿勢や速度、位置座標)と、JAXAのリュウグウ観測データ、ESA(欧州宇宙機関)の星表データをもとに、可視化システムを用いて8K SHVの3D CGでビジュアル化。システムにはゲームエンジン「Unreal Engine」を使っている。
現実のはやぶさ2の挙動とは30分ほどのズレがある(探査機から地球までの通信に片道約18分+映像化にかかる時間)が、探査機の管制にも役立つという。
国際宇宙ステーション(ISS)に滞在している宇宙飛行士が撮影した8K映像が、シャープの70型8K液晶テレビ「LV-70002」で上映されていた。’18年12月のNHK BS8K開局特番で使用され、その後フィラー映像(番組間の空き時間の環境映像)として使われている。
収録カメラはRED「WEAPON Helium」で、レンズはニコン製の写真用レンズを使用。このカメラに1TBのストレージを取り付けた場合、8K/24p画質でおよそ2時間20分録れるとのこと。なお、センサーは宇宙空間の放射線などの影響を受け、高感度撮影時は「白キズ(画素欠陥)」が現われることがあるという。実際に上映されていた映像のうち、ISS内を映した映像はよく見ると画素欠陥が目立つものがあった。番組制作にあたっては、こうした画素欠陥を修復する補正技術が欠かせないという。
会場内でひときわ目立っていたのが、深海探査を追ったBS8Kドキュメンタリー番組「深海の大絶景 世界初! 8Kが見た海底1300mの秘境」の展示エリア。国立研究開発法人海洋研究開発機構(JAMS-TEC)とNHKが共同開発した、深海撮影用の8Kカメラシステムや、熱水噴出孔(チムニー)に群がる生物をかたどったジオラマが置かれていた。2月10日に初放送され、再放送も予定している(2月14日17時〜/2月16日12時〜)。
小笠原沖の海底(水深約1,300m)に、8Kカメラを装着した無人探査機「かいこう」を送り、母船の深海調査研究船「かいれい」からリモート操作で8K撮影した。8K撮影に使われた日立国際電気製の8Kカメラとキヤノンのレンズを装着したユニットや、深海の音を録るマイクなどが間近で見られた。いずれも耐圧容器に収めており、最大で300気圧(深海3,000m)まで耐えられるという。
海中撮影では赤系の色味が失われることを考慮し、演色性を高めるように調整した深海用のLED照明機器を投入。また、専用のカラーチャートを製作し、海底で映像のピント調整や色再現性の検証も行なったという。
4K/HDRドラマを効率的にSDR変換。屋外用の4K 360度カメラも
4K/HDRで制作している大河ドラマ「いだてん」。NHKは4K/HDRの世界観を損なわずに、地上波放送向けのSDRに一括変換するシステムを開発し、番組制作の効率化を進めている。
これまでは専用ソフトで一括変換カーブを作成する必要があったが、映像の一括変換コンバーターのパラメーターを3D-LUT(Look UP Table)ファイル化するシステムを新たに開発。「3D-LUT作成装置」(LUTBOX)の実機を展示していた。’20年放送予定の大河ドラマや、連続テレビ小説の制作で活用される予定だという。
独自の一括変換カーブを作成し、LUTBOXを通して色域を含めた変換を3D-LUTファイルに出力。変換結果はLUTBOXで確認でき、作成した3D-LUTファイルを使って視聴環境の統一を図れるとする。パラメーターはドラマ全話で統一するが、屋内のシーンが多いものや、屋外シーンが多用されるなど、作品の傾向に合わせて異なった調整ができるのも特徴だという。
市販の4K/360度カメラ(Insta360製)を採用した全方位カメラを用いて、リアルタイムで任意の画角を切り出して生放送できるサーバーシステムのデモも行なわれていた。将来的に、ヘッドマウントディスプレイ(HMD)と連携したり、空港や火山監視などの緊急報道現場や、スポーツ中継番組などでの活用を検討している。
屋外でも4K/360度カメラを使えるよう、冷却システムなどを収めた独自の全天候型ハウジングを開発した。サーバーには3日分の4K/360映像を収録でき、最大2台までの全方位カメラを同時に接続できるという。
緑バック無しでCG合成「Keydream」。AIでSNS向け要約映像を自動生成
NHK全体の取り組みだけでなく、地方局などで個別に開発された番組制作技術も紹介されていた。
松江放送局がエム・ソフトやキヤノンと協力して開発したクロマキーレス背景分離・合成システム「Keydream」は、グリーンバックなどのクロマキーセットを使わずに、リアルタイムで実写の人物とCG映像を合成して番組制作できる技術。同局のニュース番組「しまねっとNEWS610」などで活用実績があるという。
これまではCG合成にはクロマキーセットと呼ばれる青や緑単色の背景を使い、色情報で被写体と背景を分離する必要があった。しかし既存のスタジオにクロマキーセットを設置することは難しく、また屋外での運用は不可能だった。
Keydreamでは、カメラに取り付けた距離センサー「RealSense」(Intel)センサーを用いてカメラと人物の距離を認識し、PCと連携して人とCG映像のリアルタイム合成を実現。最大10mまでの距離にある被写体を認識し、独自の境界補正処理でマスクを生成して抜き出すため、クロマキーセットは不要とする。さらに「Kinect」(マイクロソフト)で人物の骨格の動きを検出し、出演者の動きに追従したCG合成も可能だという。
青森放送局は、AI(人工知能)を用いて放送番組の長尺映像から、TwitterなどのSNSで番組PRするための30秒程度の要約映像を自動生成するシステムをデモ。システムはPCのWebブラウザベースで動作していた。
システムにはディープラーニングを行なったAIを搭載している。収録済みの番組映像を読み込ませると、スタジオパートと本編映像を分離。次に、スタジオ音声から地名や固有名詞など複数のキーワードを抽出し、本編映像からそのキーワードに沿った複数シーンを抜き出す。最後に音声キーワードを抜き出した本編映像とリンクして再配列し、映像を決められた尺に収まるよう調整しつつ、対応する音声を付与する……というのが自動要約の大まかな処理の流れだ。これを1台のPC上で、映像ファイルのドラッグ&ドロップ操作だけでできるようにしている。
現在はまだ映像の抜き出しや精度に課題があるということだが、これまでは人の手で行なうと素材映像の数倍の時間が必要だった要約作業を、AIを活用することで省力化。10分程度のリポートを4分程度で30秒映像として出力できるという。
将来的には、Twitter上の番組PRで要約動画に誘導することを目指す。また、より長尺な通常番組で利用できるように精度を高め、アーカイブにおいてサムネイル動画の生成にも役立てたいとしている。
他にも、球速データを配信していない球場で行なわれる野球を生放送する際、バックスクリーンの球速表示をカメラで捉えてAIに画像認識させ、データ化して中継映像に載せるシステム(熊本放送局)や、国際放送「NHK WORLD-JAPAN」のライブストリーミング映像/見逃し配信用のアーカイブ映像において、多言語字幕サービス用の字幕制作にAIを使うスピード翻訳システム(国際放送局)などのデモが行なわれていた。
