技研公開2012。“SHVの次”インテグラル/ホログラム立体TV

4月25日に新所長に就任した藤沢秀一氏

　日本放送協会(NHK)は、東京・世田谷区にあるNHK放送技術研究所を一般公開する「技研公開2012」を5月24日から27日まで実施する。入場は無料。公開に先立って22日、マスコミ向けの先行公開が行なわれた.

　公開に先立ち、4月25日に新所長に就任した藤沢秀一氏が挨拶。その中で藤沢所長は、「2年後のHybridcast、10年後のSHV、20年後の立体TVなどに向け、実用化のタイミングを誤る事なく進めたい。開発で協力していただいているメーカーさんも厳しい状況だとは思うが、こうした研究への取り組みが競争力強化につながれば」と、将来に向けての展望を語った。

　なお、ここでは2年後の実用化を目処に開発が進められている「Hybridcast」や、20年後を目指している立体テレビを中心にレポートする。なお、スーパーハイビジョン(SHV)関連の展示は、別記事でレポートしている。

■各社がHybridcast対応試作テレビを展示

各社がHybridcast対応試作テレビを展示

　IPTVフォーラムにおいて、規格化に向けて話し合いが行なわれている「Hybridcast」は、2年後の実用化に向け、ソニーやシャープ、東芝など、各社が対応試作テレビを参考展示。実用化に向けた研究・開発が着実に進んでいる事を伺わせる内容となっている。

　今回の展示の総合的な特徴は、Hybridcastの様々なサービスを実現するための、受信機側(テレビやレコーダなど)のアプリケーション実行環境として、HTML5ブラウザが選ばれ、HTML5上で動作するアプリのデモが行なわれている事。以下に、各メーカーの展示内容を紹介するが、Hybridcast規格はこれらの機能を実現するためのプラットフォームのようなもので、Hybridcastに対応したテレビとタブレットであれば、メーカーが異なっていても、一定の機能が利用できるように開発が進められているという。ただし「どこまでを基本機能とし、どこからを各社独自の差別化機能とするかは、まだ話し合いをしている段階」とのこと。

　ソニーの試作機では、タブレットをセカンドスクリーンとして扱い、テレビで視聴している番組の追加情報をタブレットに表示するデモを実施。無線LANを使い、テレビとタブレットを同期させており、テレビ番組の内容に合わせ、タブレット側が通信経由で情報を取得。例えばフィギュアスケートを見ていると、タブレットに現在の順位表が表示される。HybridcastはVOD視聴機能なども含んでいるため、“前の選手の演技のVODを見る”といったメニューもテレビ画面内に表示されるなど、知りたい情報や見たい映像に手軽にアクセスできるようになるという。

ソニーの試作機。フィギュアを見ていると、タブレットに現在の順位が表示される。テレビ画面右側にあるのがVODコンテンツへのメニュー

　番組と連動したタブレットへの情報表示では、他にもパナソニックの試作機が、サッカー中継において、選手のポジション情報をテレビやタブレットに表示。シャープの試作機では、語学学習番組の補助情報をタブレットに表示するデモが行なわれている。

パナソニックの試作機	サッカーを見ていると、タブレットに選手のポジションが表示される	テレビ画面にも選手のポジションを表示。これもHybridcastの機能

　フジテレビが提案しているのは「CM連動サービス」。CMとタブレットを連動させるもので、タブレット側で対応アプリを常駐させておき、サービスに対応した番組の放送がスタートし、最初のCMが流れると、そのトリガー情報がテレビからタブレットへと無線LAN経由で送信される。すると、タブレット側で、そのCM用のアプリが起動する(実際は簡易的なHTMLブラウザが起動し、サーバー上のWebアプリを読み込み・起動させている)。

　WebアプリにはCMと連動した内容が表示され、例えば「ツタンカーメン展開催中」というCMの場合、その招待チケットが当たるクイズがタブレットに登場。番組の中で複数回流れるCMの間に回答し、チケットが当たると、電子クーポンなどの形でタブレットに配信されるというイメージ。なお、テレビと連動しているため、CMから番組に戻ると、タブレット側では自動的に番組の詳細情報表示になり、またツタンカーメン展のCMが流れると、クイズアプリに切り替わる。

CMが始まると、自動的にタブレットにWebアプリが表示される	タブレットからクイズに回答	正解すると招待券などのクーポンがタブレットに

　三菱電機の試作テレビでは、こうしたHTML5を使った様々な多機能なアプリに対応しながらも、緊急地震速報など、重要な情報を最優先で画面の一番上のレイヤーに表示させるデモも実施している。

　また、こうした「Hybridcast先行モデル」の試作機として、専用の端末を使ったデモも実施。これは、前述の各社Hybridcast対応テレビ・レコーダなどよりも先に市場へ投入する事をイメージして開発されたもので、既存のテレビにHybridcast対応の端末を接続し、Hybridcast対応とするもの。

　端末の中に2つのデジタルチューナを内蔵しており、1つのチューナの映像はテレビに、もう1つはMPEG-4 AVC/H.264にリアルタイム変換しながらタブレット端末へ送信。タブレットでは、テレビ画面で表示している番組の詳細情報が確認できるほか、別のチャンネルの映像も確認できるというもの。具体的にHybridcast端末単体の発売が決まっているわけではないが、「例えばタブレットで必要となる無線LANルータに、Hybridcast端末としての機能やチューナを内蔵するなど、様々な事が考えられる」という。

三菱電機の試作テレビで、需要な情報を最優先で表示しているところ	Hybridcast先行モデル。手前の左側にあるのが対応端末。タブレットで別のチャンネルや、番組情報を表示できる

　WOWOWでも、高機能なタブレット向けアプリを開発中。オススメの番組などを表示するほか、サッカーを視聴している際に、関連するVODコンテンツをタブレットから楽しんだり、加入者同士が交流できるようなSNS的機能も用意。選んだSNSの書き込みを、タブレットからテレビに表示するといった機能も備えている。

　また、通信経由の映像と、テレビ放送の映像を同期表示させる仕組みもHybridcastの1つの展開として研究されている。これにより、例えばアイドルのライヴをマルチカメラで撮影し、テレビ放送しているメインカメラ以外の映像を、通信経由で配信。ユーザーが好きなメンバーを選ぶと、そのメンバーをメインにとらえた映像を、テレビ放送に重ねるようにウインドウ表示する事ができる。この場合、通信経由の映像は遅延するものだが、Hybridcast受信機側でテレビ放送の映像をあえて遅延させ、通信の映像と同期させるように表示するのが特徴。同様の機能を使い、手話の映像をテレビ内に表示するといった計画もあるという。

WOWOWの試作アプリ。VODコンテンツの映像をタブレットで見たり、SNSの書き込みをテレビに表示する事ができる		通信と放送の映像を同期表示させる仕組みも

　他にも、視聴履歴や検索履歴に合わせて、その人に合った番組スポット(今後放送予定の番組を告知する映像)を個々のタブレットに提示したり、番組と連動した情報や写真をタブレットに自動表示するなど、個人向けに最適な情報を提示する技術なども展示。

　これらの技術を実現するために、タブレットと自宅のテレビを連携させ、タブレットから簡単な操作でテレビとの連系を認証するための技術なども開発されている。

タブレットで認証ボタンを押すと、テレビ側で認証されたことを示すメッセージが表示される		認証したことで、花子さんのタイムライン(画面右)が表示されるようになった

■teledaで映像制作し、SNSで共有

　これまで何度も実証実験を重ねている「teleda」は、VODを楽しみながら、参加ユーザーとコミュニケーションもでき、チャットでの会話や、視聴の状態をユーザー間で共有するサービスで、こういった機能が視聴行動に与える影響を実験しているもの。

　その新たな取り組みとして、SNSユーザーによるCG映像コンテンツ制作システムが開発されている。これは、映像とCGキャラクターの動き、合成音声技術などを組み合わせ、ユーザーが簡単な操作でテレビ番組風の映像を作れるもの。これまでも技研公開で発表されてきた「TVML」技術を使って作られている。

　例えば、あらかじめ用意された映像から任意のものを選択。キャラクターと背景映像がセットになったものも選び、キャラクターに喋らせたい内容を文字で書き込み、番組名やタグ情報を付与するだけで、「その映像を、キャラクターが紹介したり、何かの反応をしたりする」動画を作る事ができる。それをteledaなどに投稿し、共有できる。将来的には他のSNSとの連携や、動画投稿サービスとの連携なども検討しているという。

実証実験を重ねている「teleda」	「TVML」技術を使ったCG映像制作システム。キャラクターや背景、使う動画を一覧から選び、セリフなどを入力	簡単にCG映像が作れるようになっている

　また、teledaを幅広い層に使ってもらうための技術として、タブレット向けに、やさしい言葉や、わかりやすいボタン配置などを採用したアプリも開発。高齢者でも使いやすいように配慮されており、画面上に、teledaの会員になっている家族が、現在どの番組を視聴しているかなどの情報が表示される。インターネット経由で連携できるため、離れた場所に暮らす孫が見ている番組を、お祖母ちゃんがteledaアプリを使って知り、同じ番組を視聴。テレビ画面上で孫とチャットする事もできる。

　テレビ画面上でのteleda連携機能は、前述のHybridcastの仕組みを利用。「teledaは現在PC向けのブラウザで提供している実験的なサービスだが、その内容自体はSNSとVODを連携させたサービスであるため、PCにこだわる必要はなく、Hybridcastで動くアプリなど、様々な形で提供できる」という。

「teleda」を簡単に使うためのタブレット用アプリ。家族の視聴状況などが表示されている	テレビ画面を使って、家族などとチャットができる

■立体テレビに向けた開発

　スーパーハイビジョン(SHV)よりも未来、裸眼立体テレビに向けた研究も進められている。

　「インテグラル立体テレビ」は、縦横の異なる様々な方向から見た映像を表現するため、撮影時に微小レンズを大量に並べたレンズアレーを通して撮影。表示時は、同アレーを通して再生する事で、多くの視点から見た映像を一度に表示する仕組み。

　具体的には、解像度がSHV(7,680×4,320ドット)で、レンズアレーで多視点化した映像を記録。表示時にはもう一度SHVのプロジェクタで映像を表示用レンズアレーを通して出力し、立体的な表示を行なっている。

　基本的な仕組みは昨年の展示と同じだが、今年はこの立体映像に、文字スーパーやCGなどを重ねて表示できるようになった。さらに、立体映像に合わせたエンハンス処理などもかけて、より見やすい映像になっている。

インテグラル立体テレビ	立体視しているところ	概念図

　また、従来の視域は水平・垂直方向に等しい形状だったが、レンズアレーの配置や、光線の広がりを制御する事で、任意の視域形状を生成する技術を開発。テレビでは垂直方向よりも、水平方向に広い視域が求められるため、水平方向に視域を広げたディスプレイが試作されている。

　また、複数のカメラを使って撮影した、多視点映像から、被写体の3次元モデルを生成し、そのモデルから立体映像を作る技術も開発している。

下段にあるのが水平方向に視域を広げたインテグラル立体テレビ	スマートフォンにレンズアレーを張り、Kinectでとらえた立体映像を、スマートフォンで立体表示するデモも。Kinectから得られる物体の形状データと表面の画像データから立体視映像を作り出して、スマホに表示している。人物の側面など、Kinectのカメラ(1台)でとらえられない部分は黒くなってしまうが、手軽に3D表示が楽しめるデモになっている

　異なるアプローチの立体テレビとして、ホログラフィーによる立体テレビも研究されている。これは、特殊な模様のような干渉縞に光を当て、反射した光を見るとホログラフィックな像が知覚できるという原理を使ったもの。この干渉縞を電気的に高速に書き換える事で、動画が再生できるという。具体的には、電力の方向で、干渉縞を表示する「空間光変調器」(光の状態を制御できる微小な光学素子=画素をアレー配置したデバイス)の光変調層の磁化の向きを反転させ、その磁化の向きにより光の偏光方向が回転(物質の磁化に応じて光の偏光方向が回転する現象を利用)。それを変更フィルタを通して立体表示している。

　今回の展示では、干渉縞を表示する「空間光変調器」の画素ピッチを、世界最小という1μm化し、約30度の視野角を持つ立体映像表示を可能にした。干渉縞を高速に書きかえるために、画素は磁気光学薄膜で形成。各画素に流す電流方向によって、薄膜の磁化方向を制御する“スピン注入磁化反転”で動作させている。これにより、10nsオーダーでの高速動作が可能になり、動画表示を実現できるという。

構造図	同じ技術を使い、静止画を表示しているケース。蝶の標本が入っているように見えるが、実際には何も無く、光を遮ると何もない事がわかる。カラー表示ができているのはカラーフィルタを重ねているため。将来的にはRGBレーザーを反射させる事でカラー表示を行なう予定だという

　なお、試作機では動画の表示には至っておらず、NHKという文字を表示するための変調器にレーザーを当て、それをカメラで撮影し、立体視ができている様子を展示。さらに、前述の“スピン注入磁化反転”で、画素が動作している様子などを紹介している。

試作機。右側に見える小さな黒い物体が空間光変調器。デジカメの奥にあるのがレーザー照射装置。レーザーを空間光変調器に当て、そこから反射した文字の映像を、人間の目に見立てたカメラで撮影している	カメラがとらえた映像。写真ではわかりにくいが、水平方向に動いているカメラで撮影したものが表示されており、NHKのHの部分が立体的に表示されている	空間光変調器を顕微鏡で見たところ

■VHF-Low帯マルチメディア放送対応端末を多数展示

　アナログテレビ放送で使われていたVHF 1～3ch(VHF-Low帯)を使って、実用化が検討されているマルチメディア放送。その試作機も会場に展示された。

　リアルタイムの放送に加え、蓄積型サービスなども提供するほか、緊急地震速報の信号による受信機能自動起動など、安全・安心に向けた技術も盛り込む予定。会場には、スマートフォンやカーナビなどをイメージした対応端末を展示。実際に実験電波を受信し、機能を紹介している。

試作端末が展示された		緊急放送で自動起動するタイプの試作機

■その他

上にあるのが従来からのVUメーター、下にあるのがラウドネスメーター

　NHKでは2013年度の番組から、番組間や放送局間の音量差を解消するために、番組の制作にラウドネスによる音声レベル管理を導入すると発表しているが、そのための装置も展示。周波数によって、音の聞こえ方が変わり、同じ音量でもうるさく感じる場合がある一方、ラウドネスコントロールを導入する事で、それが低減されるデモを体験できる。

　民生向けのカメラでは、高感度撮影が可能な裏面照射型の撮像素子が増えているが、秒間100万フレームの撮影を可能とする、特殊な超高速高感度カメラでも、同じ技術が使われようとしている。スポーツや科学番組などで使用するカメラだが、裏面照射構造を採用する事で、20%未満だった画素の開口率がほぼ100%となり、従来のセンサーでは転送電極で減衰していた青色光やフォトダイオードで透過していた赤色光の一部も全て利用できるようになる事などから、従来比13倍という感度向上を実現。従来は真っ暗にしか映らなかった輝度下の撮影でも、キッチリ被写体が見えるハイスピード動画が撮影できるようになったという。

裏面照射型の撮像素子を使った超高速高感度カメラ		左が裏面照射型のカメラで、右が従来の表面照射型で撮影したもの。右側は真っ暗でほとんど何も見えない

　4Kカメラを使い、スポーツ選手などのバーチャル対決ができるというユニークな「仮想対決システム」も展示されている。これは、高精度にカメラワークを制御できる自動雲台と4Kカメラを組み合わせたもの。例えばスキーの滑降競技を撮影する場合、最初の選手が滑る様子を人間のカメラマンが撮影。そのカメラワークの動きを記録しておき、2番目の選手が滑る時は、自動雲台が、先程とまったく同じ動きをしながら撮影する。

　そうして撮影した2つの映像を重ねると、2人の選手が同時に滑っているような映像が得られる。これにより、解説者などが「この部分で差がついた」というような解説がしやすくなるという。また、4Kで撮影する事で、任意の部分を切り出しても高解像度が維持できるため、差がついたコーナリングの部分にズームして放送するといった事も可能になる。

右のカメラの動きと、4Kカメラの動きが完全に連動している	2台のカメラで撮影した影像を重ねたもの。2人の選手が同時に滑っているように見える。また、中央上の青い旗は倒れている映像と立った映像が重なっているように見えるが、これは最初の選手が接触し、次の選手が接触していないため

BDをベースにした薄型光ディスク高密度記録技術。BD用のピックアップにレンズを追加する事で、従来の1/2の光スポットで、4倍の記録密度を可能にする技術。1層で100GBの記録ができるという。SHVの小型記録装置を目指して開発が進められている	将来の超大容量記録再生装置を目指して開発されているのが、ホログラム記録の技術。SHVの記録も念頭に、2次元ページデータ(2次元バーコードと同じように、デジタルの1と0を白黒として二次元的に配置したもの)の読み出し速度を従来比10倍以上にして、データ転送レートを高めたという。写真の左が読み出しているところ。右がホログラム記録媒体に光を当てたところ