麻倉怜士の大閻魔帳
第18回
レイア姫のホログラムなど、未来のメディアは「ワクから飛び出せ!」。NHK技研公開を語る
2019年7月9日 07:30
「ワクからはみ出せ」ではなく「飛び出せ!」
NHK放送技術研究所、通称“NHK技研”。毎年5月に開かれ、放送に関する世界最先端の研究に誰でも触れられるイベント。そんな技研公開を、麻倉怜士氏が今年も徹底取材し、未来の常識となるかもしれない技術研究を語り尽くす。しかし、麻倉氏は、今年の展示内容に対して少々以上にご不満の様子。どうやらその理由、世界の放送を牽引した8K放送が始まった後に、今の技研公開がどんな未来を見せるのか、という方向性にあるらしい。
――初夏の入りはNHK技研公開の季節です。映像・放送に関する世界最先端の研究技術が公開される貴重なイベントですが、今年はどうでしたか?
麻倉：やはり8Kの実用放送が始まったという事が大きな区切りになったと感じますね。展示内容は昨年くらいからガラリと変わり、今年はそれが具体的になったように見えました。つまり「4Kだ!！ 8Kだ!!」といったハードの進展よりも、メディアの使い方や視聴スタイルをどう新しくするかというところを目指すという方針に舵を切ったという事です。
技研では2030～2040年くらいの目標として「ダイバースビジョン」ということを言いながら、メディア横断型のコンテンツ視聴を打ち出していました。昨年は如何にも「頑張ってやりました」感があり、今年も言っていることは変わらなかったのですが、出てくるものの具体的なイメージが昨年と比べて明確になった様に感じます。そこが一番大きな変化でしょう。
白黒から始まって以来のテレビをどう高度化させるか、キレイにするかという、ハード的クオリティアップに対する牽引者としての技研の役割は、昨年あたりで一段落した感があります。今年はその傾向がさらに強くなり、“NHK放送技術研究所”と言うよりも“NHKメディア研究所”ではないかと言うような感じになりました。新しいメディアの中に技術を取り入れている、技術が技術としてあるのではなく、メディアの発展のためにある。そういうところを強調していたのがとても印象的でした。
早速ですが、今回の技研公開を振り返ってみましょう。技研公開において最も強調したいところはエントランスにアリ。どれだけ展示内容が変われど、これは毎年変わることはありません。例えばこれまで8Kを普及させるのに、放送が始まるまでは「8Kはどういうもので、世界標準となり、HDRや120Hzが出てくるぞ」という、非常にハード的でイノベーティブな展示がエントランスに陣取っていました。
今回、まず目に飛び込んできたのは「ワクからはみ出せ、未来のメディア」というスローガンです。おそらく言っていることは、テレビという枠からはみ出し、多彩なメディアを統合して扱うのが未来のメディア生活、といったところでしょう。
――テレビのフレーム、既成概念を強く意識したキャッチコピーですね。8Kによって二次元映像による放送が集大成を迎え、次の放送は全く異なる次元に進化するぞ! と。
麻倉：そういう想いはよく解りますが、実際の展示を見てみると残念ながらまだ枠から出ていないものが結構目に付きました。例えばVR/ARや3D、IoT、AIといったバズワードで呼ばれているものを吸合し、ダイバースビジョンとして2030～2040年頃のメディア技術として提案しています。これは結局のところ革新的なテクノロジーを開発するのではなく、今あるテクノロジーを改良してダイバースビジョンに使っていたのですが、その姿勢がちょっと古いのではないかと言わざるを得ません。
VR/ARに代わる新しい視聴体験・技術を作り、それをもとに拡げてゆくというのであれば、NHKとしてのワンアンドオンリーの存在価値というものがあるでしょう。ですがそうではない。VRにしろARにしろ、現時点で既に発展しており、広く実用化されています。と言うかそもそも、これらはNHKが作った技術というわけでもない。未来を謳いながら、出てくるものが従来のVR/ARビジョンという枠を出ていない、これではイケマセン。既存技術の活用・応用は、言ってしまえば一般企業でも出来ること。そうではなく、パラダイムシフトをもたらす様な前人未到の新技術を開発してこそ、半公的機関であるNHK放送技術研究所の意義があるでしょう。
NHK技研は頭脳集団であり、なおかつ未来を指し示す人達でもあります。この人達が作ったものに対して世界の放送業界がついて行き、もっと後に世界の一般大衆がついて行く。その最先端で道なき道を切り拓くために、どうやって従来の枠をはみ出せるか、そこがNHK技研に問われています。なのでNHK技研はもっともっと鮮明で楽しい未来イメージを持ってほしい。そんな事を感じました。
――冒頭からなかなか辛辣な評価ですね……ですが確かに、今年の技研公開で見た展示はどれも今の環境の延長線上にあって、その気になれば今からでも達成できそうなものが多かった様に思います。SFワールドの到来を感じさせる様な圧倒的未来感、という次元のものは見当たらなかったかな。
麻倉：具体例を挙げてみましょう。この中で大きく取り上げられている「ARを活用したテレビ視聴スタイル、これはAR画面の中にTV番組に出ている人が飛び出してくるとか、海外赴任したお父さんが飛び出してくるというものです。ARの“使い方”としては、とても正しいと言えるでしょう。
麻倉：ただし“見せ方”としては、ハッキリ言って枠の中にハマっています。視聴者はタブレット画面を見ており、その中にテレビから登場人物が飛び出してくる。こういったものはARとして既に活用されているわけで、“未来”ではなく既に“現在”なのです。新しいテレビ視聴スタイルを紹介するPRクリップ映像もありましたが、これを見ると視聴者はARゴーグルをかけていて、AR映像に映っているようなイメージをデモンストレーション空間に映しています。
まさにそこにダンサーが居て、妹姉がダンサーと一緒に踊るというようなシーンなのですが、これではあまりに普通過ぎるでしょう。NHK放送“技術研究所”というのであれば、例えばホログラムを利用して、「スター・ウォーズ」シリーズのレイア姫の様に実態的な立体映像を持って飛び出してくる、というくらいのことをやってほしいところです。ARゴーグルを使わず、その場に実態的なイメージが浮かび上がって見せてくれる、という様なものこそNHKに期待したいところですね。
そういったとてもベーシックな技術開発を伴った、画期的なメディア体験が是非欲しい。「ワクからはみ出せ」と言うならば、まだはみ出せてはいない。しかもこのスローガン、「はみ出せ」なんです。この言葉自身も迫力が無い。これを言いたいならば「はみ出せ」ではなく「飛び出せ!」の方が適しています。つまり「はみ出す」程度ではダメ。「飛び出す」程の映像体験をNHKは提供すべき、そう感じました。
――ここは発想の転換も必要かもしれません。例えば'90年代以降の近年の創作では、実空間に立体映像を浮かび上がらせるという表現のほかに、電脳空間へ行って見た目も自分好みに変更した上でのコミュニケーションを楽しむ、という描写がよく見られます。映画「マトリックス」などはまさに電脳空間のバトルですし、映画にもなったゲーム「アサシンクリード」シリーズもそう。子ども向けアニメの「プリパラ」なども電脳空間の物語ですし、「名探偵コナン」でも劇場版「ベイカー街の亡霊」で電脳空間を描いています。
かつて手塚治虫が鉄腕アトムで“現代の常識”を多数描いた様に、もしかすると未来のメディアは創作の中にあるのではないでしょうか。こういうところからアイデアを膨らませて、開発・提案に活かしてほしいと感じました。
麻倉：いきなりダメ出しを連発してしまいましたが、もちろん感動した展示もちゃんとありました。まずはエントランスエリア・E2ブースの「高精細VR映像」。これがなかなか面白かったです。
VRといえばヘッドマウント型というイメージがありますが、ここではそういうものではなくドーム型の映像に自分が入ってゆく“ドーム型VR”を提案しています。メガネに縛り付けられることなく、メガネ無しでドームの中に入ることにより、360度映像を感じる。これはヘッドマウント型とは違う体感型VRだと思います。
麻倉：大元の発想はNHKメディアテクノロジーズがInterBEEで提案した、サザンオールスターズの「東京VICTORY」に乗って東京を一周するという4Kの3Dドーム映像です。この時は中に3人ほどが座れるベンチが据えてありました。こういうものはパーソナルであればあるほど没入できる訳で、技研の展示は室内における没入型の提案です。こんなパーソナル映像は面白いですね。
それ以外に車内型/部屋型VRという提案もあります。考えてみれば車室空間は天井ありフロントありサイドありリアありで、ドーム型映像が作りやすい空間。なので車室空間を活用すれば、車内型は確かにメガネ無しのドーム映像ができそうです。
また部屋型の展示は、横11×縦4mの半円型巨大湾曲スクリーンにパナソニックの4Kプロジェクターを8台使ってほぼほぼ8Kに近い映像を投写するというものでした。特設会場なので光がだだ漏れでコントラストに影響があり、スクリーン映像を観る環境としては少々厳しいものでしたが、それでも映像体験としてこれはなかなか良かったですよ。
麻倉：どちらかと言うと映画で言うシネラマの8K版で、360度映像を体験するVRと言うにはちょっと異質ですが、元々広い空間なので自然で疲れも溜まらず、映像との距離感も実距離があるので快適。眼鏡の狭い空間で体験する小さな世界より、ずっとワイドな映像を体験できます。
この部屋型VR展示、コンテンツは慶應義塾大学のオーケストラが演奏するハチャトゥリアン「仮面舞踏会」のワルツで、これにも一工夫がありました。オケの構成は第1ヴァイオリン/第2ヴァイオリン/ヴィオラ/チェロというパート分けで、プロジェクター間の映像が重なる境目の部分に人物を置かないというのがミソ。これがとても効果アリで、つなぎ目も判らなかったです。コンテンツはそのほかに柳ヶ瀬の川下り映像もあり、こちらは揺れる船に伴って景色も揺れて、それがリアリティを持って自分が船に乗っている気分になりました。
――人間の感覚はリアルな体験に近づけば近づくほど、ほんの些細な違いに違和感を覚えるものです。没入感を求めてVRを観る訳ですから、こういった細かな部分の気配りは大事ですね。
麻倉：今8Kスーパーハイビジョンと言っても、テレビのサイズは90型くらいまでしかありません。ですが8Kのポテンシャルを考えれば、メディアルームを一部屋置いて半円形のスクリーンに映す、部屋型VRという様なインスタレーションは家庭でも有り得るでしょう。映像自体は2次元ですが、半円映像とすることで3Dの様に見えます。これまでの二次元の中での高精細化という既成概念を飛び出した、新しい視聴体験です。
私達はこれまで、8Kが始まるまでは2Kハイビジョン、4Kスーパーハイビジョン、そして8Kと、フォーマットが新しくなることによって体験がどう変わるかを説いてきました。そして1つの極地である8Kができた今は切り口が従来までと変わり、どうやって8Kを新しい体験に使うかにシフトしています。8K映像をVR的に使うとどんな体験ができるか、これもそういった一面の現れでしょう。8Kが究極の目的ではなく、道具として新しい体験を得るために使う。その方向が見えてきたのです。
VRに関連して、ARを活用したテレビ視聴スタイルにももう少し触れておきましょう。先程は苦言を呈しましたが、映像体験としてこういう道は確かにあります。これまでもARは様々な活用法が提案されてきましたが、例えば工場などで設備のリアルタイムステータス表示など、最初は「これは、これこれなんですよ」みたいなのが出てくる情報系でした。それが「ポケモンGO」辺りからエモーショナルな表現が出てきて、情報的ではなく感情的にARを使う道筋が示されました。
今回は有名人や単身赴任のお父さんが出てくる、というアプローチです。人と人のつながり、連携、コミュニケーションにARを使い、濃密なやり取りを試みる。これは技研が提唱しているダイバースビジョンの、一つの大きな切り口ですね。でも先述の通り、ワクにハマっていてはダメ。今のカタチだとエモーションはフレームの中にしかありません。そうではなく実生活の中にどう入り込んでくるかという挑戦が必要。どうも「枠の中からはみ出」していない印象です。NHK放送技研なので、そこをもっともっと追求してほしいです。
メディア連携というスタイルの提案も面白かったです。技研はリアリティーイメージング/コネクテッドメディア/スマートプロダクションという3つのポイントを挙げており、これらをつなげてダイバーシティとしています。このうちコネクテッドメディアの分野で「ネット×データ×IoTが連携するメディア技術という研究を、今回は展示していました。
近年はIoTの注目度が高まっており、有線/無線のLANを介してネットにつながる家電も増えています。その中でテレビにおけるIoTはというと、これまでは「ハイブリッドキャスト」の様にタブレットで多重放送をやるみたいな感じでした。今回はそういったものとは違い、生活の中においてテレビ放送の視聴を中心に据え、テレビ視聴をアシストするように周りの家電がサポートする、という提案がされていました。
展示ではモデルルームが用意され、フィギュアスケートの中継が始まるとその時間にテレビへ行くように他の家電のディスプレイへサインが出ていました。しかもこれ、目的の選手の演技が始まるのに合わせてお洗濯中の洗濯機に案内が出る、というもの。視聴を始めると大きな音を立てていたロボット掃除機が自動的に止まるなど、周囲の家電が快適なテレビ視聴環境をつくります。
麻倉：内容としてはシンプルなデモでしたが、ネットワークに繋がった冷蔵庫や洗濯機などの家電製品群が連携して情報を出し合うという、IoT家電によるテレビ生活の快適性を向上させる工夫です。これは一つの例ですが「ネット×データ×IoT」という掛け算において、より快適・確実なメディア生活を送ることができることを示唆していたと言えるでしょう。それが連携サービスによって進むのではないでしょうか。
――放送とIoT家電の連携はまだまだ可能性がありますね。例えばキッチン家電と連携して放送のレシピをダウンロードしたり、空調家電と連携して番組に4DXのような空調効果を加えたり。放送で紹介した技術などを、Amazon Alexaの「スキル」の様な感じでパッケージ化して家電に配信すると、普段の生活にスパイスを効かせる新しいアイデアが生まれるかもしれません。こんな事を考えてゆくと、今までは思いつきもしなかった放送と他業種のダイバーシティもどんどん膨らみそうです。
次世代型テレビの鍵となる“インテグラル立体映像”
麻倉：テレビの新しいスタイルとしてもうひとつ、2030～2040年に向けて開発中の次世代型テレビ、インテグラル立体映像の今も紹介しましょう。立体映像は未来型映像技術の大本命として毎年展示はしているものの、IoTと違って進捗がちっとも変わりません(苦笑)。ですが今年の展示は良かったですよ。今回のデバイスは画面サイズが9.6型で、ここは昨年と比べてさほど変化はありませんが、何よりも画像が明るくなったことが従来とは違います。
これまではプロジェクターを使っていたインテグラル立体ディスプレイですが、今年は9.6型4K液晶を使い、バックライトを活用することで明るさを確保していました。2Dで4Kあるディスプレイを使っても、3Dにすると表示解像度は横400×縦250で、およそ10万画素。SDは640×480で30万画素あるので、その3分の1くらいです。
解像度向上は毎年牛歩の進みですが、今年は明るさに加えて横方向の視野角も向上していた事が特筆すべき点でしょう。「視点に追従するインテグラル3D映像」では、携帯型立体ディスプレイをにらんだインテグラル立体映像の技術展示がされていました。これまでインテグラル立体映像は視野角が狭く、スイートスポットを外すと立体感はおろか、絵が全く構成できなくなり破綻していたのが大きな問題でした。視野角と3D効果は一方を上げるともう一方は下がるという、完全に反比例の関係にあります。そのためこれまでは、限られたスイートスポットの効果を向上させる事に注力していたわけです。
視野角を広げるのに従来はレンズの改良などのハード的アプローチがなされていましたが、今回は技術的に視野角を拡げたのではなく、視聴者の瞳をカメラで検出し、動きに追随して映像をずらすという、トンチのようなことをやっています。確かに光の拡散自体はより狭小化されていますが「これは果たして視野角を拡げたことになるのか?」とも思わせる展示です。ですがパーソナルな限りの実用においては、動いても視野は確保していると言えるでしょう。
――例えば3Dスマホやニンテンドー3DSの様な、一人で使う小型画面には有効そうなアプローチですね。こういったデバイスには画面端にカメラが付いているものが多いので、導入のハードルは意外と低いかもしれません。でもテレビは複数人で視聴できることが大きな強みなので、そういった用途での活用は見込めません。一方であまりに画面が小さいと、そもそも立体が持つ迫力が削がれるでしょうし、そうなるとニーズとしては産業用途など限定的でしょう。
画面サイズとしてはせいぜいタブレットの10型前後か、大きくともPC画面の20型くらい、目一杯欲張っても30型程度までの贅沢なパーソナルテレビ、といったものに限られる気がします。
麻倉：この技術がたとえ実用化されたとして、こういうものはおそらく流行らないでしょうね。瞳検出をどのくらいのスピードで追随するかと言う問題もありますし、3人が同時視聴したらどうするのという問題も考えられます。どちらにしても、これは立体テレビが実用化された際に全面的に使われる技術ではないと言えそうです。
ただしこの展示が全く無意味かと言うと、決してそんな事はありません。2030年の立体映像実用化に向けて、今はまだ10年あるわけです。その中で様々な試行錯誤が必要な現段階においては、むしろこうしたアプローチは重要です。その点においてこの技術が出たことは、完全に視野角を拡げた訳ではないにせよ、実用に一歩近づいたということに間違いありません。
そのほかこの展示をデバイス的な面で見ると、焦点距離を1mmから2mmへ向上させ、奥行き感がより出てきました。こうした細かいところを地道にやっている感じで、この技術をもっと進めつつホログラム映像表現もやって、新しいハードの開発を軸にしたダイバースビジョンへ向かうと、結構面白い未来が期待できそうです。
実用化した8Kの、“その後”
麻倉：次は8Kの話題です。と言っても皆さんご存知の通り、8K放送は既に実用化済み。技研としてこれからの研究ポイントは、次の2つに限られてきました。ひとつは“フルスペック”が実用化されるか。つまり、放送における8K解像度/BT.2020 色域/HDR/10bit階調/120fpsフレームレートの確保です。
テレビ自体の性能はともかく、放送信号はフルスペック8Kが要求するほとんどの要素をカバーしていますが、フレームレートだけは現行の放送だと60fpsに留まっています。4Kまでだとフレームレートはあまりとやかく言われませんでしたが、8Kになると120fpsの重要性を指摘する声が増えました。というのも、折角8Kにして1画面上の解像感を増やしたのに、動きボケが出ていては高解像度の意味がないからです。
今回は「フルスペック8Kライブ制作伝送実験」で展示がされていました。ライブ製作の中で実際にフルスペック8Kが活用されはじめた、というのが大きなポイントです。技研のある世田谷の砧に程近い二子玉川に、3台のカメラをそれぞれ別方向へ向けて配置。8K 120pのベースバンド信号を符号化し、6分の1に圧縮して光ファイバーで技研まで引っ張り、21Ghz帯の伝送で技研内に置いた設備に入れる、というものでした。
実際に見てみたところ、絵は問題なかったと思います。これが面白かったのは、ほとんどリアルタイムで圧縮ができるということ。圧縮は準2パス方式を用いており、1パス目で全体の状況を見て、それに応じて2パス目でビットアロケーション(ストリーム帯域の確保)を再編成しています。ポイントは最初から8K/120pで2パスを通すのではない、ということ。1パス目は4K/60pで問題点を洗い出し、さらに8K/120pにしてもう１パス通すのです。フルスペック8Kともなると1パスではダメで、2パスが絶対必要で、これも実用化のための大きな工夫でしょう。
麻倉：8K関連もう1つのポイントは、地デジの8K化です。これに関しては昨年も展示がありましたが、1年前はサービスイメージだけ。それが今年はいよいよ実伝送に乗り出しており、放送波として東京タワーから技研敷地内の中継車へ信号を送り、その映像が「地上放送高度化方式の大規模野外実験」で公開されていました。
――地デジの高画質化は4Kを飛び越えて8Kですか。なかなか野心的ですが、帯域確保は大丈夫でしょうか? 現状はコーデックが旧世代のMPEG-2とは言え、地デジの帯域はかなりカツカツだったはずですが……。
麻倉：残念ながらその不安は的中です。実際に絵を見てみると、こちらはなかなかボケていました(苦笑)。現行のハイビジョンにおいては、NHK BSが最も絵がキレイで、民放地デジはイマイチ。どうも8Kにも、今の所この関係に近いヒエラルキーがある様子です。
BS 8Kは100Mbpsのレートを確保していますが、今回の映像はHEVCエンコードで、伝送レートはなんとBSのおよそ4分の1にあたる28Mbps。現行の地上波に入れるにはこれくらいの圧縮レートが必要、というわけです。映像はかなり吟味を重ね、頑張って圧縮したものを送ってきていました。ですが紅白歌合戦の映像を見ると、やはり今のBSと地デジくらいの違いが。これはもう少しシャキッとならないものかと思わせました。
ただしあまり悲観する必要はありません。と言うのも、今回のものは実用になるはるか以前の段階にあたるプロトタイプ。地上波8Kの放送が実用化されるには、これから更に多様な面で技術革新が必要になると思われるからです。帯域問題の解決に大きく寄与しそうなのが次世代コーデック。今回の実験にはUHD BDなどで使われているHEVCコーデックを使用していましたが、実は技研では2020年にMPEGでの承認を目指している新コーデック「VVC」を開発中。これに関しても「次世代映像符号化方式VVC（Versatile Video Coding)」で展示がありました。
映像は田の字型のブロックに分割してエンコードしますが、従来はこのブロック分割を同じサイズで理路整然とやっていました。VVCではこれのカタチそのものを柔軟な適応型に改良。例えば大空を映した様な圧縮があまり必要ないシーンでは1ブロックを大きくし、細かい波が動く様な圧縮が難しいシーンではターゲットブロックを細かく区切る、という感じです。この際の予測技術もより先進的なものを採用しており、これらを合わせることで現行のHEVCと比較しておよそ30～50%ほどの符号化効率改善が見込まれています。
こういったアイデアは以前から構想にありましたが、HEVC策定時にはリソース不足で採用が見送られていました。そういったものが次世代のVVCでは盛り込まれる予定です。今回の8K地上波実験映像はHEVCで28Mbpsなので、VVCの28Mbpsで、なおかつプリ処理を上手くやっていくと、地デジの8K画質もきっと“観られないではない”というレベルまでくるでしょう。
麻倉：8Kカメラが新しくなる事の面白みもありました。「次世代撮像デバイス技術」の展示です。
特に面白かったのが有機膜積層型カラーデバイス。これまで映像向けフォトデバイスは、お手軽コンパクトだけど画質そこそこな単板式、あるいは本格派で画質は良好でも超大きい3板式、という２択を迫られていました。単板式が画質そこそこな理由は、1枚のセンサーでRGBをフィルタリングする際に、原色毎に使わないエリアがそれぞれ別で出てくるため。この部分を信号処理で埋めるにしても、元々3原色が別々である3板式の高解像度には敵いません。
これに対して単板式のコンパクトさと3板式の画質を併せ持つのが、今回の有機膜積層型カラーデバイスです。最大の特徴は、従来のようにフィルターで色を着けるのではなく、各色層が色を直接読み込むこと。つまりカラーフィルターを使わず、すべての光が積層されたRGBの各レイヤーに届きます。最も、赤が最下層に配置されるので、厳密に言えば青と緑を通る際に赤はそれなりに減衰するでしょう。それでも減衰を最小限に抑えて、フル解像度におけるRGBを単板で作ることができるというのは画期的です。
この研究が実を結ぶと8Kのエクスキューズが無い小型の単板カメラができるため、撮像素子の革新は非常に大きな期待が向けられています。こういうところも今後の8K関連技術での開発ポイントです。
麻倉：8K関連デバイスで言うと、「フレキシブルディスプレーの要素技術」は要注目です。今年は中国や韓国で画面が曲がる有機ELスマホが相次いで発表されて話題になっていますが、有機ELで肝要なのは大画面で曲がるスクリーン。これこそ8K放送を観る究極のディスプレイだということを、私はこれまでに何度も主張してきました。
そこで提案されたのが “QLED”こと量子ドット有機EL(QD OLED)、次世代の有機ELはこれです。「QLED」と言う言葉はサムスンがテレビのブランディングで大々的に使っていますが、あれはLEDバックライト液晶を「LED TV」と言ったのと同種の商売文句で、中身は単なるQD液晶。ここまでならば既に多くのメーカーでやっています。ここで言うQLEDはそうではなく、本物のQD OLED。この技術が巻取り型ディスプレイの大本命だと言われています。
波長(色)が入力と出力で変わるQDの粒は、発光の純度が非常に高く、色再現性がすこぶる良好です。現行のOLEDと同じく巻取り型にも適合するので、ディスプレイ業界をはじめとする各方面から注目されています。実のところ、QLEDの緑と赤は既に出来ていて、問題はカドミウムなどの有毒物質を使わない青を満足いくレベルで出せるかどうか。高周波にあたる青色は無機のLEDでも長年難しいとされてきましたが、有機でも青を発光させるダイオードがこれから大変になるだろうと言われています。でもやはりディスプレイの革新ということで、これは大いに期待したいところです。
トランスオーラルシステムやMPEG-Hなど、音にも注目
――映像の話題が続きましたが、音声の分野はどうでしたか?
麻倉：ではまずトランスオーラルシステムについて取り上げましょう。ラインアレイ状に並べた多数のスピーカーを使って、ヘッドフォンにおけるバイノーラル再生の様な効果をスピーカーで出そう、という音声システムです。展示の中身はシャープとの共同研究で、これまでも周りをスピーカーアレイで覆うなど同種の研究を進めてきました。残念ながら出てくる音に感心したことは一度もありませんが(苦笑)。
今回の物も、テレビの画面に音がグチャッと出てはきますが、それが空間に広がるわけでもなく、いまいち方向性が出る訳でもありません。「この音ならばこんなにいっぱいスピーカーを使わずとも出来るのでは」と思わせる感じです……。
音に関してはこれよりも隣の展示、地デジ8K化のブースに気になるものがありました。ドイツ・フラウンホーファー研究所などが開発したMPEG-H対応サウンドバーです。実はこれ、ゼンハイザーが「Ambeoサウンドバー」として製品化しており、昨年のIFAで発表されています。こちらは私もベルリンで聴きましたが、実に素晴らしい音でした。
Ambeoは音質が良いのはもちろん、音場が広がり音像はクリアでしっかりとそこにあり、立体方向の再現もきちっと出来ています。技術としては音の広がりを絞って部屋の壁に反射させることで実音像を出す音声ビームを使用。これはヤマハがサウンドバーでやっているのと同様の方式です。市場にはサラウンド効果を狙ったサウンドバーが多数出ており、特にイマーシブサウンドに対応するタイプのものは、頭部伝達関数を使う錯覚を狙ったものが多くあります。ですが錯覚による効果は実音像ではないので、言ってしまえばこれらは“フェイク・サラウンド”でしょう。
でもフラウンホーファーのこれは、ビーム音声できっちりと実音像を出しています。加えてフラウンホーファー研究所はMPEG-Hにおける最大クラスのコントリビューターですから、きっちりとした技術を持っています。今回は音が出ていませんでしたが、実際に鳴っていたら先のアレイスピーカーよりもおそらくずっと良い音だったろうと想像できます。
――Ambeoサウンドバーは昨年のIFAで発表されてからまもなく1年が経ちます。海外では2,500ドルほどで既に販売しているみたいですが、日本にはなかなか入ってきませんねぇ……。サウンドバーの中ではトップクラスに音が良く、しかも5.1.4chでDolby AtmosとDTS:Xにも対応して使い勝手良好ですから、これは首を長くして待ちたいところです。
麻倉：音のトピックで言うと「オブジェクトベース音響による次世代音声サービス」で解説されていたMPEG-Hが重要です。これからの放送はMPEG-Hによるオブジェクトオーディオが採用されますが、これが放送における音の価値を高める、凄く面白い技術なんです。
テレビ放送におけるマルチ音声サービスはこれまでもありましたが、内容はせいぜい数カ国語の言語別音声か、サラウンド音声を出す程度。対して新方式は各チャンネルをオブジェクト(パーツ)化し、それぞれを独立して操作できます。例えば野球中継だと、あるチャンネルは一般的な実況、あるチャンネルは球場の現地音声、あるチャンネルはホーム向け実況、あるチャンネルはビジター向け実況、といった感じで用意されます。視聴者はこの中で好きなチャンネルだけを選び、場合によってはイマーシブなサラウンドになったりしつつ、組み合わせて出すことが出来るのです。
――スポーツファンにとっては夢のような技術ですよ、これ。関西で東京ドームの阪神対巨人戦を放送していると、巨人寄りの解説にイライラする人が多発しますもの(苦笑)。
麻倉：このようにユーザーのニーズに合わせたカタチで、様々な内容の音声を送ることが出来るのが、オブジェクトオーディオの利点です。アメリカではドルビーAC4形式が次世代放送の形式として標準化されていて、ヨーロッパや日本では、MPEG-Hによるオブジェクトベースサラウンドが採用される予定です。
このMPEG-Hは最近話題になっており、ソニーがCESで発表した360度リアリティサラウンドでもMPEG-Hが採用されています。これからの音は単に送ってくるものを聴くというだけではなく、自分で聴きたいものを選んでコンテンツに対する没入感を音で出そう、というトレンドができているわけです。そういうものがこのブースで見られたので、これも面白かったです。
麻倉：8K放送の音に関しては、22.2chという多チャンネルイマーシブサラウンドは一般ユーザーにとってハードルが高いと、度々問題視されています。この問題を現実的に解決するダウンミックスに関する説明が「22.2マルチチャンネル音響の適応ダウンミックス」でありました。これも初めての展示で興味深かったです。
8K放送のほとんどは22.2ch音声で送られてきていますが、現状ではネイティブ対応するコンシューマー機器が存在せず、一般家庭で22.2chをそのまま出すことはできません。将来的にはホームシアター規格の整備が見込まれるほか、22.2ch自身も5.1chの中に畳み込んでAVレシーバーでイマーシブ再生する、という方法が提案されています(今回はこの手の展示が出ていなかったので残念ですが)。その中でこの適応ダウンミックス展示はと言うと、22.2chを5.1chサラウンドや2chステレオに自動ダウンミックスする技術です。
――上下方向の立体感は消えるかもしれませんが、素直にステレオや5.1chにダウンミックスしてはいけないのでしょうか?
麻倉：それがどうも問題アリだそうですよ。機械的・画一的なダウンミックスでは、例えば中域が過剰になって硬い音になったり、圧縮したような感じになったりして、音量や音質が変わってしまうのだとか。これを修正するべく、本技術ではまずF特で過剰な部分を抑え、ラウドネスでもバランスを取ります。
なぜ単純ダウンミックスでバランスが崩れるのかと言うと、22.2chの音響を作る時に一つの音源を多チャンネルサラウンドへ散りばめるのですが、その際に雰囲気や臨場感が出るように操作をするからです。ダウンミックスにて散らばった音を単純にまとめると、周波数成分ごとの音の強弱が22.2ch音響から変化した過剰な音になります。そこで変化分を調整するコヒーレンスコントロール/ダウンミックスチョイスという操作をする、というわけです。
確かに8K放送の音声は22.2chですが、先にも述べた通り22.2ch環境というのはなかなかハードルが高い。殆どの場合はステレオ環境で視聴するわけで、せいぜいが5.1chでしょう。新デバイスや新コーデックと比べると華々しさは欠けますが、実用においてこれはとても重要な技術です。
こういった技術は、言うなれば枝葉の部分。8K放送のフォーマットはきちっと固まりましたが、でも細かい部分のケアはまだやりきれていないのが現状です。これまでは何とか実用放送をスタートさせるために、とりあえずカタチにして大掴みで何とかまとめていたわけです。こういった部分の歩幅を縮めるという意味で、とても面白い試みでした。
「枠を捨てる」ために大切な事
麻倉：最後に「8Kでどこまで見えるか、しらべてみよう」という体験型展示を紹介したいと思います。2Kカメラと8Kカメラを用意し、カメラのフォーカスを操作しながら、両者の絵はどう違うのかという事を体感してもらう内容です。楽しめる事を重視した子ども向けの展示ですが、技術的にもの凄く深い部分に触れており、これを実にシンプルに易しく言っているのは特筆すべき点でしょう。
この“楽しめる”というのには、2つの要素があります。1つは展示物そのものの面白さ。2Kと8Kのディスプレイがあり、被写体の特製視力検査表を撮ると、2Kでは一番小さな視力2.0の部分が潰れて見えないのが、8Kでは同じところで「8Kみえる」というウィットに富んだ表記が見えます。
もう1つは「8Kみえる」が本当に“8Kでみえる”という素朴な事実です。「解像度が上がったのだから当たり前だろう」と言ってしまえばそれまでのように思われますが、実はこれ、とても技術的に深い現象なのです。このブースを手がけたのは正岡顕一郎博士。CES報告時に触れた、空間周波数を論拠とした“8K視距離1.5H論”の論文を2013年に発表した研究者です。
博士は国際標準化の委員でもあり、特にBT.2020やHDRの規格策定に尽力され、8K視距離1.5H論は徹底したフィールドワークで人間の視覚心理を調査したものです。そんな博士が編み出したのが、カメラの空間周波数特性(MTF)がひと目で判るシステム。従来MTFの測定はとても困難で時間もかかる作業でしたが、それがチャート表を映すだけで、カメラとレンズの撮影システムのMTFを一発で見てしまうシステムを開発したのです。
カメラ趣味の方ならばご存知でしょうが、MTFは画像・映像における解像力を判別する要の情報。博士のシステムは、今や世界中のカメラメーカー/レンズメーカーに入っています。これは開発現場におけるプロユースのツールですが、技研での表示はタブレットで、ボケるとグラフの山が左端へ偏り、フォーカスが合うと右側に分布するという、初心者でも解るレベルのビジュアル表記になっています。実際に展示を試してみると、2KカメラシステムのMTFは左側に寄ったローレベルなもので、8Kならば寄った山が右へ来ました。チャートを見て計測し、科学的に違いを確認する。この違いが目に見える効果としてどう現れるか、それが先程の「8Kみえる」という視力検査表なのです。
麻倉：かなりハイレベルな技術・理論を、どれだけ平易に見せるか。これはそういった、アイデア勝負です。この展示は博士自らが視力検査表を作ったり、説明ポスターを自分で書いたりと、大先生が頑張ってやっていただいたわけです。
――本当に理解をしているならば、何も知らない人に説明しても、肝心な部分をちゃんと理解をしてもらえるはず。学生時代に論文執筆をしていると、指導の教授からは「中学生が読んでも解ってもらえる文章を書きなさい」と口酸っぱく言われました。研究者として、この展示は非常に大切な事を体現されていると思います。
麻倉：例えば「8Kでスローモーションを体験してみよう」や「AIで白黒写真に色を付けよう」など、最近は体験型が増えていますね。この辺のものは数年前までメインストリームの場所に居ましたが、今や実用化の段階にあり、番組作りにも入ってきています。これらの最先端技術をもう一度解りやすく。プロ目線で技術屋に言うのではなく、目線をうんと下げて8Kの面白さを見せてゆく。こういった活動も、国民のNHKとしては大事なポイントでしょう。
その点今回の展示はよくできていたと思います。ARを活用したテレビ視聴体験も、エントランスのメイン展示だけでなく体験型エリアにもあり、エントランスでは見られない実体験ができました。この様な目線の下がり方は非常に好印象です。
ただしもう一度言いますが、ARがタブレットの中では、決して「枠からはみ出せ」てはいません。ホログラムを使った実映像として浮き出る様なものを、是非期待したいです。
――近年の創作では、画面から映像が飛び出る他に、自分が画面に入ってゆくという表現が多々見られます。「枠からはみ出せ」以前に、そもそも枠の捉え方が全く異なる。そう考えると“枠”を設定してしまった時点で既に枠に嵌ってしまっているのではないか、とも思えますね。もう一歩柔軟な発想を期待したいです。
麻倉：全体的に言える事ですが、今回の技研公開はどうも飛び出ていない、はみ出ていない。「はみ出す」程度ではダメで、もっともっと飛び出す、あるいはいっそ「枠を捨てろ」「枠よサヨウナラ」くらい言わないとイケマセン。展示を見ていると、やっぱり枠はあるわけで。テレビの未来を創るならば、もうテレビの枠を持っていてはいけないのです。
これからのテレビはフレームレスになる。フレームが有るとそれに規定されてしまい、どうしてもジャンプは出来ない。逆にそういう事を示唆している展示会でもありました。
