西田宗千佳のRandomTracking

第406回

夢の立体ディスプレイ?! “ライトフィールド”で脱部品売りを目指すJDI

 ジャパンディスプレイ(JDI)は現在、自社のビジネス構造変革に取り組んでいる。そのひとつが「最終製品市場」、すなわちコンシューマ製品事業への参入だ。8月1日、同社は「JDI Future Trip」と題した発表会を開催、複数の「コンシューマ向け製品」を公表した。

JDIが8月1日の発表会で公表した5.5型ライトフィールドディスプレイ

 その一つが、今回紹介する「ライトフィールドディスプレイ」だ。一般的な「2次元の絵」としてのディスプレイではなく、自分が見ている方向に合わせてキャラクターが見える、いわゆる「立体的」な表示が可能なディスプレイなのだが、過去の3Dテレビとは違い、メガネは要らず裸眼で、どの方向から見ても立体的に感じられるのが特徴だ。

 ライトフィールドディスプレイは、JDIとNHKメディアテクノロジー(NHK-MT)が組んで開発を続けていたもので、2017年にお披露目されていた。それが今回、製品化の方向で本格的に動き出した。技術と開発の詳細について、開発担当者に詳細を取材することができた。どう映像を表示しているのか、そして、どう製品化を考えているかを聞いた。

 お話いただいたのは、JDI・R&D統括部 フロントプレーン開発部 応用開発1課の林宗治氏、同・瀧澤圭二氏、マーケティング・イノベーション&コミュニケーション戦略統括部 ソリューションプランニング推進部 ソリューション推進2課の山本尚弘氏と、NHK-MT・放送技術本部 映像部 CG・VFX副部長の大塚悌二朗氏だ。

左から、JDI・R&D統括部 フロントプレーン開発部の瀧澤圭二氏、同・林宗治氏、NHK-MT・放送技術本部 映像部 CG・VFX副部長の大塚悌二朗氏、JDI マーケティング・イノベーション&コミュニケーション戦略統括部の山本尚弘氏

「視点」でなく「光線」を再現するライトフィールドディスプレイ

 解説に入る前に、JDIがNHK-MTと組んで開発したライトフィールドディスプレイとはどんなものなのか、主に「見え方」の観点から説明しておこう。

 写真は、今回発表された「コンシューマ製品を想定した」5.5型のライトフィールドディスプレイである。写真だとわかりにくいが、自分が見ている方向に合わせ、キャラクターが自然に「そちらから見た感じ」になっているのがおわかりいただけるだろうか。要は、ディスプレイの中に「立体的にボリュームを持ったキャラクター」がいて、それを好きな方向から眺められるわけだ。

5.5型のライトフィールドディスプレイのデモ機。スマートスピーカーを意識した筒型の形状だが、最終的な形ではない
少しずつ角度を変えて撮影。立体感がわかりやすいよう、ディスプレイ面に指を置いてみた。これは「映像が少しずつ回っている」のではなく、見ている方向によってキャラクターの見える方向が少しずつ違う、ということだ

 17インチのディスプレイで試作されたものもある。本来はこちらで開発が進んでいたものだ。2017年には静止画のみが表示できたが、今は動画も表示可能。厚みを持ったCGキャラクターが「そこにいる」ように見える。

17インチでのライトフィールドディスプレイ。これもキャラが回っているのではなく「見る方向に合わせて見える角度が違う」

 立体的に見えるディスプレイというと、我々は「3Dテレビ」や「ニンテンドー3DS」を思い浮かべる。だが、ライトフィールドディスプレイはあれらとはかなり趣が異なる。過去の3Dディスプレイは、右目と左目向けの映像を用意し、それぞれの目に届けることで、脳内では立体的な映像に見えるようにしたものだ。今のVR用HMDも、両眼の視差を使って映像を見せるという意味では、仕組みはかわらない。

 ただ3Dテレビやニンテンドー3DSの場合には、ディスプレイを正面から見た時(すなわち1視点分・2視差)の映像しかないため、正面からの映像のみが立体的に見える。しかも、それが像として正しく見えるのは、決められた範囲に利用者がいる時だけだ。だから、ディスプレイを斜めから見ても、「物体を斜めに見た姿」が見えるわけではないし、距離が近すぎたり離れすぎたりすると、ぶれて正しい像にならない。カメラで顔の位置を認識し、それにあわせて「表示する映像の視点を変える」、多視点型の3Dディスプレイもある。こちらだとこの場合も、原理的にはより立体的に見えるが、それでも「数視点分」がせいぜいで、自然に見えるわけではない。

 だがライトフィールドディスプレイは「視点を再現する」わけではなく、「物体に反射する光」を再現して表示する。見る方向によって物体の形や色が違って見えるのは、物体を反射する光のうち、自分の目に入ってくるものが変わるからである。その「見る方向によって目に入る光が変わる」仕組みを再現すると、「その方向から見た映像」になって見える。しかも、裸眼で、ある程度自由な距離で、好きな方向からだ。だから映像が立体的に見えて、より自然に感じられる。同じディスプレイだが、人の目に光を届けるための考え方が違うことで、大きく性質が異なったディスプレイになる。

液晶に「バリア基板」で

 ライトフィールドディスプレイには複数の方式があり、世界中で開発が進められている。JDIとNHK-MTは2017年にライトフィールドディスプレイを発表しているものの、その詳しい仕組みと映像の生成方法について、詳細な説明をしてこなかった。しかし、2018年5月に開催されたディスプレイ関連学会「SID 2018」にて、その詳細を公表した。今回もその流れに沿ってご説明いただいた。

 JDIのライトフィールドディスプレイは、現状、17ンチと5.5インチのものが開発されている。どちらも「横方向に69方向分の光線」が再現できて、横方向からはかなり自由に見られる。ただし、縦方向の立体感は再現されておらず、上や下から覗くことはできない。

 JDIの製品なので、ライトフィールドディスプレイも液晶をベースとした技術である。ただし、普通の液晶ディスプレイにはないパーツもある。それが「バリア基板」だ。すだれ状に細かくスリットの入ったガラス板であり、光の向きを制御する。

JDIのライトフィールドディスプレイの構造。液晶の裏に「バリア基板」を貼り付け、バックライトがそこを通ってくる光をさらに偏光し、目に届く

 バリアによって光の向きを制御するというやり方は、3Dテレビやニンテンドー3DSで採用されていた「視差バリア方式」に似ている。だが、大きく違うのは、表示する映像の側が69光線(視点)分の映像を混ぜたものである、ということ。これを処理し、「見る方向によって目に入る光が変わる」ようにすることで、横方向については「自由に動けて、かなりの立体感がある映像」が再現できている。無限に視点があるわけではなく「超多視点」の映像といっていいわけだが、このくらい細かいと、違和感はかなり少ない。やはり、あまり遠くからだと正しく立体感のある像に見えづらいが、「正しいと思える範囲」は意外と広く、裸眼で使えることも含め、大きな意味があると感じた。

取材中に示された「光の状況」の模式図。多数の視点分の光が含まれているが、そのうち、見る方向にあったものが強く見えて、方向にあった映像が見えるように感じる

 JDIで開発を担当した林宗治氏と瀧澤圭二氏は次のように説明する。

林氏(以下敬称略):今回のディスプレイの大きな特徴は、視野角が非常に大きい、ということです。130度ほどあります。ライトフィールドディスプレイの実現方法には、ディスプレイパネルにバリア構造としてレンチキュラーレンズ(かまぼこ状の半円柱型の立体構造を並べた、シート状のレンズ)を貼り付けて実現しているものもあります。しかしこれでは、物理的な厚さが厳しい。液晶層からの距離が広くなるため、ライトフィールドが出てくる範囲が50度くらいになってしまいます。見られる範囲を外れると「逆視」などが生まれ、正しい像になりません。範囲を広げるには、液晶面からの距離をできるだけ短くする必要があり、130度ほどまで広げるにはバリア基板にするしかありません。

瀧澤:バリアは現状は液晶パネルの後ろ、バックライトの前に挿入されています。別に液晶の前でもいいんです。昨年試作したモデルでは、液晶の前にありました。今回裏側にもってきたのは、製造機械で精密に貼り付ける関係上、位置合わせ用のマーキングをするには、背面の方が都合がいいからです。ここでは、JDIがスマートフォン用の液晶でカバーガラスを貼り付ける技術が使われています。

 実は、去年の試作では人間が手作業で貼り付けていたので、表でも良かったんです。しかしそれでは量産できませんし、手作業だと、非常に小さなくせやズレで、液晶面との距離が均一にならず、ムラが生まれていました。当時のデモは静止画だったのですが、理由はそこにもあります。動画だと粗が見える部分があったので……。

林:動画化には他にも解決すべき点があり、けっこう時間がかかりました。

 ライトフィールドディスプレイは、多視点の映像をディスプレイパネルで同時に表示し、それをバリアで「必要な方向のものだけ見せる」という構造だ。だから、ディスプレイ側には十分な解像度が必要で、17インチ・16:9のディスプレイでは「8K」のパネルが使われている。映像の実解像度は、パネル解像度ほど高くない。とはいえ、人間の目に感じられる解像度は、単純にパネルを69分割した解像度しかないのか、というとそうではない。だいたいフルHDくらいの解像感は得られている。視差バリア式液晶の場合、どうしても解像感が落ちてしまうのが難点だが、文字などを見ても、意外と解像感が残っている。

林:69光線といっていますが、実際に目に入ってきているのは、69分の1の解像感の映像ではないんです。8Kのパネルで、同じ面積でのフルHDくらいの解像が得られているはずです。立体解像感もしっかりあります。面白いのは、文字などをくっきり見せるには、平面よりも、わざと「多少立体的な文字」を使うことなんです。

 ここで出てくるのがNHK-MTである。8K分の映像を扱うノウハウを持つ企業はまだ少ない。2017年以前だと特にそうだ。しかも、69にも及ぶ多視点分の映像を生成して加工する技術も必要になる。そのため、8Kでの映像や3D映像の扱いに長けたNHK-MTとの共同開発が行われた。実映像の制作とそのノウハウ構築は、NHK-MTが担当している。NHK-MTの大塚悌二朗氏は次のように話す。

大塚:最初は4Kのライトフィールドディスプレイを試作していたのですが、やはり大きい方が見栄えがします。それに、解像感が重要。当時は、これだけの大きさで解像感のある8Kのパネルは、JDIにしかありませんでした。そこで一緒にやることになりました。

「ドット数」や「サイズ」より「PPI」

 ここで重要なことがある。関係者は「解像度」という言葉を使っているが、これは、我々が考える「パネルの物理的なドット数」のことだけではない。「重要なのはPPIの方」と林氏も言う。

 PPIとはPixel Per Inchの略で、ドットの密度を示す値である。表示する映像の密度が一定よりも高くないと、ライトフィールド記録された映像が表示されても、人間の目には解像感が上がったように見えない。「昨年試作した時に17インチを選んだのは、サイズが大きい方がいいだろう、ということであり、その時に十分な解像感(PPI)を満たすのが8Kのパネルだった、ということ」と林氏は説明する。

17インチ版ライトフィールドディスプレイのスペック。8Kパネルを採用しており、510PPIと解像感が高いことが特徴だ

 光線数に69を選んだのは、「官能的な評価による」という。「光線数と角度の関係で適切な数字の中から選んだがのが69で、効率的に並べていって、官能評価で適切と思われた数字が69」(林氏)なのだという。

 ここで、話が「5.5インチ版」につながる。

 5.5インチ版のパネルは、8Kほどのドット数はない。スマートフォンで一般的に使われている液晶パネルと同じだ。だがこのパネルの「PPI」は、17インチ・8Kのライトフィールドディスプレイに使われているものに非常に近い。バリア基板をつけてやれば、この小さなディスプレイでもライトフィールドディスプレイになる。バリア基板で光を(ある程度)遮る関係上、映像は暗くなる。そのため、バックライトはスマートフォン向けに比べ1.5倍程度まで明るくしている。しかし、そのくらいの差しかない。

5.5インチ版ライトフィールドディスプレイのスペック。実解像度は17インチ版の「8K」よりかなり少ない一般的な「スマホ用」だが、PPIで比較すると同等以上。だからこそ「ライトフィールド」が実現できている

「最初は小さいものでは……と思ったのですが、作ってみると、これはこれでも大丈夫だな、と思いましたね」と林氏も言う。

 発案したのは、新たなコンシューマ向けビジネスの企画を担当する部署にいる、山本尚弘氏だ。

山本:キャラクターを表示して一緒に生活する「Gatebox」のような製品が出てきましたよね。ですから、ライトフィールドディスプレイの使い道として、こういうサイズでこういう形のものもあり得るのでは……と考えたんです。

 ジャイアント・プラットフォーマー(大手メーカー等)へ部品を卸す“だけ”のビジネスでは厳しい。こうした製品を開発できれば、キャラクターのビジネスなどにも絡むことも考えられます。

 5.5インチのライトフィールドディスプレイは、スマホ用の液晶パネルにバリア基板を1枚貼っているだけです。もちろん、ディスプレイの駆動周りのSoCなどに工夫は必要ですが。音声認識をどこまでやるか、どのような形に仕上げるかなど、まだビジネスとしての見積もりはできていませんが、Gateboxのような例を考えると、「低価格優先」でない価値を出せるのではないか、と思っています。

 すでに述べたように、ライトフィールドディスプレイは、左右好きな方向から自然に映像が見える。こうした特性から、ディスプレイにキャラクターを表示し、それを自然な形で表現するのに向く。そのため、コンシューマ向けの用途として考えられたのが、コンパクトな「スマートスピーカー的な存在」にキャラクターを表示するためのディスプレイである。そこで、5.5インチディスプレイを使ったモデルが作られ、今回の発表につながった、ということなのである。

山本:企画がスタートしたのは今年の4月頃ですね。3カ月も掛からずここまで来ました。

林:デモできるようになったのは本当に発表の直前でしたね。

 というわけで、JDIの戦略変更に伴い、かなりの急ピッチで考えられたものだったのだ。

部品だけでなく「映像作り」「表示方法」のノウハウを売りたい

 JDI・山本氏が「部品売りから脱する」手段としてライトフィールドディスプレイを捉えたことには、もちろん理由がある。ライトフィールドディスプレイでは、映像の生成方法こそが重要になるからだ。

山本:我々としても、画像をつくる部分のノウハウをお金に変えていきたいと思います。PCのサブディスプレイのようにして、そこに映像を出すものとして提供することもあり得ます。その場合にも、SDKの利用を有料化するなどして、ビジネスにしていきたい。

 本音をいえば、早くこの筐体はばらまきたいんです。その上で一緒にビジネスができる方々がいれば、広げていきたいです。

 では、その映像とはどんな風に生成され、ディスプレイに展開されているのだろうか? 実は、以下の写真を見れば一目瞭然である。これは17インチ版に映像を供給するための機器だ。69光線分の生成済みの映像をタイル状に並べ、8Kのストリームとしてディスプレイに入力している。それをディスプレイが備えた処理用のシステムで「ライトフィールド表示用」に再処理し、パネルに表示している。69光線分の映像を生成する部分と、それをライトフィールドディスプレイに表示する部分の両方にノウハウが必要になる。

ライトフィールド化する処理を切って、「入力のまま」の映像を表示。実はこのように、生成済みの映像を並べたものを「処理」によってライトフィールド化している。
17インチ版で表示するための映像は、69本の映像ストリームがSSDに記録されたものを8Kにまとめて出力している。

 17インチ用の場合には生成済みのCG映像を入力しているが、5.5インチ版の場合には、事前に生成したCGの他、リアルタイムでのCGも使っている。Unityのキャラクターである「ユニティちゃん」が表示されている映像がそれだ。CGのリアルタイム生成には、NVIDIA GeForce GTX 1050をGPUとして搭載したゲーミングノートPCで生成している。「このPCでなんとか、というレベル。メモリーが足りなくなるととたんにカクカクになる」(山本氏)というから、もう少し性能に余裕があるGPUを使ったシステムならなんとかなりそうだ。17インチ版についても、リアルタイムでの実験は行なわれており、「できなくはない」ことがわかっている。UIなどを実装するには、リアルタイム生成であることが望ましい。

 現状の映像も、単純にCGを作ればいい、というわけではない。映像制作を担当した大塚氏は、考え方を次のように説明する。

大塚:今のライトフィールドディスプレイでは、あまり奥行きを出すことができません。フォーカスの位置を慎重に調整する必要もあります。ボケの処理も慎重に行なう必要があります。実質的に、ディスプレイ面から数センチ分しか奥行きがないにも関わらず、それをあまり感じさせないように、奥行きを圧縮する必要があるわけです。

 現状、すべてのデモはCGとして作成しています。実写的な映像も、一度CGとして作ったものです。今のカメラでは、実写でライトフィールド記録をするのはかなり困難ですから。原理的には、ある程度カメラの数を多くして合成すればいいのですが、今は良いものがない。それに、実写だと奥行きの圧縮が難しい。フォトグラメトリ(写真からCGのモデルとテクスチャを生成する技術)を使ってCG化して扱うのが、今は現実的です。

 ライトフィールドディスプレイは「夢の立体ディスプレイ」のようにも思えるが、現状ではいくつも制約がある。映像生成についてもそうだし、デバイスとしては「輝度」の問題が大きいだろう。バリア基板を使う関係で、どうしても映像の明るさ的には不利だ。また、バリア基板の方向と、液晶の画素構造で映像が決まるため、ディスプレイを「回転させて使う」のも難しい。映像の見え方がそもそも2Dのディスプレイとは違うので、「普段は文字などを2Dで映し、必要な時だけライトフィールド表示する」というわけにはいかない。要は、「普通のスマホに使う」わけにはいかないのだ。バリア基板を「バリア液晶化」したり、画素構造を工夫したりすれば「不可能ではない」(林氏)というが、輝度の問題やコストの問題も含めハードルはあり、スマホ向けに使うのは当面現実的ではない。

 また、映像をライトフィールド表示するための処理も軽いものではなく、それなりの規模の回路が必要になる。

林氏が指さす17インチモデルの下には、FPGAで開発された「処理系回路」が。かなりの負荷がかかるもので、規模も大きなものだ。同様のものは規模は異なるものの、5.5インチ版でも必要になる

 こうしたことから、ライトフィールドディスプレイを「汎用ディスプレイ」にするのは、現状困難である。しかし、サイネージや「キャラクターディスプレイ」としては十分に活用の可能性がある。キャラクターを表示するスマートスピーカー的なところにJDIが目を付けたのは、そういう理由がある。

 製品化予定は2019年。実際に我々の手元に届くまでは、まだそれなりに時間がかかるだろう。だが、「キャラクターディスプレイ製品」を作りたい、と思っている人々には、十分に注目に値する技術ではないか。そうしたキャラクターを持つ企業とJDIの「ダブルブランド」のような形で製品が出てくることを期待したい。

西田 宗千佳

1971年福井県生まれ。フリージャーナリスト。得意ジャンルは、パソコン・デジタルAV・家電、そしてネットワーク関連など「電気かデータが流れるもの全般」。主に、取材記事と個人向け解説記事を担当。朝日新聞、読売新聞、日本経済新聞、週刊朝日、AERA、週刊東洋経済、GetNavi、デジモノステーションなどに寄稿する他、テレビ番組・雑誌などの監修も手がける。
 近著に、「顧客を売り場へ直送する」「漂流するソニーのDNAプレイステーションで世界と戦った男たち」(講談社)、「電子書籍革命の真実未来の本 本のミライ」(エンターブレイン)、「ソニーとアップル」(朝日新聞出版)、「スマートテレビ」(KADOKAWA)などがある。
 メールマガジン「小寺・西田の『金曜ランチビュッフェ』」を小寺信良氏と共同で配信中。 Twitterは@mnishi41