ニュース
神奈川工科大、裸眼とメガネ装着で全く異なる映像を見せられる「ExPixel」技術
（2014/5/2 10:30）
神奈川工科大学情報学部の白井研究室は、1枚の直視型の液晶パネルに裸眼状態と、メガネを掛けた状態とで全く異なる映像を見せる技術「ExPixel」を発表した。
ExPixelでは、裸眼状態で見た時に映像Aを見ることができ、メガネを掛けると映像Bを見ることができる技術だ。といっても、これまでも似たもの技術はあったのでは? と思う人もいるだろう。まずは、取材当日に行なわれた実際のデモの様子を撮影した動画からご覧頂こう。
1枚のディスプレイパネルを裸眼で見た時には赤い自動車が見えるが、メガネ(映像中は偏光板)を通して見ると、コミカルなデザインのレーシングゲームやプレゼンテーションが見える。デモンストレーションでは静止画を用いているが、実際には2種類の動画表示でもゲームのリアルタイム映像でも構わない。
1枚のディスプレイパネルで複数の映像を見せる技術の変遷
1枚のディスプレイ機器で複数の映像を見せる技術として、今まで存在した最もシンプルなものは、画面を縦や横に分割し、各領域それぞれに異なる映像を表示する方式だ。
この方式は、現在市販されているテレビ製品でも「2画面機能」として採用されているので目にしたことが多いはずだ。具体的には、横に2つの映像を並べて表示するのを「サイドバイサイド」表示といい、主画面の一部をくりぬいて子画面をの形で表示するものは「ピクチャーインピクチャー」表示と呼んだりもする。テレビゲームにおける対戦ゲームなどにおいても、こうした画面分割が採用されることもある。
もう一つは、既存の3Dテレビの表示システムをうまく活用する方法だ。
3Dテレビの3D立体視は、テレビ側に表示した左目用の【L】映像を3Dメガネを通して見た時に左目だけに見せるように制御し、右目用の【R】映像は3Dメガネを通して見たときに右目だけに見せる用に制御して実現されている。つまり、3Dテレビの仕組みでは、1枚のディスプレイパネルで【L】映像と【R】映像、すなわち2つの映像を表示していることになる。なので、この仕組みにおいて、【L】映像と【R】映像ではなく、映像Aと映像Bという異なる映像を表示させ、映像Aしか見えないメガネと映像Bしか見えないメガネを用意できれば、掛けるメガネによって異なる2つの映像を見せることが出来ることになる。
これは、2007年にDLPプロジェクタエンジンの開発元Texas InstrumentsがDLPプロジェクタ製品向けに「DualView」として提供したほか、近年ではソニーがBRAVIAシリーズ向けの機能「SimulView」提供しているなど、いくつかの事例がある。
この方法は、画面分割する手法とは異なり、2つの映像を1枚のディスプレイ上にフル画面表示できる点で優れているが、映像Aを見るにせよ、映像Bを見るにせよ、必ずメガネを掛けなければならず、裸眼で見たときには2つの映像が二重像のように見えてしまう点が課題といえた。
今回、神奈川工科大学 情報メディア学科の白井暁彦准教授の研究室が発表したExPixel技術も、既存の3Dテレビ技術を応用した物になるが、DualViewやSimulViewに残された課題を解決している点で優れている。
ExPixelでは、裸眼状態で見た時に映像Aを見ることができ、メガネを掛けると映像Bを見ることができる技術なのである。
ExPixel技術の原理
2つの映像を表示しているのに、裸眼で見た時に二重像になって見えないことを不思議がる人もいることだろう。
これは、白井研究室が長年取り組んできた「多重化隠蔽映像」技術がベースになっている。
順を追って解説しよう。
ある映像があったとして、これを消し去るにはどうしたらよいかを考えてみる。これを行なうにはその映像のネガ映像を作り、これを元の映像に重ねてやればいい。そうすると全白表示になってその映像を消すことが出来る。
これを踏まえた上で、下図を見ながらExPixelの原理を解説しよう。ここでの解説は概念的な解説であり、実際のExPixelの実装処理系とは細部が異なっていると言う点はあらかじめお断りしておく。
裸眼で見せたい映像Aと、メガネを掛けた時に見せたい映像Bを用意したとする。
ディスプレイに映像Aと映像Bの両方を表示すると、二重像になってしまう。
映像Aは裸眼で見せたい映像であり、メガネを掛けた時に見せたい映像Bは、裸眼状態で見た時には消えていて欲しい映像と言うことになる。そこで、前述したような概念を応用するために、映像Bのネガ映像(-B)を生成しておく。
3Dテレビでは2つの映像が見せられるということは前述したとおりなので、3Dテレビの表示原理を用いて、第1映像として「映像Aとネガ映像(-B)の合成映像」を表示し、第2映像として「映像B」を表示するようにする。
この表示状態を裸眼で見ると「映像Aとネガ映像(-B)の合成映像」+「映像B」を見る事になるので、映像Bは全白表示として消失し、映像Aだけが見える事になる。
そして、ここで、「第2映像だけが見られるメガネ」を掛けてみれば映像Bを見ることになる。
「第1映像映像だけが見られるメガネ」を掛けると、気味の悪い「映像Aとネガ映像(-B)の合成映像」を見る事になるので、これは用途としては見る対象から除外されることになる。
ExPixel技術の3Dテレビ用液晶パネルへの実装形態
基本概念が理解できた上で、実際にどのように実装しているかの解説をしよう。
ExPixelでは、3Dテレビの仕組みを応用していると述べたが、用いる3Dテレビの方式はフレームシーケンシャル方式ではなく、偏光方式になる。つまり、ExPixelでは、使用する液晶パネルは偶数ラインと奇数ラインとで偏光方向が違う液晶パネルを使うのだ。
前述の概念解説の例でいけば、第1映像として表示する「映像Aとネガ映像(-B)の合成映像」は液晶パネルの奇数ラインに表示し、「映像B」は液晶パネルの偶数ラインに表示するということになる。
画面上において(二次元平面上において)、映像Bとネガ映像(-B)はそれぞれ偶数ラインと奇数ラインに表示されることになり、すなわち空間的にずれた位置に表示されるイメージとなる。よって、裸眼状態で見た時にちゃんと映像Bが消えるか心配になるわけだが、実際には、一般的な視聴距離から見れば理論通りに消えてくれる。
「これはあくまで概念的な話で、実際には、もうすこし高度な処理を行なっています。例えば、映像A,B,-Bに対する演算は、ディスプレイパネルのガンマ補正(階調特性)に配慮して行なう必要があります」(白井准教授)
映像の階調特性は非線形なので、各画素の色に対して何らかの数理的な処理を行なう際には、色値を線形空間に戻す必要がある。これは、ExPixelに限ったことではなく、CGの世界や映像処理においては前提となる知識ではある。
また、映像Aと映像Bのそれぞれの表示のために割り当てられる階調力(色再現力)は、その画像が本来そのディスプレイで表現できる総階調力(レンジ)の半分になります。我々はこの方式を解像度圧縮に対してコントラスト圧縮（階調圧縮）方式と呼んでいます」(白井准教授)
「各映像のコントラストが半分になる」というのはよく考えれば当然のことだ。あるディスプレイパネルのコントラストがフルレンジでRGB各色8ビットだとして、このディスプレイパネルが表現できる輝度範囲内で異なる2枚のフルカラー映像を打ち消そうとするならば、単純計算で、RGB各7ビット(128レベル)しか表現できないということになる。RGB各7ビットということになると、1枚あたりの映像が利用出来る色数は単純計算で2,097,152色ということになる。
ただ、最近では、RGB各10ビット以上の信号レンジをもったハイコントラスト液晶パネルも普通に存在し、テレビ製品にも採用が進んできている。そうした多ビット・ハイコントラスト・高解像度の液晶パネルを用いれば、ExPixel技術を活用した場合でもより多い同時発色数でのカラー表示を行なうことはできるだろう
ExPixelの応用先
ExPixel技術は、やはり裸眼で見た時にちゃんとした映像を見せられるというところに大きな利点がある。裸眼で二重像として見えてしまい、それぞれの映像を見る際にメガネAとメガネBを取り替えてみる必要がある前出のSimulViewやDualViewのような方式とは、手軽さの面で一線を画している。ExPixelの「メガネを掛けるか」「あるいは外すか」だけで異なる映像を交互に見ることができる利便性は、ユーザーとディスプレイパネルの新しい付き合い方を切り拓いてくかも知れない。言い換えれば、ただ「映像A,Bが見みられます」……ではなく「映像A,Bを少ないアクションで交互に見ることが出来る」ことを効果的に応用するアイディアにこそ、ExPixel技術が真価を発揮すると言うことだ。
白井准教授が挙げた例を幾つか紹介すると、1つは、2カ国語プレゼンテーションなどを行なう場合。ExPixel技術を活用し、裸眼では、ディスプレイに英語のプレゼンテーションが見えるように表示し、メガネを掛けると日本語訳のプレゼンテーションや日本語の字幕を表示する…と言った使い方だ。
あるいは、工業デザイン的なプレゼンテーションにおいて、裸眼で製品の外観を見せ、メガネを掛けて骨格や内部構造を見せるような、見せ方もできる。
白井准教授は、このExPixel技術を、あえて3D立体視に応用しても面白いと話す。
どういうことかというと、裸眼で左目用の映像を表示するようにして、右目の映像はExPixel技術で隠蔽するようにするのだ。こうすれば裸眼で見ている限りは左目用の映像しか見えないので2D映像として楽しめる。そして、右側フレームにだけ偏光フィルタを取り付けたメガネを掛けた場合、左目は裸眼状態で左目用の映像見て、右目はメガネを掛けた状態なので右目用の映像を見る事になって、3D立体視ができることになる。つまり、裸眼で2D視聴、メガネを掛けて3D視聴が出来ることになるのだ。
3D立体視をしていて目が疲れた際、眼鏡を外せばそのまま2D映像として楽しめる。同一空間に2D映像を楽しむものと3D映像を楽しむものが同居できるだけでなく、3Dでみたいシーンの時だけメガネを掛けてみる…といった視聴スタイルまでを可能にするのだ。
スマートフォンや携帯ゲーム機などにもこのExPixel技術を応用すると面白そうだ。例えば、通常状態では映像Aを表示し、メガネに相当する偏光フィルムをあしらったカバーを掛けると映像Bが見えるようにするのだ。例えば、ゲームにおいて、ゲーム画面を素の状態で見た時には映像Aとして現実世界が見えているが、偏光カバーを掛けると映像Bとして、おどろおどろしいCGエフェクトが追加された魔界が見える…というふうにするのだ。ゲームではなく、この発想をAR(拡張現実)用途に応用しても面白いだろう。素の状態では現実世界が見え、偏光カバーを掛けると情報ウィンドウが見えるようにする表現が可能になり、双方の表示をシンプルに往来できる。
白井准教授は、もっとシンプルに、民生向けテレビ製品にこの技術を応用してもいいのではないか、とも語る。たとえば、子供に裸眼で映像Aでゲームをさせておき、親はメガネをかけてニュース番組、スポーツ中継などを楽しむ…という活用スタイルだ。このExPixel技術を応用したアイディアは、白井研究室から「FamilinkTV」として発表されている。
ExPixel技術は、デジタルサイネージ分野にも幅広い応用が期待できそうだ。
例えば、広告ディスプレイにおいて、裸眼では写真や動画のようなイメージ広告を表示しておき、メガネを掛けて見るとキャンペーン情報、店舗情報、WebサイトURL、問い合わせ先、QRコードといった文字図版系が見えてくる…という応用が考えられる。わざわざ街中の広告ディスプレイをメガネを掛けて見る人はいない…ということであれば、携帯電話のカメラレンズの部分にスライド脱着可能な広告付き偏光板を配布し、この広告ディスプレイを偏光板装着状態で撮影すると、その広告に関連した文字図版系情報が得られる…というのでもいいだろう。
「広告用ディスプレイに使う文字図版情報には幅広いラチチュード(階調表現)は必要ないので、主映像に多くの階調を割り当て、文字図版系情報に少ない階調を割り当てる、ということも可能です。特に、ExPixelを成立させる上で、幅広い民生ディスプレイにおいてキャリブレーションなしで隠蔽画像を実現したり、字幕隠蔽(クローズド・キャプション)を実装する上では重要な技術になるでしょうね」
たしかに、普段エコロジーモードで駆動している高輝度レンジを、隠蔽画像の生成時だけに使用すれば、見た目の印象に影響ないフルカラーを残しつつ、字幕や図版情報を隠蔽表示することができそうだ。
日本発の技術の展開に期待
このExPixel技術は、特許出願を終えたところで、現在は国内電機メーカー向けにプレゼンテーションを行なっているという。
ディスプレイ側は、普通の偏光方式の3Dテレビ用液晶パネルでよく、特別な液晶パネルでなくてもよいという点も、この技術の導入しやすいポイントとなる。
特別なのは、2つの映像A,映像Bに対する処理系の部分だけだ。この処理に関しても、それほど複雑な計算ではないため、現在のテレビメーカー各社の映像エンジンで実装できるレベルのはずだ。
ちなみに、白井研究室で開発したExPixelデモ機は、テレビ自体は市販品の3Dテレビそのものでハードウェア的な改造は一切行っていないとのこと。ExPixel処理を実践する映像処理部分はGPUのピクセルシェーダーで実践しているとのことであった。
つまり、現状、白井研究室では、この不思議なExPixel技術をGPUを用いたソフトウェア技術だけで実践しているのだ。液晶テレビごとのガンマ補正チューニングが必要にはなりそうだが、既存のPS4やXbox One、Wii Uといったゲーム機のシェーダーテクニックだけでExPixelは実践できると言うことになる。この技術をゲームグラフィックス技術に応用することもできることだろう。
この日本発の技術が、何らかの形で製品化され、実を結ぶことを期待したいものだ。