ハイビジョン映像の本質を引き出す

ソニー技術開発本部信号処理技術第1部 担当部長の黒木義彦氏

　ソニーが開発したHFR Confort-3Dという技術は、今年取材した技術の中でも、もっとも興味深いもののひとつだ。毎秒240フレームで撮影する3Dカメラ……と、この部分だけを取り出すと、単なる高性能カメラの技術発表にしか見えないかもしれない。しかし、なぜ240フレームなのか。そして、なぜ単眼レンズによる実用的な3D撮影が可能なのかといった点に着目すると、俄然、そのおもしろさが増してくる。

　このカメラの噂は、すでに今年1月から実用的な単眼レンズの3Dカメラとして聞いてはいたが、実際に伺った話は単なる3Dカメラの枠を超えて、次世代の高画質についての議論を加速させるものだった。

　HFR Comfort-3Dを開発しているソニー技術開発本部信号処理技術第1部 担当部長でHDRプロジェクト室の室長を務める黒木義彦氏に話を聞いた。なお、今週から始まるCEATECのソニーブースで、同氏がHFR Comfort-3Dの展示と解説を行なう予定なので、興味がある方は実際にその実力のほどを体験してみることを勧めたい。

■ ”高画質化”の方向を見直した新コンセプトのカメラ

HFR Comfort-3D対応のカメラ

　現在のハイビジョンよりも、さらに高画質な業務用ビデオカメラというと、どのようなものを想像するだろう。4K2Kに相当する800万画素なのか、それともスーパーハイビジョン級になるのか?

　しかし記録画素数を増やすだけが高画質化の方向ではない。将来、取り扱うことができる単位時間あたりの画素数(つまり帯域)が増えていくとして、その能力を画素数向上に使うだけでは本当の画質は上がっていかない。

　HFR Comfort-3Dが模索するのは、ハイビジョンの画素数をさらに増やすことではなく、ハイビジョンの持つ解像力を100%活かすことだ。

　左下のチャートは実際の映像(白黒のストライプ)を様々な速度で動かし、各速度域においてどの程度の解像力があったかをテストした結果だ。暗赤の実線は人間の眼で見た時のもの。それ以外の数値は35ミリフィルム(24p)やHDビデオ(60i)などのカメラで捉えた映像から導いた数値だ。よく映画はコマ数が少ないから動きボケが大きいなどと言ったりするが、実際には大同小異の領域。人間の眼とは8倍以上という圧倒的な差があることがわかる。

人は、どれくらい細かく動くものを見ることができるか	カメラで生じる動画ぼけの考察	ホールド型ディスプレイ(液晶など)では、網膜スリップによる動画ボケが発生

　もうひとつのチャートはカメラのシャッター速度の違いによる動画ボケの傾向差で、当然ながらシャッター速度が速ければ、動画ボケが減って動きの中での解像度が高まることがわかる。その次はホールドタイプのディスプレイ(主に液晶テレビなど。PDPはインパルス表示のため当てはまらない)における、各映像フォーマットにおいて観察される解像度の低下減少を示している。

　これは網膜スリップという現象で、頭の中で予測する像の位置と、実際に表示されている像の位置がズレることで、人間の脳が感じてしまうボケのことだ。フレームを書き換える瞬間まで、前の映像を表示し続けるタイプのディスプレイでは、すべてで発生する。

　つまり、これらは毎秒24～60フレーム程度では動画ボケ減少が大きすぎ、ハイビジョンの解像度である200万画素ですら、動きの中では生かし切れていないことを示している。PDPのようなインパルス型ディスプレイを用い、高速シャッターで撮影すれば、動きボケはある程度、防ぐことが可能だ。

動画質の向上にはハイフレームレートが有効

　ところが、高速シャッターで撮影を行なうと、今度はジャーキネスという現象が発生する。これは動きが不連続に見えてしまう現象で、フレーム間の時間に対してシャッター速度が速すぎると発生する。映画を見ていると、たまに不自然なほど「カクカク」とした動きを見ることがないだろうか。被写体ブレによる動きの情報が高速シャッターで間引かれるため(それ故にボケない)、動きが不連続なものに見えてしまうのである。

　つまり、ハイビジョンに見合う解像力を引き出そうとすると、本質的にフレームレートを高める必要があるということだ。

動画ぼけに対するハイフレームレート効果の主観評価結果

　ではどの程度まで高めればいいのか? それが、その次のチャートになる。毎秒1,000フレームの高速撮影映像を加工して、500、333、250、125、62(単位はすべてfps)の映像を生成。それぞれでボケを感じなくなるフレームレートを測定した。

　すると、動画ボケ、ジャーキネスの両方に関して、毎秒240フレームあたりに、ほぼ限界近くに達するポイントがあることが判明したという。HFR Comfort-3Dカメラが240fpsにスペックを決めた理由だ。しかし、毎秒240フレームの高速フレーム撮影には興味深い副産物もある。

　映画撮影において、シャッター速度を後から決められるからだ。シャッター速度を1/240秒にして撮影しておけば、各コマの映像を画素加算することで1/120秒や1/60秒といったシャッター速度の映像を簡単に作り出せる。

　あとからジャーキネスと動画ボケの関係を考慮しながら編集可能なのはもちろん、画素ごとに加算範囲を変えることで、主人公だけは高速シャッターでボケなく写し、その周りには意図的に動画ボケを入れるといったことも、新しい表現の手法として可能になる。

■ 1本のレンズで3D撮影

　従来、3Dカメラというと人間の眼に近い距離(約6cm)にレンズを配置し、フォーカス位置に連動してレンズの瞳が交差する点を制御する複雑なものしか無かった。当初は2つのカメラを横に並べて使用。しかし、この方法ではレンズ間の距離が長くなるため、近年はハーフミラーを用いて像を2つに分割し、2台のカメラで撮影するものが多い。

従来の2眼3D方式の課題	従来の単眼3D方式の課題

マイクロステレオプシスの概念

　しかし、1995年にMel Siegelらが発表したマイクロステレオプシスというレポートでは、人間の眼は空間周波数(解像度)を検出する能力よりも、視差(奥行き)を検出する感度の方が桁違いに大きかったのだという。つまり、3Dメガネをかけずに画面上で見て明らかなほど、左右の映像に大きな視差がなくとも十分に奥行き認識できるとうことだ。

　解像度が高まると、映像の奥行き感を強く感じられるようになるのも、同じ理由からだという。実際にはハイビジョン映像上の画素数よりも小さな違いを、ほんの少しの位相差(輪郭のボケ方の微妙な違い)で表現すれば、映像は立体に見えてくれる。

　そこで開発したのが、光軸の距離差による、ごくごく小さな視差を左右用の映像として取り出す光学回路である。実はその原案となるアイディアは1970年代にソニーの島田聡氏が考案したものだという。距離によって僅かにズレるフォーカス位置の違いが、レンズの左右半分づつのシャッターを順に開閉した左右映像の違いとなる。

　ただし、過去に何度か試作されながら実用化されなかったのは、左右の映像をメカニカルシャッターで順に得る方式のため、動きのある映像には適用が困難なためだ。

HFR Comfort-3Dの特徴

　そこでHFR Confort-3Dでは、レンズからの光をリレーレンズで並行光に変換した後、ミラーで二つに分割。2枚のセンサーで左右の映像を同時撮影するようにした。それが、CEATECで展示される3Dカメラである。

　撮像面での視差はほんの僅かで、両眼の映像を1画素の大きさよりも小さな表現の違いでしか表現できない。ところが、これでも3Dに感じるのである。左右の像を重ねて同時に見ても、視差が小さいため通常の2D映像相当として鑑賞に堪えるというのも、この方式の面白いところだ。

　このほか、ズームで拡大した場合の視差表現では、2つのレンズを用いて撮影するよりも、自然な視差となる利点もある。2レンズ方式ではズームに連動して左右の瞳の距離も変えなければならない。

HFR Comfort-3Dの効果	ズームによる像と視差の関係	HDR Comfort-3Dカメラのまとめ

■ 解像度はフルHDのままで確実に増したリアリティ

　さて、理屈よりも実際に新型カメラで撮影した映像を見て欲しいということで、デモルームに案内していただいた。表示には240Hz表示が行なえるよう改造した業務用4Kプロジェクタが1台用いられている。

HFR Comfort-3D対応のカメラ。有機ELテレビには左右用映像を画素加算した映像が映し出されてる。視差の大きな通常の3Dカメラでは2D映像としては通用しないが、このカメラは1ピクセル前後(あるいはそれ以下)の視差しかないため、重ねても違和感なくそのまま見ることができる	2レンズ方式のカメラと異なり、3Dの深度などを調整するコントローラやチェック用モニタはない。普通のカメラと同じように扱えるのも、このカメラの特徴だ

　写真だけでは、その雰囲気は完全に伝わらないかもしれないが、有機ELテレビを用いたモニタ上には、普通の2D映像のように撮影像が映し出されている。HFR Comfort-3Dで捉えたステレオ映像は、左右の映像を重ねて表示することで、2D映像相当として扱えるからだ。

　この映像の中の地球儀やカードなどは動いているのだが、その内容は毎秒60フレーム時と240フレーム時で、明らかにボケ感が異なる。これは実験するまでもなく、ほとんどの方が想像できるのではないだろうか。

はての浜の撮影時機材構成

　次に見たのが沖縄県久米島の“はての浜”を空撮した映像だ。240fpsでは細かな砂浜のテクスチャまでがハッキリと見え、早い動きの中にあっても十分い細かな情報を人間が読み取れることを示してくれる。対して60fpsでは映像のディテールは動きの中に溶け込んでしまう。

　そして重要なことは、しっかりと3D感が得られることだ。3D化することで単純な解像度の改善を超えたリアリティを体感できる。原理的に大きな視差は捉えることができないため、手前に飛び出すような派手な3D映像は撮影できない。しかし、奥へと展開する映像を得るだけならば、ズーム連動やフォーカス位置による交差点連動で3Dカメラのジオメトリを変えなくても良い分、カメラマンの負担が少なくシンプルな撮影が行なえる。

　特にあらかじめ予定した通りに被写体を動かせないライブ放送時の3D撮影には、圧倒的に使いやすいと言えそうだ。

　黒木氏は「3D化や高フレームレート撮影、それぞれが目的ではなく、“動画撮影”の質をどこまで高められるか? という視点で研究開発をしている。現時点で240Hz撮影の映像を配信するフォーマットは定義されていないが、動きボケやジャーキネスの後編集という利点も、今すぐにはある。映画的表現を踏襲しつつ、新しい映像表現の可能性を秘めていると思う」と話す。

　現在のカメラはあくまで試作段階で、記録用フォーマットも含めて商品化をすぐに行なうものでもない。しかし、このカメラの映像を見ていると、ハイビジョンを実現したその後に求められる要素が見えてくるようだ。