西田宗千佳のRandomTracking
THETAとは違う“臨場感共有”の全天球動画配信を目指す「RICOH R Development Kit」
2017年1月10日 00:00
THETAで全天球映像を撮影する世界を拓いたリコーが、新たな挑戦をはじめる。全天球映像カメラ「RICOH R Development Kit」(以下「RICOH R」)がそれだ。出荷開始は2017年春を予定している。
だが、名称に「Development Kit」とついているところからおわかりのように、これは、THETAのようにパッケージ化された製品ではない。その前段階のものといえる。リコーはRICOH Rでなにをしようとしているのだろうか? THETA産みの親であり、この製品の計画を指揮している、リコー 新規事業開発本部 SV事業開発センター n-PT リーダーの生方秀直氏に話を聞いた。
THETAの光学系を流用しつつ「全天球映像ライブ配信」に特化
まずはRICOH Rの概要を把握するところからはじめよう。RICOH Rは、THETAと同じ光学系・センサーを流用して作られている。そのため、そのたたずまいは非常に似ている。大きく違うのは、ボディが金属になり、全体をフィンで覆うような構造になっていることだ。
このような構造を採用しているのは、RICOH Rが「24時間連続でのライブストリーミング配信」のような、非常にヘビーな「全天球動画配信」に特化しているためである。
THETAと違い、本体内にはバッテリは搭載されていない。ボディの横からUSBとHDMIが出ていて、ここから電源・映像・制御信号をやりとりする。静止画の撮影機能はなく、1,920×960ドット/30fps(縦解像度は1,080ドットへストレッチして出力)のEquirectangular Projection(360カムで一般的に使われる投影方法。THETAでも採用)となっている。2眼の魚眼レンズの映像が内部で自動的にスティッチングされ、すぐに使える形で出力されるわけだ。
映像はMP4形式で内蔵のmicroSDカードに記録できるほか、USBとHDMIからはストリーム映像として出力される。
要は、「全天球映像を記録し、出力端子からライブストリーミングする」ことに特化した機器なのである。だから、THETAのアイデンティティともいえる「レンズ下のシャッターボタン」は存在しない。そういう使い方をしないからだ。
その能力を示すために、リコーはCESのRICOH Rブースが開いていた1月5日から8日の4日間×会場時間(一日あたり7時間もしくは8時間、累計30時間)の間、YouTube Liveを使い、ブースの様子を配信し続けていた。
・RICOH R Development Kit 公式ページ。プレオーダーもここから受け付ける予定
http://ricohr.ricoh
会期終了後は、CES会場からの配信は終わっており、アーカイブもされないので、残念ながら見る方法はない。しかし、RICOH R以前の試作機で記録された全天球映像の音楽ライブはYouTubeにアップされており、こちらで画質を確認することができる。
【VR生配信】REVOLVER vol.2 -BEGIN TO RE:BOOT AND MOVE!!-
https://www.youtube.com/watch?v=0EQoO5jTmmA
「プロがすぐ使える」「リアルタイム生成」にこだわって仕様を決定
RICOH Rは「全天球映像の配信」に特化した機器だ。とはいえ、現在のTHETAでも配信は行なえるし、CES会場にあまたあふれる360カムでも「生配信対応」を謳うものは珍しくない。
だが、生方氏は「それらでは、実際にやってみると限界が多い」と話す。
生方氏(以下敬称略)：2010年にTHETAの開発をはじめた時から、コンセプトは「写場」、場の空気感を共有しましょう、というものでした。結果、全天球写真・全天球映像を気軽に撮って共有する、というTHETAのような製品が出来ました。お客様にも支持していただき、ブースにいても「THETAを持っている」と声をかけられることは本当に多かったんです。
その時から、「ライブで全天球映像を配信する」という世界は考えていたんです。例えば、仲間とわいわいやっている感じを共有できればいいな、と。
ただし結局、技術的には難題が多かった。そこまでたどり着けなかったわけですが、時間が経過し、「蓄積してきたノウハウを使えばできそうだよね」ということになったので、手がけることになったのです。
生方氏はずっとこのテーマに取り組んできた。2015年には、通称「魔改造機」と呼ばれる、「全天球ライブカム実験機」を開発した。魔改造機はまず2015年10月、ドワンゴが開催した「ニコニコ超パーティー2015」で貸し出され、8時間の連続配信を達成している。その後も、ドワンゴやDeNAなどと組み、「魔改造機 mkII」を経て、長時間ライブストリーミングの知見が積み重ねられていく。RICOH R公開までに、同社は80時間以上の公開配信・記録を行なっており、そこから得られた大量の知見が、RICOH Rに詰め込まれている。
では、そのノウハウとは具体的にどんな部分になるのか? それは「現場のプロフェッショナルが扱いやすいこと」と生方氏は答えた。
生方：「機器から出てきた映像がそのまま使えること」が重要なんです。
現在、プロ向けの全天球映像の記録というと、GoProを多数リグにつけ撮影するものがほとんどです。しかし、それは非常に扱いが難しく、苦行としか言いようがない。撮影後に映像を取り込み、スティッチングするのは大変です。現場で使うには、機器からYouTubeにあげればそのまま全天球映像になる映像が出てくる事が重要で、そのために統合された形であるのが望ましいです。
例えば、RICOH Rには、THETA譲りの「傾き補正」の機能もあります。立てて使うならいいのですが、場合によっては横に持ったり、高い位置に斜めに出したりする場合もあります。そこで水平がずれた映像になると、後工程で調整が必要になりますからね。
360カムの世界では、「4Kだ」「3Dだ」と言われるのですが、まずは取り扱いやすく、全天球ライブがすぐにできるものを提供することが必要だと考えています。
こうした知見の多くは、生方氏とそのチームが、実際に多くの現場で経験したことを経て生み出された要件である。その中には、プロの現場らしい発想がいくつもあった。
生方：今回は、USBから制御して、撮影状況をコントロールできるようにしています。具体的には、EVとRGBゲインの調整です。例えばステージで使う場合、「暗転」することは多くありますよね? その時、オートだけでは追従できないんです。
また、ビデオ編集系のプロダクションが扱えることも大切です。HDMI出力では、あえて「30p」ではなく「59.94i」にしていますが、理由は、ビデオ編集系のワークフローの中に組み込むにはそうすることが重要であるからです。USBでの出力については、現在仕様を詰めている段階で、正式には決定していません。こちらはある程度PCで使いやすいものにしようと考えています。
やっぱりプロはセンスが違うんですよね。「遊びでつかいました」だけでは広がりが出てこない。プロの方々に使っていただいて、その知見を反映することをやっていきたいです。だから「Development Kit」なのですが。
もうひとつ、RICOH Rを考える上で重要なことがある。
それは「リアルタイム」であることだ。
プロの現場で「そのまま使える」ようにするため、全天球映像のリアルタイム配信を快適に行うためには、RICOH Rから出てくる映像が「完成された配信用の全天球映像」である必要がある。
生方：ですから、すべてを30分の1秒・29.97fpsで処理する必要があります。すなわち、すべてをリアルタイムアーキテクチャにしたことがもっとも大きな変化です。
そうすると、計算量が膨大なものになるのです。現状では、THETAが使っているアルゴリズムをそのまま使っているわけではありません。多少簡易化されていますが、そのままシュリンクしたものではありません。
計算量が多いので、LSIからは相当熱が発生します。値段はまだ決まっていませんが、Development Kitとはいえ、普通の人が買える値段を目指していますから、無茶はできません。どこまででもお金かけられるなら、LSIを特注にして処理量と放熱対策を行うことができるのですが……。放熱対策のバランスが非常に重要です。
熱と消費電力の関係は、RICOH Rの仕様決定に大きく影響している。解像度の高い撮像素子を搭載すれば、スペックの高い360カムを作るのは難しくない。しかし、解像度が上がれば処理負荷はべき乗で増えていく。数分・数十分ならいいが、「数時間」「数日」単位で安定したストリーミングを行うには、熱との戦いが避けられない。それを避けるためにスマホやPCでの後処理を増やせば、気軽に「全天球ライブ配信する」のが難しくなる。RICOH Rのスペックは、そうしたバランスの上に成り立っているのである。
一方で、全天球映像のクオリティを維持するには、単に解像度だけが必要なのではない。スティッチング精度や「水平出し」、ノイズリダクション・全天球でのカラーコレクションなど、多数のノウハウが必要になる。RICOH Rの映像は、解像感は確かに乏しいものの、かなり見やすく、違和感の小さなものになっている。
生方：「ベストではないがイナフである」というイメージです。動画に特有の技術開発を相当にしていて、他の会社は気付いていないであろうことを相当やっています。
加えて、使い勝手に依存する部分も大きい。新しいテクノロジーを統合的に入れないと、なかなか思ったような製品にはなりません。
RICOH RはTHETAではない！ 臨場感共有には「新しい形」が必要
もうひとつ、RICOH Rがスペックを「THETAのまま」にしていることには、理由がある。実際問題、生方氏も、「THETAは順当にスペックを上げていかなければならないし、それをするのは必然」とも話す。
では、なぜRICOH Rは違うのか? そこは「RICOH RはTHETAではない」という思想と関係してくる。
生方：全天球映像配信の世界は、始まったばかり。初期のステージです。我々の周囲では「VRが盛り上がった」と言っていても、実際にそれをHMDで見られる人は、まだまだ少ない。映像の伝送経路にしても、視聴にしても立ち上がりの段階です。これから用途を探り、広げていく段階だと思っているわけです。コンテンツをどう見せるか、なにが一番面白いのかも見出せていない。YouTubeに直結される簡便な世界がくれば、コンテンツ面で見たこともないような面白いことをやってくる人も出てくるでしょう。
それに、マシンビジョンや監視カメラのように、システムの一部に組み込まれて使われる可能性もあるでしょう。その時には、縦に立てるだけでなく、横に差し込んで使う……みたいなパターンもあるかもしれません。
多目的に使ってもらいたいので「Development Kit」なんです。本体はシステムに組み込みやすい形にして、コンパクトで、連続稼働もできる。カメラコントロールがUSBでできる。
ツールやソフトについては、PC版とMac版の両方を用意、さらにはソースコードも公開していきます。システムに組み込んだ形で使いこなす素地を用意した、というのが「Development Kit」と名付けた真意です。
次まではそれなりの時間をいただき、ここからのフィードバックを大切にして、つなげていきたいです。
そこで、生方氏は意外な話をする。
「デジカメの初期って、色々変な形のものが生まれましたよね。結局、コンサバなものに収斂しましたが」
確かにそうだ。本体が分割されていたり、液晶部が回転したり、折りたたみだったり、縦型だったりと色々あった。生物におけるカンブリア紀のような多様性が、1990年代末から2000年代前半のデジカメ市場の魅力ではあった。
生方：ベストな形は(RICOH Rをもって)こうじゃないかもしれない。
生活であったり使用シーンであったりにフィットするようなハードウエアの仕立てはなんなの、わかっていないところはあります。
THETAは現実にスペックをあげるのは必然です。でも、動画の世界はそうじゃない。特定用途や生活に溶け込む、「臨場感のリアルタイム共有」を目指す場合、THETAとは違うパッケージングはあり得ます。
ライブの世界は掘ってみないと確信がつかめないんです。カメラにしても、スチルカメラとカムコーダー、どちらでも、動画も静止画も撮影できます。しかし、用途によって形は厳然と変わっています。今はアクションカムもある。
だとすると、最終的に「マス向けのパッケージング化された製品」になるときには、(RICOH Rをもって)こういう形ではない可能性もあります。なんとなくですが、そちらの可能性が高いようにも思います。
だから、RICOH Rは「THETAではない」。別のプロジェクトを立ち上げてスタートしているんです。