ソニー、新しい拡張現実技術の「SmartAR」をデモ

SmartAR技術を搭載したXperia arc(試作機)のカメラでソニーの「サウンドマグ」を写したところ

　ソニーは19日、AR(拡張現実)技術を活用してスマートフォンなどでダイナミックな3D空間認識/表示を実現する「SmartAR」を発表。銀座・ソニービルで発表会とデモを行なった。

　特徴は、既存のAR技術で使われている2次元バーコードなどのマーカーを必要としない「マーカーレス方式」を採用したことや、物体を認識して、カメラの動きに立体画像などの付加情報を高速追従させることで、現実の3D空間上に広がりを持って表現できることなど。対象物がカメラの画角から外れても引き続き情報を表示可能となっており、一度取得した情報を保存できるため、例えばスマートフォンで撮影した後、家に持ち帰ってもその情報を再確認できる。

　マーカーレス方式としたことで、ポスターやレストランのメニューなど日常に存在するものをカメラに写して情報を取得可能。なお、従来のマーカーを用いた認識も可能となっている。

　発表会が行なわれた会場では、ソニーショップや、カフェ、ブティックなどをイメージしたデモコーナーを用意。店頭の商品にXperia arcのカメラを重ねると詳細な情報が表示できたり、メニューにかざすと料理の写真が現れたり、店のエントランスを写すとその店に関する評判のツイートが表示されるといった利用例を紹介していた。

雑誌の絵柄から、PostPetのモモが出現。画面を歩き回っている。その雑誌がカメラから遠くなったり、画面の外に出ても、モモは表示されたまま

対象物の雑誌を手元から落としても、リアルタイムに近い感覚でARの映像が追従した		会場の案内図を立体的に表現したもの。これほどの情報がすぐに取得でき、カメラを動かして好きな場所を見られる

ソニーショップをイメージしたデモ。商品のサウンドマグをカメラで写すと、関連する情報が表示される	一眼レフカメラαの「トランスルーセントテクノロジー」技術を紹介。本体の外からは見えない部分もわかりやすく表示できる

飲食店のメニューを写すと、ページをめくる感覚でAR情報を眺められる	店の入り口を写して、関連するツイートが表示される	ブティックで服を写すと、それを着た姿の画像などを表示

　SmartARでは、画像の一部から得られる特徴「局所特徴」と、その位置関係を用いて物体を認識。計算量の少ない局所特徴の計算アルゴリズムと、確率を用いたマッチング技術によって、照明や角度などの変化に強く、高速な認識が可能。対象物が比較的小さく写っていても認識できる。デモではXperia arcのカメラを使っており、スマートフォンのカメラでも十分に対象物が認識され、情報が表示されていた。

　さらに、「AIBO」や「QRIO」などのロボット開発で培ったソニー独自の「3D空間認識技術」をこれらの技術と統合。物体を高速に認識/追従し、仮想物体や付加情報(AR情報)を表示するだけでなく、現実空間に広がりをもたせて表示できるという。3D空間認識技術は、カメラが移動することによって観察される視差を利用して、空間の形状とカメラの位置、姿勢を推定する技術をベースとしており、これを物体認識技術と組み合わせて3次元の空間構造を認識して記憶する。

銀座・ソニービルで5月20日～22日まで、SmartARを体験できる

　スマートフォンなどの画面上のAR情報に直接触れることで情報を取得・操作できる直感的でシームレスなユーザーインターフェースも実現。今後はSmartAR技術の実証実験を行ない、広告やゲームなどのサービスやビジネス用途への展開を目指す。製品やサービスの具体的なスケジュールは未定だが、「ゲームやスマートフォンを使ったサービスは視野に入れており、いくつかのパターンが考えられる」(ソニー システム技術研究所知的システム研究部の福地正樹氏)としている。

　なお、5月20日～5月22日に、銀座・ソニービルの8階コミュニケーションゾーンOPUS(オーパス)において、SmartAR技術を体験できるイベントを実施する。時間は11時～19時。

■ “等身大のARキャラクター”実現も!?

システム技術研究所の藤田雅博所長

　ソニーは、'94年に2次元バーコードのマーカーを用いたARの研究を開始。'98年にはVAIO「PCG-C1」に「CyberCode」(サイバーコード)を自動で認識するソフトを搭載するなど、開発と事業化を進めてきた。

　ソニーのシステム技術研究所の藤田雅博所長は、これまでのARへの取り組みと新しいSmartARの特徴を説明し、「より日常的に、快適に、リアリティを持ったARを体験していただきたい」と述べた。また、同研究所の知的システム研究部リサーチャーである福地正樹氏は、PostPetのキャラクター・モモの映像でデモ。モモが画面上で巨大になったり、歩く姿などを紹介しながら、「等身大のモモちゃんと生活する日も、そう遠くはないかもしれません」とした。

　知的システム研究部統括部長の下村秀樹氏は、SmartARについて「AR体験をする場合に、ずっとカメラで追いかけなければならないのは短い時間でも疲れる。これは、ARを入り口として、楽な姿勢で体験できる新しい提案。一度タッチすれば、以降は見たい時にいつでも見られる。ARを“その場での体験”だけでなく、“ユーザーの立場に立った全体的な体験”として考えると、こういったシーンが必然的に出てくるのでは」とした。

これまでのソニーのAR技術への取り組み	福地正樹氏	下村秀樹氏

　発表会では、3D空間認識を利用したより高度な技術として、PCのソフトウェアを使ったデモも行なった。テーブルに載せたカップをビデオカメラで捉えると、ARの映像ではマグカップから水があふれ出したり、カップからボールが飛び出すといった動きを表現。さらに、飛び出たボールに対して、同じテーブルにある本を卓球のラケットのように様々な角度で当ててみると、角度によってそれぞれ違った方向にボールが跳ね返るというデモも実施。従来のARに比べてダイナミックな動きや、高速な追従性に、会場からも感嘆の声が漏れた。

テーブルの上のカップから水があふれ出した	カップから飛び出したボールに対して、本を傾けて当てると、その角度に応じて様々な方向に跳ね返った