ニュース

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も

 ソニーモバイルコミュニケーションズは、日々の暮らしをアシストするというコミュニケーションロボット「Xperia Hello!」(G1209)を11月18日に発売する。価格はオープンプライスで、ソニーストア価格は149,880円。家電量販店でも販売される。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も Xperia Hello!。手にしているのはソニーモバイルのスマートプロダクト部門 副部門長の伊藤博史氏
Xperia Hello!。手にしているのはソニーモバイルのスマートプロダクト部門 副部門長の伊藤博史氏

 家族の伝言や通話などの「コミュニケーション」と、カメラを使った外出先からの「見守り」、天気やニュース、スケジュール確認などの「インフォテインメント」に活用できるロボット。スマホを持たない祖父母に孫の写真を送ったり、ビデオ通話するなど、シンプルな音声操作で離れた家族とつながることができるという。

 イヤフォン型の端末で音声アシストする「Xperia Ear」や、投写画面をタッチして操作できるプロジェクタ「Xperia Touch」に続く、Xperiaスマートプロダクトの第3弾モデルとなる。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も Xperia Hello!
Xperia Hello!

スマートスピーカーではなく“コミュニケーションロボット”

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 家族のコミュニケーションに活用
家族のコミュニケーションに活用

 音声と、4.6型ディスプレイ、上部の顔のような部分の動き、目のようなLEDライトによって、会話や様々なしぐさを行ない、家族の円滑なコミュニケーションや、必要な情報の通知などの手助けとなることを目指している。OSにAndroid 7.1を搭載し、Androidスマートフォンのアプリも使えるほか、アップデートによる様々な機能拡張も予定している。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も Xperia Hello!
Xperia Hello!

 「スマートスピーカー」との違いとして、子供が帰ってきたことを顔認識して親の伝言を伝えるなど、Xperia Hello! が能動的にコミュニケーションすることを特徴としている。また、Androidアプリなどで音楽再生も可能だが、内蔵スピーカーはモノラルで、音楽ではなくコミュニケーションに最適化した仕様となっている。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 上部のカメラで顔を認識
上部のカメラで顔を認識

 なお、ほとんどの機能にはインターネット接続を利用し、初期設定にはAndroidスマートフォンなどと同様にGoogleのIDが必要。こうした設定に不慣れな祖父母などの家に置く場合は、設置と初期設定までは、詳しい家族などが代わりに行なうことを想定している。

 初期設定後の基本的な操作は「Hi Experia(ハイ エクスペリア)」と声を掛けることで開始。本体下部にある7chのマルチマイクを介して声を認識し、聞こえた方向に顔と胴を向けて、操作を受け付ける状態になる。

 エコーキャンセリング機能も備え、後ろから話しかけたり、周りでテレビの音がする中で話しかけても、その方向を認識可能としている。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も Hi Experiaと声を掛けると、そこに顔を向ける
Hi Experiaと声を掛けると、そこに顔を向ける

 「コミュニケーション機能」として、スマホなどとの間でLINEアプリのメッセージ送受信、Skypeアプリの音声/ビデオ通話、家族へのビデオ伝言が可能。LINE Messaging APIに対応している。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も コミュニケーション機能
コミュニケーション機能

 カメラは有効1,320万画素で、裏面照射積層型CMOSイメージセンサーのExmor RS for mobileを搭載。このカメラと顔認識により、家に帰ってきた家族を判別して、個別のメッセージを送ることも可能。子供が帰ってきた時には宿題をするよう伝え、父親が帰ってきた時は洗濯物を取り込むように頼むことなどができる。人感センサーは4方向に備え、3mの範囲で人を検知する。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 音声でメッセージを入力し、LINEの友人に送れる
音声でメッセージを入力し、LINEの友人に送れる
声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も ビデオ通話やメッセージなどに利用可能
ビデオ通話やメッセージなどに利用可能

 胴の部分に備えたディスプレイは4.6型液晶で解像度は1,280×720ドット。メッセージや写真などを表示できる。タッチ操作が可能で、スマートフォンのように本体設定やAndroidアプリも利用できる。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も ディスプレイ部
ディスプレイ部
Xperia Hello! の自己紹介

 「見守り機能」は、家にいる家族の様子を写真で確認できるもので、340度回転する本体と広角のカメラによって、360度方向を8枚の写真として撮影後、外出先のスマホのLINEに送信できる。スマホからの操作を受けると、「写真を撮っていいですか?」とXperia Hello! が音声で確認してから撮影を行なう。

 このほかにも、外出先からLINEで「家の様子を教えてもらう」を選ぶと、「〇〇くんは4分前に見かけました」というように、顔認識/会話した時間を知ることができる。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 見守り機能
見守り機能
声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も
声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も スマホのLINEアプリから、家の写真撮影などの見守り機能が利用可能
スマホのLINEアプリから、家の写真撮影などの見守り機能が利用可能
声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も みまもり設定画面
みまもり設定画面

 「インフォテインメント」は、必要な情報を、必要な人へ、能動的に届けるというもの。「お父さん」に対しては、通勤に使っている電車が事故などで止まっていたり、障害が発生した場合に、教えてくれる。交通情報は、日本国内の電車などをほぼ全てカバーするという。

 あらかじめ登録したジャンルのニュースについて、共同通信提供のニュースを元に、音声とディスプレイで伝える。天気予報は、家の住所エリアに合わせた情報を読み上げる。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も インフォテインメント機能
インフォテインメント機能

 誕生日や記念日、ゴミの日などは、あらかじめスマートフォンなどのGoogleカレンダーや音声入力で本体に登録しておくことで、1週間前や、当日などに知らせてくれる。その他にも、ふとした疑問を尋ねることで、Wikipediaで検索して音声と画面で調べてもらうことが可能。

Xperia Hello! に質問する

 カメラで顔を撮影することで、家族を最大10人登録可能。なお、個人を認識するのはカメラを使用し、声紋認証には対応しない。家族以外も「友達」として10人まで連絡先を登録でき、SkypeやLINE、見守りの機能を利用できる。ただし、友達が見守り機能を利用するには、権限設定をXperia Hello! 本体から行なう必要がある。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 家族や友達を登録可能
家族や友達を登録可能

 音声だけでなく、ライトの光り方や顔の動きで感情を表現。「行かないで~」、「ばんざーい」、「すねる」、「もりあげる」といった動作を行なう。

表情やしぐさの一例

 操作中に「キャンセル」と発話、または頭の部分を押さえるようにすると、対話を中止する。また、カメラや音声認識を受け付けないようにするには、ディスプレイの「おやすみ」のアイコンをタップすると、声を掛けたりしても反応しない状態になる。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 画面右下の「おやすみ」をタップするとカメラや音声認識をしない状態になる
画面右下の「おやすみ」をタップするとカメラや音声認識をしない状態になる

 IEEE 802.11a/b/g/n/acの無線LANを搭載。チップセットはSnapdragon 650を搭載し、CPUは1.8GHz(デュアルコア)+1.4GHz(コアッドコア)のヘキサコア構成。メモリは3GB。ストレージは32GB。

 Bluetooth 4.2対応で、NFCもサポート。データ転送用のUSB Type-Cと、給電用のDCジャックを備える。約2,300mAhのバッテリも内蔵するが、基本はACアダプタ給電での利用を推奨している。外形寸法は約111×216mm(直径×高さ)。重量は約1,085g。

 加速度、地磁気、GPS、ジャイロ、照度、気圧、気温、湿度、人感の各センサーを搭載。内蔵モーターは3軸(本体回転、頭上下、首左右)。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 底面
底面
声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 背面
背面

 発売に合わせたキャンペーンも実施。購入すると抽選で100名にEdyの1万円分のクーポンをキャッシュバックするというもので、Xperia Hello! だけでなく、既発売のXperia Ear(Edyギフトのキャッシュバック5,000円分)とXperia Touch(同1万円分)も対象となる。期間は10月17日13時~2018年1月14日23時59分。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 発売に合わせて、キャッシュバックや、開発者トークイベントも
発売に合わせて、キャッシュバックや、開発者トークイベントも
Xperia Hello! 「あなたを理解するコミュニケーションロボット」

“全てクラウド”ではなく内部処理でプライバシーに配慮

 Xperia Hello! の技術的な特徴や、スマートスピーカーなどとの違いについて、ソニーモバイル スマートプロダクト部門 エージェント企画開発室 倉田宣典氏は、ソニーの持つ「センシング技術」、「インテリジェント技術」、「ロボティクス技術」の3つを軸に説明。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も ソニーモバイル スマートプロダクト部門 エージェント企画開発室 倉田宣典氏
ソニーモバイル スマートプロダクト部門 エージェント企画開発室 倉田宣典氏

 センシングについては、赤外線の人感センサーで人が近づいたことを認識し、どこから話しかけられても反応できることや、周りにノイズがあってもキャンセルできるといった技術を紹介。

 また、インテリジェントについては、多くのスマートスピーカーのようにクラウド上で処理するのではなく、自社の組み込み型の顔識別エンジンとデータベースを使用しているのも特徴。家族や友人など限られた人数に絞って使う機能のため、家族の写真などプライバシーにか関わるデータをなるべく外に出さないように配慮している。

 音声認識も、全てクラウドで行なうのではなく、起動ワード認識や、雑音抑圧、音源方向推定、音響エコーキャンセラーは組み込みソフトウェアで処理。ハードと組み込みソフト、クラウドソフト処理を最適に統合し、様々な音が混在する厳しい環境下でも安定して動作するという。また、全てクラウドを介する音声認識とは異なり、ユーザーの声に対して反応するのが早いのも利点としている。

声と顔認識でLINEや見守りするロボット「Xperia Hello!」。電車遅延通知、会社受付も 着せ替え衣装も参考展示
着せ替え衣装も参考展示

会社の受付や、介護事業など、業務向けの応用も

 Xperia Hello! は、個人向けを第1フェーズとして、第2フェーズでは業務向け展開も予定している。

 第1弾として、ソニーグループのヴィジョンアーツとの共同開発により、「Xperia Hello! 受付サービス」を展開。

 無人でも来客にスムーズに対応して案内できるというもので、来館者があらかじめ受け取ったQRコードをスマホや印刷した紙でXperia Hello! のカメラにかざすと、担当者に電話で連絡し、客に行先を案内することが可能。2018年にソニー内オフィスの受付で実働試験を予定している。

会社の受付サービスに使用した場合のデモ

 また、介護事業を行なうソニー・ライフケアとの協業による「遠隔コミュニケーションサービス」も予定。介護付き有料老人ホームにおいて2018年に実証実験を予定しており、遠隔地にいる子供世帯とのコミュニケーションや、老人ホーム内での会話の活性化などを図る。

 なお、ソニーモバイルは、東京電力エナジーパートナーとスマートホーム分野で連携することを発表しているが、現時点では上記以外にXperia Hello! と他社のコラボレーションは未定。また、開発者に向けて、モーションや音声認識などに関するAPIを公開するかどうかといったことも、市場の反応や要望などに応じて検討していくという。

Amazonで購入
Xperia Hello