米Google、動画撮影しながら検索できる新機能「Ask with Video」

米Googleは5月15日に開催したデベロッパー向けイベント「Google I/O」のなかで、Googleレンズを活用して動画を撮影しながらGoogle検索ができる新機能「Ask with Video」を発表した。

基調講演で行なわれたデモの様子

基調講演では、正常に動かないレコードプレーヤーを動画で撮影しながら「なぜ、これが正しい位置に移動しないの？」と音声で質問すると、AIによる回答とともに検索結果が表示され、質問の「これ」がトーンアームであること、バランスが正しく調整されていない可能性があること、レコードプレーヤーがオーディオテクニカ製であり、調整方法が同社HPに記載されていることなどが瞬時に表示されるデモンストレーションが行なわれた。

従来であればレコードプレーヤーのメーカーやモデル名、トーンアームといったパーツ名を調べてからGoogle検索する必要があったが、「Ask with Video」を使うことでよりシンプルに検索できるようになる。

この「Ask with Video」は、State-of-the-art speechモデルとdeep visual Learning、カスタムGeminiモデルを活用することで、動画をフレーム単位で同社AIのGeminiに入力。動画に映っているレコードプレーヤーのモデルやトーンアームがドリフトしている状態などが認識され、インターネット上のさまざまな記事やフォーラムへの投稿、動画などを組み合わせて、AIによる回答が生成されるとのこと。

同機能は、まず米国のSearch Labsユーザーに英語で利用できる機能として、近日提供開始。提供地域は随時拡大される予定となっている。