ソニー、センサーにAI機能を搭載した世界初「インテリジェントビジョンセンサー」

世界初「インテリジェントビジョンセンサー」。左からIMX500、IMX501

ソニーは14日、イメージセンサーにAI処理機能を搭載した、世界初の「インテリジェントビジョンセンサー」を商品化。1/2.3型、有効約1,230万画素の「IMX500」(ベアチップ製品)として、4月にサンプル出荷を開始した。サンプル価格は1万円。パッケージ版の「IMX501」は6月にサンプル価格2万円で発売予定。

イメージセンサーにAI処理機能を搭載する事で、高速なエッジAI処理を可能にしている。必要なデータだけを抽出する事で、クラウドサービス利用時のデータ転送遅延問題の低減、プライバシーへの配慮、消費電力や通信コスト削減などに寄与するという。

画素チップとロジックチップを重ね合わせた積層構造を採用しており、ロジックチップにAIによる画像解析処理機能を搭載した世界初のイメージセンサー。画素チップには有効約1,230万個の裏面照射型画素を配置し、広い視野角で情報を捉えられる。

ロジックチップには、通常のイメージセンサーの信号処理回路に加え、AIに特化した信号処理を担うソニー独自のDSPと、AIモデルを書き込めるメモリーを搭載。これにより、高性能なプロセッサーや外部メモリーを必要とせず、エッジAIシステムを実現できるという。

画像チップから取得した信号をロジックチップで処理する過程で、ISP(Image Signal Processor)処理やAI処理を行なうことにより、対象物をメタデータで出力し、扱うデータ量が削減できる。

また、画像情報を出力しない事でセキュリティリスクも低減。プライバシーに配慮した対応が可能になるという。通常のイメージセンサーの撮影画像に加え、ISP出力形式の画像(YUV/RGB)や、特定領域のみ切り出したROI(Region of interest)画像など、ユーザーのニーズや用途に応じた出力データ形式を選択できる。

通常のイメージセンサーで動画を撮影する際は、出力された1フレームの画像ごとにAI処理に繋げる必要があるため、データの送信が多くなり、リアルタイム性を確保するのが困難だったという。

インテリジェントビジョンセンサーでは、ロジックチップでISP処理、高速なAI処理ができるため、動画の1フレーム内ですべての処理が完結できるという。例えば、モバイル機器向けの物体識別を目的とした画像解析用AIモデルであるMobileNet V1の場合、3.1ミリ秒の処理時間でAI処理ができる。これにより、動画を撮影しながら、対象物の高精度なリアルタイムトラッキングが可能になる。

ユーザーは、任意のAIモデルをメモリーに書き込み、使用環境や条件に合わせて書き換え、アップデートが可能。インテリジェントビジョンセンサーを採用した複数のカメラを店舗に設置した場合、1種類のカメラで設置位置、状況、時間など、用途や目的に応じて使い分けられる。

入り口であれば入店者のカウント、棚であれば商品の欠品検出、天井であれば来店者のヒートマップ(人が多く集まる場所の検知)など、複数の用途に活用できる。また、これまでヒートマップの検出に使っていたAIモデルを、消費者行動を把握するために使用するAIモデルなどに書き換えることも可能。

イメージサイズは対角7.857mm。フレームレートは、4K(4,056×2,288)/60fps、1080/240fpsまで対応可能。フル/ビデオ+AI処理の場合は、30fpsの対応となる。