西田宗千佳のRandomTracking

第613回

アップル春のOSアップデート。Apple Intelligence日本語化とVision Proの機能拡張

4月からは、Apple Intelligenceが、Vision Proでも使えるようになる

アップルが4月に、同社製品のOSを相次いでバージョンアップする。

同社の場合、メジャーバージョンアップの内容が開示されるのは初夏の開発者イベント「WWDC」。今回のバージョンは「小数点以下」の、いつもならマイナーチェンジといっていいものだ。

だが、今回は特に日本市場にとっては大きな意味を持つ。生成AIを軸とした機能である「Apple Intelligence」が日本でも使えるようになるからだ。

また、製品が出て1年が経過したApple Vision Pro(以下Vision Pro)に関しても、比較的大幅なアップデートが続く。

今回はVision Proの話を軸に、アップルのOSアップデートがどんなものになるかを見て行こう。

なお、画面の多くは、デベロッパー向けに公開が始まった「デベロッパーベータ版」を使ったものだ。一般向けに、日常利用を前提に公開されたものではなく、重大な不具合が存在する場合もある。今回はリリースなどで公開された画像に加え、報道目的に許諾を得てベータ版のスクリーンショットを利用している。

また、現状では未実装と思われる機能や、AIの挙動に疑問がある部分も散見される。だが開発途上版であり、公式公開版との差違が不明であるため、いわゆる「レビュー」的な評価は行なっていない。

ついにApple Intelligenceが日本語にも

まずApple Intelligenceの話をしよう。

今回アップルが提供を開始するのは、iPhone向けの「iOS 18.4」、iPad向けの「iPadOS 18.4」、そしてMac向けの「macOS Sequoia 15.4」。そして前述のように、Vision Pro向けには「visionOS 2.4」が提供される。

すべてに共通する大きな要素は「Apple Intelligence」だ。

iPhone・iPad・Macでは昨年秋から導入されていたが、アメリカ英語向けが先行、日本語にも対応していなかった。

しかしこの4月からは日本語を含めた8つの言語が追加される。これは非常に大きな変化であり、アップルにとっても戦略的に重要な要素と言える。

先日「iPhone 16e」が発表されたが、これもApple Intelligence対応。iPhone SEに比べ価格が上がったことなど気になる要素は多々あるが、アップルとしては「主要な製品では必ずApple Intelligenceが使えるようにしたい」という強い意志を感じる。

新製品のiPhone 16eは、Apple Intelligenceを強く意識した製品だ

Vision Proでも、Apple Intelligenceが使えるようになるが、こちらはまず英語からで、日本語には対応しない。iOSでアメリカ英語のみに対応していた時と同じように、言語設定を英語にしないとApple Intelligenceは利用可能にならない。2025年中には対応言語の拡大が行なわれる予定で、iPhoneなどに比べ1サイクル遅れ、というところだろうか。

Vision ProでもApple Intelligenceが4月より搭載されるが、まずは英語のみ
Vision ProでもApple Intelligenceの機能の1つ「Image Playground」が使えるようになる

日本語対応のApple Intelligenceでは、複数の機能が搭載される。

いちばんわかりやすいのは「Siri」が変わることだ。

  • 語彙や会話のなめらかさの改善
  • キーボードからの命令入力
  • 使用状況に伴う文脈を理解した反応

等、賢さが向上する。表示も「ボール」から「画面全体が虹色になる」形になり、キーボードからも命令が与えられるようになる。

左がApple Intelligence以前、右がApple Intelligence以降のSiriの表示

あらゆる文字入力で「作文ツール」も使えるようになる。文章の要約や再構成、ドラフトの執筆などは「いかにも生成AI的」でわかりやすい。「メール」でもこの機能は有効で、大量の返信が連なったメールを「流れをふまえて要約」できたりする。

作文ツール。文字を扱うあらゆるところで呼び出せる

アプリの通知も、Apple Intelligenceをつかって「まとめた内容を表示」するようになる。

「写真」機能の拡充も大きい。

すでに以前より、写真の中の邪魔なものを消す「クリーンアップ」が使えるようになっているが、他にも機能は多い。

文章から自分の写真・動画を使ってムービーを作る「メモリー」の他、写真や動画の内容をAIが解析し、「自然文で、写っているものの内容で検索する」機能も便利だ。これまでも「料理名」や「地名」での検索はできたが、Apple Intelligence導入以降は「机の上のチャンピオンベルト」のような複雑な言葉でも検索できる。しかも、検索対象は写真や動画のサムネイルだけでなく、「動画の中の1フレーム」にまで及ぶ。

「机の上のチャンピオンベルト」のような自然文指定で、該当する写真を検索

いわゆる「画像生成系」もある。Image Playgroundがそれだ。

プロンプトを入力したり、顔写真を元に画像を作ったりできるが、もう少し複雑なこともできる。

画像を生成するImage Playground

たとえば文章の中に画像を入れる場合、「画像マジックワンド」を使うと、自分のラフスケッチに加え、周囲に書かれた文章を解析し、関連性の高い画像を生成する。

画像マジックワンド。ラフ画像と周囲のテキストから、別の画像を作り出す

メッセージを書いている最中で、その内容を踏まえた絵文字をプロンプトや写真から生成する「ジェン文字」もある。

自分オリジナルの絵文字を作る「ジェン文字」

機能は非常に多彩で、全容をすぐには把握しきれないくらいだ。

細かなことだが「ボイスメモ」が日本語の書き起こしに対応したことも指摘しておこう。

ボイスメモが、英語だけでなく日本語の書き起こしにも対応

ただ、これはApple Intelligenceの導入によるものではなく、ボイスメモで使われる音声認識モデルに日本語が追加されたから、と考えるのが正しい。使う側としてはどちらでもいいのだが……。

画像をAIと連携する「Visual Intelligence」

特に注目しておきたいのは、iPhoneに搭載される「Visual Intelligence」という機能だ。

これはカメラから取得した画像の中身をAIが解析、様々な処理を行なうものだ。

iPhone 16シリーズの場合、「カメラコントロール」を長押しして呼び出す。

たとえばなにかを調べたい時には、Visual Intelligenceを呼び出し、GoogleやChatGPTにたずねる。

Visual Intelligenceでパッケージの翻訳をして見た例。右が翻訳後

文字の部分の翻訳もできる。また、内容に電話番号やウェブのアドレスがあれば、そこから連絡をとることもできる。ポスターやチラシから、予定などをピックアップしてカレンダーに登録する、ということも可能だ。

ChatGPTと連携する場合、プロンプトに質問を入力し、写っているものについてさらに詳しい内容を調べる……という使い方もできる。

こうした「マルチモーダル」な要素は、生成AIとスマホの連携では主軸の1つと見られている。Googleもやっていることだ。

こうした使い方をどれだけ広げられるか、どれだけ本当に便利だと支持される機能を用意できるかは重要だろう。

iPhoneの場合、Visual Intelligenceの呼び出しには「カメラコントロール」を使うのが基本とされている。すなわち、カメラコントロールを備えたiPhone 16やiPhone 16 Proを主眼とした機能である。

ただし、iPhone 16eにはカメラコントロールがない。そのためか、もう一つの専用ボタンである「アクションボタン」にVisual Intelligence呼び出しを割り振れるようになっている。

iPhone 15 ProシリーズでもApple Intelligenceは利用可能だが、旧機種でもアクションボタンに割り振ることが可能かどうかは、現状明確になっていない。

一方Visual Intelligenceは、今のところiPhoneでのみ利用できる。

気になるのがVision Proには現状搭載されていないことだ。

Mixed Realityデバイスはカメラを備えており、「見たものをAIで判断する」のに向いている。MetaやGoogleは自社のプラットフォームでマルチモーダル機能を搭載する計画だが、アップルは現状そうしていない。

今後、Vision ProにVisual Intelligenceが搭載されると面白いとは思うが、そこでどのような判断を下すのかにも、今後注目して行きたい。

Vision Proで「コンテンツ発見」向けアップデート

ここからは、Vision Proのアップデートの話をしておこう。

まずは「コンテンツ紹介手段」の拡充。

Vision Proは搭載しているディスプレイの品質が高いこともあり、映像視聴時の満足度が高い。本連載でも何回か触れてきたが、発売1年を経過した今でもこれは揺るがず、超えるデバイスも出ていない。まあ、だから高いのだが……。

Vision Pro向けには多数のコンテンツが公開されているが、「TV」アプリをはじめとして複数の場所に分散しているので、ざっとチェックするのが難しい。

そこでvisionOS 2.4からは「空間ギャラリー」というアプリが追加される。

これは、映画やアプリ、空間フォトなど、アップルがお勧めするコンテンツをまとめて紹介してくれるものだ。詳しくは以下の動画をご覧いただきたい。

「空間ギャラリー」機能。Vision Pro向けの主要コンテンツを紹介するアプリ

公開されたばかりのデベロッパー向けベータ版にはまだ組み込まれていないようで、実際のコンテンツがどうなるかは分からないのだが、イメージは掴んでいただけるだろうか。

なお、紹介作品は定期的に追加されていく予定だという。

同様にコンテンツを発見しやすくするものとして、新たに用意されるのが「Apple Vision Pro App」。こちらはiPhone用のもので、Vision Pro向けのアプリやコンテンツなどを、iPhoneの上から探せるもの。映画などについては予告編も見られるという。

iPhoneでVision Pro向けコンテンツを探すための「Apple Vision Pro App」

従来はiPhoneなどのアプリストアからはVision Pro用コンテンツが見られなかったため、コンテンツ確認が不便なところがあった。だがApple Vision Pro Appがあれば、この問題は解消される。

アプリ上で見つけた作品やアプリをチェックしておくと、Vision Pro側でも自動ダウンロードされるようになるという。

さらにVision Proの設定情報や操作方法のヘルプなどもまとめられている。

この辺は、シンプルにいえば「後追い」だ。MetaやPICOはスマホアプリがあり、セットアップなどもスマホアプリを介して行う。Vision Proは単体でセットアップできるのが良さではあるのだが、アプリや映画の検索は「Vision Proをつけていない時」でもしたいもの。この変更は素直にプラスと受け取っておきたい。

Vision Proではインサートレンズを付ける時、独自の二次元コードを使ってレンズの情報をVision Proに読み込むのだが、この二次元コードはインサートレンズのパッケージに書かれているので、捨てると参照が難しくなる。

だが、Apple Vision Pro Appから、自分用として登録済みであるインサートレンズの二次元コードを表示可能になるので、パッケージを捨てたりなくしたりしても問題ない。

なお、Apple Vision Pro Appは、Vision Proを持っている人の場合、iPhoneをiOS 18.4にアップデートすると自動的にインストールされる予定だという。ただし、現状の開発者向けベータ版には組み込まれていないように見える。

Vision Proを持っていない場合でも、AppStoreから「Apple Vision Pro App」を検索してダウンロードできるので、どんなアプリや映画があるかを知りたい人は、4月以降ダウンロードしてみてほしい。

ゲストモードで他人に体験してもらいやすくなる

もうひとつの大きな変化は「ゲストモードの改良」だ。こちらもまだベータ版には搭載されていないようなので、アップル提供のスクリーンショットでご紹介する。

Vision Proには「他人に体験してもらうのが面倒」という大きな欠点がある。その理由は、「視力補正にインサートレンズかソフトコンタクトレンズが必要」ということと、「視線認識を使うので個人ごとの設定が必要」という点にある。どちらも良い体験を担保するためのもので、まあしょうがない部分はある。

もう1つの欠点が「新しい操作体系なので、それを説明するのが大変」ということだ。Vision Pro内で利用者がなにをしているかを、外から把握するのは難しい。教える側は「相手がなにをしようとしているのか」を予測しながら伝えなければいけないので、なかなかもどかしい。

実際には現在も、「画面ミラーリング」機能を使い、事前にVision Proの画面をiPhoneやMacに表示しておくことで「相手の見ているものを確認しながら操作を教える」ことができるのだが、設定がなかなかに面倒だ。

筆者はこの1年で何十人という方に体験してもらったが、その過程で「先に自作した操作ビデオを見せる」「画面ミラーリングを設定してからゲストモードを始める」などのノウハウを作って対応したが、それを皆に強いるのは現実的ではない。

visionOS 2.4では、iPhoneやiPadと連携することで、ゲストモードをもっと簡単に使う機能が搭載される。

自分以外の人がVision Proを装着し、それが「自分ではない」ことを認識すると、自分のiPhoneやiPadに「ゲストモードをオンにするか?」という通知が届く。そこで「はい」を選ぶとその人に使ってもらってかまわないアプリを選択、そこから画面のミラーリングが自動的にスタートするようになるのだ。

iPhoneからゲストモードのVision Proをコントロールする動画

これで、複雑な行程を経なくても「画面を見ながらVision Proの操作を教える」ことが可能になる。

ただし、著作権保護がなされたコンテンツを見る時には、画面ミラーリングが止まる。映画を見せたい時などは、従来通り「画面を想像しながら相手に操作を教える」しかない。

この仕組みはあくまで画面ミラーリングなどの、すでにある機能を活かして作られたものだ。アップルストアには、iPadを併用する特別な「Vision Pro体験用アプリ」がある野だが、それと今回の「ゲストモードの改善」とは違うものだ。

どちらにしろ、他人に体験してもらいやすくなることは間違いない。今のVision Proが「布教型製品」であることを考えると、この配慮は重要。できれば、発売してすぐに用意して欲しかったものではあるが……。

西田 宗千佳

1971年福井県生まれ。フリージャーナリスト。得意ジャンルは、パソコン・デジタルAV・家電、そしてネットワーク関連など「電気かデータが流れるもの全般」。主に、取材記事と個人向け解説記事を担当。朝日新聞、読売新聞、日本経済新聞、AERA、週刊東洋経済、週刊現代、GetNavi、モノマガジンなどに寄稿する他、テレビ番組・雑誌などの監修も手がける。 近著に、「生成AIの核心」 (NHK出版新書)、「メタバース×ビジネス革命」( SBクリエイティブ)、「デジタルトランスフォーメーションで何が起きるのか」(講談社)などがある。
 メールマガジン「小寺・西田の『マンデーランチビュッフェ』」を小寺信良氏と共同で配信中。 Xは@mnishi41