西田宗千佳のRandomTracking

第527回

iPhoneがWebカメラに!? iOS 16「AV的進化」をチェック

アップルは毎年秋に新OSを公開する。今年も「iOS 16」「iPadOS 16」「macOS Ventura」などが秋に公開される予定となっている。

ここではAV Watchらしく、iOS 16を中心に「AV的な進化」についてチェックしていこう。なかなか今回は面白いアップデートになると予想されるからだ。

なお、記事ではパブリック・ベータ版として公開されているものを、報道向けに許諾を得た上で利用している。現状公開されているパブリック・ベータ版は開発向けのもので、不具合を含んでいる可能性が高く、一般の利用向けではない。

ロック画面は「写真」に注目

世の中的にいえば、iOS 16での最大の変化点は「ロック画面の改善」だ。ウィジェットでちょっとした情報が出せるようになったり、天気情報との連動ができたりと、かなり機能アップしている。

iOS 16のロック画面。写真の扱いが代わり、時計の下に「ウィジェット」が。天気や地球上での自分の位置などを表示することも可能

特にiCloudを介して大量の写真を保存している人は、「壁紙」設定の「提案された写真」をチェックしていただきたい。ここには、過去に撮影してiCloudで撮影した写真から、壁紙に合いそうなものがクロップされた形で並ぶ。筆者の場合には建物が多いが、家族写真などが多ければ人の顔が並ぶことだろう。一定時間で自動切り替えもできる。

壁紙設定にある「提案された写真」は、自分が撮影した写真から壁紙に合うものが自動選択されたもの

もちろん、アプリを使って全部自分でやれば、いままでも同じことはできた。その辺を自動でやってくれるのが、今回のiOSの特徴でもある。

AirPodsの空間オーディオが「パーソナライズ」対応に

AV的な面での変化といえば、「パーソナライズされた空間オーディオ」への対応がある。

この機能は、アップルのヘッドトラッキングによる空間オーディオ対応ヘッドフォン(第三世代AirPods、AirPods Pro、AirPods Max)で有効なものだ。

iOS 16が入ったiPhoneにこれらのヘッドフォンを接続すると、下のような画像が現れる。従来からこれらの機種では空間オーディオが使えていたが、主に頭の動きから空間表現を行なっており、頭部伝達関数(HRTF)を個人それぞれに合わせてカスタマイズしていなかった。

iOS 16にアップデートして空間オーディオ対応のAirPodsを接続すると、この設定画面が現れる

今回のアップデートでは、自社製品と組み合わせた時に限り、iPhoneを使ってHRTFの最適化を行なう。

手法はシンプルだ。顔の正面と耳の写真を撮影し、そこからHRTFを推測する。そのための機能はOSに組み込まれており、該当するヘッドフォンをiPhoneに接続した時、前述のようなメッセージが出てきて、そこから作業することになる。

イメージとしては、顔認証機能である「Face ID」で顔を登録する時に近い。しかし、あちらのように「顔をグルグル回す」というより、「指示された方向に顔を向けてしっかり写真を撮る」感じに近い。左右の耳の形を撮影するのは、一人でスマホを持つ場合ちょっと苦労するかもしれないが、「耳が画面の円内にまっすぐ入る」ように撮影すればOKだ。ただあまり長時間うまくいかないと、「顔を正面で認識する」ところから全部やり直しになるので、誰かに手伝ってもらうか、鏡などでみながら進めた方が無難である。特に、耳とiPhoneの距離を20cmから50cmの間で一定に保つのが大変だった。

顔や耳の形をカメラで撮影して認識する
耳の認識は「丸」の中に。一人ではやりづらいかも
耳とiPhoneの間を一定に保つのが意外と大変

あとは自動的に「パーソナライズされた空間オーディオ」が使われる。

アップル製品の利用には「Apple ID」を使うが、パーソナライズされた空間オーディオの管理にもこれを使う。すなわち、同じApple IDでログインして使っていれば、iPhoneでもiPadでもMacでも、同じデータを使って最適化した形で音楽が再生される。

macOSの場合も秋の新バージョン(Ventura)であれば、iPhoneでパーソナライズされた空間オーディオが利用可能(赤枠内)

一方、パーソナライズ設定はiPhoneでのみ行なえるため、iPhoneを持っていない場合、最適化はできないことになる。

現状、「パーソナライズされた空間オーディオ」に対応しているのは、OS内蔵のアップル製アプリだけだ。また、最適化が行なわれたデバイスを他人が使う場合、想定通りの効果にならない可能性がある。パーソナライズされた空間オーディオの利用を停止する場合、パーソナライズデータはすべてのアップル製デバイスから削除される。

なお、秋の新OSからは、アップル製ヘッドフォンのみ、「Bluetooth」設定の中ではなく、「設定」アプリの上の方に、特別扱いのように表示されるようになった。アップル製品同士での使い勝手向上をさらに追求した結果だろう。

iOS 16やiPadOS 16からは、アップル製のヘッドフォンだけわかりやすい位置に設定が変更になる

最適化の手法はソニーと同じだが、「ヘッドトラッキング」のぶん効果は高い

この辺の構造を、同じく「空間オーディオの個人最適化」を行なう、ソニーと比べてみよう。

ソニーの場合には自社アプリ「Sony | Headphones Connect」を使い、同じく耳の写真を撮影してHRTFを最適化する。

対象はソニー製のヘッドフォンと、ソニーとの提携したメーカーの製品。アプリが動けばAndroidでもiOS/iPadOSでも大丈夫だが、異なる機器間でのカスタマイズデータ共有連携については、Sony IDを使ってデータをアップロードした上で行なう。アップルの場合と同じように、一度最適化すると、同じデバイスは他人が使った時、空間オーディオの効果が変わる可能性が高い。

アップルとソニーの違いを表にまとめてみた。アップルは「自社縛り」だが、設定は簡単で、ヘッドトラッキングの利用がポイント

使用可能なアプリは、ソニーと提携して「空間オーディオ最適化」機能を備えたもののみ。だから、iOS純正の「ミュージック」アプリや、Androidスマホに組み込まれている音楽プレイヤーなどでは利用できない。

では、実際に音を聞いてみた感想をお伝えしよう。

アップル製品での「パーソナライズされた空間オーディオ」体験はかなりいい。

以前からヘッドトラッキングの効果で音場が自然に広がる印象はあったのだが、「パーソナライズされた空間オーディオ」により、筆者の場合にはそれがさらに「くっきり」した印象を持った。音の定位がわかりやすくなり、明瞭な感じになった、といえばいいのだろうか。圧倒的な効果、とまではいえないかもしれないが、聴き比べると確かにかなり違う。パーソナライズしてある方が好ましく感じる。

ソニーの場合も広がりはあるのだが、ヘッドトラッキングへの対応がないので「音の方を向くとそちらから聞こえてくる」感じはしない。

パーソナライズデータがほぼ何もしなくても、自分が持っている他のアップル製品に引き継がれるのは便利だ。アプリ内でいちいち設定するのではないところは、OSまで管理しているアップルの利点、といえそうだ。

iPhoneがMacのWebカメラに

iOS 16で搭載される新しい目玉機能の1つが、「MacのWebカメラになる」というものだ。

iOS 16では、iPhoneが連動してMacのWebカメラになる

すでにそういうアプリはあるのだが、今回の場合には、OSが「iOS 16」と「macOS Ventura」であれば、特別なアプリを入れる必要がない、というのが特徴だ。

仕組みもシンプル。Macにはつながっているカメラやマイクを判別し、ビデオ会議アプリなどで扱う機能があるが、そこで使える「カメラ」「マイク」として、iPhoneが認識されるようになる。実はOSさえインストールされていれば、デフォルトでオンになっているので、設定は不要。iPhoneとMacを同じネットワーク内に設置する、もしくは、MacとiPhoneをケーブルで接続すれば使えるようになる。

あとは各ビデオ会議アプリで、Mac内蔵のWebカメラなどと切り替えるだけで使える。

利点は「画質」に尽きる。元々iPhoneのカメラは高画質なので、Mac内蔵のWebカメラより見やすい映像になる。それどころか、解像度だけなら、UVCを使ってUSB接続している一眼よりも良くなる場合が多い。ただし、発色や「ボケ」はレンズで変わるので、一眼などの方が有利な場合はある。

上からiPhone 12 Pro Maxをカメラにしたものと、MacBook Pro内蔵のカメラ、ソニーのVlogカムでミラーレス一丸の「ZV-E10」を、ZOOMで使った時の画質を比較

それぞれ画像の一部を拡大したのが以下のものだ。解像度がiPhone 12 Pro Maxだけかなり高いのがわかる。

iPhone 12 Pro Max
MacBook Pro内蔵のカメラ
ソニー「ZV-E10」

少し前で「カメラとマイクとして認識」とあるように、この機能では「ワイヤレスマイクとしてiPhoneを使う」こともできる。そんなにニーズがあるシチュエーションとは思えないが、そんな使い方もできる、と覚えておいても損はない。

ただ逆に、Wi-Fiで簡単につながってしまうがゆえに、「そのつもりがないのに、iPhoneが自分のMacにカメラやマイクとして認識される」トラブルはありうる。接続が行なわれるとiPhoneの側から「チリン」という音が聞こえるので、意図しない時に音が鳴ったら、ちょっと動作を確認してみてほしい。

MacにiPhoneが接続された時は、この画面が表示される

机の上も同時に見られる「デスクビュー」

もう1つの利点は、卓上を同時に映す「デスクビュー」があることだ。

自分の姿と机の上を同時に表示する「デスクビュー」が可能

iPhone 11以降の製品には「超広角」を含む、複数のカメラが搭載されている。だからiPhone 11以降を接続した場合、一番よく使う「広角」は正面の自分の顔を、「超広角」は手元を写すために、同時に利用できる。両方のカメラを同時に扱い、OS上で使えるようにするあたりは、OSメーカーならではの実装と言えそうだ。

ただいかに超広角といえど、単に映像を表示しただけでは、机の上は歪んでしまう。そこで、同時に映像を補正し、比較的正しい角度で見えるよう、修正も行なう。

とはいえ、この角度設定はかなり面倒。筆者は特別なアダプターを入手したわけではないので三脚を使ったが、若干不自然さが残った。iPhoneをMacに取り付けるホルダーがあれば楽になりそうだが、現状ではまだ一般には売られていない。秋にOSが正式公開される時期に合わせて出てくるだろうが、それらを使えばかなり楽で、便利なものにはなりそうだ。

ところで、どうやって「顔と卓上を同時にアプリ上で表示する」のか? ここは意外な方法を使う。

実は「デスクビュー」は、Webカメラではなく「特別な方法」で表示する。macOSに「デスクビュー」という専用アプリが用意され、そちらに表示されることになるのだ。

ビデオ会議などで相手にデスクビューを見せる場合には、ビデオ会議アプリにある「画面を共有して相手に見せる」機能を併用する。プレゼンテーション画面などを相手に見せる時に使うものだが、プレゼンアプリの代わりに「デスクビューアプリ」を見せるわけだ。

アプリごとに操作方法は違っていて慣れが必要なので、実際に使う前に、少し「予行演習」をしておくことをお勧めする。

西田宗千佳