Appleの拡張現実（AR）プログラムの最終目標は、現在謎に包まれています。特に、DigiTimesが最近報じた噂によると、AppleはARヘッドマウントディスプレイの開発チームを解散したとのことです。この噂は、アナリストのミンチー・クオ氏が少し前に発表したレポートと矛盾しています。クオ氏は、早ければ来年にもAppleのARヘッドセットが登場するだろうと予測していました。
しかし、Appleが他の競合企業にはほとんど見られないほどの熱意で拡張現実（AR）を推進していることは疑いようがなく、新しいARKit 3（そしてiOS 13とiPadOS 13）の進歩は大きな飛躍と言えるでしょう。実際、その飛躍は非常に大きく、多くの機能はA12以上のチップを搭載したiPhoneまたはiPadでしか動作しません。（さらに言えば、この進歩は、Appleがこれらの機能を最大限に活用できるヘッドセットやメガネを設計していることを強く示唆していますが、いずれにせよ。）
若干の欠点は、現在のスマートフォンではこの技術をiPhoneの背面カメラに連携させた機械学習技術と組み合わせることでしか利用できないことです。そのため、前面カメラのTrueDepthセンサーで期待されるような滑らかな映像が必ずしも得られるとは限りません。しかし、期待通り、Appleは次期iPhoneの背面カメラにVCSEL飛行時間型センサーを搭載すると噂されていますが、実際に目にするのは2020年以降になる可能性が高いでしょう。つまり、近い将来にメガネが登場することはないかもしれませんが、少なくともiPhoneとiPadはより優れたものになるかもしれません。
もっと近い将来としては、iOS 13 と iPadOS 13 が今秋後半にリリースされたら、Apple の最新デバイスに何が期待できるかをご紹介します。
人物遮蔽
オクルージョンの仕組みを理解する簡単な方法は、日食を思い浮かべることです。月が太陽の前を通過すると、太陽は月によって遮られます。ARの用語で言えば、Pokémon GOのARビューで見つけたポケモンが、椅子などの家具の後ろに立っているように見えることがあります。iOSは現在ARKit 2で動作しているため、「現実」の錯覚はポケモンが平らな場所に「座っている」場合にのみ機能します。
しかし、ARKit 3は床面を「読み取り」、現実世界の人物との関係においてデジタルオブジェクトがどこに位置すべきかを計算することができます。Appleは、巨大なデジタルチェスの駒とおもちゃの兵隊が散らばるリビングルームを女性が歩く映像で、これがどのように機能するかを（大きな拍手とともに）実演しました。基調講演の後、Appleは来場者にARKit 3の実際の動作を披露しました。iPadを手に持った2人のプレイヤーが、巨大なデジタルボールを「コート」の端にある巨大なボウリングピンに向かって漕ぎ出すゲームです。
オクルージョンにより、現代の映画の特殊効果で使用されるような「グリーン スクリーン」効果も実現できます。
モーションキャプチャ
ARKit 3はリアルタイムのボディトラッキングをサポートしており、人の関節の動きを学習してアニメーションアバターで再現できます。これは見た目にも楽しい機能で、将来のバージョンが改良されれば、全身ミー文字のような機能も実現できるのではないかと期待しています。Appleはこの機能に数秒しか時間を与えていませんでしたが、将来的には最も影響力のあるものになるかもしれません。
「Dancing With Myself」の新たな解釈。
しかし、まだ改良の余地があります。AppleのWWDCでのプレゼンテーションでも、アニメーションがややぎこちないアバターが紹介されていました。iPhoneの背面カメラに適切なToFセンサーが搭載されれば、iOSのモーショントラッキングは間違いなく改善されるでしょう。
共同セッション
私たちが知っている拡張現実は、主に孤独な体験です (少なくとも iPhone では)。しかし、ARKit 3 では、人々が同じ AR 空間内で遊んだり作業したりできる共同セッションを導入することで、この状況が変わります。
WWDCでは、Mojangの代表者2人が、近日発売予定のMinecraft Earthでこの機能がどのように動作するかを、一緒に城を建てることで実演しました。また、ARKit 3の他の機能が実際にどのように動作するかを示す素晴らしいデモでもあり、開発者はデジタルの花の後ろを歩くことでオクルージョンを実演しました。
フロントカメラとリアカメラの同時使用
ARKit 3では、開発者が前面カメラと背面カメラの両方を使って同時に周囲の状況をトラッキングできるようになりました。この機能が実際に動作する様子はまだ見ていませんが、iPhoneのバッテリー消費にかなり悪影響を与えるようです。
実用的には、この機能によりiOSユーザーは、背面カメラでマッピングされたデジタルオブジェクトに顔でインタラクションできるようになるため、他のキャラクターがユーザーの表情に反応するゲームが実現可能になるだろう。（これはアクセシビリティ機能としても優れたものになりそうだ。）
複数の顔の追跡
AppleのTrueDepthセンサーは、1つの顔を認識するだけでもすでに驚異的な性能を発揮しますが、ARKit 3ではiPhoneやiPadで最大3つの顔を同時に認識できます。3人が顔を寄せ合って使う必要があるように聞こえますが、これは非常に便利な機能です。Memojiを使った歌唱セッションなどにも使えるかもしれません。
この機能は、少なくとも A12 チップとTrueDepth センサーを搭載したデバイスでのみ動作します。つまり、現時点では iPhone X、iPhone XS、iPhone XS Max、iPhone XR、iPad Pro が対象となります。
小さな技術的改善
ARKit 3には、iOSでのAR体験を向上させる、目新しい機能ではないものの、いくつかの新機能も搭載されています。デバイスは一度に最大100枚の画像を検出できるようになり、オクルージョンの導入に伴い、物理的なオブジェクトの認識とサイズの推測も向上しました。AR体験は全体的に高速化され、iPhoneとiPadは環境内の平面をより迅速に検出できるようになりました。
RealityKitとReality Composer
Appleは、開発者がARKit 3の新機能を効果的に活用できるよう、MacのXcodeとカスタムiOSアプリで動作するARツールを提供することで、そのプロセスを簡素化しました。RealityKitは、カメラエフェクト、アニメーション、物理演算、オーディオをARプロジェクトに組み込む作業を大幅に簡素化します。Reality Composerは、ARに最適化された3Dアセットのライブラリを提供することで、3Dモデリングの経験がほとんどない開発者を支援することを目的としています。
Appleはステージ上でAttention Correct機能について言及しませんでしたが、iOS 13の開発者向けベータ版で開発者のマイク・ランドル氏（2017年にはこの機能を予測していたとされています）によって発見されました。この機能がFaceTime通話中にオンになっていると（設定からオフにすることもできます）、常に相手の目がまっすぐ向いているように見えます。通常は、カメラではなくディスプレイを見ているため、直接アイコンタクトすることはありません。Observant AIのCEO、ダン・シュキン氏がTwitterで指摘したように、iOSはこの魔法を実現するためにARKitを使用しています。残念ながら、執筆時点ではiPhone XSとXS Maxでしか動作しないようです。
