iPhone 7 Plusの2つのカメラで合成ズームやソフトフォーカス背景が可能に

Appleの9月の製品発表会で発表された新型iPhone 7 Plusは、広く噂されていた通り、2つのカメラを近接配置して搭載しています。Appleのワールドワイドマーケティング担当シニアバイスプレジデント、フィリップ・シラー氏は、iPhone 7と同じ28mmの広角レンズと、新たに56mmの望遠レンズを組み合わせたこのシステムについて説明しました。

Appleは、ハードウェアベースの1倍と2倍のズームに加え、ソフトウェア合成による両者のズーム機能を搭載したスマートフォンをリリースします。改良されたデジタル補間ズームモードは、2倍から10倍以上の画像を処理します。後日リリースされるソフトウェアアップデートでは、はるかに高価なデジタルカメラで撮影したかのような写真を撮影できるポートレートモードが追加されます。

二重の義務

2台のカメラは、単に2枚の写真を撮影するだけではありません。レンズが収集したデータは、ソフトウェアによって画像や動画へと加工されます。同時撮影によって様々な可能性が生まれ、その多くはコンピュテーショナルフォトグラフィーと呼ばれる、画像データや画像センサーから情報を取得し、単なる写真ではなく、結果として得られる写真を生成する分野です。

最も一般的な用途は、iPhoneで長年利用されてきたハイダイナミックレンジ（HDR）写真です。これは、異なる露出設定で連続して撮影した写真から、最も明るい部分と最も暗い部分の両方のディテールを捉えた1枚の画像を生成する技術です。最も顕著なハードウェアの例は、現在では販売が中止されているLytroというカメラシリーズです。このカメラは、撮影された各ピクセルの方向である光線を計算し、その情報を用いて撮影後に再フォーカス可能な画像を生成することができました。

Appleは発売当初、2台のカメラを使ってネイティブの28mmと56mmのカメラで写真を撮影できるようにするだけでなく、両方のレンズからのデータを計算して1倍と2倍のズーム比を合成します。これはデジタルズームのように加工された画像ではなく、データを抽出して組み合わせることで、真の可変光学ズームと見分けがつかないような画像を生成します。

デジタルズームが改良され、10倍に拡張されました。これは、2つのカメラ間でより多くの情報を取得することで、欠落したデータを補間できるようになったためです。デジタルズームで撮影した写真は、依然として多少人工的な印象を受けますが、シングルカメラのiPhoneよりもはるかに鮮明でリアルな仕上がりになります。

ポートレートモード

シラー氏はまた、開発者たちが「追加クレジット」プロジェクトに取り組んでおり、これは今年後半にiPhone 7 Plusユーザーに無料アップデートとして提供される予定だと述べた。この新しいポートレートモードは、「ボケ」（boh-keh）をシミュレートする。これは、被写界深度が非常に浅い高価なレンズやカメラシステムの特徴である、ピントが合った前景とぼけた背景の組み合わせである。「ボケの質が高いほど、写真システムがより高度で高品質であることを意味する」とシラー氏は述べた。

iPhone 7 Plusは、シーン内の物体を機械学習で認識し、人物を識別し、さらに2台のカメラで撮影した画像を用いて焦点面を区別することで、これを実現しています。結果は合成されたものですが、かなりリアルに見える可能性があります。

2014年3月に発売されたAndroidベースのHTC One M8は、2台のカメラと擬似ボケ機能を搭載していましたが、シーンによって性能がまちまちでした。GoogleとAppleの物体認識技術は、この間に劇的に向上しました。この分野のパイオニアであるマーク・レボイ氏は、数年前に動画フレームをキャプチャしてこの効果を生み出す概念実証iOSアプリ「SynthCam」をリリースしました。1台のデバイスに複数のカメラが搭載されていれば、はるかにシンプルになります。レボイ氏はスタンフォード大学の教授職を退職し、Googleに入社しました。

Appleがカメラアプリにどのような機能を実装するかに関わらず、これはほんの始まりに過ぎない。焦点距離の異なるレンズを持つ2つのカメラを搭載することで、iPhoneはLytroの領域に踏み込み、撮影後に複数のフォーカスポイントを選択できるようになる。また、Appleがサードパーティ開発者にRAW画像データとカメラの広色域データへのアクセスを提供していることを考えると、Appleの内蔵カメラアプリからははるかに遅れている2つのカメラを興味深い形で活用するアプリが数多く登場する可能性もある。

サイドバイサイドカメラによって、立体写真や立体動画の撮影が可能になりました。これらは3Dと呼ばれていますが、人間の両眼視と同じように、わずかに離れた2枚の画像から、遠ざかる物体と距離を再構成する仕組みです。同じ手法で、静止した物体の真の3Dスキャンも可能になります。カメラを物体の周囲に動かし、アプリがモデルをつなぎ合わせるのに十分な画像があると認識するまで、カメラを動かします。

2台のカメラで同時に撮影した画像から動きの詳細を計算し、ブレを除去することも可能。そう、まるで頭を振ったせいで台無しになったように見える写真でも、静止した状態に戻すことができるのです。

複数のカメラを使うことで、自動でつなぎ合わせた2Dパノラマ写真を簡単に作成できます。Appleの現在のカメラのパノラマ撮影モードは操作が複雑で、安定した手と慎重な動きが必要です。2台のカメラを使うことで、より多くの情報を捉えられるようになり、撮影者がより雑然とした動きをしなくて済みます。