デュアルカメラ撮影のワイプは顔を自動で追いかけますか?

実際には毎フレーム何が起きているか

デュアルカメラ撮影はリアルタイムの合成です。2つのカメラ映像が GPU 上で1枚のキャンバスに描き込まれ、それが毎フレーム続き、そのキャンバスそのものがファイルとして書き込まれます。ワイプはそのキャンバス上で位置が固定された長方形——4つの角のどれか、3段階のサイズのどれか、3種類の形のどれか——です。毎フレーム、ワイプ側のカメラがそのとき捉えている映像が拡大縮小・トリミングされて、その同じ長方形に収められます。この一連の流れのどこにも「顔はどこか」を問い、それに応じて長方形を動かす処理はありません。長方形はフレームが描かれる前にすでに決まっていて、中に何が写っているかで決まるものではないのです。

ワイプがある瞬間は問題なく見えて、次の瞬間には誰かが切れてしまうのもこのためです。追尾に失敗しているのではなく、そもそも追尾しようとしていません。位置と形が固定された窓に、そのときレンズの視野に入っているものが映っているだけです。

なぜ自動追尾がないのか

センターフレームのような顔追尾の窓は、まったく別の処理系です。切り出す元になる広い視野、端末上で常時走らせる顔検出、そしてそのためのデジタルな余白を前提にした撮影フォーマットが必要になります。マルチカメラセッションは、単一カメラよりも選べるフォーマットの幅がすでに狭く、各入力はマルチカメラ対応と明示されたフォーマットで動く必要があり、2系統を合わせた負荷は1つのハードウェア予算に収まらなければなりません。リアルタイムの2カメラ合成の上にさらに常時の顔検出を重ねるのは、撮影ハードウェアがすでに一番重く使われている処理の上に、もうひとつ重い処理を積むことになります。発想自体が的外れというより、マルチカメラセッションに割り当てられた予算は、そもそも2つのカメラを本当にリアルタイムで合成すること自体にすでに使い切られている、ということです。

このシンプルな方式で得られる利点こそ、デュアルカメラ撮影がよって立つところです。ファインダーに見えているフレームが、そのままファイルに書き込まれるフレームであり、あとから何かが決め直されることはありません。追尾する窓にしてしまうと、検出アルゴリズムの推測次第で録画される切り出し範囲がずっと変わり続けることになり、「フレーミングしたとおりのものが出てくる」という肝心な部分と矛盾してしまいます。

アプリに任せられない分、自分でワイプに収まり続ける方法

サイズと形で余白を作っておく

3段階のサイズは、まさにこのためにあります。小さいワイプは見た目がすっきりしますが、少し動いただけで端が切れやすくなります。3段階のうち一番大きいものを選べば、同じ動きの幅でも明らかに余裕が生まれます。同じサイズなら、縦長の窓は円や正方形より縦方向の余白が大きく、左右よりも前後に体が動きやすい人には特に有効です。

長めに撮るなら手持ちより固定する

固定された窓は、iPhone が設置したときの向きのまま動かないことが前提です。手持ちだと、自分自身の動きだけでなく、手の中でわずかに角度が変わることも、窓の中での自分の位置に同じくらい影響します。安定した場所にスタンドや固定具で置くだけで、話し始める前にこの問題の半分は解消できます。

自分がずれてきたら、窓ではなく iPhone の角度を直す

端に寄ってきたと気づいたら、直すべきは iPhone の角度であって、自動でやってくれる設定を探すことではありません。そういう設定は存在しないからです。ワイプの角・サイズ・形はいずれも録画中に変更できますが、それはカットの合間に構図を作り直すのに便利なだけで、いまの顔の位置に応じて切り出し範囲を動かすものではありません。

よく動く撮影なら分割画面を選ぶ

身振りを交えたり、前に乗り出したり、後ろを振り返って何かを指したりするようなトークショット向きなのは、小さなワイプよりも分割画面です。分割の片側はどのワイプのサイズよりずっと広い面積を確保できるため、同じだけ動いても枠から外れにくくなります。どちらのレイアウトがどんな場面に向くかは、「ピクチャ・イン・ピクチャと分割画面の使い分け」のガイドを参照してください。