iPhone の同時録画は空間オーディオに対応していますか
対応していません。「空間オーディオ」も「同時録画」も、ふつうの録画より一段進んだもののように聞こえますが、それぞれ別の課題を解決しており、どちらのセッションからももう一方には手が届きません。これは同時録画が空間ビデオを作れないのと同じ理由によります。
空間オーディオは、音を1つの統一された場面に紐づけて、ヘッドトラッキングで再生できるようにすることが本質です。同時録画は2つの異なる被写体を1枚のフレームに合成し、その下に普通のモノラルトラックを1本書き込みます。以下では、それぞれが実際に何をしているのか、そしてなぜ合成された1枚の画には方向性のある音を紐づける先の場面がもう残っていないのかを説明します。
空間オーディオが実際に捉えているもの
純正カメラアプリの空間オーディオは、iPhone に内蔵された複数のマイクを、1本にまとめた入力としてではなく、アレイとして扱って録音します。各マイクの物理的な位置がわずかに異なるため、システムはある音がカメラに対してどちらの方向から来たのかをおおまかに割り出し、その方向情報を捨てずに音声とあわせて符号化します。
この録画をヘッドトラッキング対応の AirPods で再生すると、頭を動かすたびに音場がついてきます。画面の右側にあった声は、画面から目をそらしても右側から聞こえ続けます。iPhone 本体のスピーカーや普通のイヤホンで再生した場合はふつうの音声として振る舞うだけで、方向の層は再生側で描き出されていないというだけです。
サードパーティアプリはそもそも生のアレイ信号を受け取れない
同時録画アプリはマイクのハードウェアと直接やり取りしているのではありません。iOS に現在の既定オーディオ入力を尋ね、すでに1本にまとめられたその信号を録音します。これは有線のラベリアマイクや Bluetooth マイクが自動的に入力になるのと同じ仕組みです。ほとんどの録音アプリにとってこれは意図された、理にかなったインターフェースですが、その代償として、空間オーディオの土台となるマイクごとの個別信号は、サードパーティのセッションが受け取る前にすでに1チャンネルへ縮約されています。
DualCam はその1本の信号を、合成された映像とあわせて1本のモノラル AAC トラックとして書き込みます。同じ端末で単一カメラを録るときとまったく同じ音声経路です。もともと方向情報を渡されていない信号から方向情報を復元できる設定は、同時録画アプリのどこにも存在しません。
アレイ信号が手に入ったとしても、合成映像には紐づける場面がない
入力の話をいったん脇に置いても、空間オーディオは同時録画が持っていないもう1つの前提に依存しています。1つのカメラが1つの場面を見ていることです。そうして初めて「画面の右側から来た音」という表現に、はっきりした意味が生まれます。これはふつうの動画でも、空間ビデオのステレオペアでも同じで、どちらも1つの場面を、ある1つの方法で捉えたものです。
同時録画の合成映像はまったく別物です。撮影しながら GPU 上の1枚のキャンバスに、2つの異なる被写体——フレームのある領域にあなた、別の領域にもう一方のカメラが向いているもの——が描き込まれます。「カメラに対するある1つの方向」というものが存在しません。2つのカメラが2つの異なるものを向いたまま、1枚の画を共有しているからです。「頭を動かせば、それにあわせて場面が回る」という空間オーディオの前提そのものが、2つの場面から作られた1枚のフレームの中には、回すべき場面を見つけられません。
同時録画のファイルが代わりに与えてくれるもの
同時録画から得られるのは、劣化した空間オーディオではなく、意図して素朴に作られた1本のトラックです。特定のヘッドホンでなければ正しく理解できないものではなく、どこで聞いても同じに聞こえることを目指しています。モノラルトラックはスマートフォンのスピーカーでも、ノートパソコンでも、有線のイヤホンでも、誰かのポケットに入った AirPods のケースでも、まったく同じように再生されます。もともとヘッドトラッキングを前提に符号化されていないからです。
このトレードオフの向きは、同時録画のオーディオ全般を扱ったガイドで説明しているものと同じです。モノラルはファイルが小さく、挙動が予測でき、再生で失敗する余地がありません。どこにでも投稿して見てもらうための映像にとっては、方向情報の層よりもこちらのほうが実際には重要です。
方向性のある没入的な音が本当に目的なら
本物の空間オーディオ収録は、対応する動画モードで1つのカメラを撮る、純正カメラアプリの仕事です。その状況では、端末のマイクアレイがサードパーティアプリ全員が受け取る統合済みの入力を経由せず、直接読み取られています。
Apple のこの特定の形式に頼らない没入感を求めるなら、専用のバイノーラルマイクで別録りし、あとから普通の編集アプリで同時録画の映像に重ねるほうが近道です。ASMR 動画の撮影を扱ったガイドで触れている手法と同じです。どちらの道を選ぶにせよ、それは別の収録か、あとから足す独立したトラックであって、このアプリに設定が足りないという話ではありません。
よくある追加の疑問
将来のアップデートで同時録画に空間オーディオ収録が追加される可能性はありますか。
同じセッションの中にスイッチを1つ足す形では実現しません。空間オーディオは端末のマイクアレイに直接アクセスし、1つのカメラが捉える1つの場面に紐づける必要があります。同時録画は2つの異なる被写体を1枚のフレームに合成し、iOS から受け取るのは常にすでに1本にまとめられた音声だけです。これは設定が足りないのではなく、別の収音の仕組みです。
iPhone の設定で空間オーディオをオンにすると、同時録画の音は変わりますか。
変わりません。その設定が変えるのは、方向のメタデータを持って符号化された音声をヘッドホンがどう再生するかです。同時録画の音声にはそのメタデータが含まれません——ただのモノラルトラック1本です——ので、その設定が作用する対象がそもそもありません。
AirPods を接続すると何か変わりますか。
変わりません。AirPods は他の Bluetooth マイクと同じように、システムの既定オーディオ入力になるだけで、録画はやはり普通のモノラルトラック1本になります。ヘッドトラッキングは、そもそも方向のメタデータ付きで収録されたコンテンツのための再生機能です。
あとから編集アプリで空間的・方向性のある音声を追加できますか。
Apple の空間オーディオ形式としては追加できません。それは収録の瞬間に捉えたメタデータに依存するものだからです。別録りしたバイノーラルトラックをあとから映像に重ねて没入感を出すことはできますが、それは別の手法であり、失われた空間トラックを取り戻しているわけではありません。
とにかく撮ってみたいなら
DualCam は iPhone の前面・背面カメラを同時に動かし、撮りながら 1 本の MP4 に合成します。無料、アカウント不要、広告なし、映像は端末の外に出ません。