iPhone 双摄同时录像支持空间音频吗
不支持。「空间音频」和「双摄同时录像」听起来都像是比普通录制更进一步的东西,但它们解决的是两个不同的问题,谁也没法从对方的会话里够到——这和双摄同时录像做不出空间视频是同一个道理。
空间音频的核心,是把声音锚定在单独一个、完整统一的场景里,这样才谈得上配合头部追踪播放。双摄同时录像做的事完全不同:把两个不同的主体合成进同一帧画面,画面下面配的是一条普通的单声道音轨。下面分别说清楚这两件事到底是怎么回事,以及为什么一张合成画面里已经没有留下能让定向声音去锚定的那一个场景。
空间音频实际在录什么
原生相机 App 里的空间音频,用的是 iPhone 内置的几颗麦克风组成的阵列,而不是把它们混成一路输入。因为每颗麦克风所在的物理位置略有差异,系统就能大致算出某个声音相对镜头是从哪个方向传来的,并把这个方向信息连同声音一起编码进去,而不是把它丢掉。
用一副支持头部追踪的 AirPods 播放这段录像,转动头部时整个声场会跟着旋转——画面右侧传来的声音,即便你转头看向别处,听起来依然像是在你的右边。换到手机扬声器或普通耳机上播放,它就表现得跟普通音频一样,只是播放这一端没有把那层方向信息渲染出来而已。
第三方 App 从一开始就够不到那份原始阵列信号
双摄 App 并不直接对接麦克风硬件,它问 iOS 要的是「当前默认音频输入」,拿到的是已经混合成一路的信号——这和一支蓝牙麦克风、一支有线领夹麦能自动变成输入是同一套机制。对几乎所有录音类 App 来说,这都是一个刻意做成这样、也很合理的接口,但代价是:空间音频赖以存在的、每颗麦克风各自独立的阵列信号,早在第三方会话拿到之前就已经被压成了一路。
DualCam 把这一路信号写成一条单声道 AAC 音轨,和合成出来的视频并排放进同一个文件——这跟同一台手机用单摄录像走的是同一条收音路径。双摄 App 里不存在任何一个设置,能从一份从未携带方向信息的信号里,反过来还原出方向信息。
就算拿到阵列信号,合成画面也没有一个场景可供锚定
先把「拿不拿得到麦克风阵列」这个问题放到一边:空间音频还依赖另一件双摄同时录像本来就没有的东西——一颗镜头对着一个场景,这样「声音来自画面右侧」才是一句有明确所指的话。普通视频是这样,空间视频那对立体像对也是这样:都是一个场景,只是拍法或看法不同。
双摄合成完全是另一回事:两个不同的主体,在拍摄的同时被一起画进 GPU 上的同一张画布——你在画面的一部分,另一颗镜头对着的东西在画面的另一部分。这里没有唯一一个「相对镜头的方向」可以让声音去锚定,因为是两颗镜头各自对着两个不同的东西,共用一张画面。空间音频「转头就能听到场景跟着转」这整个前提,在一张由两个场景拼出来的画面里,根本找不到那一个可以转的场景。
双摄文件给你的是另一种东西
双摄录像给你的不是一条「缩水版」的空间音频,而是刻意做成朴素的一条音轨——目标是在任何地方听起来都一样,而不是必须靠某一款特定耳机才能被正确理解。一条单声道音轨,在手机扬声器、笔记本电脑、有线耳机,或者揣在别人口袋里的 AirPods 盒子上播放,听到的都是同一个结果,因为它从一开始就不是为了配合头部追踪才编码的。
这笔取舍和双摄录像音频那篇讲的道理是一样的:单声道更小、更可预测,播放时不会出岔子——对一段打算随手发到任何平台、被任何人打开看的素材来说,这比多一层方向信息更重要。
如果真的要的是方向性或沉浸感的声音
真正意义上的空间音频录制,是原生相机 App 在支持它的视频模式下、用单颗镜头拍摄时做的事——手机的麦克风阵列在那种情况下是被直接读取的,而不是像每个第三方 App 那样,只能拿到系统统一混合出来的那一路输入。
如果想要的是不依赖苹果这套特定格式的沉浸式听感,更接近的做法是单独用一支双耳麦克风录一条音轨,事后在普通剪辑软件里叠加到双摄视频上——ASMR 拍摄那篇讲的正是这套办法。不管选哪条路,都是另一次录制,或者事后叠加的一条独立音轨,而不是这个 App 里少设置了什么。
延伸问题
以后会不会更新,让双摄同时录像也能录空间音频?
不会以「同一个会话里加个开关」的方式实现。空间音频需要直接读取手机的麦克风阵列,并锚定在单颗镜头拍到的那一个场景上;双摄同时录像把两个不同的主体合成进一帧画面,从 iOS 那里拿到的从来就只是一路已经混合好的音频。这是两条不同的收音链路,不是少了一个设置。
在 iPhone 设置里打开空间音频,会不会影响双摄录像的收音效果?
不会。那个设置影响的是耳机怎么播放带有方向元数据的音频。双摄录像从来不包含这种元数据——它就是一条单声道音轨——所以那个设置根本没有可以作用的对象。
连上 AirPods 会改变这一切吗?
不会。AirPods 只是像任何蓝牙麦克风一样,变成系统的默认音频输入,录出来的依然是一条普通的单声道音轨。头部追踪是一项播放功能,前提是内容在录制时就已经带上了方向元数据。
能不能事后在剪辑软件里给视频加上空间或方向性音频?
没法加成苹果那套空间音频格式,因为那依赖的是录制那一刻就已经捕捉到的元数据。事后可以叠加一条单独录制的双耳音轨来营造沉浸感,但那是另一种做法,不是把丢失的空间音轨找回来。