同時録画は、録画中に字幕を自動でつけてくれるのか

なぜ字幕づけは録画中ではなく録画後の作業なのか

音声認識は、ある一瞬の音だけでは成立しません。1つの単語を正しく書き起こすには、その単語全体を、多くの場合は前後の単語まで聞いてから初めて何と言ったか確定できます。これは高精度なオフライン処理でも同じで、話した瞬間に画面へ描き込む字幕は、あとの言葉で修正される機会のないまま確定される、常に最初の推測でしかないということになります。

同時録画には、映像とは別に置いておけるテキストの層がありません。1フレームが GPU で合成されファイルに書き込まれた時点で、そのフレームに焼き込まれたものは確定します。レイアウトやピクチャ・イン・ピクチャの位置、カラーフィルターがそうであるように、字幕も同じ扱いになります。聞き取れたかどうかも怪しい推測をその場で焼き込み、あとから聞き間違いを直す手段がないというのは、録画後に文字を足す方法よりも悪い結果です。録画後なら、間違いは画面上で見えるし、誰かに見られる前に直せます。

録画を終えた同時録画のファイルが、字幕づけのために実際に残しているもの

DualCam がディスクに書き出すのは映像トラック1本と音声トラック1本——標準カメラアプリのクリップと同じ構造の、普通の MP4 です。その1本の音声トラックには、2つのカメラが回っている間、実際にその部屋で鳴っていた音がそのまま入っています。台本や書き起こしを運ぶ2本目のチャンネルは存在せず、録画に残る言葉は、実際に声に出され、マイクが拾える音量だった言葉だけです。

これはあとから字幕をつけようとするときに重要になります。投稿先のプラットフォームが備えている自動字幕であれ、別の編集アプリであれ、字幕づけツールが使えるのはその1本のトラックに実際に入っている音声だけです。カードの文字を黙読したり、フレームの下のほうで声が消え入るように話したりしても、正確に書き起こせるものは何も残りません。

録画を止めたあとに、読める字幕を作る

録画を終えた同時録画の動画はただの MP4 なので、あとから字幕をつける普通の方法は、ほかの動画に対してとまったく同じように使えます。プラットフォームの自動字幕、専用の編集アプリ、あるいは手打ちのどれでもかまいません。どれもその場での推測より優れているのは同じ理由からです。撮った映像を見返し、実際に話した内容とテキストを照らし合わせ、自動処理が間違えた単語を、誰かに見られる前に直せるからです。

• 尻すぼみにせず、普段の速さで文を最後まで言い切る。多くの自動字幕ツールは、長い間や言い切らない言葉のところで区切りを間違えやすい。
• 即興で話すのではなく何かを読み上げる場合は、はっきりと声に出して読む。残るのは音声トラックだけで、カードや画面に留まったままの文字は録画に届かない。
• 投稿する前に自動生成された字幕を見直す。それは十分によい下書きであって完成品ではなく、間違った単語を実際に直せるのはこの段階だけ。