なぜ動きが速いと双方向カメラの映像が歪んだり揺れたりするのか

ほぼすべてのスマホカメラで起きること

たいていのスマホカメラのセンサーは、1コマを一瞬で丸ごと撮っているわけではありません。上から下へ、数ミリ秒かけて1行ずつ読み取っています——これがローリングシャッターで、全ピクセルを同時に読み取るグローバルシャッター（主に特殊な業務用カメラに使われます）とは別物です。被写体が止まっていればこの時間差は見えません。しかし、その読み取りの間に何かが画面に対して十分速く動くと——速いパン、回転する羽根、レンズの近くで振る手など——画面の上と下は実質的にわずかに異なる瞬間を見ていることになり、まっすぐな縦線が斜めに写ったり、速く動くものが伸びたり歪んだりして見えます。

これはセンサーとシャッター方式そのものの性質で、動画を撮るほぼすべてのスマホカメラに備わっており、カメラアプリが加えたり外したりできる機能ではありません。ドローン映像でよく言われる「ゼリー効果」も、手持ちで速く振ったパンも、同じ現象を指しています。

2つのカメラは、それぞれ独立に読み取っている

双方向カメラの録画では、前面カメラと背面カメラは、1つのフレームに合成される直前まで完全に独立した2系統の撮影パイプラインとして動いています。露出やピントと同じく、両者を協調させる仕組みはどこにもありません。それぞれのセンサーが自分のスケジュールで、自分が向いている画面だけをローリングシャッターで読み取っています。

つまり、背面カメラでの速いパンと、まさにその瞬間に前面カメラが行っていることは、互いに無関係な2つの読み取りです。部屋を背面カメラで素早く振り回しながら、自分の顔がほとんど動いていなければ、歪むのはパンしているほうの映像だけです——前面カメラ側の読み取りは、異常が見えるほど速く動いていなかったからです。どちらのカメラが壊れているわけでもなく、2つのセンサーがそれぞれ独立に、ローリングシャッターが本来する動きをしているだけです。

同じ画面に並ぶと、歪みは気づきやすくなる

単体カメラの動画で速いパンをしても、比べる相手が画面の中にいないので、見ている人はそれを「歪み」ではなく「速い動き」として受け取ります。同じパンを分割画面に入れて、隣に静止した映像を並べると、歪みのすぐ横に落ち着いた基準が同じフレーム内に同時に存在することになります。この対比があるからこそ、それは「速い」ではなく「歪んでいる」と読めてしまうのです。

ピクチャ・イン・ピクチャの小窓は、この問題を解決するのではなく、見え方を変えるだけです。小窓はもともと元の画面を切り取って縮小した小さな窓なので、同じ量の歪みでもフル画面のときより小窓に占める割合が大きくなります。フルサイズなら普通の手持ちの揺れとして流されるはずの揺れが、隅に圧縮されるとより激しく見えることがあります。

実際に効く対策

720p と 1080p を切り替えても、これは変わりません。解像度が変えるのは1コマに記録されるディテールの量であって、センサーが1行を読み取る速さではないので、どちらの設定でも歪みの量はほぼ同じです。

思っているよりゆっくりパンする

歪みの大きさは、センサーが読み取っている間に画面の中身がどれだけ速く動くかで決まり、最終的にどれだけ大きくパンしたかでは決まりません。同じ距離でも、ゆっくり意図的にパンするほうが、素早く振るよりずっと歪みが少なくなります。最終的に向く先が同じでもです。通り過ぎる車や走っていく犬など速いものを追いたいときは、その速度に合わせて滑らかに追うほうが、慌てて追いつこうとするより歪みが少なくなります。

動いているほうのカメラを固定する

手持ちの揺れは、被写体がすでにしている動きの上にさらに揺れを重ねます。双方向カメラの録画は単体カメラより手ブレ補正に使える余地が少ないため、この2つの問題は重なりやすくなります。三脚や体を預けられるしっかりした場所、あるいは細かい修正を何度もするのではなく大きく滑らかな1つの弧で動かすだけでも、被写体がほとんど動いていないときに近い読み取り結果に近づきます。