基于自適應相機運動速度的視頻穩(wěn)像算法*

胡 琪，羅健欣，胡谷雨，李 杰

(1.中國人民解放軍陸軍工程大學 指揮控制工程學院,江蘇 南京 210001；2.中國人民解放軍陸軍工程大學 職業(yè)教育中心,江蘇 南京 210001)

0 引言

數(shù)字視頻穩(wěn)像是一種通過去除不必要的相機抖動來提高視頻質量的技術。相比專業(yè)攝影師在拍攝過程中使用的各種穩(wěn)定工具，如三腳架、相機推車等，一個業(yè)余拍攝的視頻(通常來自沒有任何穩(wěn)定裝置的手持設備或者無人機)自然缺乏足夠的穩(wěn)定性[1]。一般而言，穩(wěn)像過程由以下三個階段組成：(1)估計原始相機路徑；(2)生成新的平滑相機路徑；(3)使用生成的平滑相機路徑合成穩(wěn)定的視頻[2]。本文完成了以上三個階段的工作。其中，如何對原始相機路徑進行優(yōu)化是穩(wěn)像任務的關鍵，也是本文研究的重點。

現(xiàn)有的穩(wěn)像技術使用基于像素或關鍵點跟蹤的2D變換模型(如單應性矩陣或仿射矩陣)或者利用運動恢復結構技術(SfM)來估計相機在拍攝期間的運動。然后通過去除相機運動數(shù)據(jù)中的高頻噪聲[2-3]，或者采用運動路徑擬合的方法[3-4]，生成新的更為平滑的相機路徑，從而提高視頻的穩(wěn)定性。

在如何計算最優(yōu)相機路徑的問題上，無論是近來提出的一些新興穩(wěn)像技術[5-6]，還是基于SfM的復雜的三維穩(wěn)像方法[7]，都是直接選用等時間間隔的圖像幀來估計并平滑原始相機路徑，而忽略了因相機本身的運動速度變化帶來的空間間隔的不均勻性。因此，本文試圖解決相機運動速度與視頻抖動之間的相關性問題。經(jīng)典的穩(wěn)像算法[4,8]通過將原始相機路徑分為靜止、線性或拋物線的運動分段來獲得最優(yōu)路徑。本文算法則是依據(jù)相機在不同路徑段上的運動速度，采用多分辨率重采樣的方法，為相機在整個拍攝過程中的路徑移動找到其最佳的匹配速度，保證圖像幀采樣在空間分布上的均勻性，進而達到穩(wěn)定視頻的目的。

本文算法采用流式處理方式，沿著原始相機路徑移動一個滑動窗口；對窗口內的原始圖像幀進行多分辨率重采樣，計算其幀間變換參數(shù)；使用最小二乘多項式擬合方法平滑各個相機路徑，選擇其中與原始相機路徑的均方誤差不超過閾值且最為平滑的結果作為最優(yōu)解。而后基于最優(yōu)相機路徑，重新渲染得到最終穩(wěn)定的視頻。該算法保證了在劇烈抖動情況下的良好平滑效果，同時能夠去除人在行走過程中產(chǎn)生的低頻抖動；可以做到實時處理，在不需要用戶交互的情況下自適應地完成視頻穩(wěn)像任務。

1 基于滑動窗口的多項式路徑平滑算法

對于以下的討論，本文假設已經(jīng)(通過特征點匹配[9]或光流跟蹤[10]的方法)計算了在每個時間點t=1,2,…,N的相機變換矩陣Tt(可以表示為6自由度的仿射變換)。設置第一幀圖像為參考幀，其對應的相機位置為初始點，在一系列的原始圖像幀l1,l2，…，lN中，相鄰幀對(lt-1,lt)由變換矩陣Tt相關聯(lián)。每一幀lt定義的離散相機路徑為C(t)，可由矩陣乘法迭代計算：

Ct+1=CtTt+1?Ct=T1T2…Tt

(1)

1.1 滑動窗口

(2)

1.2 多項式平滑算法

本文對滑動窗口內的相機路徑進行多項式平滑優(yōu)化，其基本思想是用前后m個不同權重的相機位姿X=(Xt-m,…,Xt,…,Xt+m)T來更新當前位姿Xt。其中，原始相機位姿Xt=(xt,yt)T，可由前后幀對的變換矩陣Tt獲得。例如，Tt為6自由度的仿射變換，可得相機位姿的迭代計算公式為：

(3)

對于擬合的多項式次數(shù)為n的情況，w個原始相機位姿組成的方程組表示如下：

(4)

更簡單地，將(4)式寫成矩陣形式：

X=A*ω

(5)

在多項式擬合的過程中，窗口大小w和多項式次數(shù)n為兩個重要參數(shù)，其不同取值直接影響到權重矩陣ω的計算結果，進而決定相機路徑的平滑效果和時間耗費。在2.2節(jié)最優(yōu)路徑選擇中對于次數(shù)n的選擇會有更詳細的說明。

2 基于自適應速度選擇的路徑優(yōu)化算法

多項式平滑算法具有參數(shù)少、速度快的優(yōu)點，可以完成對相機路徑粗略的去抖動處理。但由于參數(shù)n是用戶指定的，只能提供單一尺度下的路徑平滑，對于在各路徑段存在顯著速度差異的視頻流則不能提供自主、魯棒的穩(wěn)像結果。

依據(jù)人的視覺感官經(jīng)驗，相機本身的運動速度與視頻的穩(wěn)定程度之間存在著一定的關聯(lián)。確切地說，沿著相同的方向拍攝同一場景，以更快的速度移動相機可以減輕高頻噪聲對相機路徑的影響，使得相機的運動路徑更加平滑。因此，本文通過改變滑動窗口內原始圖像幀的采樣頻率，變相地達到調整相機在各階段運動速度的目的，實現(xiàn)全局速度自適應的路徑平滑。

2.1 圖像幀重采樣

在大小為w=2m+1的滑動窗口內，對相機位姿進行間隔幀數(shù)為γ=1,2,…,w的均勻重采樣，即采樣頻率調整為γ(原始采樣頻率為1)，更新原始相機位姿集合：

Xγ=(Xt-kγ,…,Xt-γ,Xt,Xt+γ,…,Xt+kγ)T

(6)

2.2 最優(yōu)路徑選擇

(7)

對于不同的采樣頻率γ={1,2,…,w}，可以計算得到平滑路徑集合P={P1(t),P2(t),…,Pw(t)}，同時計算對應的均方誤差E={e1,e2,…,ew}。依據(jù)實驗結果，增大γ意味著相機以更快的運動速度通過了指定路段，運動路徑的平滑程度隨之提高。但與此同時，平滑后的軌跡誤差相應增大，即與原始路徑的偏離程度也是遞增的。因此，本文設置最大閾值ε，在滿足e≤ε條件的所有優(yōu)化相機路徑集合中，選擇其中最平滑的一條作為最優(yōu)路徑：

γopt=max{γ|eγ≤ε}

(8)

圖1總結了基于自適應速度選擇算法的路徑平滑過程。

圖1 算法流程圖

需要補充的是，在利用多項式平滑算法計算優(yōu)化相機路徑的過程中，次數(shù)n的選取是隨采樣頻率γ的增大而遞減的。1.2節(jié)中提到，n的取值直接影響到相機軌跡的平滑程度，現(xiàn)試從相機運動的物理學角度具體分析,如表1所示。

表1 擬合路徑形態(tài)與n取值關系

表1中，c、a、a′為常數(shù)項。圖2所示的實驗結果同樣表明選用更高次數(shù)項的擬合結果所對應的相機路徑形態(tài)更加復雜，與原始數(shù)據(jù)吻合程度高但路徑的平滑程度低。因此，本文在對重采樣后的相機路徑進行多項式平滑的過程中，對n的選擇加以約束：γ+n≤5,γ<5且n=1,γ≥5，保證了采樣頻率γ大的路徑對應的擬合結果更為平滑。

3 視頻穩(wěn)像系統(tǒng)

本文通過以下步驟來實現(xiàn)視頻穩(wěn)像：(1)估計幀運動變換Tt；(2)利用自適應速度選擇算法計算最佳路徑Pt；(3)通過Wt形變來輸出穩(wěn)定視頻。

對于運動估計，本文使用金字塔Lucas-Kanade跟蹤特征[10]，應用RANSAC算法來估計平移變換，只保留與估計變換一致的閾值距離(小于兩個像素)，從而有效地排除異常點。

對于將原始視頻從新的平滑相機路徑中重新渲染出來的問題，本文采用最簡單的魯棒方法，即指定一個預定義比例的裁剪窗口，將原始相機路徑C(t)和平滑后的相機路徑P(t)之間的轉換矩陣Wt應用到裁剪窗口中，使得原始視頻重投影到最優(yōu)相機路徑拍攝的位置，從而輸出最終的穩(wěn)定視頻。其中，轉換矩陣Wt的計算如下：

(9)

4 實驗結果

為了驗證算法的有效性，首先基于最直觀的視覺體驗角度，本文選擇L1最優(yōu)路徑方法[4]中研究的“Fan-Cam”抖動視頻來表現(xiàn)視頻穩(wěn)像的結果。圖3選取了原始視頻中的第1、17和340幀，可以明顯看出在水平方向上有著明顯的抖動。圖4則展示了穩(wěn)像后的對應結果，水平方向上的抖動被有效地去除了。

圖2 對原始相機路徑(實線)進行不同多項式次數(shù)(n=1,2,3,4)的路徑擬合結果(正方形)

圖3 原始圖像幀

圖4 穩(wěn)像后圖像幀

本文算法除了抑制明顯的高頻抖動之外，還能夠消除因步行過程中拍攝視頻所產(chǎn)生的低頻失真，具體可通過調整設定的閾值ε的取值實現(xiàn)。如圖5中y軸方向上的運動可用常量或勻速路徑代替。

圖5 在x、y軸方向上的優(yōu)化相機路徑

將本文算法與卡爾曼濾波、粒子濾波和L1最優(yōu)路徑方法進行比較，對比算法的穩(wěn)像效果及實時處理的能力。實驗中，選擇文獻[1]中提供的視頻集(http://web.cecs.pdx.edu/～fliu/project/subspace_stabilization/)進行穩(wěn)像處理，利用峰值信噪比(PSNR)評估算法的去抖效果，PSNR值越高表明穩(wěn)像效果越好，結果如表2所示。四種穩(wěn)像算法處理后的單幀平均用時如表3所示。

從表2中可以看出，原始視頻存在明顯的抖動，本文算法在對比實驗中對視頻的平滑處理效果顯著。由表3顯示的單幀圖像處理時間看出，本文算法具有良好的實時性，在處理時間上均優(yōu)于濾波算法和L1最優(yōu)路徑算法。

5 結論

本文提出了一種基于自適應速度選擇的路徑優(yōu)化算法，實時地對視頻完成去抖動處理。實驗結果表明，本文算法具有良好的穩(wěn)像效果，不僅能夠抑制明顯的高頻抖動，對于行走產(chǎn)生的低頻抖動也能有效地去除，保持了視頻拍攝的原始意圖。本文在輸出穩(wěn)定視頻時有效地裁剪了幀，其大小是預定義比例的，在今后的工作中，希望能夠自動計算最佳裁剪的大小。同時，對于仿射變換不能模擬非線性幀間運動所導致的殘留擺動，也是下一步工作的重點。

表2 穩(wěn)像算法處理后視頻PSNR平均值比較(dB)

表3 穩(wěn)像算法處理單幀圖像平均用時比較(ms)