航拍視頻中基于特征匹配的全局運動估計

宋 宇， 李 嵩， 游海龍， 翁新武

（長春工業大學 計算機科學與工程學院，吉林 長春 130012）

0 引 言

動態背景下目標檢測技術是機器視覺領域中一個非常重要的課題，同時也是機器視覺系統關鍵的底層技術，目的是通過運用機器視覺和圖像處理等理論方法從運動的背景圖像中提取有興趣的目標，更進一步對興趣目標的位置信息和姿態信息實現快速實時的檢測［1］。

在通常的視頻圖像序列中，視頻圖像一般由前景圖像和背景圖像組成，其中的攝像機自身位置參數變化導致整個圖像變化可以看做是背景圖像運動，即所謂的全局運動，而由于所拍攝場景中物體運動導致的圖像變化可以看作為前景圖像運動，即所謂的局部運動。在實際的工程應用中，能夠正確的在視頻序列中區分全局運動和局部運動，并且分別對其進行處理有著非常重要的意義，如視頻壓縮、場景分析、運動目標檢測和分割等［2］。

對于航拍圖像，在目標運動的同時，由于攝像機運載平臺也在運動，造成拍攝場景不斷變化，從而形成動態背景，因此需要進行運動補償。為了彌補由于攝像機運動造成的背景全局性運動對以后目標檢測和跟蹤帶來的影響，文中采取了基于特征匹配的全局運動估計方法。該方法的基本思路是先建立攝像機運動模型，通過對攝像機模型進行全局運動估計，得出攝像機全局運動參數運用到攝像機全局運動補償之中，使得由攝像機運動引起的背景運動得到補償，補償后的圖像序列可以認為是重建的靜態的背景序列，之后就可以用常規靜態方法來檢測出興趣目標了。

全局運動估計是指對視頻序列中造成背景運動的攝像機運動進行估計，目的就是要從視頻序列中找出造成全局運動的攝像機運動規律，從而將動態序列間的背景對準消除，檢測出前景目標［3］。不管是直接分析造成背景圖像變化的攝像機運動規則，還是對前景圖像進行檢測和跟蹤，全局運動估計都是進行處理的基礎。

1 基于六參數的全局運動估計

為了便于對序列圖像進行運動估計，通常要對景物運動提出一些假設或者約束條件，即對運動建模。常用的模型包括非參數模型和參數模型兩種。非參數模型通常要對運動場施加某種約束（如平滑約束），然后進行運動估計。例如光流法、塊匹配法、像素遞歸法等就屬于此類。參數模型法是通過對景物運動建模來描述景物的三維運動與其在圖像平面上的正交或透視投影的二維運動之間的關系。這種模型通常用一組參數表示，運動估計就是估計出這些參數。全局運動是由攝像機的運動引起的，因此和攝像機的結構與運動（平移、旋轉、縮放等）密切相關，因此，特別適合用參數模型加以描述，于是文中采取了基于參數模型的全局運動估計。

一般參數模型的參數越多全局運動的估計越精確，但其計算量也越大，雖然八參數透視模型能夠更好地描述攝像機的運動，但它的計算復雜度相對于六參數仿射模型更大，而且想要對連續幀間的攝像機運動參數進行疊加，所造成的累積誤差也更加嚴重，不適合在航拍視頻中的實時性。當場景中物體的相對深度變化和攝像機的縮放幅度都接近于0時，六參數仿射模型能很好地表示攝像機的旋轉、縮放以及位移運動。而四參數的模型只適用于平移等簡單的運動中，雖然計算簡單但仍不能很好地適用于航拍的大環境中。所以，文中放棄一般采用的能夠精確檢測跟蹤卻缺乏實時性的八參數模型，而是選取六參數仿射模型對幀間場景變化的攝像機進行建模。

1.1 求解全局運動參數

攝像機的運動狀態主要包括平移、旋轉和縮放等，我們用仿射模型來近似表示［4］。介于準確性和運算復雜度的折衷考慮，采用六參數仿射模型，如下式：

式中：（a1，a2，a3，a4，t1，t2）——攝像機的旋轉和縮放運動；

（t1，t2）——攝像機的平移運動；

其中F＝（q1，q2，…，qN）T，

求解六參數仿射模型只需3個匹配點對就可以，但求解的點數過少會使計算結果不準確，所以文中對大量冗余匹配點對采用最小二乘法求解。

1.2 特征點的選取與匹配

對于運動估計，從光流場的角度可以大概分為3種情況：基于像素的方法、基于塊的方法和基于特征的方法［5］。在這些方法中，基于特征的方法是通過選取圖像中具有代表性的特征（點特征、直線特征、塊特征、輪廓特征、邊緣特征等），通過圖像的配準獲取圖像間的變換關系，從而完成目標圖像模型的參數求解。基于特征的運動估計方法能更好地反映出運動物體的物理結構特征，同時，因為只選取特征信息而非大量的圖像灰度信息，所以計算量會大大減少。

基于特征的運動估計方法主要有兩個步驟，即特征的提取與特征的匹配。首先對相鄰幀間圖像進行特征提取，接著采用一定的約束條件完成特征匹配，由匹配好的特征對計算出運動相關參數，完成運動估計。在這里假設同一個物體的相同特征在兩幅圖像中都能出現并被檢測出來。由映射關系即可計算出攝像機的運動參數，從而將待處理圖像變換到參考圖像的坐標系，這樣便消除了攝像機的運動，使得兩幅圖像還原在相同的背景下，方便后續的繼續處理。

1.2.1 角點簡介

特征提取是計算機視覺研究中一個重要的環節，而且角點作為圖像的一個重要特征，決定了圖像中目標的形狀，因此在目標描述、運動估計、圖像匹配、識別與跟蹤等領域，角點特征都具有非常重要的意義［6］。角點指的是圖像中物體梯度變換比較明顯的點。用于角點檢測的方法有很多，大致可以分為兩種［7］：一種是先對圖像進行邊緣檢測，然后再提取角點；另一種是在灰度圖像中直接提取角點特征。文中采用Harris算法進行角點檢測，Harris角點的提取方法有以下幾方面的優點：

1）Haris算子包含圖像中的每個點，能夠提取均勻合理的特征點；

2）因為在Harris算子的最后一步存在對局部極值點的排序操作，所以可以按需要提取特征點的數目；

3）由于計算公式中只有一階導數被涉及到，所以計算簡單且對攝像機的姿態變化及噪聲、光照變化影響等不敏感。

1.2.2 角點算法

1988年，C.Harris和M.J.Stephens在Moravec算法［8］的基礎上提出了一種基于信號的點特征提取算子——Harris檢測算子。它的基本思想就是首先計算像素所在位置梯度構成的自相關矩陣M，然后由矩陣M的特征值大小來檢測角點。通過分析M的兩個特征值，可能有以下3種結果：

1）在光滑區域，各個方向上的灰度變化很小；

2）在物體邊緣，與邊緣平行方向上灰度變化很小，但在與邊緣垂直方向上變化很大；

3）對于圖像中的角點，則在各個方向上灰度變化值都很劇烈。

Harris算子的計算公式如下：

式中：gx，gy——分別為x和y方向上的梯度；

G（?s）——高斯模板；

R——每個像素點的興趣值；

det——矩陣的行列式；

trace——矩陣的跡；

k——默認常數，一般取0.04～0.06。

設定閾值τ，若R＞τ，則將此像素點判定為角點，反之則不是。

1.2.3 實驗結果

Harris新模型算法和傳統Moravec算法提取特征點結果如圖1所示。

圖1 Harris新模型算法和傳統Moravec算法提取特征點結果

圖1 （a）為Harris新模型算法提取特征點的結果，由圖中可以看出，提取的特征點可靠性不錯。圖1（b）是傳統的Moravec算法提取特征點的結果，計算過程易于實現，但提取的特征點較少，有用的信息不多，抗干擾能力較弱。所以，選擇把可靠的Harris特征點對代入參數模型中，即可求得參數，為接下來的補償工作奠定了堅實基礎。

2 全 局 運 動 補 償［9－10］

在求得最優化運動模型參數后，對于全局運動的補償和運動對象的檢出就比較簡單了。首先，用得到的最優全局運動參數對第K幀進行全局運動補償，即把（xi，yi）坐標修改成（），然后將得到的像素灰度值再和第K＋1幀的對應位置像素fk＋1＝（xi，yi）進行差分運算，便得到了經過全局運動補償后的差分圖像：

該差分圖像就是已經消除了背景運動（全局運動）影響的前景圖像，也就是運動對象。如果把運動對象的邊界疊加到第K＋1幀圖像上，便得到了靜止背景和運動對象的分割結果。所以，全局運動的補償和運動對象檢測以及序列圖像分割是密不可分的。

3 結 語

由攝像機與背景的相對運動引起的全局運動增加了運動目標檢測與跟蹤的難度。為了消除全局運動的影響，采用角點特征匹配的方法來計算全局運動參量。首先計算圖像的角點特征，在其相鄰幀中找到與之匹配的像素點，計算兩幀圖像中匹配的位置變化。此變化即為全局運動參量。用此參量對圖像進行匹配，消除全局運動的影響。實驗證明，文中所用的方法能夠很好地計算出全局運動參數，且能實現實時、準確的圖像補償。

［1］ 賈云得.機器視覺［M］.北京：科學出版社，2002.

［2］ 王維合，王宏志，趙蘭英.運動目標檢測跟蹤方法研究［J］.長春工業大學學報：自然科學版，2007，28（4）：411－414.

［3］ Beymer D，Konolig K.Real－time tracking of multiple people using continuous detection［C］／／Proc.International Conference on Computer Vision.2007.

［4］ 李王偉，雷蘊奇.基于圖像匹配的運動背景補償方法［J］.福建電腦，2006（3）：92－93.

［5］ 黃新生，楊慶偉，王亦平，等.圖像序列運動估計技術綜述［J］.計算機仿真，2008，25（5）：180－183.

［6］ 王德超，涂亞慶，張鐵楠.一種多尺度Harris角點檢測方法［J］.計 算 機 應 用 軟 件，2008，25（12）：242－243.

［7］ 范秋鳳，楊國勝，王應軍，等.Freeman鏈碼角點和面積比角點檢測的比較研究［J］.計算機工程與應用，2005，10（15）：219－121.

［8］ Moravec H P.Towards automatic visual obstacle avoidance［C］／／Proceeding of the 5th International Joint Conference on Artificial Intelligence.Cambridge，USA：Cambridge，MA，2005：584－589.

［9］ 楊文明.時空聯合的視頻對象分割［D］：［博士學位論文］.杭州：浙江大學，2006.

［10］ 張光玉.視頻對象分割算法研究［D］：［博士學位論文］.成都：電子科技大學，2006.