一種基于ＬＭＡ的電子穩像技術

摘要：提出一種基于LMA的電子穩像技術，將LMA運用到仿射變換模型的參數估計中，從而獲得參考幀與當前幀之間的運動矢量。該電子穩像方法具有速度快和精度高的特點。實驗表明，這種穩像算法在進行視頻穩像時具有很好的效果。

關鍵詞：視頻穩像; 電子穩像; 特征匹配; Levenberg－Marquardt算法

中圖分類號：TP391文獻標志碼：A

文章編號：1001－3695(2008)06－1768－03

電子穩像技術是綜合電子、計算機、數字信號處理等技術為一體的，新一代實現視頻穩定的技術。由于電子穩像技術本身具有的穩定精度高、輕便等特點，使其具有廣闊的發展前景和多方面的應用。在國防上，它主要用于飛機、戰車、艦船、衛星、導彈等所裝備的攝像和監視系統，用來對目標進行觀察和監視，或者對目標進行瞄準、跟蹤和制導，是現代化高科技戰爭中不可缺少的手段，是現代高科技武器的關鍵技術；在民用方面，其廣泛用于智能機器人的視覺系統、電視制作的攝像系統、航拍、交通工具的駕駛和觀察系統、家用手持攝像機等。此外，電子穩像高精度的實現對于研制更長焦距、更高分辨力的攝像機系統具有重要意義。本文采用特征匹配算法求取運動矢量，并在估計放射變換模型的參數時應用LMA，這樣就可以在保證計算精度的同時提高計算速度。

1電子穩像技術基礎

穩定可定義為在偏移發生后，能使其返回到平衡位置或初始位置的行為。當穩定應用于圖像時，穩像技術可定義為一種對隨機運動或抖動的攝像機所獲取的動態圖像序列進行修改、重排，以使其在監視器上的動態圖像平穩顯示的技術。

本文所指的電子穩像實際上是指應用數字圖像處理的方法，即采用電子穩像算法來直接確定像偏移并進行補償的數字電子穩像技術。快速而準確地檢測圖像序列的幀間運動是實現電子穩像的關鍵技術。根據獲取圖像運動矢量方法的不同，主要分為以下兩種方法：

a)硬件實現法，是利用傳感器檢測攝像機的運動矢量。當對遠距離目標進行拍攝時，圖像的運動主要是由攝像機的角速度率變化導致的。因此檢測攝像機的運動就是利用角速度傳感器獲得攝像機的旋轉角速率，通過放大、濾波去除對圖像質量影響不大的高頻成分后，再經過A/D轉換存入計算機中作為控制依據；然后利用數字圖像處理的方法對畫面進行運動補償。例如Oshima等人[1]為家用攝錄機提出了一種電子圖像穩定系統。此方法易于實現，但其檢測精度主要依賴速率的陀螺來達到，尤其對于使用長焦距鏡頭的攝像系統，攝像機角速率的微小變化會嚴重影響圖像的穩定性，故對傳感器的精度要求更高；另一方面由于檢測到的運動量必須及時地轉換成圖像幀間位移運動矢量，需要已知許多系統的參數，如攝像機鏡頭焦距值等，還要增加許多其他輔助設備，因此會極大增加系統的成本和重量。

b)軟件實現法，則是利用穩像算法對幀序列進行處理，估算出由攝像機運動產生的幀間運動量。此方法的優點是速度快、實時性強、精度高。由于穩像算法是直接通過對圖像像面信息進行處理，故穩像精度與攝像機的焦距等關系不大，而且無須增加額外的硬件設備。

按照穩像作用原理來分，穩像技術可以分為光學穩像、機械式穩像和電子穩像。三種穩像方式的基本原理都是首先確定圖像偏移量，然后對其圖像偏移量進行計算和補償來達到最終穩像的目的。

1）光學穩像是指用光學的方法實現圖像穩定，一般是在光路中設置一些光學元件來作為對不穩定圖像的補償。在高精度的穩像系統中，僅依靠棱鏡、反射鏡或光楔等被動補償是無法滿足要求的，因此這種穩像方法一般適用于中低精度的穩像系統中。

2）機械式穩像是指用機電的方法實現穩像。它采用專門的裝置來確定偏移量，如利用陀螺組、各種傳感器來得到光學系統的運動信息。高精度陀螺穩定平臺結構復雜、提及大、造價昂貴、功耗大，因其硬件體積的限制而無法使用。這些原因限制了機械式穩像的發展。

3）電子穩像技術是直接從圖像的像面信息來確定輸入連續視頻圖像序列因攝像機的隨機運動而引入的圖像幀間運動，并以此來確定代表攝像機抖動的運動參數；用數字圖像處理技術實現對其進行補償，消除或減輕因攝像機抖動而造成視頻圖像序列的不穩定性，使攝像機輸出穩定的視頻圖像。該方具有靈活性強、精度高及高智能化等特點。

與傳統的光學穩像、機電結合的穩像方法相比，電子穩像具有易于操作，更精確、更靈活、體積小以及價格低、能量小、高智能化等特點。它不僅可以穩定光學系統的移動，也可以對目標進行跟蹤，并可以補償任何形式的作用量，且不依賴任何的支撐體系。同時由于大規模集成電路技術的不斷提高，也便于實現設備的小型化和輕量化。尤其適用于機械成像設備對體積和重量的特殊性要求，因為機械負荷的減少就意味著飛行速度和飛行距離的增加。

當前，電子穩像技術研究和發展的趨勢是：采用電子穩像算法直接對所獲得數字圖像序列進行處理，確定圖像序列幀間運動位移并實施補償的方法，其具有不依賴硬件設備及檢測精度高等特點。

由于實際攝像環境和被攝景物復雜且多樣，導致了穩像算法的通用性比較差。已知有多種運動矢量估計算法供人們使用，大致可以分為基于圖像塊、像素灰度值和圖像特征等方法。這里采用基于圖像特征的法進行視頻穩像。

2基于圖像特征的穩像技術

利用圖像特征法估計視頻圖像序列的幀間運動矢量時，首先要提取圖像序列中每一幀圖像的圖像特征；然后確定特征量的幀間對應關系，并計算特征量的運動參數，最后求出圖像運動模型的全局運動矢量。檢測圖像特征和特征匹配是獲取圖像運動估計的關鍵技術。

在此利用檢測的邊緣特征圖像中的最大灰度值點，作為圖像特征來估計圖像序列幀間運動。圖像邊緣是圖像的基本特征，它是與周圍像素灰度有階躍變化的那些像素的集合，并廣泛地存在于物體與背景之間和物體與物體之間。由于邊緣是圖像灰度不連續變化的反映，因此，邊緣的提取可考察每個像素在某個領域內灰度的變化，利用邊緣臨近一階或二階方向導數的變化規律即可檢測出圖像的邊緣信息。目前邊緣檢測的算子很多。這里采用Laplacian邊緣檢測算子，它是對二維函數進行運算的二階微分算子，是偏導數運算的線性組合，其在邊緣處產生一個陡峭的零交叉。Laplacian算子對像素灰度梯度變化很敏感，在圖像進行邊緣檢測前對圖像先進行率處理是非常必要的，不進行濾波處理將會影響特征的提取精度。對高斯噪聲的濾除可以用高斯濾波器實現，即把高斯平滑濾波器和拉普拉斯濾波器結合起來，先平滑掉噪聲，再進行邊緣檢測，效果較好。

特征點的選擇是在對圖像進行高斯濾波和拉普拉斯邊緣檢測后的圖像上進行的。利用多分辨率匹配技術有利于提高特征點的匹配速度。多分辨率匹配的思想是從最低分辨率開始，逐次地在每一層進行運動估計，由低分辨率級確定粗位移估。這樣，在較高分辨率級下，用前一較低分辨率級位移矢量作為起始估計進行匹配，可使位移矢量估計得到精細的調整，不僅有一較理想的初始值，還可以實現用較小的搜索窗達到較大的搜索范圍。

找到特征點后，接下來要采用一個二維的運動變換模型來確定表征圖像幀序列幀間的平移、旋轉和變焦運動。變換模型也就是控制兩幀圖像中對應特征點幾何關系的映射函數模型。粗略地講，穩像的最終目的就是根據求得的變換對當前幀圖像進行反變換，這就要根據獲得的特征點求得變換的參數。已有許多模型供筆者選擇，這里采用六參數的仿射Affine模型。通過非線性最小二乘法求解仿射變換的參數時，映射函數的表達式為

依據這六個參數，仿射變換可以表達圖像之間的平移、旋轉和尺度變換。

3Levenberg－Marquardt算法的應用

有許多相關領域的文獻用非線性最小二乘法求解仿射變換的參數，大多數的算法考慮到計算效率都采用了分級的方法。LMA方法是求解非線性方程組的重要算法之一， 它是高斯—牛頓法與梯度下降法的結合，既有高斯—牛頓法的快速收斂特性，也有梯度下降法的全局搜索特性。在弱于非奇異性條件的局部誤差有界下， LMA方法仍具有局部二次收斂速度。

首先設定相似性度量，可以利用兩幀圖像的差值平方和(sum of squared differences，SSD)作為判斷標準，建立幀圖像之間相似性的度量：

這樣就基于LMA得到了這六個未知參數。當筆者在應用LMA算法時，采用多分辨率技術，可以使得像素數比原來減少了很多，降低了計算量。

4仿真及其結果

下面通過對受到水平偏移和旋轉影響的視頻圖像進行穩像處理，來證明該算法的有效性。圖1為經過處理的視頻中提取的一幀圖像和經過本文方法進行穩像后的幀圖像。

從處理前和處理后的幀圖像可以看出，該算法對受仿射變化影響的視頻有較好的修正作用。在用simulink進行仿真時可以證明其能滿足實時性的要求，因此可以通過該算法對視頻圖像序列進行穩像處理。

5結束語

可以預見到利用純數字圖像的方法進行圖像穩定的電子穩像技術是當前穩像研究發展的趨勢。與傳統的穩像方法相比，它具有很大優勢。本文提出的電子穩像技術對穩像在各個領域的應用提供了一個很好的思路。

參考文獻：

[1]OSHIMA M，HAYASHI T，FUJIOKA S，et al.VHS camcorder with electronic image stabilizer [J]．IEEE Trans on Consumer Electronics，1989，35(4):749－758.

［2］ERTRK S． Digital image stabilization with sub－image phase correlation based global motion estimation[J].IEEE Trans on Consumer Electronics，2003，49(4):1320－1325.

[3]ERTRK S． Real－time digital image stabilization using Kalman filters[J].Real－Time Imaging， 2002，8(5): 317－328．

[4]UOMORI K，MORIMURA A，ISHII H，et al．Automatic image stabilizing system by full－digital signal processing[J]．IEEE Trans on Consumer Electronics，1990，36(3): 510－519.

[5]OKUDA H，HASHIMOTO M，SUMI K，et al．Optimum selection algorithm of motion estimation blocks for fast and robust digital image stabilization[J]．IEEE Trans on Consumer Electronics，52(1): 276－280.

[6]VELLA F，CATORINA A，MANCUSO M，et al．Digital image stabilization by adaptive block motion vectors filtering[J]．IEEE Trans on Consumer Electronics，2002，48(3): 796－801.

[7]BERGEN J R，ANANDAN P， HANNA K J，et al.Hierarchical model－based motion estimation[C]//Proc of the 2nd European Conference on Computer Vision.London，VK:Springer－Verlag，1992:237－252．

[8]CHANG Jyh－yeong，HU Wen－feng，CHENG Mu－huo，et al. Digital image translational and rotational motion stabilization using optical flow technique[J]．IEEE Trans on Consumer Electronics，2002，48 (1) : 108－115.

[9]FUSIELLO A， TRUCCO E， TOMMASINI T， et al． Improving feature tracking with robust statistics[J]．Pattern Analysis Applications， 1999，2(4):312－320.

[10]DURIC Z， ROSENFELD A． Image sequence stabilization in real－time[J]．Real－Time Imaging，1996，2(5):271－284．

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文