一種基于灰度投影差值的穩像算法

李大成 楊曉東

(海軍潛艇學院 青島 266100)

一種基于灰度投影差值的穩像算法

李大成 楊曉東

(海軍潛艇學院 青島 266100)

針對圖像序列的平移抖動,提出了一種基于灰度投影差值的灰度投影穩像算法。詳細地闡述了實現此算法關鍵步驟:計算當前幀和參考幀的灰度映射,以灰度映射差值作為特征量,確定圖像運動矢量和補償當前幀圖像等。在實驗室條件下應用此算法,采用圖像差值對算法進行評價。實驗表明,該方法有效解決了前景局部物體運動和圖像部分區域灰度變化大帶來的干擾,能夠達到實時電子穩像的目的。

平移抖動; 灰度投影; 運動矢量; 電子穩像

Class Number TP391

1 引言

隨著攝像機等圖像采集設備在測量系統、導航系統、監控系統等方面的廣泛使用,對采集的圖像和視頻的質量要求也越來越高。由于攝像系統工作條件的限制,例如工作在艦船載體上的攝像系統不可避免會出現抖動的情況[1],導致視頻序列模糊,影響了圖像信息的有效利用,因此,這需要對采集的圖像序列進行電子穩像[2]。電子穩像是計算機視覺領域[3]的一個重要課題,目的是利用數字圖像處理技術[4]去除圖像序列中的隨機抖動,得到穩定的圖像序列[5]。

目前常用的電子穩像算法有塊匹配算法[6]、特征匹配法[7]、灰度投影算法[8]等。其中,塊匹配算法運算量大,不適合進行實時的電子穩像處理。特征匹配法計算簡單,但是需要圖像中有確定的特征點,且對圖像的變化不敏感。

本文提出一種利用灰度投影進行運動矢量估計的算法。該算法首先利用灰度投影公式計算當前幀和參考幀的灰度投影,以灰度投影差值作為特征量,分別計算當前幀在不同平移矢量下特征量小于某個值時的行數、列數,行數、列數達到最大值時對應的平移矢量即為要求得運動矢量。

2 灰度投影算法原理

灰度投影算法是利用圖像的行列灰度變化規律來確定當前幀與參考幀之間的運動矢量,計算量小,對于平移抖動和旋轉量較小的抖動具有較高的檢測精度。其主要可分為灰度映射、投影濾波和互相關計算三個步驟。

2.1 圖像灰度投影

將獲得的視頻經過簡單的圖像處理后,將每幀的二維圖像(N×M)信息映射成兩條灰度投影曲線,具體方法為

(1)

(2)

colprojk(j)=colk(j)-colTotk

(3)

式中,colk(j)為第k幀圖像第j列的灰度值,curk(i,j)為第k幀上(i,j)位置處的灰度值,colprojk(j)表示第k幀圖像的第j列歸一化后的灰度映射值。行投影row(i)的計算與列投影的計算方法類似。

2.2 投影濾波

當視頻發生抖動時,圖像的邊緣信息會發生明顯的變化,此時圖像邊緣的行列投影值也會發生明顯的變化,使得在互相關計算[9]的計算結果出現較大的偏差。投影濾波的目的就是通過余弦濾波器進行濾波,降低圖像邊緣信息在計算過程中所占的比重,提高運動矢量的估計精度[10]。

2.3 互相關運算

將當前幀的行(列)投影與參考幀的行(列)投影作相關運算,根據相關值曲線的單峰性確定當前幀與參考幀之間的偏移量。具體公式為

1≤w≤2m+1

(4)

式中,colk(j+w-1)為第k幀圖像第j列的灰度投影值,m為運動矢量相對于參考幀在一側的搜索寬度,r(w)為當前幀與參考幀投影的相關量。當r(w)取得最小值是,即可計算出當前幀圖像相對參考幀在垂直方向上的運動矢量。

從互相關的計算公式可以看出,灰度投影算法匹配范圍小,求取運動矢量速度快。但當前幀的圖像灰度相對參考幀的圖像灰度在某區域內發生強烈變化時,比如有較大的前景運動目標[11]或者多個運動目標時會造成灰度投影曲線的較大變化,從而導致灰度投影算法中的互相關運算求得的運動矢量不精確。

3 改進的灰度投影穩像算法

針對2.3中灰度投影算法的不足,本文提出一種新的方法,在對灰度投影曲線處理中不需要考慮前景運動目標和部分區域灰度變化帶來的不利。

3.1 灰度投影差值

兩幀圖像發生平移抖動時的,它們的行列投影曲線保持基本相似的形狀。而在不同運動矢量情況下,當前幀和參考幀相同的行列的灰度映射值相差可能會很大,因此可以此作為衡量行或列相似的特征量。也就是說,該行或者列的投影值與參考幀對應行或者列的投影值越接近,表示該行或者列與參考幀的灰度信息越相似?；诖?設定運動矢量范圍,并不斷移動當前幀的投影曲線分別于參考幀投影作差,具體公式如下:

coldif(j)=|colk(j+d)-colr(j)|(-m≤d≤m)

(5)

式中,coldif(j)為j行的當前幀動投影曲線與參考幀投影曲線的差值,d為動投影曲線相對當前幀投影曲線的偏移量,m為偏移量的上限。當d>0時,列投影j的范圍為(1,M-d),當d≤0時,列投影j的范圍為(|d|+1,M),M為投影的列上限。

3.2 最大列數

根據3.1的分析,兩幀圖像中行或列投影值接近的數目越多,證明兩幀圖像的灰度信息越相似。設定閾值T來衡量行、列投影值的接近程度,用colk表示當前幀列投影值,colr表示參考幀列投影值。當

(6)

計算符合條件的列數并繪制成曲線圖,峰值即代表閾值T條件下的列數最多,其對應的d即為幀的垂直偏移量。求取幀的水平偏移量的方法類似。

3.3 穩像處理

穩像處理主要流程如下,以行灰度投影為例:

1) 將拍攝的視頻進行灰度化處理；

2) 選定參考幀,分別計算參考幀和當前幀的行投影曲線；

3) 根據視頻的抖動幅度確定當前幀投影曲線的最大偏移量dxmax,根據圖像的灰度信息確定閾值T；

4) 計算偏移量為dx時行投影曲線差值小于T的行數,其中dx的范圍為(-dxmax,dxmax)；

5) 確定行投影曲線差值小于T的行數最大對應的偏移量,作為當前幀的運動矢量；

6) 按照步驟5)求得的運動矢量進行圖像補償,并對補償后的圖像作邊緣補償。

4 實驗結果及分析

4.1 實驗結果

利用上面的改進算法,對手機拍攝的480pixels×640pixels人為抖動視頻進行處理,在計算機上使用Matlab進行編程。

本次實驗選取第一幀作為參考幀,如圖所示,圖像(a)為第一幀,圖像(b)為當前幀,圖(c)、圖(d)分別為參考幀不經過余弦濾波的行投影曲線和列投影曲線,圖(e)、圖(f)分別為當前幀經過余弦濾波后的行投影曲線和列投影曲線。

圖1 灰度圖及灰度投影曲線

在拍攝的視頻的過程中,抖動的幅度較小,一般不超過圖像的1/10,因此行投影偏移量的dxmax取值設為60,列投影偏移量dymax的取值設為40可以滿足實驗的要求。為了能夠滿足圖像灰度信息的變化,盡量剔除干擾區域的投影數據,本次實驗中,閾值T取值為1000。如圖所示,圖2(a)、圖2(b)分別為上述條件下的最大行數曲線圖、最大列數曲線圖,從圖中可以得到:dx=0時對應的行數最多,dy=-28時對應的列數最多,因此當前幀相對參考幀的運動矢量為(0,-28)。

圖2 不同運動矢量下的最大行、列數

4.2 實驗分析

為了能夠驗證本文算法的有效性,將實驗結果與傳統的灰度投影算法作比較。利用相關運算公式得到運動矢量為(3,-28)。如圖所示,圖3分別按照(0,-28)和(3,-32)對當前幀補償后與參考幀的差分圖,在差分之前已分別對補償圖像進行了邊緣補償。 從圖中可以看出,差分圖像的物體邊緣線條明顯減少,證明采用本文的算法補償后的與參考幀圖像更接近。

5 結語

針對前景運動目標和局部灰度發生變化對灰度投影算法精度造成干擾的問題,提出了一種改進的算法,算法在灰度投影的基礎上,將灰度投影差值作為特征量,分別計算當前幀在不同平移矢量下特征量小于閾值時的行數、列數,確定行數、列數最大時對應的平移矢量為抖動矢量,提高了求取運動矢量的精度。實驗證明,本文算法優于傳統的灰度投影算法。

[1] ?，幀?洪丹鳳,吳鑫,等.一種基于HGPC的交通監控視頻抖動異常檢測方法[J].青島大學學報(自然科學版),2014,27(3):38-42.

[2] 關升.幾種電子穩像算法的初步研究[D].哈爾濱:哈爾濱工業大學,2006:3-8.

[3] 編正崗.機器視覺技術的發展[J].中國儀器儀表,2015(6):40-43.

[4] C Morimoto, R Chellappa. Fast electronic digital image stabilization for off-road navigation[J]. Real-Time Imaging(S1077-2014),1996,5(2):285-296.

[5] 白豐,張小俊,張明路,等.基于分區灰度投影的穩像算法在衛星裝配中的應用[J].中國機械工程,2016,27(2):195-200.

[6] Vella F, Castorina A, Mancuso M, et al. Digital image stabilization by adaptive block motion vectors filtering[J]. IEEE Trans, on Consumer Electronics(S0098-3063),2002,48(3):796-801.

[7] 吉淑嬌,朱明,胡漢平,等.基于特征匹配的視頻穩像算法[J].吉林大學學報(工業版),2013,43(增刊):322-325.

[8] 汪小勇,李奇,徐之海,等.用于實時數字穩像的灰度投影算法研究[J].光子學報,2006,35(8):365-370.

[9] 張朝陽,潘保昌,鄭勝林.基于幀差的灰度投影的快速運動物體檢測[J].廣東工業大學學報,2008,25(3):76-80.

[10] 顧學海.基于灰度投影改進的電子穩像[J].應用光學,2013,34(6):957-963.

[11] 肖進勝,單姍姍,易本順,等.基于分區灰度投影穩像的運動目標檢測算法[J].湖南大學學報(自然科學版),2013,40(6):96-102.

Electronic Image Stabilization Algorithm Based on Gray Projection Difference

LI Dacheng YANG Xiaodong

(Naval Submarine Academy, Qingdao 266100)

In allusion to the translational jitter of image sequences, an improved gray projection algorithm is proposed. The key steps to realize the algorithm are set forth in details. Gray projection of the current frame and reference frame is calculated, gray mapping difference is chosen as the characteristic and the image motion vector and compensation current frame image are determined. In order to evaluate this algorithm, image difference algorithm is applied under lab conditions. Experiments show that this method is effective to solve the prospects for local object motion and change of parts of image gray level and can achieve the goal of electronic image stabilization.

translational jitter, gray projection, motion vector, electronic image stabilization

2016年7月11日,

2016年6月27日

李大成,男,碩士,研究方向:艦艇運動態勢視覺觀測技術。楊曉東,男,博士,教授,研究方向:艦艇機器視覺。

TP391

10.3969/j.issn.1672-9730.2017.01.021