視頻車輛監控系統圖像抖動快速消除算法研究

張全法， 任朝棟， 李 煥， 楊海彬

(鄭州大學 物理工程學院 河南 鄭州 450001)

視頻車輛監控系統圖像抖動快速消除算法研究

張全法， 任朝棟， 李 煥， 楊海彬

(鄭州大學 物理工程學院 河南 鄭州 450001)

在開發智能視頻車輛監控系統時，為滿足圖像抖動消除速度和效果的要求，通過分析系統特點提出了一種基于圖像匹配的新算法.新算法利用在基準幀中預先劃定的適合于進行圖像匹配的區域，在當前幀中根據像素灰度的絕對差值和尋找其最佳匹配，通過預測的方法快速求出當前幀相對于基準幀的偏移量，從而用來消除抖動.實驗表明，新算法在確保抖動消除效果的同時大幅度地提高了處理速度，滿足了系統要求.

視頻圖像處理； 車輛監控系統； 視頻圖像抖動消除； 圖像匹配

0 引言

智能視頻車輛監控系統中的圖像抖動會嚴重影響車輛的識別和跟蹤、交通參數的統計、交通違章的判定等.即使采用高成本的龍門支架安裝攝像頭，在受到強風、重型車輛駛過等因素影響的時候，所拍攝的視頻圖像仍然可能出現抖動.采用加速度傳感器、濾鏡等硬件設備來消除圖像抖動，效率低，應用環境有限[1]，成本也高.于是在設計該系統時提出利用軟件來消除圖像抖動.為了不影響系統的實時性，既要求其速度盡量快，還要求抖動消除效果盡量好.

視頻圖像抖動消除系統一般包括運動參數估計和運動補償兩個模塊[2]，而運動參數估計模塊是其中的關鍵.目前用來估計運動參數的方法主要有基于圖像匹配的方法[3-4]、基于光流的方法[5]和基于特征匹配的方法[2,6].基于光流的方法非常復雜，運算量太大[4].基于特征匹配的方法運算量也很大，因為進行特征提取往往涉及大量的幾何與圖像形態學計算[7].基于圖像匹配的方法對于只含有平移和微小旋轉的圖像序列具有較高的檢測精度，通過采用快速搜索算法，如三步搜索法、兩維對數下降法和兩步搜索法等，可以大大減少計算量[8].然而，通過分析與嘗試發現，已有算法的處理速度還不能滿足系統要求.為此，針對系統特點提出一種新的基于圖像匹配的快速算法，不僅滿足了系統的速度要求，而且滿足了系統的效果要求.

1 提高圖像抖動消除速度的方法

1.1系統特點分析

智能視頻車輛監控系統的特點:

①前景中存在大量的運動物體，如各種車輛和行人等.因此在已有算法中所產生的匹配區域有可能包含運動物體，在估計運動參數時，只能采取復雜的措施如迭代最小二乘法[2]、M魯棒估計方法、快速M估計算法[4]、運動一致性原則[3]等來減小其影響，從而導致已有算法的處理速度達不到系統要求.為此，提出利用預先劃定的不包含運動物體的區域作為匹配區域.這樣既可以避免復雜措施對速度的影響，又可以縮短匹配時間，提高處理效果.當然，若想獲得比較好的處理效果，所劃定的匹配區域還應該具有明顯的特征.

②在所開發的智能視頻車輛監控系統中，用于車輛行為智能分析的攝像頭在安裝調試之后參數固定不變，不存在旋轉、平移或調焦等主觀運動.可以選取特征明顯又不會被遮擋的固定物體作為匹配區域，必要時甚至可以設立標識性物體.而且可以僅劃定1個匹配區域，從而可以將其局部運動矢量直接作為全局運動矢量，使得在運動補償模塊中不必再根據相鄰幀之間全局運動矢量夾角大于90 °的出現頻率等[3]來區分攝像頭的主觀運動和非主觀運動，可以將所有運動看作非主觀運動即抖動，直接進行運動補償即可.已有算法則不然.

③攝像頭抖動造成圖像可能同時有水平方向和垂直方向的運動，但旋轉運動和縮放運動可以忽略.前者使得不適合采用文獻[9]中所述的投影法來提高匹配區域的搜索速度[7].后者使得可以應用基于圖像匹配的方法來消除抖動，提高運動參數的估計速度，同時提高運動補償模塊的處理速度.在圖像域中進行圖像匹配時，為避免運算量太大，采用根據像素灰度信息的方法.

④一般情況下攝像頭抖動的頻率比較低、幅度比較小.可以將所劃定的匹配區域在基準幀中的位置作為搜索中心，根據工程實際在其附近限定搜索范圍.在低頻抖動下，可以根據上一幀的運動趨勢預測下一幀的運動趨勢，并將上一幀中的最佳匹配位置作為下一幀的搜索起點，從而加快匹配區域的搜索速度.實際中確實可能出現低頻、大幅度的抖動，可以采用超出搜索范圍即跳過去不處理的方法，因為一方面這種情況的出現概率很低，另一方面即使能夠消除抖動圖像的可用信息也會大幅度減少.

⑤環境光隨時間改變，但是一般情況下改變緩慢.根據像素灰度信息進行圖像匹配時，衡量兩個區域相似程度的測度函數絕對差值和受光照變化的影響比較大，但速度最快，故選用它來提高計算速度.至于環境光緩慢改變的影響，則通過定期更新匹配區域的方法來減小.雖然更新匹配區域也需要時間，但是每次更新耗時很短，況且可以間隔很多幀才進行一次，對速度的影響要比采用復雜的測度函數小得多.環境光也有急劇改變的時候，如閃電導致的瞬間改變等，可以采取不處理對應幀的方法，這并不影響系統整體性能.

1.2新算法描述

在進行抖動消除之前需要將每幀彩色圖像轉換為灰度圖像，為了提高轉換速度并且盡量地不失真，采用了文獻[10]中所述的灰度化方法.事實上，所求運動參數完全可以用來對原始的彩色圖像進行抖動消除，差別僅在于需要平移的數據量比較大.

假設每幀圖像水平、垂直方向像素數分別為S、T.建立基準幀坐標系OXY，原點位于基準幀左上角，X軸水平向右，Y軸垂直向下.由于圖像是離散化的，每個像素可以用一個小矩形表示出來，但是坐標系不便繪制，故采用在最上面一行像素旁邊標出0,1,…,S-1的方法表示X軸，采用在最左邊一列像素旁邊標出0,1,…,T-1的方法表示Y軸，如圖1所示.假設在第一幀即基準幀中預先劃定的匹配區域如圖1中陰影部分所示，水平、垂直方向像素數分別為M、N，左上角即“·”所在像素在基準幀坐標系里的坐標為(X0,Y0).建立匹配區域坐標系oxy，原點位于匹配區域左上角，x、y軸分別與X、Y軸平行(圖1).

假設根據工程實際確定的最大水平、垂直抖動幅度分別為H、V像素.顯然，劃定匹配區域時必須由軟件將匹配區域左上角限制在圖1中粗線框所示的矩形之內，此矩形左上角的坐標為(H,V)，寬度為S-M-2H像素，高度為T-N-2V像素.當前幀坐標系與基準幀坐標系相同，如圖2所示.用來進行圖像匹配的子圖如圖2中陰影部分所示，尺寸與匹配區域相同，左上角即“·”所在像素在當前幀坐標系中的坐標為(X,Y).子圖坐標系與匹配區域坐標系相同.

圖1 基準幀與匹配區域坐標系Fig.1 Coordinates systems of base frame and matching region

圖2 當前幀與子圖坐標系Fig.2 Coordinates systems of current frame and sub image

開始處理前將匹配區域在基準幀中的像素灰度值及左上角坐標(X0,Y0)保存到內存中，并且設置偏移量和運動趨勢的初值.偏移量為(δX,δY)，初值是(0,0).運動趨勢為(βX,βY)，βX和βY取+1時分別表示向右、向下運動，取-1時分別表示向左、向上運動；運動趨勢的初值可以任意選取，假設為(+1,+1).開始處理后，假設對任一幀圖像已經求得上一幀中匹配區域的(δX,δY)和(βX,βY)，搜索最佳匹配的步驟是：

①根據上一幀的偏移量預測搜索起點.令第1個子圖左上角在當前幀坐標系里的坐標(X,Y)滿足X=X0+δX，Y=Y0+δY.然后按照絕對差值和法求其與匹配區域的相似程度測度函數值，即

(1)

式中，(X,Y)為子圖左上角在當前幀坐標系里的坐標；D(X,Y)為子圖與匹配區域的相似程度測度函數值；M、N分別為匹配區域水平、垂直方向像素數；(x,y)為子圖與匹配區域中的對應像素在各自坐標系里的坐標；g(x,y)，g0(x,y)分別為子圖與匹配區域中對應像素的灰度.由于環境光是變化的，并且考慮到采用了預測的方法，求和一直進行到最后，而不是像SSDA算法那樣超過某個閾值就停止[11].

②進行水平方向的搜索.Y保持上一步的值不變，根據βX預測下一個子圖的X，即令X=X+βX.按照式(1)重新計算測度函數值.若測度函數值變小或不變，說明搜索方向正確，根據βX規定的方向繼續搜索，直到測度函數值即將變大.若測度函數值變大，說明搜索方向錯誤，退回原位置，令βX=-βX，并根據新的βX規定的方向搜索，直到測度函數值即將變大.在搜索過程中若超出搜索范圍則停止，認為搜索失敗.搜索范圍由圖2中粗線框所示的矩形表示，此矩形左上角的坐標為(X0-H,Y0-V)，寬度為2H+1像素，高度為2V+1像素.

③進行垂直方向的搜索.類似于步驟②，不同的是將X、Y和βX分別換成Y、X和βY.

④重復步驟②和步驟③，直到X和Y不再改變.若重復次數超過給定值，也認為搜索失敗.允許的重復次數需要根據運行時間和處理效果綜合確定.

若通過上述步驟搜索成功則繼續進行以下處理，包括由最后的X和Y求得δX=X-X0和δY=Y-Y0作為當前幀的偏移量、根據它們與上一幀偏移量的差別重新確定當前幀的運動趨勢、對當前幀圖像進行平移即消除抖動、利用最佳匹配處的子圖定期地更新匹配區域、完成系統后續功能如背景差分和車輛識別與跟蹤等.若失敗，則不進行這些處理.

2 實驗結果

在配置為奔騰雙核2.5 GHz的微機上利用VC6.0編程實現上述算法，對大小為720×288像素的AVI格式視頻進行抖動消除.由于該段視頻由項目委托單位提供，是在沙盤上拍攝的，景物比例和縱橫比皆存在失真，為了盡量符合實際，下面給出的圖像改變了原來的縱橫比.

首先考察處理速度.實驗連續處理了720幀圖像，水平方向偏移量平均2.42像素，最大25像素，垂直方向偏移量平均0.47像素，最大5像素.利用VC6.0的Build/Profile功能測出用于消除抖動的函數總耗時267 ms，平均每幀耗時0.37 ms，可見速度非常快，為實時完成系統的其他各種復雜處理爭取了時間.

其次考察處理的效果，如圖3所示.圖3(a)為基準幀，右側矩形框中的區域為預先劃定的匹配區域，大小為83×50像素，為了醒目繪制矩形框時用了比較粗的線條.圖3(b)為消除抖動后的某一幀，圖中黑色部分(左側比較明顯)是圖像平移的結果，水平方向移動了25像素，垂直方向移動了2像素.圖3(c)為消除抖動前該幀與基準幀的二值化差分圖像，車輛周圍存在著大量抖動造成的噪聲點，無法識別.圖3(d)為消除抖動后該幀與基準幀的二值化差分圖像，很好地消除了抖動的影響，車輛可以被準確地識別出來.

3 結束語

針對智能視頻車輛監控系統的特點，提出了一種快速消除圖像抖動的算法，對于保證整個系統的實時性起到了很重要的作用.該算法只是整個系統中的很小一部分，其他各部分如車輛識別和跟蹤、車輛行為分析等已經完成.在實際現場測試中獲得了很好的抖動消除效果，系統各部分運行良好，達到了設計要求.該算法還可以推廣到類似的實時視頻圖像處理系統中，只要能夠劃定合適的匹配區域，就可以利用它既好又快地消除抖動.

圖3 抖動消除效果Fig.3 Effect of video stabilization

[1] 朱磊,夏雨人.Diamond搜索運動估計在視頻圖像抖動消除中的應用[J].計算機應用與軟件,2006,23(3): 89-91.

[2] 徐理東,林行剛.視頻抖動矯正中全局運動參數的估計[J].清華大學學報:自然科學版,2007,47(1):92-95.

[3] 黃亞博,焦建彬,葉齊祥,等.一種魯棒性的抖動視頻穩像算法[J].光電子·激光,2008,19(3):394-399.

[4] 宋利,周源華,周軍.基于運動矢量的視頻去抖動算法[J].上海交通大學學報,2004,38(增刊):63-66.

[5] 楊勇,王橋,吳樂南.基于標號場的光流法二維運動估計[J].電子與信息學報,2001,23(12):1321-1325.

[6] 龐洵,李威,高小偉.基于特征匹配與仿射變換的視頻防抖算法[J].微計算機信息,2008,24(3/4):180-182.

[7] 陳皓,馬彩文,陳岳承,等.基于灰度統計的快速模板匹配算法[J].光子學報,2009,38(6)：1586-1590.

[8] 陳躍庭,馮華君,徐之海,等.多參考點三步搜索法快速穩像算法[J].光電子·激光,2006,17(6):746-749.

[9] 孫遠,周剛慧,趙立初,等.灰度圖像匹配的快速算法[J].上海交通大學學報,2000,34(5):702-704.

[10] 張全法,楊海彬,任朝棟,等.彩色圖像的快速高保真灰度化方法研究[J].鄭州大學學報:理學版,2011,43(3):66-69.

[11] 吳培景,陳光夢.一種改進的SSDA圖像匹配算法[J].計算機工程與應用,2005,41(33):76-78.

StudyonFastVideoStabilizationAlgorithmforVehicleMonitoringSystem

ZHANG Quan-fa, REN Chao-dong, LI Huan, YANG Hai-bin

(SchoolofPhysics&Engineering,ZhengzhouUniversity,Zhengzhou450001,China)

To meet the speed and effect requirement of video stabilization for a vehicle monitoring system in developing,a new fast algorithm based on image matching was proposed by analyzing system features. In the new algorithm,a predefined region that was suitable for image matching to calculate motion parameters was used by comparing its original position in base frame and its best matching position in current frame. The best matching position was found by searching the minimum sum of absolute difference of pixel’s gray value,and forecasting method was used in the searching. Then the motion parameters were used for video stabilization. In experiments,the new algorithm demonstrated a very high speed along with a favourable effect,which met the requirements of the system.

video image processing;vehicle monitoring system;video stabilization;image matching

TP 391.41

A

1671-6841(2011)04-0044-04

2011-01-02

張全法(1966-)，男，副教授，碩士，主要從事傳感器與計算機應用技術研究，E-mail：zhangquanfa@zzu.edu.cn.