基于直方圖匹配的圖像抖動消除算法

鄭來芳

（太原工業學院電子工程系，山西太原030003）

基于直方圖匹配的圖像抖動消除算法

鄭來芳

（太原工業學院電子工程系，山西太原030003）

基于圖像差分算法的運動目標檢測中，固定好的攝像頭在受到重型車輛駛過、強風等因素影響下，所拍攝到的圖像仍會出現抖動，而圖像抖動對提取圖像中的運動目標干擾非常大。本文設計了一種基于預先劃定一個或多個目標匹配區域的顏色直方圖匹配算法，通過分析和比較抖動前后兩幅圖像目標區域和候選區域顏色直方圖的相似度，找到最優匹配塊并得到對應塊運動位移，從而求出兩幅圖像的絕對運動位移，最后消除干擾位移。實驗結果表明，該算法魯棒性好，能夠準確消除抖動位移給運動目標檢測帶來的干擾。

抖動干擾；運動目標檢測；圖像差分；顏色直方圖匹配

計算機視覺與圖像處理技術的研究已經成為科學和工程領域的一項重要內容，而運動目標的檢測與跟蹤是計算機視覺領域的一個重要研究方向[1-5]。目前，已有的運動目標檢測方法按照算法的基本原理可以分為三類：幀間差分法、背景減除法和光流法。其中幀間差分法、背景減除法因為算法實現簡單，程序設計復雜度低，效率高，效果好而被廣泛應用。

然而，圖像抖動的干擾會嚴重影響這兩種算法，甚至會造成算法失效。采用增加額外設備來穩定攝像頭，如利用加速度傳感器、圖像穩定器、濾鏡等來消除圖像抖動，效率低，成本高，應用環境也有限。因此在運動目標檢測中，提出了利用軟件來消除圖像抖動[6-8]。軟件消除圖像抖動過程包括：運動估計和運動位移補償，而運動估計是其中的關鍵。

目前用來做運動估計[9-11]的方法主要有基于圖像的塊匹配方法、基于光流的方法和基于特征匹配的方法。后兩種方法復雜耗時，在實際中應用較少。本文根據運動目標實際情況預先劃定合適的匹配區域，以及直方圖直觀反映像素值概率分布的特性，設計了一種新的運動估計方法，即基于預先劃定區域內進行直方圖匹配，通過分析和比較抖動前后兩幅圖像在預先劃定區域內顏色直方圖的相似度，找到最優匹配塊并得到對應塊運動位移，從而求出兩幅圖像的絕對運動位移，最后消除干擾位移。

1 直方圖匹配算法

顏色直方圖，是將圖像中的目標區域內的像素提取出來，對像素R、G、B三個顏色通道信息進行某種關系的映射，然后統計映射后的概率分布，建立R、G、B三通道的直方圖模型。直方圖匹配是通過對不同區域建立相應的直方圖模型，依照匹配策略尋找到與目標模型匹配度最高的區域。

1.1 目標區域內顏色直方圖模型的建立

如圖1所示為抖動前后的兩張圖片，藍色方框和綠色方框區域為預先劃定的兩塊面積、位置一致的匹配區域，本文建立目標區域的顏色直方圖模型具體步驟為：

a)建立R、G、B三個一維直方圖：像素的R、G、B值范圍為0～255，出于計算速度和匹配精度考慮，直方圖組距設為16，再對目標區域每個像素R、G、B顏色通道信息的進行統計，產生三個一維直方圖模型，每維16組。

b)歸一化直方圖：三個一維直方圖中各組值分別設HR(i)、HG(i)、HB(i)，i=0,1,2,3…15，找出每維最大值HRmax、HGmax、HBmax，進行歸一化操作，并以建立一維灰度直方圖類似的操作來產生三維直方圖，定義如下：

其中H(k)∈[0,1],k=0,1,2,...47，H(k)表示的是新建立一維直方圖中各組的組值。如圖2所示，這樣建立類似一維的匹配關系，完全滿足三維函數的特性，各顏色通道間的相關性好，復雜度低，匹配精確。

圖1 抖動前后兩張圖片

圖2 經過歸一化后的一維顏色直方圖

1.2 圖像直方圖分布特征相似性測量方法及評價參數

目標模型與候選目標相似度由相似性函數來度量，相似性函數定義了目標模型與候選目標之間的距離。在統計學中，巴氏距離（巴塔恰里雅距離/Bhattacharyya distance）用于測量的是兩個離散或連續概率分布的相似性,在直方圖相似度計算時，巴氏距離獲得的效果也非常好。因此本文采用巴氏距離來測量兩顏色直方圖分布之間的相似度：

其中，H1，H2表示的兩個一維直方圖,H1(k)、H2(k)表示的是一維直方圖中各組的組值，兩直方圖完全匹配dBhattachayya=0,完全不匹配dBhattachayya=1。

2 抖動干擾去除方法在運動目標檢測中的應用

攝像頭抖動干擾是對室內智能視頻監控中運動目標檢測的準確性是一個巨大的挑戰，本文正是針對室內環境下攝像頭抖動干擾問題開展研究的。

2.1 預先劃定合適的圖像匹配區域

針對室內環境中很少存在大量運動物體，且攝像頭抖動一般只造成圖像水平和垂直方向的運動的特點，本文提出了兩種方法來劃定匹配區域。第一種：利用預先劃定不包含運動物體，且顏色特征明顯的區域作為匹配區域，如圖3(a)和圖3(b)所示；第二種：對于監控區域內始終存在運動物體，或者不包含運動物體的區域顏色特征不明顯（如圖3(c)紅框區域所示，顏色直方圖匹配效果差）的情況，一般需要劃定相對距離遠的兩塊作為匹配區域（通常選取圖像四個邊角中的兩個）。若監控環境始終有多個運動目標，可能會出現兩個目標匹配區域都被運動物體遮掩的情況，故可設定多個匹配區域，方法一樣。本文以一般情況下劃定圖3(c)左下角、右下角作為目標匹配區域為例，具體實現算法下文會做詳細描述。

通常情況下攝像頭抖動頻率比較低，幅度比較小，因而將所劃定的匹配區域在基準幀中的位置作為搜索中心，根據工程實際在其附近限定搜索范圍（如圖3黃框區域所示，為搜索范圍。）

2.2 圖像抖動的判定

當圖像差分算法檢測到異常情況時，先判斷是否由攝像頭抖動引起，判斷方法根據匹配區域的劃定分為兩種：

①若劃定的目標匹配區域只有一個（如圖3(a)、圖3(b)所示），進行差分的前后兩張圖片中，選取第一張圖片作為基準幀，劃定好的目標匹配區域，與第二張圖片相同位置、相同大小的候選匹配區域一起，利用式（1）、（2）、（3）建立一維顏色直方圖模型（如圖2(a)、圖2(b)所示），再根據式（4）巴氏距離計算得到目標區域和候選區域一維顏色直方圖相似度dBhattachayya，兩直方圖完全匹配dBhattachayya=0,完全不匹配dBhattachayya=1。現設定相似度閾值為0.05，若目標區域與候選區域的顏色直方圖相似度dBhattachayya＜0.05，則判定攝像頭沒有抖動，兩張圖片正常。

②若劃定的目標匹配區域有兩個，需要分別對兩個匹配區域和對應候選區域進行顏色直方圖匹配，步驟與方法①一致，得到的兩個相似度d1Bhat-tachayya和d2Bhattachayya中，只要有一個小于設定閾值0.05，就判定攝像頭沒有發生抖動，當兩個相似度d1Bhat-tachayya、d2Bhattachayya都超過閾值0.05時，才判定攝像頭發生抖動，進行圖像抖動消除。

圖3 室內環境下劃定合適的匹配區域

2.3 圖像抖動的消除

若判定出圖像受到攝像頭抖動的干擾后，在做第二次相鄰兩幀圖像差分前，先進行圖像抖動的消除，具體步驟：

(a)讀入待差分的兩張圖片，以第一幀圖像作為基準幀，第二幀圖像為抖動干擾幀。

(b)在第一幀圖像中，劃定好合適的目標匹配區域；在第二幀圖像中，以第一幀圖像中劃定目標區域的位置為中心，劃定好合適匹配范圍，開始搜索最優匹配塊。

(c)搜索策略：采用改進后的三步快速搜索算法，既保證了搜索的效率，也保證了搜索的精度。搜索過程中，對比候選區域和基準幀目標區域的顏色直方圖相似度，當直方圖相似度dBhattachayya＜0.05時，停止搜索，記錄下此時匹配塊的位置；若dBhattachayya始終大于閾值0.05，記錄下搜索過程中出現dBhattachayya最小值時匹配塊的位置。最后根據匹配塊位置，計算出對應的塊運動位移。

(d)通過計算出對應的塊運動位移，得到兩幅圖像的絕對運動位移，最后消除第二幀圖像的干擾位移。

(e)對去除抖動干擾的兩幀圖像進行差分處理、灰度變換、二值化處理，二值化處理時將大于閾值的像素點置為255，小于閾值的像素點置為0，到此即可分割出運動目標區域。

圖4 三步快速搜索示例圖

若基準幀中劃定的目標匹配區域有兩個，按照以上步驟將會得到兩個絕對運動位移和兩個不同的圖像差分結果。本文的處理辦法是統計出圖像差分、灰度變換、二值化后像素值為255的像素點的個數，以個數少的作為最終差分結果。

3 實驗結果與分析

3.1 設定一個目標匹配區域的抖動干擾消除

待差分的兩幀圖像中，沒有運動物體的區域，理論上進行圖像差分、二值化處理后，該區域像素點的值應該全為0。但是由于攝像頭抖動干擾的存在，相鄰兩幀圖像對應點的像素值發生變化，會誤判成運動物體造成。圖5(a)綠色框區域為目標匹配區域，黃色框區域為匹配搜索范圍，圖5(b)受到了抖動干擾，藍色框區域為最優匹配塊搜索結果，圖5(c)是相鄰兩幀圖像圖5(a)和圖5(b)進行差分、二值化后的結果，二值化閾值取40。圖5(e)是消除干擾位移后的灰度圖像，圖5(f)是消除抖動干擾后的差分、二值化結果。

圖5 設定一個目標匹配區域的圖像抖動消除

如下表1統計的為圖5中對應差分、二值化后的圖像面積，圖像的分辨率為640*480，從圖5和表1可以看出，攝像頭抖動干擾圖像差分的影響巨大，采用消除圖像抖動算法后，攝像頭抖動的影響大大減弱甚至完全消除，運動目標的輪廓能完全顯現出來。后期再通過形態學濾波處理，即可精確分割運動目標。

表1 去抖動干擾前后圖像差分、二值化后的面積（像素為255的個數）

3.2 設定兩個目標匹配區域的抖動干擾消除

圖6所示的監控環境中不包含運動物體的區域顏色特征不明顯，故劃定左下角、右下角作為目標匹配區域。圖6(d)所示，左下角的綠框目標匹配區域內出現運動目標，圖6(e)所示藍框區域為匹配結果，圖6(g)為圖像消抖后差分、二值化結果。圖6(h)為選定右下角作為目標匹配區域，且匹配區域無運動目標。圖6(i)所示藍框區域為匹配結果，圖6(k)為圖像消抖后差分、二值化結果。

圖6 設定兩個目標匹配區域的圖像抖動消除

圖6中圖像的分辨率都為640*480，圖6(c)中像素值為255的個數是39203，圖6(g)中像素值為255的個數是40281，圖6(k)中像素值為255的個數是32154。由圖6(g)和圖6(k)對比可以得出，由于目標匹配區域內出現運動目標這一特殊情況，導致圖像匹配錯誤，圖像消抖不成功。而無運動目標的區域作為匹配區域，圖像消抖后差分、二值化能準確分割出運動目標。本文算法也將根據圖像消抖、差分、二值化后像素值為255的個數，自動選擇最優消抖結果。

4 結論

復雜環境下的運動目標檢測在智能視頻監控系統中是一個至關重要的環節。攝像頭抖動干擾對基于差分的目標分割算法帶來了巨大的挑戰，為抑制抖動干擾對目標提取穩健性的影響，本文提出了基于預先劃定一個或多個目標匹配區域的顏色直方圖匹配方法，能夠有效去除圖像差分時圖像抖動的干擾，排除了純背景差分時圖像抖動造成的誤檢測和有運動物體時圖像抖動造成的漏檢，實驗證明，該方法在基于圖像差分的運動目標檢測中效果顯著。不足的是，本文算法在顏色特征不明顯的監控環境下使用效果較差，監控場景始終有多個運動目標而劃定多個目標匹配區域，算法實時性較差，如何解決這一問題將是我們下一步的研究重點。

[1]王亮，胡衛明，譚鐵牛.人運動的視覺分析綜述[J].計算機學報，2002，25(3)：225-237.

[2]譚鑫，肖南峰.運動人體的檢測跟蹤方法的研究與實現[J].計算機應用與軟件，2010，24(4)：29-31.

[3]丁友東,吳學純.基于Kinect的人體對象視頻自動分割[J].電子測量技術，2013，36(4)：48-51．

[4]Nima Asgharbeygi,David Stracuzzi,Pat Langley.Relational Temporal Difference Learning[C].In Proc.The 23rd International Conference on Machine Learning,Pittsburgh,2006.

[5]戴小鵬，王華偉，黃璜.一種新的背景模型建立及更新方法[J].計算機應用研究，2006(5)：239-241.

[6]曹丹華，鄒偉，吳裕斌.基于背景圖像差分的運動人體檢測[J].光電工程，2007,6(34)：107-111.

[7]余燁,曹明偉,岳峰.EViBe：一種改進的ViBe運動目標檢測算法[J].儀器儀表學報，2014，35(4)：924-931．

[8]MURGIA J,MEURIE C,RUICHEK Y.An improved colorimetric invariants and RGB-depth-based codebook modelfor background subtraction using Kinect[C].Mexican International Conference on Artificial Intelligence，2014，380-392．

[9]O’Connor N E,O’Conaire C,Smeaton A.Thermo-visual feature fusion for object tracking using multiple spatiogram trackers[J].Machine Vision and Application,2008,19(5/6)：483-494.

[10]Smeaton A F,O’Conaire C,O’Connor N E.An improved spatiogram similarity measure for robust object localization[C].Proceedings of ICASSP,Honolulu,2007：1067-1072.

[11]Birchfield S T,Rangarajan S.Spatial histograms for region-based tracking[J].ETRI Journal,2007,29(5)：697-699.

A Method of Image Dithering Elimination Based on Histogram Matching

ZHENG Lai-fang
(School of Electrical Engineering,Taiyuan Institute of Technology,Taiyuan Shanxi,030003)

By the effects of heavy vehicles passing,the strong wind or other factors,the image captured by fixed camera will produce dithering.But in moving target detection algorithm based on image difference,the image dithering will bring a lot of interference to extract moving targets from image.In this paper,a new method of image dithering elimination based on histogram matching in one or more pre-defined areas is proposed.By analyzing and comparing color histogram similarity in target area and candidate area between dithered image and normal image,the optimal matching block will be found and absolute motion displacement of two images will be calculated,finally,to eliminate interference displacement.Experimental results show that the method have a outstanding performance in robustness which can accurately eliminate the interference in moving target detection caused by dithered displacement.

dithered interference;moving target detection;image difference;color histogram matching

TP391.4

A

1674-0874(2017)02-0017-04

〔責任編輯 高彩云〕

2017-02-07

太原工業學院青年科學基金[2016LQ04]

鄭來芳（1987-），女，安徽亳州人，碩士，助教，研究方向：模式識別，機器視覺。