基于背景擦除的視頻監控圖像超分辨率重建*

俞文靜　張明軍　王　影

(廣州大學華軟軟件學院　廣州　510990)

?

基于背景擦除的視頻監控圖像超分辨率重建*

俞文靜張明軍王影

(廣州大學華軟軟件學院廣州510990)

摘要視頻圖像的超分辨率重建在視頻監控領域有非常重要的應用，論文采用背景擦除的方法研究了一種應用于視頻監控的視頻圖像超分辨率重建算法。首先建立了超分辨率重建算法的一般模型，并闡明了視頻圖像的超分辨率重建的過程，重點研究了視頻監控圖像重建的優化算法，該算法采用背景差分算法先對視頻圖像背景進行擦除提取運動目標，再使用改進DS算法對目標進行運動估算，最后使用改進的POCS對圖像進行重建。實驗表明該文算法與一般的POCS相比能明顯地提高視頻監控的重建圖像的清晰度和效率。

關鍵詞視頻監控； 超分辨率重構； 凸集投影法； 背景擦除

Class NumberTP301.6; TP391.9

1　引言

視頻圖像超分辨率重建[1～2]是利用同一場景下的多幅具有互補信息的模糊、變形以及噪聲污染的低分辨率圖像來重建一幅較清晰的高分辨率圖像的過程。這一技術在安保監控、交通監控檢測、衛星遙感、醫療等領域都具有較好的應用前景。

自1984年，Tsai和Huang[1～2]首次提出基于序列或多幀圖像的超分辨率重建算法之后，一些先進的思想、算法和技術相繼提出，已經形成了一套基本理論，并取得了不錯的研究成果。這些研究主要涉及兩個關鍵問題：一個是圖像序列運動物體運動估計研究，目的在于得到各幀圖像與參考圖像幀的運動位移信息；另一個是完成對低分辨率圖像序列配準操作后的重建算法研究，即如何恢復出一幅高分辨率圖像。

本文主要研究針對視頻監控這種特定應用場景下的多幀圖像超分辨率重建?；谝曨l監控畫面背景相對固定，而在監控應用中，人們更多關心的是監控畫面中移動(運動)的對象的特點，本文提出了在監控視頻多幀圖像背景分離的基礎上，采用背景擦除法及像素相減法對運動物體進行運動估計得到運動位移信息，再利用改進凸集投影法進行圖像重建的算法。

2　超分辨率圖像重建的數學模型

2.1高分辨率圖像和低分辨率圖像之間的觀測模型

圖1　圖像的詳細觀測模型圖

(1)

2.2視頻監控圖像重建模型

由上述觀測模型圖可以得出，圖像的超分辨率重建模型是觀測模型的逆過程[3～4]，而視頻超分辨率重建過程可以概括為兩個方面：圖像運動估計、圖像插值重建，其流程如圖2所示。

圖2　視頻監控圖像重建模型

3　視頻監控圖像重建的優化算法

3.1背景差分法的運動目標提取

背景差分法[5]是采用圖像序列中的當前幀和背景參考模型比較來檢測運動物體的一種方法。由于監控視頻的背景固定，背景建模容易實現，因此本文采用背景差分法進行視頻運動目標檢測，在檢測的基礎上擦除背景，提取運動目標。然而，該方法檢測運動目標容易受圖像采集過程中的誤差、背景光線以及環境等因素的干擾，使背景擦除效果受到影響。因此，本文對背景模型的獲取采用了多種環境下的動態背景，使用了人工的背景模型選擇，根據視頻的當時天氣環境特點，光亮度(同位置像素HSI模型中的亮度I的差)，通過視頻序列的幀間信息，在動態背景里選擇相應的背景圖像，再做背景擦除。

3.2運動目標的運動估計

視頻監控中運動目標提取之后，由于監控攝像機在時間和空間上的分辨能力是有限的，可能會引起運動影像的模糊，就是影像中的尾跡現象，并且考慮到監控視頻中的運動對象運動速度的不一致性，本文采用改進的菱形搜索算法(Diamond Search，DS)[6～7]進行運動目標的運動估計，DS被MPEG4標準采用，是目前公認的一種較好的搜索算法。它利用視頻序列中運動矢量的中心點偏移的特點，采用了兩種搜索模板：如圖3所示分別是9個搜索點的大菱形搜索模板(LDSP)和有5個點的搜索模板(SDSP)。本文在運動目標背景擦除的基礎上，對菱形搜索算法進行了改進，其初始搜索點由原來的原點(0,0)，變化為除背景外的運動物體上x坐標與左y坐標的左上角交匯點(x0,y0)，如圖4所示，這樣省去了視頻圖像背景區域的搜索時間，從而使搜索效率得到了提高。

圖3　兩種搜索模板：LDSP和SDSP

圖4　搜索起始點示意圖

在視頻搜索中，假設選擇M×N的塊，且同一塊內的像素運動是一致的，則搜索的絕對平均誤差函數如式(2)所示，其中fk和fk-1分別為當前幀和上一幀的灰度值，(i,j)為位移量。

-fk-1(m+i,n+f)|

(2)

本文改進的DS算法步驟如下：

步驟1：初始化大菱形LDSP以運動物體上x坐標與左y坐標的左上角交匯點為中心(x0,y0)，用大菱形模塊在搜索區域中心和周圍8個點處進行匹配，如果最小塊誤差MBD(MAD值最小的點)位于中心位置，則轉到步驟3，否則轉到步驟2。

步驟2：以上一次找到的MBD點作為中心，構建新的LDSP并計算其8個搜索點的匹配誤差，找到新模板的MBD點。若它位于中心位置，則轉到步驟3，否則轉到步驟2。

步驟3：以上一次得到的MBD點作為中心，構建小模板SDSP，在其5個搜索點處進行匹配和比較，找出MBD點，該位置即對應最終得到的運動矢量。

3.3基于改進的POCS圖像重建算法

凸集投影法(Projection Onto Convex Sets,POCS)是超分辨率重建方法的重要理論方法之一[8]。該方法以其強大的先驗知識包含能力，成為近年來圖像復原領域中的一種主要方法。由POCS算法運算步驟可知，該算法在實現的過程中，圖像超分辨率重建的初始值F的選擇將直接影響到后續的重建效果，因此，對初始值F進行優化將對重建后的圖像效果有著直接的影響。

f(i+u,j+v)=ABC

(3)

A=[s(1+u)s(u)s(1-u)s(2-u)]

(4)

(5)

C=[S(1+v)S(v)S(1-v)S(2-v)]T

(6)

(7)

(8)

本文改進POCS操作流程如下所示：

Step1：選擇圖像序列中的一副低分辨率圖像g0，對其進行自適應雙三次插值放大處理；

Step2：對Step1中放大后的圖像依據3.2節中改進菱形搜索得到的運動矢量進行逆濾波復原處理；

Step3：將Step2中的所得圖像幀作為基準幀，并作為超分辨率圖像的初始估計；

Step4：設置迭代次數，并設置初值為0；

Step5：對每一幀圖像進行超分辨率計算：

Step5.1：計算每個序列圖像幀相對基準幀的運動估計，并對每幀圖像進行運動補償；

Step5.2：對每幀圖像的每個相元進行幅值投影；

Step5.3：計算真實圖像與復原圖像之間的殘差；

Step5.4：根據殘差來修正圖像像素元；

Step5.5：檢查是否達到迭代次數；

Step6：檢查是否修正完所有低分辨率圖像：

Step7：程序結束。

本文改進的POCS算法依據本文視頻監控特殊的應用場景特點，在算法中采用了自適應雙三次插值對圖像進行放大，比起傳統POCS算法使用的雙線性插值放大，更能保持邊緣細節信息；其次，在基準幀的選擇上，除了放大以外，利用逆濾波復原方法對視頻監控圖像中的模糊尾跡進行了復原，保證了初始估計的準確性。

4　仿真實驗與數據分析

本文仿真實驗環境為Intel(R) Core(TM) i3 CPU 530,2.93GHz，內存2GB，仿真平臺為Matlab R2010。采用道路監控視頻下的1組連續3幀的圖像作為實驗初始圖像，如圖5所示。圖6為人工根據天氣情況和亮度I選擇的監控的背景圖像組，首先，假設監控環境良好，于白天拍攝，利用背景差分法進行運動目標的提取，可以得到如圖8所示的擦除了背景的圖像序列。在圖7的基礎上，本文應用改進菱形搜索算法進行運動目標的運動估計，得到視頻中運動物體的運動矢量，如圖8所示。

圖5　視頻連續3幀原始圖像

圖6　視頻監控背景圖像

圖7　運動目標提取后的圖像序列

圖8　改進菱形搜索算法獲得運動物體的運動矢量

實驗表明，本文改進的菱形搜索算法初始搜索點由原來的原點(0,0)，變化為除背景外的運動物體上x坐標與左y坐標的左上角交匯點(x0,y0)，省去了視頻圖像背景區域的搜索步長，如圖8中的車輛運動估計，分別用基本菱形搜索算法和本文的改進菱形搜索算法進行運動估計，如下表1統計了實驗中兩種算法運行時的參數比較，可以看到，改進的菱形算法在監控視頻序列圖像擦除背景的運動目標的提取之后，在搜索初始點上進行改進，對算法搜索效率有很大的提高，在平均搜索點數，搜索時間以及搜索步數幾個方面都有了很大的提高。

表1　本文改進菱形搜索算法與基本菱形搜索算法比較

視頻圖像運動估計之后，本文利用基本的POCS重建算法和改進POCS算法對三張序列圖像進行圖像重建，并對兩種算法進行比較。實驗得到如圖9(a)～9(c)以及10(a)～9(c)所示的重建效果，其中圖9(a)為基本POCS重建2倍得到的整圖效果，圖9(b)為基本POCS重建逆向行駛車輛車牌放大8倍效果，圖9(c)為基本POCS重建順向行駛車輛車牌放大8倍效果；圖10(a)為改進POCS重建2倍得到的整圖效果，圖10(b)為改進POCS重建逆向行駛車輛車牌放大8倍效果，圖10(c)為改進POCS重建順向行駛車輛車牌放大8倍效果。

圖9　基本的POCS算法對圖像序列重建后效果

圖10　改進的POCS算法對圖像序列重建后效果

從實驗結果可以看到，本文提出的改進POCS重建算法與基本的POCS重建算法在視頻序列圖像重建中，重建效果有很大的提高，圖10與圖9比較，在圖像重建清晰度上有了非常明顯的提高，尤其是圖像重建倍數增大的時候，效果對比更加明顯。

5　結語

本文針對交通視頻監控這種特定環境下的視頻圖像超分辨率重建進行系統研究，在建立視頻圖像重建模型的基礎上，提出了一種采用圖像背景擦除后進行視頻超分辨圖像重建的方法，該方法主要在以下兩點進行了改進：

1) 基于背景擦除后的視頻圖像，對基本DS運動估計算法進行了改進，改變初始搜索點，不搜索背景，只搜索運動物體所在塊，實驗表明，搜索效率得到了很大的提高。

2) 在運動估計的基礎上，對基本POCS算法進行改進，利用自適應雙三次插值對圖像方法，并利用逆濾波復原方法對視頻監控圖像中的模糊尾跡進行了復原，并將復原后的圖像進行重建，實驗表明，在視頻圖像重建效果上有較大的提高。

然而，在實驗中，根據實驗完成中出現的問題，該算法需在以下兩點進行改進：

1) 背景差分法對背景模型的要求很高，不同光照條件及環境背景的選擇不同，如何提高通過視頻圖像判斷背景選擇的速度，快速更新適合的背景將是下一步的研究重點。

2) 改進的POCS算法在重建效果上有了明顯的提高，然而，由于改進算法加入了較復雜的自適應雙三次插值計算以及逆濾波復原計算，在算法的運行效率上需要進一步改進。

參 考 文 獻

[1] KANG M, GHAUDHURIS. Super-resolution image reconstruction[J]. IEEE Signal Processing Magazine,2003,20(3).

[2] AN Ouwerkerk J D. Image Super-resolution Survey[J]. Image and Vision Computing,2006,24(10):1039-1052.

[3] 何小海,吳媛媛,陳為龍,等.視頻超分辨率重建技術綜述[J].信息與電子工程,2011,9(1):2-6.

HE Xiaohai, WU Yuanyuan, CHEN Weilong. A survey of video super-resolution reconstruction technology[J]. Information and Electronic Engineering,2011,9(1):2-6.

[4] Patti A, Sezan M, Tekalp A. Super-Resolution Video Reconstruction with Arbitrary Sampling Lattices and Nonzero Aperture Time[J]. IEEE Transactions on Image Processing,1997,6(8):1064-1076.

[5] 朱明旱,羅大庸.基于幀間差分背景模型的運動物體檢測與跟蹤[J].計算機測量與控制,2006,14(8):99-101.

ZHU Mingzao, LUO Dayong. Moving objects detection and tracking based On two consecutive frames subtraction background model[J]. Computer Measurement and Control,2006,14(8):99-101.

[6] 劉海峰,郭寶龍,馮宗哲.用于塊匹配運動估值的正方形-菱形搜索算法[J].計算機學報,2002,25(7):747-752.

LIU Haifeng, GUO Baolong, FENG Zongzhe. A square-diamond search algorithm for block motion estimation[J]. Journal of Computer Science,2002,25(7):747-752.

[7] 李淳,馬力妮.基于菱形搜索的改進運動估計算法研究[J].計算機技術與發展,2008,11(18):117-122.

LI Chun, MA Lini. A study of improved motion estimation algorithms based on diamond search[J]. Computer Technology and Development,2008,11(18):117-122.

[8] Gunturk B K, Altunbasak Y, Mersereau R M. Superresolution Reconstruction of Compressed Video Using Transform-Domain Statistics[J]. IEEE Transactions on Image Processing,2004,13(1): 33-43.

[9] 龐志勇,譚洪舟,陳弟虎.一種改進的低成本自適應雙三次插值算法及VLSI實現[J].自動化學報,2013,39(4):407-417.

PANG Zhiyong, TAN Hongzhou, CHEN Dihu. An improved low-cost adaptive bicubicinterpolation arithmetic and VLSI implementation[J]. Automation Journal,2013,39(4):407-417.

[10] 吳雪垠,吳謹,張鶴.逆濾波法在圖像復原中的應用[J].信息技術,2011(10):183-185.

WU Xueyin, WU Jin, ZHANG He. Research on restoration techniques based on inverse filtering algotithm[J]. Information Technology,2011(10):183-185.

收稿日期:2015年10月4日,修回日期:2015年11月23日

基金項目:廣東高校優秀青年創新人才培養計劃項目(編號:2013LYM_0114)；廣州大學華軟軟件學院2014年教學研究、科學研究資助立項項目(編號：ky201410)資助。

作者簡介:俞文靜，女，碩士，講師，研究方向：計算機圖形圖像處理、優化算法研究等。張明軍，男，講師，研究方向：圖像處理。王影，女，講師，研究方向：計算機圖形圖像，多媒體技術。

中圖分類號TP301.6; TP391.9

DOI:10.3969/j.issn.1672-9722.2016.04.037

Super Resolution Reconstruction Algorithm of Video Surveillance Image Based on Background Erasure

YU WenjingZHANG MingjunWANG Ying

(South China Institute of Software Engineering, Guangzhou510990)

AbstractSuper resolution reconstruction of video image has very important application in the field of video surveillance, this paper uses background erasure to research one of super-resolution reconstruction algorithm applications in video surveillance image. Firstly, the model of the super-resolution reconstruction algorithm is established, and the super-resolution reconstruction of the video image is clarified, and the optimized algorithm of the video surveillance image reconstruction is studied. In this algorithm, background subtraction is used to extract the moving target from video image, and the target image is estimated by using the improved DS(Diamond Search) algorithm, and then the improved POCS(Projection Onto Convex Sets) is used to reconstruct the image. Experiments show that the proposed algorithm compared with the general POCS can obviously improve the definition of the video surveillance images and its efficiency.

Key Wordsvideo surveillance, super resolution reconstruction, POCS, background erasure