動態(tài)圖像的拼接與運動目標檢測方法的研究

楊智堯， 宋 欣， 宋占偉

(1. 吉林大學(xué)電子科學(xué)與工程學(xué)院，吉林 長春 130012；2. 吉林省啟明軟件園企業(yè)孵化有限公司，吉林 長春 130117)

動態(tài)圖像的拼接與運動目標檢測方法的研究

楊智堯1， 宋 欣2， 宋占偉1

(1. 吉林大學(xué)電子科學(xué)與工程學(xué)院，吉林 長春 130012；2. 吉林省啟明軟件園企業(yè)孵化有限公司，吉林 長春 130117)

動態(tài)圖像運動目標檢測是圖像處理中的熱點，但動態(tài)圖像的識別范圍卻成了目標檢測的限制，針對此問題，本文提出了一種利用圖像拼接技術(shù)擴展圖像識別范圍、并在此基礎(chǔ)上完成運動目標檢測的方法。在圖像拼接中采用了SURF圖像匹配算法，運動目標識別利用背景差分法，實驗中使用的是開源的Linux操作系統(tǒng)、以及為圖像處理提供了大量算法和函數(shù)的OpenCV軟件開發(fā)庫。針對不同分辨率、不同角度采集的圖像進行了實驗研究，結(jié)果表明，可以在較好滿足圖像識別范圍的同時，明確地檢測出運動目標的相關(guān)信息。同時，本文提出一種通過圖像拼接實現(xiàn)擴展運動目標檢測的方法，滿足了實時性要求，達到了增加圖像清晰度的目的，但是，在攝像設(shè)備與場景之間的相對運動方面還存在著有待解決的問題，這將成為今后研究的重點方向。

圖像拼接；SURF算法；運動目標檢測；背景差分法

靜止是相對的，運動是絕對的，動態(tài)圖像不僅給人們提供了直觀的動態(tài)視覺體驗，還包含了遠高于單幅圖像的信息量，因此對動態(tài)圖像的研究是現(xiàn)代圖像處理的一個熱點。動態(tài)圖像[1]處理的內(nèi)容主要有運動目標檢測，識別和跟蹤及目標行為的理解與描述。其中運動目標檢測作為計算機視覺的基礎(chǔ)被廣泛研究，但隨著人們對自動化、智能化提出更高的要求，圖像可識別范圍的局限性逐漸凸顯出來。通常人們會采用廣角攝像設(shè)備提高圖像范圍，但是廣角攝像設(shè)備卻存在著嚴重的失真，同時其價格遠高于普通攝像設(shè)備，因此本研究引入了圖像拼接技術(shù)[2]來增加圖像采集范圍。在拼接過程中對圖像進行了預(yù)處理，不但避免了廣角設(shè)備的失真，還增加了圖像的清晰度，使目標檢測更加準確可靠。為獲得用于拼接的多幅圖像，本研究采用了多傳感器的方式，既使用雙攝像頭來完成圖像采集。經(jīng)過一系列的優(yōu)化使本研究的成果有著相當廣泛的應(yīng)用前景，例如智能交通，軍事領(lǐng)域等。無論國內(nèi)外，在動態(tài)圖像目標識別方面都做了很多研究[3-5]，并且取得較好的成果，而且已有很多技術(shù)應(yīng)用到實際生活中，雖然國內(nèi)在這方面的研究相對落后于歐美等發(fā)達國家，但隨著國內(nèi)科技的不斷進步，以及計算機視覺的快速發(fā)展，動態(tài)圖像目標識別技術(shù)將會得到越來越多的重視。

1 動態(tài)圖像拼接

圖像拼接目的在于將多幅存在重疊部分的圖像拼接成一幅無縫隙高分辨率圖像。拼接的關(guān)鍵在于圖像配準與圖像融合，本研究除了考慮基礎(chǔ)的圖片拼接技術(shù)以外，還需完成提高圖像質(zhì)量，雙攝像頭圖像采集同步，及解決拼接過程速度提升等技術(shù)和算法問題，為運動目標檢測提供良好的基礎(chǔ)。

1.1 圖像拼接流程

從圖像拼接技術(shù)誕生至今，已形成一套相對完整的工作流程，根據(jù)本研究的過程給出相關(guān)闡述。首先，為減少圖像中噪聲與干擾的影響，滿足提高圖像質(zhì)量的要求，需要進行圖像的預(yù)處理，此過程主要完成一些圖像處理的基本操作，例如圖像去噪、邊緣提取以及直方圖處理等，同時還要對圖像進行某種變換，例如傅里葉變換，小波變換。

預(yù)處理完成后，進行的是拼接的關(guān)鍵技術(shù)——圖像配準，其目的是找出待拼接圖像的特征點在參考圖像中對應(yīng)的位置，根據(jù)對應(yīng)關(guān)系進行圖像變換，是本課題的關(guān)鍵，因為圖像配準不僅直接關(guān)乎拼接圖像的質(zhì)量，最主要的是這一過程所選算法的好壞將給運行時間帶來直接的影響。實驗初期要對攝像設(shè)備進行標定，標定方法為張正友棋盤格標定法，本次實驗采用的OpenCV函數(shù)庫，其提供了相關(guān)程序以及標定過程介紹。

課題采用了一種設(shè)置硬件的方法來對圖像配準進行簡化，根據(jù)攝像頭標定獲得的攝像設(shè)備相關(guān)參數(shù)，對兩個攝像頭的位置和角度進行固定，這樣就使得兩攝像頭采集的圖像保持一個確定的位置變換關(guān)系，可實現(xiàn)在最初幾幀圖像中通過配準獲得這一變換關(guān)系 H，將這一變換關(guān)系應(yīng)用到后續(xù)的各幀圖像中，即可省去圖像配準這一過程，從而大幅減少程序運行時間。根據(jù)變換關(guān)系 H，進行坐標系統(tǒng)的統(tǒng)一。最后進行圖像融合，將兩幅圖像的重疊部分合二為一，消除圖像拼接的痕跡，實現(xiàn)無縫拼接。圖 1為圖像拼接過程的基本流程。

1.2圖像配準算法分析

圖1 圖像拼接基本流程

目前在圖像配準方面已形成一套獨立的體系結(jié)構(gòu)，常見方法有：基于灰度信息的方法、基于變換域的方法和基于特征的方法。其中，基于特征的配準獲得的關(guān)注程度很高，因為圖像的特征對旋轉(zhuǎn)、尺度縮放、仿射變換都保持良好地不變性(scale invariant feature transform, SIFT)，對于噪聲和光照變換有較好地魯棒性(speeded up robust transform, SURF)。SIFT[6]和SURF[3]就是能夠滿足不變性與魯棒性的兩種常用算法，本課題就這兩種算法進行了研究。

1.2.1 SIFT與SURF

SIFT算法[4]被廣范應(yīng)用于圖像配準，SURF算法[5,7]與SIFT算法類似，可以說SURF算法是SIFT算法的優(yōu)化，SURF算法保持了SIFT算法優(yōu)良的穩(wěn)定性與魯棒性，同時還減少了檢測的時間，增加了實時性優(yōu)勢，這是本實驗采用SURF算法的主要原因。通過OpenCV庫中的FeatureDetector()類對兩種算法進行實際對比，圖 2給出對同一景物不同角度拍攝的圖像，對兩種方法進行了特征點檢測，表 1給出了檢測過程的相關(guān)參數(shù)。由此可以看出，SURF算法不僅檢測出足夠的特征點，而且檢測時間小于SIFT算法，這證明了選取SURF算法的合理性。

圖2 SIFT算法與SURF算法測得描述符示意圖

表1 SIFT算法與SURF算法測得描述符數(shù)目與運行時間

1.2.2 SURF算法解析

SURF圖像配準算法主要目的在于生成SURF描述子用以表示圖像的特征點， SURF算法采用了Hessian矩陣的行列式來進行圖像特征點[8]的判斷，Hessian矩陣的一般形式為：

式中，f(x, y)表示任一個函數(shù)，由式(1)得其行列式為：

通過對det(H)的符號進行判斷，可得知此點是否為極值點。對于一幅圖像 P1，設(shè)其像素點滿足函數(shù) I(x, y)，在此選取一種標準的二階高斯函數(shù)G (σ)作為濾波器，求得圖像的二階偏導(dǎo)數(shù)，根據(jù)等式(1)可得到圖像P1中各像素點對應(yīng)的Hessian矩陣形式為：

式中，X=(x, y)，而L(X,σ)是由I(x, y)與G (σ)卷積所得：

根據(jù)式(2)～(3)可以得到圖像P1的Hessian矩陣對應(yīng)的行列式，此處為方便應(yīng)用，將L(X,σ)替換為離散形式D(X,σ)，行列式為：

式中，ω為權(quán)值，引入ω的目的在于平衡準確值與近似值之間的誤差，通常情況下 ω是通過多次試驗而獲得的經(jīng)驗值。

通過源圖像與G (σ)卷積得到尺度空間，這也是SIFT與SURF時間差距的主要原因之一，SIFT尺度空間是對源圖像進行重復(fù)卷積所得，即下一幅圖像要利用本次的結(jié)果，SURF算法則通過調(diào)節(jié)濾波模板的大小同時處理多個層次，大大減小運行時間。尺度空間構(gòu)建完成后，通過相鄰點對比選取特征點，進而為特征點構(gòu)造描述算子，將特征點表示出來。

1.3 相關(guān)實驗內(nèi)容分析

本次實驗的拼接手段是Opencv中的Stitcher()結(jié)構(gòu)，函數(shù)內(nèi)部在配準算法方面采用的就是SURF算法，下面給出拼接部分的幾個主要函數(shù)：首先通過Stitcher::createDefault(bool try_use_gpu=false)對初始值、閾值進行設(shè)定，接下來的圖像配準函數(shù)Stitcher::estimateTransform(InputArray images, const std::vector＜std::vector＜Rect＞＞& rois)函數(shù)參數(shù)中images為輸入圖像組，參數(shù)rois是感興趣區(qū)域，由于只關(guān)心待配準圖像的重疊部分，對rois進行設(shè)定可以進一步節(jié)省時間。下一步是圖形融合Stitcher::composePanorama(InputArray images, OutputArray pano)根據(jù)變換關(guān)系對圖像進行融合，函數(shù)參數(shù)分別為輸入數(shù)組images，輸出結(jié)果pano。圖3為實際采集的兩幅圖像及其拼接后的圖像。

圖3 圖像拼接情況

2 動態(tài)圖像運動目標檢測

完成圖像拼接，獲得了廣視角的動態(tài)圖像，在此基礎(chǔ)上進行運動目標的檢測[9-10]。本實驗中，檢測的目的是從圖像序列中將運動目標與背景分離，并進行標識。

2.1 運動目標檢測的方法

目標檢測通常分為靜態(tài)背景與動態(tài)背景[11]兩部分，由于本課題在完成圖像拼接的基礎(chǔ)上進行目標檢測，考慮到算法的復(fù)雜程度，本研究重點為靜態(tài)背景的情況。下面對靜態(tài)處理方法進行簡要概述，并結(jié)合實際情況對算法作出合理選擇。

幀間差分，就是對相鄰兩幀進行差分，提取出兩幀中的變化目標，這種方法很難提取出完整目標。光流法，是一種相對復(fù)雜的算法，它主要是通過估計圖像的運動場，將相似的運動矢量合成起來，便構(gòu)成了所檢測的目標。雖然這種算法能夠產(chǎn)生良好地檢測效果，但是對噪聲很敏感，加之以復(fù)雜的計算過程，很難適應(yīng)本次實驗的要求。背景差分，將當前幀與背景幀相減，原理相對簡單，檢測速度也比較快，最重要的是能夠得到較為完整目標信息，但背景的構(gòu)造及更新是一個難點，本次實驗中采用的正是背景差分法。

2.2 背景差分法

對于一組動態(tài)圖像中的一幀，可用f(x, y)表示，背景則用B(x, y)表示，由此可得差分值D(x, y)：在本實驗中，背景的初值選擇為動態(tài)圖像的第一幀，完成差分后對D(x, y)進行二值化處理，根據(jù)相關(guān)實驗經(jīng)驗給出閾值 T，將低于閾值的像素賦值為0即為黑色，相反則賦值為255即為白色，而此白色部分便為運動目標，設(shè)二值化圖像函數(shù)為 I(x, y)，則：

對于背景更新，需采用的是基礎(chǔ)的加權(quán)更新原理：

式中，Bk(x, y),表示當前背景，而Bk-1(x, y)表示的是上一幀的背景，α 是加權(quán)值稱作更新率，根據(jù)式(8)可知，α 值的選取對背景更新帶來很大影響，當α 值過大背景更新很快，但會引入噪聲，而α 值過小背景更新過慢，根據(jù)實驗對比α 值取在0.01到0.10之間較為合理。圖4為α 取0.05時得到的運動目標檢測情況。

圖4 運動目標檢測情況

3 實驗內(nèi)容與結(jié)果

根據(jù)需求進行硬件設(shè)備的選擇，實驗的重點是實時性，要求硬件設(shè)備有足夠的運行速度，其次還需考慮可行性、實用性等問題，合理選定設(shè)備。本實驗選擇的主要處理設(shè)備為Intel Core2雙核 2.0 GHz CPU，攝像設(shè)備為市場上廣泛使用的USB攝像頭中微星ZC0301。軟件方面，采用的是Linux系統(tǒng)，加之以廣泛應(yīng)用于圖像處理的Opencv圖形開發(fā)庫，實現(xiàn)動態(tài)圖像拼接、運動目標檢測。

實驗初期設(shè)定了兩攝像頭的角度與距離，因此攝像頭參數(shù)之間有一個固定變換關(guān)系，可采用只在最初幾幀測定此變換關(guān)系的方法，來減少匹配時間的消耗，而實驗過程中會以一定的時間間隔進行變換關(guān)系的再匹配，以克服光照變換所帶來的影響。

對一般視頻而言，圖像每秒幀數(shù)為25 fps，對于本實驗，在滿足圖像拼接與目標識別的同時，很難達到這一要求，因此應(yīng)當在滿足人眼的動態(tài)視覺要求的前提下，適當減少圖像幀數(shù)。表 2展示本實驗在不同分辨率下有、無ROI等情況下的幀數(shù)。

表2 圖像幀數(shù)情況

硬件設(shè)備配置完成，軟件開發(fā)完畢，所得實驗結(jié)果如圖5所示。從圖5中可以看出，通過圖像拼接完成了識別范圍擴展，在此基礎(chǔ)之上精準完成了運動目標的識別。圖中邊緣部分的不整齊是圖像匹配造成的，這一點可以通過邊緣裁剪來解決，總體上本實驗已達到課題目標。

圖5 圖像拼接與運動目標識別整體結(jié)果

4 結(jié) 論

本次課題研究主要實現(xiàn)了在完成動態(tài)圖像運動目標檢測的同時，通過圖像拼接技術(shù)擴大了圖像識別的范圍，以節(jié)約資源為前提克服了當前目標檢測識別范圍不足的缺陷，通過合理選擇圖像配準算法，調(diào)整圖像分辨率，以及圖像ROI來減少圖像拼接的時間消耗，可產(chǎn)生滿足人眼要求的、清晰度要求的準實時動態(tài)圖像，并根據(jù)背景差分法，清晰地提取出運動目標的輪廓信息，為接下來的目標分析打下了良好的基礎(chǔ)。綜合本次課題的結(jié)果，以及實驗過程中所遇到的問題，對相關(guān)研究方向的未來發(fā)展做出展望，今后的重點目標是本次實驗所未解決的動態(tài)背景下的目標檢測，以及如何進一步提高圖像分辨率等問題。

[1] Zitova′ B, Jan F. Image registration methods：a survey [J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[2] 王 娟, 師 軍, 吳憲祥. 圖像拼接技術(shù)綜述[J]. 計算機應(yīng)用研究, 2008, 25(7): 1940-1943.

[3] 時 磊, 謝曉方, 喬勇軍. 基于SURF算法和OpenCV的人臉特征檢測技術(shù)研究[J]. 計算機與數(shù)字工程, 2010, 38(2): 124-126.

[4] Cai Guorong, Jodoin P M, Li Shaozi, Wu Yundong, Su Songzhi, Huang Zhenkun. Perspective-SIFT： an efficient tool for low-altitude remote sensing image registration [J]. Signal Processing, 2013, 93(11): 3088-3110.

[5] 張亞娟. 基于SURF特征的圖像與視頻拼接技術(shù)的研究[D]. 西安: 西安電子科技大學(xué), 2013.

[6] Yang Fan, Deng Zhensheng, Fan Qiuhong. A method for fast automated microscope image stitching [J]. Micron, 2013, 48: 17-25.

[7] 仝如強, 黃玉清, 田瑞娟. SURF算法及其對運動目標的檢測跟蹤效果[J]. 西南科技大學(xué)學(xué)報, 2011, 26(3): 63-67.

[8] Nascimento E R, Oliveira G L, Vieira A W, Campos M F. On the development of a robust, fast and lightweight keypoint descriptor [J]. Neurocomputing, 2013, 120(S1): 141-155.

[9] 張曉慧. 視頻監(jiān)控運動目標檢測算法的研究與實現(xiàn)[D].西安: 西安電子科技大學(xué), 2012.

[10] Maillard J, Leny M, Diakhaté H. Enhancing the audience experience during sport events：real-time processing of multiple stereoscopic cameras [J]. Annals of Telecommunications, 2013, 68(11-12): 657-671.

[11] Ali I, Dailey M N. Multiple human tracking in high-density crowds [J]. Image and Vision Computing, 2012, 30(12): 966-977.

The Research of Dynamic Image Mosaic and Moving Object Detection Method

Yang Zhiyao1, Song Xin2, Song Zhanwei1
(1. College of Electronic Science and Engineering, Jilin University, Changchun Jilin 130012, China; 2. Qiming Software Park Business Incubation CO., LTD, Changchun Jilin 130117, China)

The moving object detection of dynamic image, in the modern world is a key point, a difficult point and also a hotspot in image processing, it has a lot of useful application, such as keep a lookout over traffic situation in intelligent transportation, the precise guidance in military affairs and so on, but the recognition range of dynamic image has been the limitation of moving object detection. In order to solve this problem, this paper have made a research and put forward a kind of new method that using image mosaic technology to expand the scope of image recognition, and then based on the wide angle image we have get to finishing the detection of moving object. In this experiment, first we considered the problem of real-time and then we choose the SURF (speeded up robust transform) as an image matching algorithm instead of the SIFT (scale invariant feature transform) which is usually adopted in image mosaicking, because of the SURF algorithm can provide enough characteristic points and on other hand it’s working speed is faster than SIFT algorithm, and after the image mosaic we start to do the detection work about the moving object, at this time we took advantage of the background difference method, which can help us detect the moving object completely and quickly. Second, we considered the problem of practicability and then we choose the open source systemLinux as the operating system and the software library which named OpenCV is used in this experiment as the tool of image processing which can provided a large number of algorithms and functions, the reason that we choose this software is that all of them are free. We can get them through the internet easily. We use the image that we take about one sight from different angle, different distance and the image with different resolution rate to do this experiment, so that we can have a general result. At the end of this experiment, the study results show that, we can get the dynamic image that satisfy the requirement of real-time and the enhancement of the resolution rate, and it can detect the moving object clearly and get the useful information of the moving object completely, at the same time this study can gave a more spacious image recognition range. In this paper we put forward a new kind of moving target detection method which can gave a widely recognition range of an image by image mosaic, and at the same time on one hand we can fulfil the real-time requirements, also can fulfill the requirements of practicability, on the other hand we can also increase the image resolution rate. However, there is still some problem we can’t solve in this study, just like the relatively motion between the camera and the sight. After finish the work of this research we will start to make a deep study about this topic so that at the next study we will take steps to solve the problem persist.

image mosaic; speeded up robust transform; moving target detection; background difference

TP 391

A

2095-302X(2014)06-0893-06

2014-06-04；定稿日期：2014-07-16

長春市物聯(lián)網(wǎng)重大科技專項資助項目(2011144)

楊智堯(1989-)，男，吉林白山人，博士。主要研究方向為圖像處理、嵌入式系統(tǒng)研究。E-mail：naruto_yang@163.com

宋占偉(1962-)，男，吉林長春人，教授，博士。主要研究方向為數(shù)字信號處理、圖像處理、智能交通、嵌入式系統(tǒng)研究。E-mail：songzw@jlu.edu.cn