基于運動輪廓標記提取的分水嶺運動目標檢測

佘 青 山， 楊 偉 健， 田 卓， 李 前 戎， 孟 明

( 杭州電子科技大學 智能控制與機器人研究所， 浙江 杭州 310018 )

?

基于運動輪廓標記提取的分水嶺運動目標檢測

佘 青 山*， 楊 偉 健， 田 卓， 李 前 戎， 孟 明

( 杭州電子科技大學 智能控制與機器人研究所， 浙江 杭州 310018 )

針對運動目標差分相乘產生的空洞問題，提出了一種基于運動區域輪廓信息和自適應標記約束的分水嶺運動目標檢測新算法，來實現移動機器人平臺上較大運動目標的完整檢測．首先，結合相位相關法和Fourier-Mellin變換配準圖像的縮放和平移量；然后，利用運動區域輪廓信息和分層投影法來提取前景和背景標記．先通過連續三幀配準圖像差分相乘方法檢測出運動區域輪廓，并結合形態學腐蝕、膨脹操作和投影法生成前景和背景標記模板；再將前景和背景標記模板分為若干層，通過水平投影得到每一層輪廓的邊界點，并按一定方式連接得到前景和背景標記；最后，根據重構的梯度圖像，用標記約束分水嶺分割出完整的運動區域．實驗結果表明，該算法能夠準確完整地分割出規則和非規則運動目標，具有較好的實時性．

運動目標檢測；圖像配準；標記約束分水嶺；移動機器人

0 引 言

視頻序列圖像中運動目標的檢測是基于視覺的智能系統的重要部分，在機器人技術、人工智能、人機交互等領域都有著廣泛的應用，其效果好壞將直接影響后續工作．隨著近年來機器人技術的迅猛發展，基于視覺的移動機器人運動目標檢測成為研究的熱點[1-4]．

移動機器人平臺上獲取的序列圖像背景是動態的．目前常見的動態背景下運動目標檢測方法主要有光流法[4-5]和基于運動補償方法[6-9]．光流法能夠克服復雜無規律的運動背景，較完整地檢測出運動目標，但其計算耗時，實時性差，并不適用于移動機器人平臺的運動目標檢測．基于運動補償的方法應用較廣，是一種通過連續數幀的背景配準將動態背景運動目標檢測轉為趨于成熟的靜態運動目標檢測的方法，其中，差分相乘[7]是靜態運動目標檢測的常用方法．然而大運動目標和小運動目標相比，在數幀圖像后更容易出現運動目標的重疊，再對其進行差分相乘檢測就比較容易產生空洞，往往還需要后續諸如形態學填充等方法對其完整分割．

針對上述問題，本文提出一種基于運動區域輪廓信息和自適應標記約束的分水嶺運動目標檢測新算法，即根據運動目標輪廓信息和分層投影提取的前景和背景標記，完整表示整個運動目標，再用該標記約束的分水嶺分割出運動區域，以準確完整地檢測出較大的規則和非規則運動目標．

1 算法描述

1.1 動態背景圖像配準

相位相關算法[10-11]是一種基于傅里葉功率譜的頻域相關技術，它只利用互功率譜中的相位信息，對光照變化、圖像內容、部分遮擋、加性噪聲等影響因素具有很強的魯棒性，而且算法計算量小，同時相位信息包含了大量的圖像特征信息，因此適用于移動機器人平臺所采集背景圖像的實時配準．移動機器人具有前、后、左、右4個基本運動狀態，不同的運動狀態會造成不同的背景變化．背景圖像的配準主要包括平移、旋轉和縮放3個基本過程．因此在移動機器人不同的運動狀態下可將圖像配準過程分為以下兩種：

(1)當移動機器人左右轉動時，序列圖像幀間背景可以近似作平移變化，用相位相關估計出幀間背景圖像的平移量，并完成圖像的配準；

(2)當移動機器人前后運動時，序列圖像幀間背景并不僅僅是簡單的平移變化，還存在縮放變化，因此不同于移動機器人左右轉時的配準算法，其具體算法步驟如下：

Step1用Fourier-Mellin變換[12]估計出一致尺度縮放因子；

Step2利用縮放因子對原圖像序列進行縮放補償；

Step3根據估計的平移量完成對圖像配準；

Step4用相位相關算法對縮放補償后的圖像序列進行平移量計算．

1.2 自適應標記提取

哺乳期早期乳腺炎是因金黃色葡萄球菌、白色葡萄球菌等感染所致,在發病早期若不采取及時有效的干預手段,可能會導致治療不當或者治療不及時,而引起化膿問題,從而使得患者往往需要遭受換藥和手術的而痛苦,甚至不得不停止哺乳。早期階段多表現為乳汁排泄不暢、局部疼痛性腫塊,皮膚微紅等癥狀,對此,西醫多以吸奶器給予干預,但其療效并不理想,甚至還可能致使癥狀加重[3]。中醫認為引起“乳癰”的病因,多是由于乳汁瘀積而導致的,為此,在治療中當以“以通論治”、“以通為用”為主要治療原則。

分水嶺分割算法模擬地貌浸水的過程，是一種經典的形態學圖像分割算法．基于標記提取的分水嶺分割是一種有效的運動目標分割方法，通過提取與運動區域相關的標記，可以提高分割的精確性．標記約束分水嶺是從標記指定區域開始浸水，只要對運動區域進行合適的標記就可以對其進行準確提取．運動區域最直觀的信息是運動區域邊緣輪廓，因此，運動區域的標記可以通過其輪廓信息來獲得．

前景標記和背景標記提取得好壞將直接影響到最后運動區域分割的完整性．為了保證算法的實時性和運動區域分割的完整性，本文提出了一種基于運動輪廓和分層投影的方法來提取前景和背景標記．先用連續三幀配準圖像差分相乘方法檢測出運動區域輪廓，然后結合形態學膨脹、腐蝕和投影法生成前景和背景標記模板，再分別利用分層投影法提取前景和背景標記．具體實現步驟如下：

(1)運動區域輪廓檢測．對圖像進行運動補償后，圖像間的背景差異減小，因此可以利用幀間差分法檢測運動目標．然而，圖像中光照變化、背景噪聲和圖像配準誤差等因素的影響，使得二值幀差圖存在除運動目標以外的偽運動目標點和噪聲點，必須有效消除這些偽運動目標點和隨機分布的噪聲點才能準確地檢測出運動目標．考慮到緩慢的運動目標幀間必然存在運動重疊區域，因此用圖像差分相乘方法可以有效排除偽運動目標點和噪聲點，精確檢測出運動目標輪廓．

綜合考慮運動目標的分割精度和速度等影響因素，本文用連續三幀配準圖像差分相乘方法檢測運動目標輪廓．任意取連續的三幀圖像fk-1(x,y)、fk(x,y)和fk+1(x,y)，將fk-1(x,y)和fk+1(x,y)兩幀向fk(x,y)配準，得到配準后的三幀圖像f′k-1(x,y)、fk(x,y)和f′k+1(x,y)，然后進行差分相乘，差分相乘計算模型如下：

f(x,y)=[f′k-1(x,y)-fk(x,y)]× [f′k+1(x,y)-fk(x,y)]

(1)

式中：f(x,y)為差分相乘后的運動目標輪廓圖像．通過差分相乘，偽運動目標點和噪聲點得到抑制，目標運動區域輪廓的像素點得到增強．然而，f(x,y)中可能還殘留一些孤立的噪聲點，因此，本文還對f(x,y)進行形態學圖像處理，得到f′(x,y)．

(2)前景和背景標記模板生成．先對f′(x,y)進行形態學膨脹處理得到f′A(x,y)(膨脹后的運動區域輪廓邊界處于背景區域)，再對f′(x,y)進行形態學腐蝕處理得到f′B(x,y)(腐蝕后的運動區域輪廓邊界處于前景區域)，然后采用投影法分別對f′A(x,y)和f′B(x,y)中的運動區域輪廓進行定位，即將f′A(x,y)和f′B(x,y)作水平和垂直方向的投影，得到運動區域輪廓的外接矩形，并將得到的外接矩形區域作為接下來標記提取的背景和前景標記模板．顯然，將外接矩形區域作為標記模板，可以有效降低接下來標記提取時遍歷圖像過程的耗時．

需要注意的是，由于不能確保f′A(x,y)和f′B(x,y) 是零噪聲圖像，殘余的噪聲仍然會對投影得到運動區域輪廓外接矩形的大小和位置產生影響．因此，為了排除投影時一些毛刺等噪聲的干擾，本文考察了以突變點為中心的鄰域內是否包含連續或多個投影點，若沒有，則認為此突變點為干擾點，予以去除，并得到準確的運動區域輪廓外接矩形．

Step1以h為層高對f′A(x,y)和f′B(x,y)的外接矩形區域進行水平分層，分層后得到的層數

(2)

α={f′A(x,y),f′B(x,y)}

式中：ceil為向上取整函數，Hα為圖α外接矩形高度．

Step2將每一水平層進行x軸投影，分別得到每一層輪廓的左右邊界橫坐標信息，再將每一層一半高度處作為左右邊界點縱坐標信息，最終得到nα個左邊界點Plα[(x,y)|i]和nα個右邊界點Prα[(x,y)|i]，如式(3)所示:

(3)

i=1,2,…,nα,α={f′A(x,y),f′B(x,y)}

式中：Xmin,i、Xmax,i分別為圖α外接矩形第i層的左右輪廓邊界橫坐標值．

Step3分別獲取背景標記模板f′A(x,y)頂層和底層之外的兩個點Ptop(x,y)和Pbottom(x,y)，坐標值如式(4)所示：

(4)

Step4將f′A(x,y)中所得的2nα個邊界點以及Ptop(x,y)和Pbottom(x,y)兩點首尾相連得到連續封閉的背景標記．

Step5將f′B(x,y)中每一層的兩個左右邊界點相連，再將相鄰層左右邊界點首尾相連，最終得到連續的、能夠較好反映運動區域的前景標記．

利用本文基于運動輪廓和分層投影的方法提取的前景和背景標記，能夠反映出實際運動區域的輪廓，為接下來分水嶺分割提供準確的感興趣區域．

1.3 分水嶺分割

將上一小節提取的前景標記和背景標記相“并”，作為標記掩模，使用強制最小技術[13]強制性地將提取的標記作為梯度圖像的極小值，并重構梯度圖像，再對重構的梯度圖像進行分水嶺分割，得到最終分割的運動區域．

2 實驗結果與分析

2.1 算法流程

移動機器人平臺的運動目標檢測的詳細算法如圖1所示．

2.2 實驗結果與分析

根據上述介紹的圖像配準和運動目標檢測算法，本文在VS2010和OpenCV軟件平臺上編寫完成實驗程序，并在搭建的移動機器人實驗平臺(如圖2所示)上驗證算法在左轉、右轉和前進3種不同運動狀態下的有效性．

圖1 運動目標檢測流程圖

圖2 移動機器人實驗平臺

首先，對本文算法的可行性進行了實驗測試．綜合考慮本文算法對較大規則和非規則運動目標分割的有效性以及移動機器人實驗平臺空間的局限性，本實驗選取了3種運動目標圖像序列來進行算法的可行性驗證:

(1)機器人移動平臺右轉過程拍攝的較大且相對規則頭部擺動的圖像序列;

(2)機器人移動平臺左轉過程拍攝的較大且非規則瓶子移動的圖像序列;

(3)機器人移動平臺前進過程拍攝的非規則手部移動的圖像序列．

所有圖像序列是通過移動機器人實驗平臺上的筆記本內置攝像頭采集的，幀頻為25 f/s，同時考慮到實驗過程的安全性，移動機器人實驗平臺前進速度為0.11 m/s，左/右轉速度均為0.26 rad/s．

實驗結果如圖3～5所示．圖3是頭部運動圖像序列第32～34幀圖像運動目標檢測結果，圖4是瓶子運動圖像序列第45～47幀圖像運動目標檢測結果，圖5是手部運動圖像序列第52～54幀圖像運動目標檢測結果．在圖3～5中，圖(a)、(b)和(c)分別是連續三幀原始運動目標圖像序列．先將圖(a)相對圖(b)配準，圖(c)相對圖(b)配準，配準后的圖像如圖(d)和(f)所示．需要說明的是，由于移動機器人實驗平臺運動速度緩慢，相鄰幀之間背景變化較小，因此配準后的圖(d)和(f)幾乎與原圖像序列一致．然后，將圖(d)與圖(e)和圖(e)與圖(f)分別進行差分，并將差分結果相乘，通過生成的標記模板和分層投影方法提取出能夠完整覆蓋整個運動區域的前景和背景標記結果圖(g)．考慮到算法的實時性和分割效果，本文實驗中取h=10，表示每一層的層高為10 pixel．最后，通過標記掩模梯度重構后分水嶺分割，得到運動目標檢測結果圖(h)．

從實驗結果來看，圖3(h)和圖5(h)能夠較完整地分割出運動目標，而圖4(h)的分割結果出現了一個小缺口，這主要是由于透明水瓶跟背景重疊部分的灰度值與背景中衣服的灰度值相近，分水嶺分割時誤將前景標記未覆蓋的區域歸為背景區域．

其次，將本文算法與背景補償后差分相乘算法的分割結果進行了比較．由圖3(h)與圖3(i)、圖4(h)與圖4(i)和圖5(h)與圖5(i)對比可得，由于數幀后仍存在運動目標本身的重疊，差分相乘算法分割結果存在著較大空洞，而本文算法在準確提取前景和背景標記的前提下能夠較完整地分割出運動區域．

圖3 右轉過程實現結果

圖4 左轉過程實現結果

圖5 前進過程實現結果

最后，對算法的實時性做了測試．算法耗時測試環境為主頻2.4 GHz，內存4 GB的PC機．本文前景和背景標記的提取等過程是在運動目標所在區域進行的，整個算法的耗時與運動目標的大小存在正比關系．因此，本文對實驗中最大運動目標，即頭部擺動過程進行10次測試，測試結果如圖6所示，其中測試的圖像序列大小為320 pixel×240 pixel．從圖中可知，整個算法平均每幀處理速度在32 ms左右，可以滿足實時視頻處理的需求．

圖6 算法耗時統計圖

3 結 語

本文對移動機器人平臺的運動目標檢測方法進行研究，實現了較大運動目標的完整檢測．提出了一種基于運動區域輪廓信息和自適應標記約束的分水嶺運動目標檢測新算法．其中，前景標記和背景標記提取的質量將直接影響到最后運動區域分割的完整性．系列實驗結果顯示，本文算法提取的前景和背景標記能夠準確反映出實際運動區域的輪廓，最終有效地分割出規則和非規則運動目標．同時，將本文算法與差分相乘檢測方法進行比較，結果顯示，本文算法能夠完整地分割出運動目標．最后，還對本文算法的實時性做了測試，結果表明，整個算法具有較高的實時性，可以滿足視覺系統的實時需求．

[1] Ruiz-del-Solar J, Vallejos P A. Motion detection and tracking for an AIBO robot using camera motion compensation and Kalman filtering [J].LectureNotesinComputerScience, 2005,3276:619-627.

[2] 蘇麗穎,王樹才,余躍慶. 移動機器人室內運動目標檢測的一種新方法[J]. 華中科技大學學報:自然科學版, 2011,39(2):212-215.

SU Li-ying, WANG Shu-cai, YU Yue-qing. A new method of moving object detection for indoor mobile robot [J].JournalofHuazhongUniversityofScienceandTechnology:NaturalScienceEdition, 2011,39(2):212-215. (in Chinese)

[3] WU Ming, SUN Ji-ying. Simultaneous localization, mapping and detection of moving object with mobile robot in dynamic environments [C] //ICCET2010-2010IEEEInternationalConferenceonComputerEngineeringandTechnology,Proceedings. Piscataway:IEEE Computer Society, 2010:696-701.

[4] Fernandez-Caballero A, Castillo J C, Martinez-Cantos J. Optical flow or image subtraction in human detection from infrared camera on mobile robot [J].RoboticsandAutonomousSystems, 2010,58(12):1273-1281.

[5] Dessauer M P, Dua S. Optical flow object detection, motion estimation, and tracking on moving vehicles using wavelet decomposition [C] //ProceedingsofSocietyofPhoto-OpticalInstrumentationEngineers. Bellingham:SPIE, 2010:1-10.

[6] Jung B, Sukhatme G S. Detecting moving objects using a single camera on a mobile robot in an outdoor environment [C] //Proceedingsofthe8thInternationalConferenceonIntelligentAutonomousSystems. Amsterdam:IAS, 2004:980-987.

[7] 周許超,屠大維,陳 勇,等. 基于相位相關和差分相乘的動態背景下運動目標檢測[J]. 儀器儀表學報, 2010,31(5):980-983.

ZHOU Xu-chao, TU Da-wei, CHEN Yong,etal. Moving object detection under dynamic background based on phase-correlation and differential multiplication [J].ChineseJournalofScientificInstrument, 2010,31(5):980-983. (in Chinese)

[8] 王 梅,屠大維,周許超. SIFT特征匹配和差分相乘融合的運動目標檢測[J]. 光學精密工程, 2011,19(4):892-899.

WANG Mei, TU Da-wei, ZHOU Xu-chao. Moving object detection by combining SIFT and differential multiplication [J].OpticsandPrecisionEngineering, 2011,19(4):892-899. (in Chinese)

[9] 易 盟,郭寶龍,嚴春滿. 結合優化梯度濾波與投影不變的航拍視頻配準[J]. 光學精密工程, 2012,20(3):651-660.

YI Meng, GUO Bao-long, YAN Chun-man. Aerial video registration combining optimal gradient filters and projective invariant [J].OpticsandPrecisionEngineering, 2012,20(3):651-660. (in Chinese)

[10] Kuglin C D, Hines D C. The phase correlation image alignment method [C] //ProceedingsofIEEEInternationalConferenceonCyberneticsandSociety. New York:IEEE Cybernetics and Society, 1975:163-165.

[11] 王 運,顏昌翔. 光譜儀圖像的亞像素配準[J]. 光學精密工程, 2012,20(3):661-667.

WANG Yun, YAN Chang-xiang. Sub-pixel image registration of spectrometer images [J].OpticsandPrecisionEngineering, 2012,20(3):661-667. (in Chinese)

[12] Chen Q S, Defrise M, Deconinck F. Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1994,16(12):1156-1168.

[13] Soille P.MorphologicaImageAnalysisPrincipleandApplication[M]. 2nd ed. Berlin:Spring-Verlag, 2003.

Movingobjectdetectionbymarker-extractedwatershedbasedonmotioncontour

SHE Qing-shan*, YANG Wei-jian, TIAN Zhuo, LI Qian-rong, MENG Ming

( Institute of Intelligent Control and Robotics, Hangzhou Dianzi University, Hangzhou 310018, China )

Aiming at the problem of empty caused by using difference multiplication to a moving object, a new algorithm is introduced based on motion region contour and adaptive marker-constrained watershed to realize the integrity of bigger moving object detection on a mobile robot platform. Firstly, scaling and translating of background caused by the mobile robot are matched using the phase correlation and Fourier-Mellin transform algorithm. Secondly, the foreground and background markers are extracted based on motion region contour and layered projection method. The motion region contour is detected by multiplying the two difference images of three frames. And then, through the combination of the open, close operation and projection method, the foreground and background marker templates are generated. These marker templates are divided into several layers, and the foreground and background markers are extracted via connecting the boundary points of each layer in a certain way, these boundary points are gained by horizontal projection. Finally, based on the reconstructed gradient image, the motion region is completely segmented using the marker-constrained watershed algorithm. The experimental results demonstrate the effectiveness of the algorithm for segment of ordered and dis-ordered moving objects and its real-time performance.

moving object detection; image registration; marker-constrained watershed; motion robot

1000-8608(2014)06-0656-06

2014-04-08；

: 2014-09-22．

國家自然科學基金資助項目(61201302)；浙江省科技計劃資助項目(2012C33075)；浙江省國際科技合作項目(2013C24016).

佘青山*(1980-)，男，博士，副教授，E-mail:qsshe@hdu.edu.cn.

TP391.41

：Adoi:10.7511/dllgxb201406010