基于行為視覺的運(yùn)動(dòng)過程合理化圖像分解研究

馬德+李少聰+劉格+張軍峰

摘 要： 針對(duì)現(xiàn)行的圖像分解方法對(duì)于分割精確的運(yùn)動(dòng)目標(biāo)可以準(zhǔn)確地進(jìn)行分解，但當(dāng)運(yùn)動(dòng)環(huán)境復(fù)雜、運(yùn)動(dòng)目標(biāo)分割過程中受到陰影干擾而導(dǎo)致運(yùn)動(dòng)目標(biāo)形狀特征發(fā)生突變，進(jìn)一步導(dǎo)致圖像分解抗噪性能差，陰影區(qū)域去除不完全、分割精度低等問題，提出一種基于行為視覺的運(yùn)動(dòng)過程合理化圖像分解方法。采用背景去除法提取運(yùn)動(dòng)區(qū)域，依據(jù)運(yùn)動(dòng)目標(biāo)幾何特征對(duì)是否存在運(yùn)動(dòng)區(qū)域陰影部分進(jìn)行判斷及粗分割，結(jié)合區(qū)域一致性測(cè)度方法對(duì)陰影區(qū)域中全影及半影進(jìn)行有效檢測(cè)和去除。依據(jù)運(yùn)動(dòng)目標(biāo)外觀表征構(gòu)建了一種能量變化圖，提取出描述運(yùn)動(dòng)目標(biāo)形狀信息和運(yùn)動(dòng)信息的行為特征，利用運(yùn)動(dòng)行為特征作為聚類中心，采用人工蜂群模糊聚類方法求解運(yùn)動(dòng)過程圖像中的最優(yōu)聚類中心，依據(jù)最大隸屬度原則對(duì)運(yùn)動(dòng)過程圖像進(jìn)行分解。實(shí)驗(yàn)結(jié)果表明，該方法有效去除了運(yùn)動(dòng)目標(biāo)圖像陰影區(qū)域，具有抗噪性強(qiáng)、分解精度高等優(yōu)點(diǎn)。

關(guān)鍵詞： 行為視覺； 運(yùn)動(dòng)過程； 合理化； 圖像分解； 分割精度； 聚類中心

中圖分類號(hào)： TN911.73?34； TP391.41 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）04?0180?03

Abstract： In allusion to the problem that the current image decomposition method can accurately decompose the moving targets with segmentation precision， but when the motion environment is complex and the segmentation process of moving targets is interfered by shadow， the shape characteristics of moving targets change suddenly， and the anti?noise performance of image decomposition becomes worse with incomplete shadow area removal and low segmentation precision， a motion process rationalization method for image decomposition based on behavioral vision is proposed. The background removal method is adopted to extract the motion area. The shadow area of the motion area is judged and coarsely divided according to the geometric features of moving targets. The full shadows and penumbras in the shadow area are effectively detected and removed with the region consistency measurement method. According to the appearance of moving targets， an energy variation map is constructed to extract the behavioral features that describe the shape information and motion information of moving targets. With motion behavior features as the clustering center， the artificial bee swarm fuzzy clustering method is used to solve the best cluster center in motion process images. According to the maximum membership degree principle， the motion process images are decomposed. The experimental results show that this method can effectively remove the shadow area of moving target images and has the advantages of strong anti?noise performance and high decomposition precision.

Keywords： behavioral vision； motion process； rationalization； image decomposition； segmentation precision； clustering center

運(yùn)動(dòng)行為視覺分析作為近年來計(jì)算機(jī)視覺領(lǐng)域中關(guān)注的重點(diǎn)，而運(yùn)動(dòng)過程圖像分解技術(shù)是行為視覺合理化分析研究中的首要問題。目標(biāo)運(yùn)動(dòng)過程中圖像分解的研究不僅可以使目標(biāo)行為判斷工作突破當(dāng)前應(yīng)用領(lǐng)域的“瓶頸”，其研究成果還可以應(yīng)用于如視頻監(jiān)控、人機(jī)交互、輔助臨床醫(yī)療診斷等多個(gè)領(lǐng)域[1]。目前多數(shù)運(yùn)動(dòng)過程行為圖像分解研究中，由于缺乏對(duì)復(fù)雜環(huán)境下運(yùn)動(dòng)過程合理化分解的有效手段，很多方法對(duì)分解問題沒有進(jìn)行深入研究。另外，當(dāng)前運(yùn)動(dòng)過程圖像分解方法多數(shù)在給定環(huán)境下進(jìn)行，當(dāng)運(yùn)動(dòng)目標(biāo)在特殊位置或給定環(huán)境下變化時(shí)，很多方法無法做到自適應(yīng)處理。

趙東等人提出一種針對(duì)簡單背景下運(yùn)動(dòng)圖像進(jìn)行分解時(shí)采用的多目標(biāo)優(yōu)化方法[2]。將時(shí)間以及環(huán)境因素視為動(dòng)態(tài)因子，利用K均值算法建立運(yùn)動(dòng)圖像多目標(biāo)函數(shù)，結(jié)合多目標(biāo)粒子群算法，采用背景差分法描述運(yùn)動(dòng)環(huán)境變化規(guī)則，實(shí)現(xiàn)運(yùn)動(dòng)過程圖像分解。該方法對(duì)于分割精確的運(yùn)動(dòng)目標(biāo)可以準(zhǔn)確地進(jìn)行分解，但當(dāng)運(yùn)動(dòng)環(huán)境復(fù)雜、特別是在運(yùn)動(dòng)目標(biāo)分割過程中受到陰影干擾導(dǎo)致了運(yùn)動(dòng)目標(biāo)形狀特征發(fā)生突變，進(jìn)一步導(dǎo)致圖像分解抗噪性能差，陰影區(qū)域去除不完全、分割精度低等問題。對(duì)上述問題進(jìn)行改進(jìn)，提出一種基于行為視覺的運(yùn)動(dòng)過程合理化圖像分解方法。endprint

實(shí)驗(yàn)結(jié)果表明，該方法有效去除了運(yùn)動(dòng)目標(biāo)圖像全影區(qū)域以及半影區(qū)域，具有抗噪性強(qiáng)，分解精度高等優(yōu)點(diǎn)。

1 基于行為視覺的運(yùn)動(dòng)過程合理化圖像分解

1.1 基于場(chǎng)景變化分析的自適應(yīng)背景更新方法

幾乎所有的運(yùn)動(dòng)目標(biāo)行為視覺分析首先都要進(jìn)行目標(biāo)運(yùn)動(dòng)過程檢測(cè)，對(duì)運(yùn)動(dòng)過程進(jìn)行檢測(cè)的目的是從運(yùn)動(dòng)過程圖像序列中分割出與運(yùn)動(dòng)目標(biāo)相對(duì)應(yīng)的區(qū)域[3]。采用背景去除法提取運(yùn)動(dòng)區(qū)域，依據(jù)運(yùn)動(dòng)目標(biāo)幾何特征對(duì)是否存在運(yùn)動(dòng)區(qū)域陰影部分進(jìn)行判斷及粗分割，結(jié)合區(qū)域一致性測(cè)度方法對(duì)陰影區(qū)域中全影及半影進(jìn)行有效檢測(cè)和去除。

采用近鄰兩幀運(yùn)動(dòng)過程圖像及背景模型對(duì)運(yùn)動(dòng)變化區(qū)域進(jìn)行檢測(cè)，以運(yùn)動(dòng)變化區(qū)域的大小對(duì)運(yùn)動(dòng)場(chǎng)景變化進(jìn)行分析[4]。當(dāng)運(yùn)動(dòng)場(chǎng)景內(nèi)光線發(fā)生變化時(shí)，運(yùn)動(dòng)場(chǎng)景內(nèi)的變化范圍會(huì)較大。當(dāng)發(fā)現(xiàn)運(yùn)動(dòng)過程圖像目標(biāo)在給定時(shí)間內(nèi)不再運(yùn)動(dòng)，將其歸類于衍生背景，將目標(biāo)疊加在原始運(yùn)動(dòng)過程背景中[5]。假設(shè)，運(yùn)動(dòng)過程圖像當(dāng)前像素點(diǎn)的坐標(biāo)是[（i，j）]，其相應(yīng)的鄰域?yàn)閇R={（m，n）（m-i）≤L}]，[L]用于描述其鄰域長度的[12]。[lθ]表示過中心點(diǎn)且角度為[θ]的一條直線，并將此鄰域劃分為[Sθ1]和[Sθ2]，則方向性運(yùn)動(dòng)過程圖像信息測(cè)度[Mθ]為：

式中：[dθmax]，[dθmin]分別表示最大、最小測(cè)度；[xij]用于描述運(yùn)動(dòng)過程圖像像素點(diǎn)[（i，j）]的灰度值。從原始運(yùn)動(dòng)過程圖像中獲得觀測(cè)尺度較小時(shí)的方向性信息測(cè)度[MS]以及觀測(cè)尺度較大時(shí)的方向性信息測(cè)度[ML]，將這兩項(xiàng)進(jìn)行歸一化處理[6]，求取這兩項(xiàng)之間的差值。通過上述過程采用方向信息測(cè)度對(duì)圖像運(yùn)動(dòng)區(qū)域像素進(jìn)行分類處理后，需要對(duì)運(yùn)動(dòng)過程圖像的邊緣區(qū)域求取邊緣寬度[7]，對(duì)于運(yùn)動(dòng)區(qū)域鄰域[R]，過中心點(diǎn)[（m，n）]，以方向[θ]將[R]劃分為兩個(gè)部分，對(duì)于已經(jīng)判定為運(yùn)動(dòng)過程圖像邊緣區(qū)域的鄰域[R]，[l]可描述為可變化的鄰域長度，[Rhi]表示為長度為[l]時(shí)的運(yùn)動(dòng)區(qū)域一致性測(cè)度。采用Canny算子對(duì)運(yùn)動(dòng)區(qū)域邊緣進(jìn)行檢測(cè)，定義運(yùn)動(dòng)區(qū)域邊緣窗口大小為[[-32σ，32σ]]，通過三次B樣條在尺度[s]下的窗口大小可描述為[[-2s+1，2s-1]]，選取相同大小的窗口，運(yùn)動(dòng)區(qū)域邊緣濾波尺度為[σ=23s]，采用運(yùn)動(dòng)過程圖像背景中陰影部分的灰度以及被遮擋前此陰影部分比值的關(guān)系進(jìn)行陰影檢測(cè)[8]。

定義運(yùn)動(dòng)過程目標(biāo)圖像的灰度值為[s（x，y）]，[s（x，y）=E（x，y）ρ（x，y）]用于描述運(yùn)動(dòng)目標(biāo)成像模型，[E（x，y）]用于描述光照強(qiáng)度，[ρ（x，y）]用于描述運(yùn)動(dòng)過程圖像背景反射系數(shù)。[sk+1（x，y）]表示圖像陰影區(qū)域的灰度，[sk（x，y）]用于描述被遮擋前此陰影區(qū)域的灰度，則運(yùn)動(dòng)區(qū)域圖像陰影遮擋前后兩個(gè)區(qū)域灰度值之比為：

依據(jù)上述圖像幀的比值對(duì)運(yùn)動(dòng)過程陰影區(qū)域進(jìn)行檢測(cè)。

1.2 基于能量變化圖和人工蜂群模糊聚類的圖像分解

依據(jù)運(yùn)動(dòng)目標(biāo)外觀表征構(gòu)建了一種能量變化圖，提取出描述運(yùn)動(dòng)目標(biāo)形狀信息和運(yùn)動(dòng)信息的行為特征，利用運(yùn)動(dòng)行為特征作為聚類中心[9]，采用人工蜂群模糊聚類方法求解運(yùn)動(dòng)過程圖像中的最優(yōu)聚類中心，依據(jù)最大隸屬度原則對(duì)運(yùn)動(dòng)過程圖像進(jìn)行分解。

在行為分析視覺分析中運(yùn)動(dòng)目標(biāo)特征信息對(duì)行為的表征具有重要作用，采用一種可以突出運(yùn)動(dòng)特征的平均運(yùn)動(dòng)能量圖[VEI]，同時(shí)獲得運(yùn)動(dòng)過程輪廓序列的標(biāo)準(zhǔn)差圖像[10]。為了提高運(yùn)動(dòng)過程圖像分解速度，利用運(yùn)動(dòng)行為特征作為聚類方法的數(shù)據(jù)樣本，圖像數(shù)據(jù)的空間維度，利用式（3）給出目標(biāo)函數(shù)：

式中：[n]用于描述運(yùn)動(dòng)過程灰度級(jí)樣本數(shù)據(jù)；[c]用于描述聚類數(shù)量；[U]表示隸屬度矩陣；[μm″i（xk）]表示[U]的元素；[V]表示運(yùn)動(dòng)過程行為圖像聚類中心；[m″]表示模糊隸屬度指數(shù)；[d2i，k=xk-vi2]表示運(yùn)動(dòng)過程行為圖像第[k]個(gè)灰度級(jí)[xk]至第[i]個(gè)聚類中心[vi]之間的歐氏距離。

以式（3）中的目標(biāo)函數(shù)為基礎(chǔ)，建立運(yùn)動(dòng)過程圖像分解適應(yīng)度函數(shù)[Fi]，將目標(biāo)函數(shù)的極小值問題轉(zhuǎn)化為求解適應(yīng)度函數(shù)[Fi]的極大值問題，如下：

式中，[λ]用于描述適應(yīng)度函數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

為了證明本文提出的基于行為視覺的運(yùn)動(dòng)過程合理化圖像分解方法的有效性，需要進(jìn)行一次實(shí)驗(yàn)。采用的計(jì)算機(jī)配置為i7?2600，內(nèi)存為4 GB，獨(dú)立顯卡2 GB。實(shí)驗(yàn)數(shù)據(jù)來源于Weizmann科學(xué)研究所提供的運(yùn)動(dòng)行為數(shù)據(jù)庫，在該數(shù)據(jù)庫中，由于運(yùn)動(dòng)圖像的陰影區(qū)域非常少，不同方法圖像分解效果不明顯，重新選取一段運(yùn)動(dòng)視頻圖像。將原運(yùn)動(dòng)圖像尺度大小調(diào)整至200×320。以下實(shí)驗(yàn)利用本文方法、文獻(xiàn)[8]方法檢測(cè)運(yùn)動(dòng)過程圖像陰影，實(shí)驗(yàn)結(jié)果中，運(yùn)動(dòng)圖像陰影區(qū)域灰度值為0，非陰影區(qū)域灰度值為255，運(yùn)動(dòng)圖像未分解區(qū)域灰度為原值。本文方法通過對(duì)比不同陰影區(qū)域與遮擋前此區(qū)域運(yùn)動(dòng)圖像灰度比值判定陰影，不同方法檢測(cè)結(jié)果如圖1所示。

依據(jù)對(duì)比值圖像執(zhí)行基于方向信息測(cè)度的比值運(yùn)動(dòng)圖像像素的分類，獲得運(yùn)動(dòng)區(qū)域陰影部分，由于含有的運(yùn)動(dòng)過程圖像數(shù)據(jù)較多，本文方法不僅獲得了運(yùn)動(dòng)目標(biāo)及陰影區(qū)域的粗分割結(jié)果，又考慮了運(yùn)動(dòng)過程圖像陰影、非陰影劃分條件。可以看出圖1b）中的運(yùn)動(dòng)過程圖像陰影區(qū)域檢測(cè)精度較高，可以劃分的區(qū)域較多。對(duì)于圖1b）、圖1c）陰影區(qū)域的形狀可以看出本文方法進(jìn)行陰影檢測(cè)效果較優(yōu)。

3 結(jié) 論

本文方法通過對(duì)運(yùn)動(dòng)過程圖像分解技術(shù)進(jìn)行了分析，在運(yùn)動(dòng)目標(biāo)提取、運(yùn)動(dòng)過程圖像陰影去除以及圖像分解等多個(gè)方面提出了基于行為視覺的運(yùn)動(dòng)過程合理化圖像分解方法。實(shí)驗(yàn)結(jié)果表明，所提方法對(duì)運(yùn)動(dòng)過程圖像邊緣陰影進(jìn)行檢測(cè)，達(dá)到半影去除的目的，對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行邊緣檢測(cè)具有較好的抗噪性能，運(yùn)動(dòng)過程圖像分解結(jié)果精度較高，為較為復(fù)雜的運(yùn)動(dòng)環(huán)境下目標(biāo)分解在實(shí)際過程中的應(yīng)用奠定了基礎(chǔ)。endprint

參考文獻(xiàn)

[1] 董蓉，李勃，徐晨.基于彩色對(duì)數(shù)圖像處理的運(yùn)動(dòng)陰影檢測(cè)方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（8）：2155?2159.

DONG Rong， LI Bo， XU Chen. Moving shadow detection method based on color logarithmic image processing [J]. Computer engineering and design， 2016， 37（8）： 2155?2159.

[2] 趙東，趙宏偉，于繁華.動(dòng)態(tài)多目標(biāo)優(yōu)化的運(yùn)動(dòng)物體圖像分割[J].光學(xué)精密工程，2015，23（7）：2109?2116.

ZHAO Dong， ZHAO Hongwei， YU Fanhua. Moving object image segmentation by dynamic multi?objective optimization [J]. Optics and precision engineering， 2015， 23（7）： 2109?2116.

[3] 王輝，孫洪.低秩稀疏分解下多尺度積的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].信號(hào)處理，2016，32（12）：1425?1433.

WANG Hui， SUN Hong. A method of low?rank decomposition with multi?scale product for moving object detection [J]. Journal of signal processing， 2016， 32（12）： 1425?1433.

[4] 劉曼，譚海佩，張?jiān)?基于灰色關(guān)聯(lián)分析的運(yùn)動(dòng)角度規(guī)范性智能判斷[J].激光雜志，2017，38（8）：160?163.

LIU Man， TAN Haipei， ZHANG Yue. Motion angle normative intelligent judgment based on gray correlation analysis [J]. Laser journal， 2017， 38（8）： 160?163.

[5] 樊翠紅.人體視頻運(yùn)動(dòng)圖像的高精度實(shí)時(shí)分割仿真研究[J].計(jì)算機(jī)仿真，2016，33（1）：268?271.

FAN Cuihong. Simulation research on the high precision and real?time segmentation for video image of human motion [J]. Computer simulation， 2016， 33（1）： 268?271.

[6] 張永梅，巴德凱，邢闊.基于模糊閾值的自適應(yīng)圖像分割方法[J].計(jì)算機(jī)測(cè)量與控制，2016，24（4）：126?128.

ZHANG Yongmei， BA Dekai， XING Kuo. At method of fuzzy threshold for adaptive image segmentation [J]. Computer measurement & control， 2016， 24（4）： 126?128.

[7] 王瑜，閆沫.基于Wasserstein距離和分裂Bregman方法的圖像分割算法[J].電子設(shè)計(jì)工程，2017，25（2）：140?144.

WANG Yu， YAN Mo. Image segmentation based on Wasserstein distance and split Bregman method [J]. electronic design engineering， 2017， 25（2）： 140?144.

[8] 李正周，侯倩，付紅霞，等.基于空時(shí)聯(lián)合稀疏重構(gòu)的紅外小弱運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].強(qiáng)激光與粒子束，2015，27（9）：26?31.

LI Zhengzhou， HOU Qian， FU Hongxia， et al. Infrared small moving target detection algorithm based on joint spatio?temporal sparse recovery [J]. High power laser and particle beams， 2015， 27（9）： 26?31.

[9] 趙克軍，胡驍東，張弘.由粗定位到精提取的圖像顯著區(qū)域檢測(cè)[J].科學(xué)技術(shù)與工程，2015，15（31）：67?73.

ZHAO Kejun， HU Xiaodong， ZHANG Hong. From rough location to refining to detect image salient region [J]. Science technology and engineering， 2015， 15（31）： 67?73.

[10] 黃榮梅.視頻幀色差突變圖像的背景檢測(cè)參量提取[J].科技通報(bào)，2015，31（8）：78?80.

HUANG Rongmei. Video frame color mutation image background detection parameters extraction [J]. Bulletin of science and technology， 2015， 31（8）： 78?80.endprint