煤礦智能視頻監控中的運動目標檢測研究

張謝華，　趙小虎

(1.江蘇師范大學 智能教育學院， 江蘇 徐州　221116；

2.中國礦業大學 物聯網(感知礦山)研究中心， 江蘇 徐州　221008)

?

實驗研究

煤礦智能視頻監控中的運動目標檢測研究

張謝華1，趙小虎2

(1.江蘇師范大學 智能教育學院， 江蘇 徐州221116；

2.中國礦業大學 物聯網(感知礦山)研究中心， 江蘇 徐州221008)

摘要：針對煤礦智能視頻監控環境存在各種復雜動態場景變化的情況，研究了運動目標檢測中的3個重要環節：背景建模與更新、前景檢測和運動陰影檢測與去除。針對這3個環節，提出了相應的處理方法：基于IFCM聚類算法的自適應背景建模與更新方法，對像素灰度取值進行無監督聚類，自適應選取不同個數的聚類構建各像素背景模型，隨場景變化進行聚類修改、添加和刪除以完成背景自動更新；聯合背景差分信息、三幀差分信息和空間鄰域信息的前景檢測方法，據此獲得較為準確的前景目標；運動陰影檢測與去除方法，依據在陰影覆蓋前后的灰度圖像中，像素具有亮度值相關性和紋理特征值不變性，實現了運動陰影的檢測與去除。實驗結果驗證了本文所提方法的有效性和優越性。

關鍵詞：煤礦視頻監控； 運動目標檢測； 背景建模； 前景檢測； 運動陰影檢測

網絡出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160405.1126.008.html

0引言

煤礦智能視頻監控作為現代礦井安全生產系統中必不可少的組成部分，對保障煤礦企業的安全、高效生產具有十分重要的意義[1]。運動目標檢測是視頻監控中的關鍵步驟之一，為后續運動目標分類、跟蹤以及行為分析等提供必要的基礎。目前，各煤礦生產企業主要配備固定式攝像機進行定點監測，拍攝背景屬于相對靜止不變的類型。背景減除法是應用最為廣泛的靜態背景下的運動目標檢測方法，其中的重要環節包括背景建模與更新、前景檢測以及運動陰影檢測與去除。

基于混合高斯模型(Gaussian Mixture Mode, GMM)的背景建模與更新方法為場景中的每個像素建立K個高斯分布來進行背景建模，通過更新高斯分布的各個參數來完成背景更新。實際上，背景各狀態均符合高斯分布的假設并不完全成立，算法計算量很大，不太適用于實時性要求較高的系統，而且背景更新的速度較慢，難以及時反映背景的實際變化。參考文獻[2]采用核密度估計(Kernel Density Estimation, KDE)方法進行背景建模，無需假定背景概率模型的具體形式，直接從歷史像素值估算出背景概率密度函數。但其建模與更新過程都以歷史視頻幀數據為基礎，需要消耗大量存儲空間，算法運行速度慢、實時性較差。

在煤礦工作環境中頻繁出現局部場景變動情況，背景模型難以實現同步更新。僅利用背景差分信息進行前景檢測，會引起大量背景像素和前景像素的誤判，出現較大的檢測誤差。另外，由于自然光照和人工照明的影響，前景檢測結果中包含相應的陰影區域。參考文獻[3]根據特定先驗信息建立陰影統計模型，然后以模型為依據判別像素是否屬于陰影區域。其局限在于一方面需要提前獲得各種先驗知識，另一方面對形狀復雜的非剛性物體進行陰影建模十分困難。參考文獻[4]通過分析陰影覆蓋前后場景像素的特征屬性變化來進行陰影判斷，但僅利用單一特征屬性難以獲得較高的陰影檢測率。

針對煤礦智能視頻監控場景的特點和運動目標檢測的需求，本文提出一種基于IFCM(Improved Fuzzy C-Means)聚類算法的自適應背景建模與更新方法，構建了魯棒的背景模型；提出基于聯合信息的前景檢測方法，以獲得較高的前景檢測率；設計了多特征融合的陰影檢測方法，確保得到準確的運動目標檢測結果。實驗結果表明，本文方法能夠適應復雜的煤礦智能視頻監控環境，具有較高的運行效率和較好的檢測效果。

1基于IFCM聚類算法的自適應背景建模與更新方法

采用聚類技術進行背景建模基于一個合理的事實：復雜場景中每個像素的取值隨時間變化而變化，其中穩定連續取值和動態跳變取值分別對應像素背景和前景。聚類分析將對數據集合進行無指導分類，使得同類數據的相似性最大、不同類數據的相似性最小。因此，可采用聚類方法對一段時間內的像素值進行分類，統計各類像素值的出現頻率，選出頻率超過閾值的類別，即穩定狀態作為該像素背景。

1.1IFCM聚類算法

從距離測度上考慮，好的聚類結果應當是類內距離盡量緊湊、類間距離盡可能遠，因而聚類有效性指標主要采用類內緊密度和類間分散度來定義。XB(Xie-Beni)指標是目前廣泛使用的一個有效性指標，其具體定義為

(1)

式中:分子部分用樣本隸屬度作為權重系數，與樣本到聚類中心的距離乘積定義類內緊密度；分母部分用聚類中心之間的距離最小值定義類間分散度。

XB指標取到最小值對應最優聚類劃分。盡管XB指標在性能上有不錯表現，但它不能正確處理存在較多孤立數據點或類間重疊的情形。本文設計一個新的有效性指標，其定義為

(2)

式中:1/k代表每一樣本屬于各類的隸屬度均值;分子部分引入具體隸屬度與隸屬度均值之間的偏差來充當類內緊密度的權重系數；分母部分采用樣本到其隸屬度最小的聚類中心的距離最小值來定義類間分散度。

VNew取最小值對應最優聚類結果。VNew指標有效結合了樣本分布特征與隸屬度，能夠較好評價存在較多孤立數據點或類間重疊的情形。

綜上所述，IFCM聚類算法描述如下：

輸入：像素歷史灰度取值{x1,x2,…,xn}、聚類個數搜索范圍為[kmin,kmax]。

輸出：最佳聚類個數kopt、分類矩陣U和聚類中心vi(i=1,2,…,k)。

Step2：當聚類個數k≤kmax時，根據已有的k-1個初始聚類中心，對未被當作聚類中心的各剩余樣本xi，計算其到各聚類中心的距離，并得到Ds=max{min(di1,di2,…,di(k-1))}，將第s個樣本當做第k個初始聚類中心vk。當k>kmax時，轉向Step7。

Step3：設置迭代控制參數ε，令迭代計算器t=1，設初始聚類中心為{v1,v2,…,vk}。

Step4：計算更新模糊分類矩陣U和聚類中心vi(i=1,2,…,k)。

Step5：若‖J(t)-J(t-1)‖≤ε，停止迭代；否則令t=t+1，轉向Step4。

Step6：利用聚類結果計算VNew值，令k=k+1，轉向Step2。

Step7：比較VNew值，達到最小時獲得最佳聚類個數kopt。

1.2自適應背景建模與更新方法

由于經過上述處理已得到k個聚類，則第i類的頻率為

(3)

式中Ni(x,y)為第i個聚類中包含的元素個數。

按ω取值從大到小排序，自適應選擇頻率大于參數Ta的c(c

(4)

為了及時反映背景狀態的變化，本文采用動態修改、刪除或者新建聚類的方法進行背景模型的自適應更新。檢測每一像素取值It(x,y)與已存在的聚類是否匹配，依次計算其與各聚類中心的距離D(It,vi)，并與聚類閾值λ比較。如果有滿足D(It,vi)<λ條件的最小距離Dmin，則將該像素值It(x,y)歸入類vi(x,y)中并修改參數。

(5)

(6)

(7)

其他未匹配聚類均相應調整頻率。以上更新保證了像素取值能夠正確匹配真實背景狀態，可適應光照緩慢變化的情形。如果It(x,y)與所有聚類中心的距離都大于λ，表明出現了新的前景或噪聲，將創建新類vk+1(x,y)，并設置參數。

(8)

(9)

(10)

(11)

同樣對其他已有聚類進行頻率更新。當前景停止運動的時間較長，聚類中包含的元素越來越多，其頻率逐漸增大，超過閾值Ta后該類將被加入背景模型，可適應前景轉換成背景的情況。當背景中靜止物體運動離開后，其對應聚類頻率低于閾值φ，則刪除該聚類vi，聚類數k=k-1，并歸一化剩余聚類的頻率，及時反映了背景轉換成前景的變化。

2基于聯合信息的前景檢測方法

當背景頻繁動態變化時，背景模型難以實現同步更新，背景差分存在較大的檢測誤差。另一類常用信息是幀間差分信息，其具有實時性好、對場景動態變化適應性強等優點，但易受到目標運動速度的影響，難以獲得完整的前景輪廓。而由背景差分和幀間差分獲得的二值化圖像都包含不同程度的噪聲，表現為少量孤立的前景像素。采用像素空間鄰域信息重新界定像素歸類，可以減少噪聲的出現。因此，可聯合這3種信息進行前景檢測，以獲得更好的檢測結果，接下來描述3類信息的獲取方法。

將后續視頻圖像中各像素與其背景模型進行差分運算：Dbt(x,y)=|It(x,y)-Bt(x,y)|，設置閾值THb，得到二值化背景差分圖像：

(12)

當Mbt取值為0時，判定該像素為背景；當Mbt取值為1時，判定該像素為前景。

本文三幀差分法的具體處理過程：設It-1(x,y)、It(x,y)和It+1(x,y)分別表示相鄰的3幀圖像，Dt-1,t(x,y)、Dt,t+1(x,y)表示相鄰2幀圖像差分后的二值化結果，對差分圖像按照對應像素進行與運算，得到3幀差分圖像：

(13)

將Mbt與Mft進行邏輯或運算，則有

(14)

(15)

再將Mbf與Mnt進行邏輯與運算，得

(16)

3結合像素亮度和紋理特征的運動陰影檢測與去除方法

考慮到煤礦視頻監控圖像顏色特征不明顯的特點，本文在灰度圖像中結合像素亮度和紋理特征來進行運動陰影檢測。像素在陰影覆蓋前后的亮度呈線性關系，在概率論中如果隨機變量之間存在線性關系，那么它們的相關系數可定義為1。采用歸一化互相關函數來衡量2個信號間的相似性，若信號越相似，則互相關函數的取值越接近于1。因此，可根據互相關函數的性質來檢測運動陰影。基于灰度圖像中可采用像素灰度表示像素亮度，假定視頻圖像大小是M×N，I(x,y)是當前幀像素灰度，B(x,y)是背景像素灰度。定義模板Tx,y以(x,y)為中心、大小為(2L+1)×(2L+1)，有Tx,y(m,n)=I(x+m,y+n)，其中-L≤m(或n)≤L。I_square(x,y)、B_square(x,y)分別表示當前幀和背景幀在像素(x,y)處的灰度值平方，IB_data(x,y)表示相應灰度值的乘積，則I_square(x,y)的加總表為

SI_square(x,y)=I_square(x,y)+

SI_square(x,y-1)+SI_square(x-1,y)-SI_square(x-1,y-1)

(17)

類推得到加總表：SB_square(x,y)和SIB_data(x,y)。快速歸一化相關函數[14](FNCC)在像素(x,y)處的取值為

(18)

由于運動陰影的灰度值總集中分布在一定范圍以內，所以，將陰影檢測范圍縮小到[Vmin,Vmax]。對前景區域中的每一個像素(x,y)進行檢測，若其為陰影點，則需要滿足以下條件：

(19)

實際上灰度值小于背景的前景像素，仍有可能屬于運動目標，所以，本文根據紋理特征變化進一步判別陰影的存在與否。局部二值模式(Local Binary Pattern，LBP)是一種紋理特征的描述算子，其計算簡單，具有很好的紋理描述性。參考文獻[5]證明，LBP紋理特征在陰影區域和背景圖像中具有不變性。式(20)給出了依據紋理不變性的陰影判別準則：

(20)

式中：shadow(x,y)=1，表明該像素為陰影點；LBPI(x,y)為像素在當前幀的LBP值；LBPB(x,y)為像素在背景模型中的LBP值。

綜上所述，運動陰影檢測與去除方法的步驟如下：

Step1：判斷前景像素是否滿足式(19)中的條件，若條件不成立，則像素屬于運動目標并停止檢測，否則屬于候選陰影區域。

Step2：計算像素在當前幀和相應背景模型中的LBP特征值，并由式(20)得到是否屬于運動陰影的判斷結果。

Step3：若被判別為陰影像素，則將相應二值化圖像中的像素取值設置為M(x,y)=0。

4實驗與分析

在Visual C++6.0和Opencv 2.0開發環境下編寫了實驗程序，用以驗證本文方法的有效性。

4.1自適應背景建模與更新方法的實驗分析

將基于IFCM聚類算法的自適應背景建模與更新方法與經典的GMM方法、KDE方法進行比較，選用公共視頻庫PETS′2009中的一段視頻圖像序列進行實驗，對比實驗結果如圖1所示。從圖1可看出GMM方法背景更新速度較慢，其背景模型中存在緩慢運動汽車的虛影，且處于停止狀態的小汽車沒有出現在背景模型中。KDE方法同樣存在虛影，但背景模型中包括了停止狀態的小汽車。而本文方法能夠快速適應背景的相應變化，獲得準確的背景模型。

(a) 第130幀 (b) 第180幀 (c) 第200幀

(d) GMM方法背景(e) KDE方法背景(f) 本文方法背景

圖1自適應背景建模與更新方法的對比實驗結果

4.2前景檢測方法的實驗分析

前景檢測方法的對比實驗結果如圖2所示。圖2(a)—(c)中汽車突然啟動，背景更新不能同步完成，在背景差分圖像(圖2(d))中，汽車沒有被完整檢測為運動目標。而三幀差分能快速判斷出汽車為運動目標，但由于行人步速緩慢，在相鄰2幀中變化較小且存在部分重疊，所以在三幀差分圖像(圖2(e))中，運動行人內部出現了空洞。另外，背景差分和三幀差分二值化處理后，都出現了不同程度的噪聲。圖2(f)為基于聯合信息的前景檢測方法的檢測結果，效果良好。

(a) 第80幀 (b) 第102幀 (c) 第110幀

(d) 背景差分 (e) 三幀差分 (f) 本文方法結果

圖2前景檢測方法的對比實驗結果

4.3運動陰影檢測方法的實驗分析

將本文提出的運動陰影檢測方法與DNM1陰影檢測方法(DNM1方法)、基于FNCC的陰影檢測方法(FNNC方法)進行比較，對比實驗結果如圖3所示。由于圖像飽和度、顏色值都較低，DNM1方法只能檢測出部分陰影，FNNC方法較好地挖掘了陰影區域和相應背景的亮度相似性特點，誤判像素減少，但陰影檢測仍不夠完整。而本文提出的運動陰影檢測方法同時結合了亮度和紋理特征的特性，其檢測效果顯然優于DNM1和FNCC方法。

5結語

在優化選取初始聚類中心和設計新聚類有效性指標的基礎上，提出了IFCM聚類算法，并將其應用于各像素背景模型的自適應構建和更新；提出了基于聯合信息的前景檢測方法，將像素背景差分信息與三幀差分信息進行或運算處理，提高前景檢測時對動態場景變化的適應性，進一步聯合空間鄰域信息來減少前景中的噪聲；提出了運動陰影檢測與去除方法，采用像素對應FNCC函數的取值判別候選陰影區域，然后依據紋理特征值不變性，確定并去除運動陰影，因此，獲得了較為準確的運動目標。實驗結果表明，本文方法能將運動目標從復雜煤礦工作場景中檢測出來，為后續視頻監控過程做好了充分準備。同時將本文方法與相應經典算法進行了比較分析，結果驗證了本文方法的有效性和優越性。

參考文獻：

[1]潘濤.煤礦生產系統集成的層次結構及其標準化問題研究[J].工礦自動化，2014,40(9):19-23.

[2]芮挺,周遊,馬光彥,等.核密度估計與高斯模型聯級運動目標檢測[J].計算機工程與應用，2011,47(18):1-3.

[3]李鵬偉,葛文英,劉國英.基于陰影概率模型的遙感影像陰影檢測方法[J].計算機應用，2015,35(2):510-513.

[4]韓延祥,張志勝,郝飛,等.灰度序列圖像中基于紋理特征的移動陰影檢測[J].光學精密工程，2013,21(11):2931-2940.

[5]曹健,陳紅倩,張凱,等.結合區域顏色和紋理的運動陰影檢測方法[J].機器人，2011,33(5):628-633.

Research on moving target detection in coal mine intelligent video monitoring

ZHANG Xiehua1,ZHAO Xiaohu2

(1.School of Education Intelligent Technology, Jiangsu Normal University, Xuzhou 221116, China;

2.IOT Perception Mine Research Center, China University of

Mining and Technology, Xuzhou 221008, China)

Abstract:In view of condition of complex dynamic scene changes in coal mine intelligent video monitoring environment, three important steps in moving target detection were researched which were background modeling and updating, foreground detecting, motion shadow detecting and removing. For the three steps, corresponding processing methods were put forward: a self-adaptive background modeling and updating method based on IFCM clustering algorithm was proposed, the method was used to unsupervised clustering of pixels' gray values, different number of clusters was adaptively selected to construct the pixels' background model, and automatic updating of the background model was completed by modifying, adding and deleting clusters with the scenes' change; a foreground detection method was proposed which combined the background difference, three frame difference and spatial neighborhood information, so accurate foreground targets were obtained; a motion shadow detection and removal method was proposed on the basis that the pixels' of gray images have characteristics of luminance correlation and texture invariance before and after shadow covering, so detecting and removing moving shadow was realized. The experimental results verify effectiveness and superiority of the method.

Key words:coal mine video monitoring; motion target detection; background modeling; foreground detection; motion shadow detection

作者簡介：張謝華(1977-)，女，安徽宿松人，副教授，博士，主要研究方向為運動目標檢測、運動目標跟蹤等，E-mail:85391920@qq.com。 徐榮鑫(1992-)，男，江蘇鹽城人，碩士研究生，主要研究方向為機電一體化，E-mail:xurxpaper@163.com。

基金項目：國家科技支撐計劃項目(2012BAH12B00)；江蘇師范大學博士學位教師科研支持項目(2015XLR18)。 中國博士后科學基金第58批面上資助項目(2015M581879)。

收稿日期：2015-12-16；修回日期：2016-02-01；責任編輯：張強。 2015-12-15；修回日期：2016-01-08；責任編輯：張強。

中圖分類號：TD67

文獻標志碼：A網絡出版時間：2016-04-05 11:26

文章編號：1671-251X(2016)04-0031-06

DOI:10.13272/j.issn.1671-251x.2016.04.008

張謝華，趙小虎.煤礦智能視頻監控中的運動目標檢測研究[J].工礦自動化，2016,42(4)：31-36.