基于機(jī)器視覺的運(yùn)動煤顆粒檢測和遮擋追蹤

朱振天，蘭 媛，2，胡天恩，唐 建，喬 葳，牛藺楷，2，王杰棟

(1.太原理工大學(xué) 機(jī)械與運(yùn)載工程學(xué)院，山西 太原 030024；2.新型傳感器與智能控制教育部(山西省)重點實驗室，山西 太原 030024)

在煤炭篩選分級作業(yè)中，常常出現(xiàn)漏篩、錯篩的問題，從而導(dǎo)致篩分效率不高。其中，煤顆粒在篩面上的運(yùn)動情況對優(yōu)化篩分設(shè)備參數(shù)進(jìn)而提高篩分設(shè)備的篩分效率具有重要意義[1，2]。當(dāng)前，研究者對于篩分設(shè)備上物料運(yùn)動情況的研究主要是以理論分析和數(shù)值模擬為主[3-5]。但實測的實驗數(shù)據(jù)更為可靠和直觀，且能對相關(guān)理論分析和數(shù)值模擬研究起到驗證性的作用[6]。

目前在工程領(lǐng)域?qū)τ陬w粒物料運(yùn)動的實測實驗主要是基于光學(xué)原理與數(shù)字圖像處理。基于光學(xué)原理的物料顆粒測速追蹤技術(shù)(如：PIV，PTV)[7，8]較多地應(yīng)用于流場顆粒物的運(yùn)動分析，雖有成熟的商業(yè)產(chǎn)品，但其價格較為昂貴、系統(tǒng)復(fù)雜，不具有工程實用性。隨著機(jī)器視覺算法的不斷進(jìn)步，應(yīng)用基于數(shù)字圖像處理的方法對顆粒運(yùn)動特性研究已經(jīng)成為趨勢。李耀民通過高速攝像機(jī)采集了農(nóng)用清選篩面上的大豆顆粒運(yùn)動圖像，并基于顏色特征向量的Mean Shift算法對大豆顆粒進(jìn)行了追蹤[9]。王立軍利用高速攝像機(jī)采集了三種不同運(yùn)動形式振動篩上的玉米顆粒運(yùn)動圖像，通過人眼對特定玉米顆粒進(jìn)行追蹤，對篩上玉米粒進(jìn)行了運(yùn)動分析[10]。但是，目前大部分對于篩面上物料的運(yùn)動實測主要是針對農(nóng)業(yè)工程領(lǐng)域。由于煤顆粒的形貌復(fù)雜，且在篩面上的運(yùn)動速度較快，鮮有對煤用篩分設(shè)備上煤顆粒的運(yùn)動情況的實測實驗的研究。而在對篩面上煤顆粒運(yùn)動分析進(jìn)行實測實驗時，煤顆粒常會出現(xiàn)被遮擋的情況，這樣的情況將會影響對煤顆粒運(yùn)動的實測分析。

針對以上問題，本文作者搭建模擬激振實驗臺，采用高速攝像機(jī)對煤顆粒運(yùn)動過程中被遮擋的情況進(jìn)行圖像采集，并應(yīng)用MATLAB軟件使用優(yōu)化參數(shù)的混合高斯背景模型與卡爾曼濾波相結(jié)合的方法對運(yùn)動煤顆粒進(jìn)行檢測和遮擋追蹤。實驗結(jié)果表明，本文使用的方法能夠較好地檢測和追蹤目標(biāo)煤顆粒，對煤顆粒被遮擋的情況具有追蹤魯棒性，得到了運(yùn)動煤顆粒的形心位置信息，為煤顆粒運(yùn)動的理論分析和數(shù)值模擬的相關(guān)研究提供實驗驗證的基礎(chǔ)。搭建的模擬激振實驗臺的原理如圖1所示。

1 目標(biāo)煤顆粒檢測

1.1 基于引導(dǎo)濾波的圖像預(yù)處理

煤顆粒運(yùn)動序列圖像由于受到采集環(huán)境等因素的影響，圖像會受到一定程度的噪聲干擾。所以，在對序列圖像中的運(yùn)動目標(biāo)進(jìn)行檢測前，需要對原始序列圖像進(jìn)行去除噪聲的預(yù)處理，為了減少圖像邊緣信息的丟失，采用具有保持邊緣特性的去除噪聲方法，從而在一定程度上減小噪聲干擾，提高目標(biāo)檢測效率。

引導(dǎo)濾波(Guided Filter，GF)[11]將需要處理的圖像自身作為引導(dǎo)圖像，通過引導(dǎo)圖像提供的信息來分辨邊緣和非邊緣，對煤顆粒的邊緣區(qū)域保持，非邊緣區(qū)域去噪。在本文中，為了提高運(yùn)動煤顆粒前景檢測的準(zhǔn)確性，使用了具有保持圖像邊緣且在濾波細(xì)節(jié)上效果更好的引導(dǎo)濾波對原始序列圖像進(jìn)行去除噪聲預(yù)處理。

1.2 基于混合高斯模型的目標(biāo)煤顆粒檢測

當(dāng)前，對于運(yùn)動圖像中目標(biāo)檢測常采用的方法有背景減除法[12]、幀間差分法[13]和光流法[14]等。其中，混合高斯模型(Gaussian Mixture Model，GMM)是背景減除法中應(yīng)用較為廣泛的方法，并能一定程度地減少背景擾動。在本文采集的煤顆粒運(yùn)動序列圖像中，由于激振實驗臺在激振情況下會相對于固定位置的高速攝像機(jī)出現(xiàn)一定范圍的浮動，從而背景出現(xiàn)一定程度的擾動，且實驗中使用了多點光源，煤顆粒的運(yùn)動過程中存在陰影。針對以上情況，本文采用了對背景擾動和噪聲干擾具有一定魯棒性的混合高斯模型法，通過優(yōu)化參數(shù)來對運(yùn)動煤顆粒進(jìn)行檢測。

混合高斯模型法是一種基于像素統(tǒng)計信息的背景建模方法，為每個像素點建立K個高斯分布，通過概率分布來確定該像素是否為背景點，實現(xiàn)對前景區(qū)域的檢測。序列圖像t時刻(i，j)位置處的像素值It，(i，j)滿足的概率分布為：

η(It，(i，j)；μt，(i，j)，n，Σt，(i，j)，n)

(1)

ωt，(i，j)，n=(1-α)ωt-1，(i，j)，n+α

(2)

μt，(i，j)，n=(1-β)μt-1，(i，j)，n+βIt，(i，j)

(3)

β(It，(i，j)-μt，(i，j)，n)T(It，(i，j)-μt，(i，j)，n)

(4)

ωt，(i，j)，n=(1-α)ωt-1，(i，j)，n

(5)

如果當(dāng)前像素與所有K個高斯分布都不匹配，就選取小的權(quán)重值和大的方差值，并以該像素值作為均值來建立新的高斯分布，并以此新的高斯分布替換現(xiàn)有K個高斯分布中權(quán)重最小的分布。對K個高斯分布根據(jù)ω/σ值由小到大排序，并按下式選取前m個高斯分布為背景模型：

式中，T為背景分割閾值參數(shù)。

為了提取出目標(biāo)煤顆粒的前景掩碼，需要對混合高斯模型中的參數(shù)進(jìn)行優(yōu)化。本文中，建立的高斯模型個數(shù)K=3，將訓(xùn)練背景模型的初始視頻幀數(shù)TF取為運(yùn)動圖像序列初始的前15幀。在訓(xùn)練過程中，自適應(yīng)地調(diào)整模型學(xué)習(xí)率α，調(diào)整方式為：α=1/TF，在第15幀之后，選取模型學(xué)習(xí)率α=0.005。選取背景分割閾值參數(shù)T=0.8，混合高斯模型的初始方差σ=2502。為了使各個高斯分布在更新過程中保持穩(wěn)定性，使用了K-means算法對參數(shù)進(jìn)行實時更新。利用得到的背景模型進(jìn)行背景減除，提取出運(yùn)動煤顆粒的初始前景掩碼，并對前景掩碼進(jìn)行形態(tài)學(xué)填充空洞處理，得到較為完整的前景掩碼。根據(jù)檢測出的當(dāng)前t時刻的目標(biāo)前景掩碼，得到其最小外接矩形及當(dāng)前時刻的形心位置信息，并將其作為后續(xù)煤顆粒跟蹤算法中的觀測值。具體地，基于混合高斯模型的運(yùn)動煤顆粒檢測流程如圖2所示。

圖2 基于混合高斯模型的運(yùn)動煤顆粒檢測流程圖

2 基于卡爾曼濾波器的運(yùn)動煤顆粒追蹤

2.1 卡爾曼濾波器

運(yùn)動目標(biāo)追蹤常用的方法有卡爾曼濾波器、粒子濾波等?；诳柭鼮V波器的追蹤方法通過建立合理的運(yùn)動模型，可以獲取目標(biāo)豐富的運(yùn)動信息，根據(jù)運(yùn)動目標(biāo)的當(dāng)前狀態(tài)對下一時刻的狀態(tài)進(jìn)行預(yù)估計，保證追蹤有效性，且對目標(biāo)發(fā)生遮擋的情況有較好的魯棒性[15]。通過高速攝像機(jī)采集到的煤顆粒運(yùn)動圖像，由于幀率較高、幀間間隔較短，可以認(rèn)為煤顆粒在間隔時間內(nèi)作勻速直線運(yùn)動。所以本文選用對于遮擋情況下運(yùn)動煤顆粒追蹤更為高效的卡爾曼濾波器。

卡爾曼濾波器(Kalman Filter，KF)[16]能利用目標(biāo)檢測器得到的測量值對預(yù)測出的狀態(tài)值修正，提供可靠的狀態(tài)估計。設(shè)系統(tǒng)狀態(tài)方程和觀測方程如下：

Xt=At|t-1Xt-1+wt-1；Zt=HtXt+Vt

(7)

式中，Xt、Zt分別為t時刻的狀態(tài)向量、觀測向量，At|t-1為t-1時刻到t時刻的狀態(tài)轉(zhuǎn)移矩陣，Ht是t時刻的觀測矩陣，wt-1、Vt分別表示相互獨(dú)立的t-1時刻的過程噪聲和t時刻的觀測噪聲，Qt、Rt分別為t時刻的過程噪聲協(xié)方差矩陣和觀測噪聲協(xié)方差矩陣。卡爾曼濾波器每次遞推過程中都可分為預(yù)測部分和更新部分?？柭鼮V波的算法遞推過程如下：

1)預(yù)測部分：狀態(tài)預(yù)測：

預(yù)測誤差協(xié)方差：

2)更新部分：更新卡爾曼濾波增益：

更新狀態(tài)：

更新預(yù)測誤差協(xié)方差：

2.2 遮擋煤顆粒的追蹤

結(jié)合優(yōu)化參數(shù)的混合高斯模型和卡爾曼濾波器的聯(lián)合算法對于運(yùn)動煤顆粒的追蹤主要分為無遮擋追蹤和遮擋追蹤。

具體地，結(jié)合優(yōu)化參數(shù)的混合高斯模型法和卡爾曼濾波器的煤顆粒追蹤流程如圖3所示。

圖3 煤顆粒的追蹤流程圖

3 實驗方案及結(jié)果分析

3.1 實驗方案設(shè)計

本文搭建了模擬激振實驗臺來采集煤顆粒被遮擋的運(yùn)動序列圖像。實驗所用煤顆粒樣本產(chǎn)自山西大同，粒徑為12mm。實驗使用的操作系統(tǒng)為Windows10的便攜式電腦，千眼狼5KF20系列高速攝像機(jī)采集圖像。分析所用視頻圖像序列的幀數(shù)為150幀，每幀圖像的分辨率為596×832，基于MATLAB R2014a軟件進(jìn)行相關(guān)的圖像處理。搭建的模擬激振實驗臺如圖4所示。

圖4 模擬激振實驗臺

3.2 實驗結(jié)果分析

分別使用三幀差分法和優(yōu)化參數(shù)的混合高斯模型法檢測出的運(yùn)動煤顆粒的前景掩碼如圖5所示。

圖5 檢測出的前景掩碼

通過圖5分別對比視頻序列的第55幀、第125幀的原圖像(a)、(d)及分別使用三幀差法和優(yōu)化參數(shù)的混合高斯模型法提取出的前景掩碼圖(b)、(c)、(e)、(f)，可以發(fā)現(xiàn)，由于實驗臺的背景出現(xiàn)一定程度的擾動，三幀差分法在某些幀的圖像(如第55幀)中會將擾動的背景像素點錯誤檢測為前景像素點，且提取出的目標(biāo)煤顆粒的前景區(qū)域不完整，邊界殘缺、斷續(xù)，易出現(xiàn)區(qū)域空洞現(xiàn)象。本文使用的混合高斯模型通過優(yōu)化參數(shù)，可以較好地提取出運(yùn)動目標(biāo)煤顆粒，對容易產(chǎn)生干擾的陰影和背景擾動，以及每幀圖像中間位置的柱型遮擋物體具有較好的濾除作用。優(yōu)化參數(shù)的混合高斯模型法提取出的目標(biāo)煤顆粒前景掩碼比較完整，為后續(xù)目標(biāo)煤顆粒的追蹤提供很好的檢測數(shù)據(jù)。

采用卡爾曼濾波和粒子濾波追蹤煤顆粒在第69幀發(fā)生遮擋時的情況如圖6所示，可以看出，卡爾曼濾波器可以持續(xù)對煤顆粒進(jìn)行追蹤，而粒子濾波器則追蹤失敗。結(jié)合優(yōu)化參數(shù)的混合高斯模型法卡爾曼濾波器的追蹤算法，對采集的運(yùn)動序列圖像中煤顆粒的追蹤情況如圖7所示。煤顆粒在未發(fā)生遮擋的第55幀，利用卡爾曼濾波器對由混合高斯模型法檢測到的目標(biāo)煤顆粒的形心位置進(jìn)行糾正，能較好地追蹤目標(biāo)煤顆粒。煤顆粒在第63幀和第84幀之間產(chǎn)生了遮擋的情況，卡爾曼濾波器通過對煤顆粒的形心位置進(jìn)行預(yù)測，在煤顆粒發(fā)生嚴(yán)重遮擋甚至完全遮擋的情況下仍能對其進(jìn)行持續(xù)追蹤，具有較好的追蹤魯棒性。煤顆粒在第84幀時，再次恢復(fù)無遮擋情況，此時結(jié)合優(yōu)化參數(shù)的混合高斯模型法和卡爾曼濾波器的追蹤算法仍能對煤顆粒進(jìn)行準(zhǔn)確追蹤。以采集圖像的左上角為坐標(biāo)原點建立絕對坐標(biāo)系，將通過本文使用的方法得到的運(yùn)動煤顆粒的形心位置信息顯示如圖8所示。

圖6 卡爾曼濾波器(KF)和粒子濾波器(PF)對煤顆粒遮擋時的追蹤結(jié)果對比

圖7 卡爾曼濾波器(KF)對煤顆粒的追蹤

圖8 煤顆粒在第20～150幀的運(yùn)動形心位置信息

從圖8可以看出，本文使用的結(jié)合優(yōu)化參數(shù)的混合高斯模型法和卡爾曼濾波的跟蹤算法對煤顆粒被遮擋的情況的追蹤具有較好的魯棒性，從而得到運(yùn)動煤顆粒的形心位置信息。

4 結(jié) 語

本文搭建了模擬激振實驗臺，采用了高速攝像機(jī)對激振過程中煤顆粒被遮擋情況下的圖像序列進(jìn)行采集，并基于MATLAB軟件對采集到的煤顆粒運(yùn)動圖像進(jìn)行分析。首先使用了具有保持邊緣特性的引導(dǎo)濾波對圖像進(jìn)行去除噪聲預(yù)處理，再通過對混合高斯模型法的參數(shù)優(yōu)化，有效提取了運(yùn)動煤顆粒的前景掩碼圖像，并使用卡爾曼濾波器對目標(biāo)煤顆粒追蹤，且對煤顆粒被遮擋的情況有較好的追蹤魯棒性。最后得到了運(yùn)動煤顆粒較為可靠的形心位置信息，而煤顆粒的運(yùn)動情況分析主要是通過其形心位置信息體現(xiàn)出來的。因此本文通過機(jī)器視覺的方法對運(yùn)動煤顆粒的檢測和遮擋追蹤，為研究煤顆粒運(yùn)動情況提供實測實驗的基礎(chǔ)。