視覺感知技術(shù)在選煤廠的應(yīng)用研究

楊 碩 佟建楠

(1.煤炭科學(xué)研究總院唐山研究院，河北省唐山市，063012；2.天津大學(xué)電氣自動化與信息工程學(xué)院，天津市南開區(qū)，300072；3.唐山學(xué)院土木工程學(xué)院，河北省唐山市，063000)

1 引言

視覺感知是以計算機(jī)視覺和機(jī)器學(xué)習(xí)為基礎(chǔ)進(jìn)行測量、分析、評估和決策的無損智能測控技術(shù)。研究將視覺感知技術(shù)應(yīng)用于選煤廠人員和環(huán)境的監(jiān)測過程，實(shí)現(xiàn)人機(jī)在復(fù)雜多樣的工礦環(huán)境中協(xié)同運(yùn)轉(zhuǎn)的自適應(yīng)控制要求，用以提高選煤廠生產(chǎn)過程的智能化程度。

隨著選煤廠各個系統(tǒng)功能的逐漸細(xì)分，對生產(chǎn)崗位的具體化要求不斷提高，本文針對生產(chǎn)線各個操作環(huán)節(jié)的關(guān)鍵崗位，提出基于人臉識別和動態(tài)目標(biāo)檢測的人員行為感知方案。目前，人臉識別算法主要分為基于全局特征的PCA、LDA、ICA算法和基于局部特征的LBP、SIFT算法，由文獻(xiàn)可知，基于全局特征的識別算法對人臉的光照、尺度、位姿、遮擋等因素變化的魯棒性較差，不適于在選煤廠低照度、多變性的環(huán)境中應(yīng)用；常用的動態(tài)目標(biāo)檢測算法包括高斯背景建模法和幀差法；幀差法容易引入噪聲并產(chǎn)生大量空洞，對后續(xù)確定目標(biāo)對象造成影響。針對上述算法存在的問題，設(shè)計了一種基于局部特征的HOG算法進(jìn)行人臉檢測，通過混合高斯背景建模實(shí)現(xiàn)人員的動態(tài)識別，并結(jié)合兩種算法提出針對人員行為的感知策略。

管道系統(tǒng)是實(shí)現(xiàn)介質(zhì)和洗水閉路循環(huán)的重要工藝環(huán)節(jié)，在煤炭洗選過程中，管路網(wǎng)絡(luò)的接口、閥門，與介質(zhì)桶、水池、設(shè)備的銜接處極易發(fā)生物料的跑、冒、滴、漏現(xiàn)象。由于選煤廠作業(yè)空間狹窄，照明不足，人員無法全面監(jiān)測生產(chǎn)環(huán)境中的積水面積，形成難以評估的危險區(qū)域，存在極大的安全隱患。由文獻(xiàn)可知，應(yīng)用基于重心或頂點(diǎn)的輪廓積分法可以測量具有規(guī)則幾何形狀的目標(biāo)面積；基于動態(tài)輪廓線模型的圖像法可精確測量目標(biāo)面積，但需人工預(yù)設(shè)輪廓線的初位置，無法自動測量。針對上述方法不足，本文提出了基于參考物的環(huán)境視覺感知方法測量積水面積。

2 視覺感知系統(tǒng)

視覺感知系統(tǒng)是選煤廠日常人員和環(huán)境感知功能的具體應(yīng)用單元，由于選煤廠現(xiàn)場環(huán)境復(fù)雜特殊，因此對視覺感知系統(tǒng)的實(shí)時性、準(zhǔn)確率和重復(fù)率要求較高。本文研究提出的視覺感知系統(tǒng)控制方案如圖1所示，包括物理層、數(shù)據(jù)鏈路層、控制層和決策層。

圖1 視覺感知控制系統(tǒng)方案

物理層和數(shù)據(jù)鏈路層是視覺感知系統(tǒng)信息獲取和傳輸?shù)挠布軜?gòu)。物理層設(shè)計符合選煤廠光照變化的工業(yè)級光學(xué)成像模型，光學(xué)系統(tǒng)通過光路控制單元將光信號聚焦到成像平面，并按實(shí)際補(bǔ)光需要進(jìn)行調(diào)整達(dá)到光照整體均勻分布效果，以保證圖像清晰度，完成對檢測目標(biāo)的成像和圖像數(shù)據(jù)采集等基礎(chǔ)工作；數(shù)據(jù)鏈路層應(yīng)用數(shù)字通信網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)在上下級單元間的高速、穩(wěn)定和精確傳輸。在研究過程中，選取選煤廠常規(guī)視頻監(jiān)控系統(tǒng)作為成像和傳輸平臺，以驗(yàn)證視覺感知系統(tǒng)的普適性要求。控制層和決策層是視覺感知系統(tǒng)的算法中樞，控制層通過圖像處理和人員環(huán)境感知算法，從圖像中提取滿足感知系統(tǒng)需要的目標(biāo)特征；決策層通過大數(shù)據(jù)處理單元對檢測對象的目標(biāo)特征進(jìn)行統(tǒng)計和計算，得到分析結(jié)果，實(shí)現(xiàn)系統(tǒng)對人員和環(huán)境感知的功能。

3 人員行為感知

人員行為感知是針對人與環(huán)境、人與設(shè)備交互作用中發(fā)生的違規(guī)現(xiàn)象進(jìn)行視覺檢測的過程。為了滿足在行為感知過程中對目標(biāo)特征提取和匹配等算法的有效性，將原始圖像進(jìn)行預(yù)處理，以剔除圖像中潛在的干擾因素，并應(yīng)用Adaboost人臉探測算法定位圖像中人臉的精確位置。本文提出的人員行為感知算法流程如圖2所示。

圖2 人員行為感知算法流程

3.1 人臉識別檢測

通過人臉識別檢測，對進(jìn)入檢測區(qū)域的人員進(jìn)行身份辨識，完成對非法人員的鑒別報警，并實(shí)現(xiàn)對選煤廠各個關(guān)鍵崗位工作人員到崗情況的自動統(tǒng)計。針對選煤廠的光照變化特點(diǎn)，本文應(yīng)用HOG算法對待檢測圖像進(jìn)行特征提取，采用K近鄰分類器(KNN)完成人臉目標(biāo)的匹配工作。人臉識別算法流程如圖3所示。

圖3 人臉識別算法流程

(1)為了提高不同光照成像條件下對匹配精度的魯棒性要求，對定位的人臉圖像進(jìn)行Gamma歸一化處理。

(2)應(yīng)用[-1，0，1]和[1，0，-1]T梯度算子與原圖像I(x,y)做卷積運(yùn)算，得到水平和豎直方向的梯度分量見式(1)和式(2)，求取各像素點(diǎn)的梯度大小和方向見式(3)和式(4)：

式中：Gx(x,y)——水平方向梯度；

Gy(x,y)——垂直方向梯度；

G(x,y)——梯度幅值；

θ(x,y)——梯度方向。

(3)將人臉圖像劃分為包含8×8個像素的若干細(xì)胞單元(cell)，將細(xì)胞單元分成9個梯度方向塊，對其中的像素點(diǎn)的梯度信息進(jìn)行加權(quán)投影并統(tǒng)計梯度值，得到每個細(xì)胞單元的梯度方向直方圖。

(4)將32×64個細(xì)胞單元組成一個區(qū)塊(block)，將區(qū)塊內(nèi)所有細(xì)胞單元的特征向量進(jìn)行串聯(lián)，并通過式(5)所示函數(shù)對每個區(qū)塊分別進(jìn)行歸一化，以得到對局部光照和對比度的變化具有較強(qiáng)健壯性的HOG描述符。

(5)

式中：ν——特征向量；

ε——極小常量。

(5)將人臉圖像內(nèi)的所有區(qū)塊的HOG描述符串聯(lián)，得到圖像的HOG特征向量f={x1,x2,…,xn}。

(6)應(yīng)用K近鄰分類器，計算待測人臉圖像特征向量和人員數(shù)據(jù)庫中所有圖像描述符的歐氏度量，以獲得最小距離，設(shè)定匹配閾值，若該距離小于或等于閾值，則圖像相似度較高。如果在K個測試樣本中多數(shù)屬于一個集合，則該人臉圖像樣本也屬于此集合，人員匹配識別成功，為合法工作人員，并記錄到崗情況。

3.2 動態(tài)目標(biāo)檢測

在人臉識別檢測的基礎(chǔ)上，研究對監(jiān)控場景中的動態(tài)目標(biāo)進(jìn)行檢測，自動捕捉人員與設(shè)備的運(yùn)動情況，并將選煤廠各個崗位操作規(guī)程作為程序化邏輯判斷條件，用以評估人員行為的合理性，并向安全監(jiān)管人員提供實(shí)時有效的監(jiān)測數(shù)據(jù)。假設(shè)在自然條件下受環(huán)境因素影響，像素點(diǎn)灰度值隨時間的波動變化近似符合高斯分布，且任何一種分布都可以表示為多個高斯分布的加權(quán)擬合。由于選煤廠監(jiān)控畫面中的場景變化雜亂無序，本文以電工檢修過程為例，應(yīng)用混合高斯背景模型實(shí)現(xiàn)對人員或設(shè)備等動態(tài)前景的檢測。人員動態(tài)檢測如圖4所示。

把采集的視頻序列中各幀圖像定義為一個時間序列:{Z1，Z2，…，Zn}，用k個高斯分布來表征每幀圖像中各像素點(diǎn)特征，建立的混合高斯背景模型見式(6)，并初始化均值和方差等模型參數(shù)。

(6)

式中：k——高斯分布數(shù)量，k=3；

Xi,t——圖像序列在t時刻第i點(diǎn)的像素值；

wi,t——圖像序列在t時刻第i個高斯分布的權(quán)重；

μi,t——圖像序列在t時刻第i個高斯分布的均值；

η(Xi,t,μi,t,∑i,t)——高斯概率密度函數(shù)。

(7)

按照式(8)對高斯分布由高到低排序，設(shè)定背景模型的比例閾值為T，計算得到前V個高斯分布來表征背景圖像，以完成對動態(tài)目標(biāo)的識別檢測。

(8)

圖4 人員動態(tài)檢測

3.3 行為感知策略

通過對生產(chǎn)系統(tǒng)各個環(huán)節(jié)工作人員的人像和崗位信息的錄入，建立崗位人員數(shù)據(jù)庫，將監(jiān)控畫面中采集的人像作為待測目標(biāo)，結(jié)合對設(shè)備、時間和地點(diǎn)的分析，按照識別算法將待測人像與數(shù)據(jù)庫圖像進(jìn)行1∶n匹配，實(shí)現(xiàn)對人員在崗情況、人數(shù)和工種的統(tǒng)計，作人員識別算法性能見表1。

表1 工作人員識別算法性能

由表1可以看出，算法的識別率受到不同工況環(huán)境中光照和遮擋等外界因素的影響而浮動，但仍能在較短時間內(nèi)達(dá)到97.61%、89.43%、91.14%和94.29%的識別精度，這是一種實(shí)時性和準(zhǔn)確性較高的選煤廠人員識別解決方案。

在各崗位工作人員身份的識別前提下，按照背景建模算法提取圖像中人員或設(shè)備等動態(tài)目標(biāo)，以各個工種程序化的操作規(guī)程作為邏輯判斷條件為視覺檢測提供依據(jù)，對人員行為的合理性進(jìn)行判斷；結(jié)合對設(shè)備動態(tài)狀況的感知，完成對人員行為危險性的評估。在實(shí)驗(yàn)測試中，圖像在第157幀時，背景模型清晰、穩(wěn)定，可以快速識別畫面中出現(xiàn)的多個動態(tài)目標(biāo)，結(jié)合預(yù)定義的行為策略能夠完成對人員行為合理性的感知功能。

4 環(huán)境感知

選煤廠洗水環(huán)路系統(tǒng)的跑、冒、滴、漏不僅會引起潮濕環(huán)境下設(shè)備的電氣短路，還會在地面形成煤泥水淤積的暗坑，嚴(yán)重威脅人員的生命安全，如何精確估計生產(chǎn)區(qū)域積水面積成為環(huán)境感知的關(guān)鍵問題。本文提出在自動識別積水區(qū)域的基礎(chǔ)上，計算積水面積值完成對環(huán)境的評估，為降低地面污漬對目標(biāo)區(qū)域形狀分析的影響，首先對當(dāng)前幀圖像進(jìn)行形態(tài)學(xué)處理。環(huán)境感知算法流程如圖5所示。

圖5 環(huán)境感知算法流程

4.1 積水區(qū)域識別

積水區(qū)域識別如圖6所示。在對積水區(qū)域的識別過程中，由于不均勻的光照影響，容易在積水表面發(fā)生圖6(a)所示明暗不同的鏡面效應(yīng)，導(dǎo)致常規(guī)的基于灰度信息的圖像分割方法難以對感興趣的目標(biāo)區(qū)域進(jìn)行準(zhǔn)確分割。研究針對彩色圖像應(yīng)用更接近于人眼色彩感知的HSV空間，通過互不相關(guān)的亮度(V)和色彩(H、S)分別對圖像進(jìn)行處理，處理算法見式(9)～式(11)：

(11)

將圖像按照式(9)～式(11)進(jìn)行處理后，由RGB顏色空間轉(zhuǎn)化為圖6(b)所示的HSV空間，其中Tmax和Tmin分別為R、G和B中的最大值和最小值；由圖6(c)、圖6 (d)和圖6 (e)所示的分別對H、S和V分量圖進(jìn)行圖像分割，可較好地識別圖像中明亮和陰暗積水區(qū)域。

圖6 積水區(qū)域識別

在圖像分割過程中，為了避免由光照不均造成局部積水區(qū)域的識別缺失問題，提出基于PCNN模型的積水區(qū)域自動分割算法，針對圖像的輪廓和局部細(xì)節(jié)進(jìn)行不同層次的分割，效果如圖6(f)所示；最后對圖像中的連通區(qū)域進(jìn)行如圖6(g)所示的擬合，以實(shí)現(xiàn)對積水區(qū)域的識別。

4.2 積水面積計算

研究假設(shè)數(shù)字圖像由像素點(diǎn)組成，且每個像素點(diǎn)均可以表示一定的實(shí)際面積值，所以積水區(qū)域的實(shí)際面積值可以由已知參考物的面積求得，本文將參考物設(shè)置在垂直于地面的管路或墻壁上。在實(shí)際應(yīng)用中，由于成像設(shè)備主光軸與積水地面不垂直，根據(jù)光學(xué)成像原理會產(chǎn)生一定的透視畸變，研究通過分別設(shè)置在水平和垂直兩個平面上的相同參考物，計算校正系數(shù)，完成對圖像的透視畸變的幾何校正見式(12)：

(12)

式中：Pv——垂直參考物圖像包含像數(shù)點(diǎn)數(shù)；

Av——垂直參考物圖像實(shí)際面積值，m2；

kc——校正系數(shù)；

Pl——水平參考物圖像包含像數(shù)點(diǎn)數(shù)；

Al——水平參考物圖像實(shí)際面積值(Av=Al)，m2。

在求得校正系數(shù)后，測量原理計算積水區(qū)域的面積值見式(3)：

(13)

式中：Aa——積水面積值，m2；

Ar——參考物面積，m2；

Pa——積水區(qū)域圖像包含像素點(diǎn)數(shù)；

Pr——參考物圖像包含像數(shù)點(diǎn)數(shù)。

在實(shí)驗(yàn)過程中，由于積水區(qū)域的形狀復(fù)雜，難以獲得積水面積的真實(shí)值，研究在選煤廠實(shí)際生產(chǎn)區(qū)域應(yīng)用薄膜附水法，通過在已知面積的不規(guī)則薄膜上充水模擬實(shí)際場景，以驗(yàn)證算法的精度。積水面積測量結(jié)果見表2。

表2 積水面積測量結(jié)果

由表2可得，算法的相對測量誤差隨模擬面積的增加而減小，在2.859～11.536 m2試驗(yàn)范圍內(nèi)的相對誤差小于1.17%，能有效反映過水區(qū)域的面積變化，所以參考物測量法的精度適用于選煤廠積水區(qū)域面積的計算。

4.3 環(huán)境感知策略

在有效提取積水區(qū)域范圍和精確計算積水面積的基礎(chǔ)上，提出面積容忍極值法，通過比較實(shí)測面積與容忍極值，評估洗水環(huán)路系統(tǒng)的跑、冒、滴、漏等現(xiàn)象的嚴(yán)重等級，實(shí)現(xiàn)對選煤廠環(huán)境的感知功能。

5 結(jié)論

視覺感知技術(shù)是選煤廠實(shí)現(xiàn)人員、設(shè)備和環(huán)境三者間協(xié)調(diào)、高效、自主運(yùn)行的有效手段。本文首先基于人臉識別和動態(tài)檢測算法建立了具有良好魯棒性和實(shí)時性的人員行為感知策略，實(shí)現(xiàn)了對人員行為合理性的判斷和危險性的評估；其次提出基于積水區(qū)域識別和面積計算的環(huán)境感知策略，在完成對積水面積精確計算的情況下，對選煤廠洗水環(huán)路系統(tǒng)跑、冒、滴、漏現(xiàn)象的嚴(yán)重性進(jìn)行分析。目前該課題仍存在以下關(guān)鍵技術(shù)難題：

(1)在人臉識別算法中，通過設(shè)定歐式距離的閾值來控制人員匹配結(jié)果，如何在準(zhǔn)確性和成功率相互制約的前提下，設(shè)計具有自適應(yīng)性閾值設(shè)定方法是下一步人員感知算法的主要分析方向。

(2)在積水區(qū)域識別算法中，在保證算法實(shí)時性的情況下，提高對連通區(qū)域的擬合精度以完成對水域范圍內(nèi)小面積干燥區(qū)域的有效識別，仍需在環(huán)境感知算法中作進(jìn)一步研究。