基于多顏色分量CLBP提取的浮選泡沫狀態識別

梁秀滿，田 童，劉文濤，牛福生，劉振東

(1.華北理工大學電氣工程學院，河北 唐山 063210；2.華北理工大學礦業工程學院，河北 唐山 063210)

泡沫浮選用于微細粒礦物質的分離提取，廣泛應用于稀有金屬、鋼鐵、化工和煤炭等工業部門的原料分離過程。目前，選礦廠主要憑借工人對浮選泡沫的顏色、形態和紋理等表面視覺特征的判斷調整各個浮選操作，并由精礦的品位與產率等參數檢測加以校準指導浮選工藝流程[1]。整個過程自動化水平較低，難以實現狀態參數的實時檢測，對浮選操作的主觀經驗意識較強，缺少浮選指標的客觀評價標準，容易造成浮選藥劑、礦產資源與人力資源的浪費。近年來，機器視覺、圖像處理等技術飛速發展，將其應用到浮選過程中，代替人眼實現浮選表面視覺特征的量化描述與生產狀態的客觀評價[2-3]。對提高礦產資源的利用率，實現浮選過程的自動化控制具有重要的研究意義。

浮選過程中泡沫表面表現出獨特的圖像特征。這些特征是各種浮選操作綜合作用的結果，同樣能夠反映出浮選效果相關指標的優劣。國內外學者為了能將其作為浮選工況狀態識別與分類的依據，對泡沫圖像紋理的提取與應用展開了許多研究。BARTOLACCI等[4]研究了灰度共生矩陣(GLCM)和小波分析等紋理描述方法，對不同類型的泡沫圖像分類；劉金平等[5]提出了基于Gabor小波的浮選泡沫圖像紋理特征提取方法，能夠有效地對浮選過程中的泡沫狀態予以表征。趙洪偉等[6]使用局部保持投影(LPP)降維算法將Gabor濾波器獲取的紋理特征參數進行降維處理，通過BP神經網絡進行不同浮選生產狀態的識別。泡沫紋理特征已被證明能夠用于浮選工況狀態的識別[7-8]，但對紋理參數的種類與分辨率要求過高。維數較低的簡單紋理表述方法難以滿足浮選生產需要，特別對于煤泥浮選而言，其泡沫表現為灰色、紋理特征變化不明顯。為了提高圖像的紋理辨識度，更加準確地表征不同浮選狀態的泡沫圖像，本文提出了一種基于HSV顏色空間的CLBP紋理提取的浮選泡沫狀態識別方法。

1 算法原理

1.1 雙域去噪

圖像噪聲嚴重影響了紋理參數提取的準確性。常用的濾波方法在去除圖像噪聲的同時消除高頻分量，影響圖像中的細節，將其應用到泡沫圖像中會改變紋理的結構。雙域去噪(DDID)[9]結合了空間域中的雙邊濾波器與變換域中的短時傅里葉變換(STFT)系數收縮。在去噪的同時保留了類似邊緣等高對比度特征細節。DDID采用迭代的方式從噪聲圖像中還原原始圖像。將圖像分成兩層，用于雙邊濾波的基礎層與用于STFT系數收縮的細節層。細節層由雙邊濾波處理前后的圖像相減獲得，兩層圖像濾波后的結果相加重建去噪圖像，根據幅度從大到小去噪，利用當前迭代的去噪結果來指導后續的迭代以達到理想的濾波效果。單次迭代主要包括以下過程。

1) 使用雙邊濾波同時對引導圖像g與原始圖像y進行去噪，見式(1)和式(2)。

(1)

(2)

(3)

2) 利用kp,q對雙邊濾波前后像素點p的殘差加窗，防止邊界效應，然后進行STFT系數收縮，見式(4)和式(5)。

(4)

(5)

3) 利用Gp,f構造的高斯核Kp,f對Sp,f收縮得到細節層圖像，見式(6)和式(7)。

(6)

(7)

(8)

1.2 完全局部二進制模式

LBP[10]初始定義為以某一像素為中心的3×3鄰域窗口內的方形矩陣中，如圖1所示。通過將每個鄰域像素的值與中心像素對比將其二值化。若鄰域像素點的值大于中心像素點則置1，否則為0。以此將鄰域內的像素點轉換成二值形式，并以中心像素右側的像素點為二進制的最低位逆時針將鄰域像素編碼。將此二進制編碼轉為十進制數字作為此像素點的LBP值。如圖1中LBP二進制模式為11011001，轉換為十進制為217。

圖1 LBP初始定義Fig.1 LBP initial definition

為了使LBPr,p具有旋轉不變性，提出了基于圓形鄰域理論的局部二進制模式LBPr,p。其中，r為中心像素與鄰域像素的歐式距離；p為均勻分布的鄰域像素的個數。對于不在像素中心的采樣點使用雙線性差值獲得其數值大小。通過改變參數(r,p)的大小獲得不同尺度的紋理特征參數。在獲得二進制編碼后，通過循環移位將二進制數轉換為數值最小的編碼順序。針對隨尺度增加LBPr,p特征分布直方圖維數過高的問題，將LBP分為均勻和非均勻兩種模式。定義LBP圓形鄰域中相鄰的兩個元素的跳變次數(0→1或1→0)為U，U≤2為均勻模式。由于圖像信息通常表現為低頻，將非均勻模式歸于一類，其他為非均勻模式。旋轉不變均勻LBP模式進行定義，見式(9)。

(9)

式中：s(x)為一個符號函數；xr,p,n為鄰域內的一個像素值，其中的第三個索引值n表示鄰域像素的位置；xc為中心像素。

(10)

(11)

1.3 多尺度紋理特征融合

在浮選過程中，泡沫表面能夠反映礦物本身特有的顏色。這種顏色特征隨著表面礦物顆粒承載率的不同產生深度、飽和度等變化。顏色明顯礦物質在RGB顏色分量上可以得到良好的區分效果。但煤泥等礦物在不同工況中表現出的灰度差異較小。HSV顏色空間包含色調H、飽和度S和亮度V，與人感受色彩的方式比較接近。將初始的RGB圖像向HSV轉換，對H、S和V三個顏色分量圖分別取CLBP特征，建立紋理特征矩陣，見式(12)。

(12)

將屬于同一分量的多尺度的特征歸一化后由小到大的排序，重新排列得到高維數的CLBP特征直方圖。以圖2所示為例，將HSV顏色分量圖分別提取的(1,8)(2,16)(3,24)三個尺度的CLBP_Sr,p特征按序排列，以更高維數的特征直方圖建立分類模型，利用該分類模型進行紋理特征的分類訓練與測試。

圖2 歸一化后的CLBP直方圖Fig.2 Normalized CLBP histogram

2 實驗過程

在XFD實驗室用單槽1.0 L浮選機上進行煤泥浮選實驗，機器視覺系統采集泡沫圖像視頻信息。浮選實驗過程持續5 min左右。實驗開始后以60 s為時間間隔從中各截取連續60幀幅如圖3所示的4類浮選狀態的泡沫圖像。圖3中由左到右的4副圖像分別為時間點為1 min、2 min、3 min和4 min時的泡沫圖像。隨著浮選進程的推移，浮選槽中的精礦不斷被刮板刮出，泡沫紋理的粗細、亮點的密集程度和灰度值的變化等視覺狀態發生改變。選取其中30幅圖像的紋理數據用于分類訓練，剩余的30幅用于結果測試。像素大小均為512×512。

將每個樣本圖像進行雙域去噪處理，然后轉換為HSV顏色分量圖像，分別提取其CLBP紋理特征并歸一化后線性排列，將其作為工況識別的紋理特征點。將實驗提取的4組圖像的紋理特征數據分別做出類別標記，再將每個類別的連續60幀圖像的紋理特征數據按照順序分成奇偶兩組。其中，奇數組作為訓練樣本集，偶數組作為測試樣本集，以保證樣本選取的隨機性。至此兩個樣本集分別具有四類泡沫狀態的120組紋理特征數據，將這些特征數據使用一對一模式的支持向量機(OVO-SVMS)進行多分類任務的訓練與測試。選用泛化能力比較強的徑向基核函數，采用交叉驗證算法尋找的最佳懲罰因子c以及徑向基核函數中的γ參數大小為(0.32,1)。算法實現的硬件平臺為Inter Core i5-2450M 2.50 GHz CPU、8 GB(RAM)，軟件運行環境為Window 10 Matlab 2014b。具體實驗過程如圖4所示。

圖3 不同紋理結構的泡沫圖像Fig.3 Foam images with different textures

圖4 實驗步驟Fig.4 Experimental steps

3 實驗對比分析

3.1 去噪效果對比

為了驗證DDID的去噪效果，在Lena圖像和通過EYE軟件濾波后泡沫圖像中添加方差為25的高斯白噪聲，分別使用3次迭代的DDID進行去噪，以峰值信噪比(PSNR)為濾波效果的客觀評價指標。PSNR的單位是dB，數值越大表示失真越小。對于原始圖像x及濾波圖像y，PSNR定義見式(13)和式(14)。

(13)

(14)

式中：N為圖像中像素的數量；S為可允許的圖像像素強度的動態范圍，對于8位灰度級圖像S=255。

圖像濾波結果如圖5所示。觀察圖像可以發現DDID去除了疊加在原圖上的高斯白噪聲，從放大區域來看Lena圖像中帽子的紋理與氣泡上的顆粒等細節區域仍然存留了原始圖像中的特征，在數值上兩幅圖像相對于原圖的峰值信噪比為34.27 dB和30.32 dB。濾波圖像與原始圖像的差距較小。結果證明，DDID在去噪的同時能保留圖像中的細節，適用于泡沫紋理提取前的濾波處理。

圖5 DDID去噪效果對比圖Fig.5 Comparison of DDID denoising effect

3.2 分類結果與分析

分類測試結果如圖6所示。圖6中1-30、31-60、61-90和91-120樣本集分別對應類別1、類別2、類別3和類別4的泡沫圖像，其實際類別標簽分別為1、2、3和4。泡沫狀態最初紋理粗糙、邊界模糊呈灰黑色；隨著浮選槽中的精礦不斷被刮板刮出，礦物粒子不足以覆蓋到整個泡沫的表面，導致出現黑色的“窗口”；最后由于泡沫表面載礦量過小，氣泡密集泛白色。由此泡沫狀態的差異進行分類的結果中120個樣本集中有17個分類錯誤，平均識別正確率為85.8%。由于樣本集是按照浮選時間選取，截取不同狀態的泡沫圖像在紋理結構和顏色上遞進變化，相鄰泡沫類別的圖像紋理相似度較高；而類別1和類別2為浮選泡沫初始狀態和完成狀態，相對于類別3、類別4紋理相似性低，識別正確率為86.7%與93.3%相對較高。 與其他方法相對比分別使用文獻[6]～文獻[8]中的紋理提取方法在同參數的SVM分類器下對以上四類泡沫圖像進行分類實驗，結果見表1。結果表明，本文方法的單一類別及總體樣本的識別正確率均高于其他紋理提取方法，適用于紋理結構相似、顏色差異不明顯的浮選泡沫圖像分類。

圖6 分類測試結果Fig.6 Test results of classification

表1 不同紋理提取方法對比Table 1 Comparison of different texture extraction methods

4 結 論

1) 本文提出了一種基于HSV顏色空間的CLBP紋理提取的浮選泡沫圖像識別的方法。考慮了圖像噪聲對紋理提取的影響，使用雙域去噪濾除噪聲，同時保留圖像細節；以HSV顏色分量和CLBP紋理的結合方法增大了分類模型的特征維數，提高了泡沫狀態識別的分辨率。

2) 實驗以煤泥泡沫圖像為紋理提取對象進行SVM分類訓練與測試，分別對四類紋理提取方法進行比較，本文方法的單個泡沫狀態樣本的正確識別率均高于80%，總體樣本識別率為85.8%，高于其他方法。為以泡沫圖像狀態分類為基礎的浮選工況識別提供了應用前景。