基于加權多矩融合特征的礦物影像智能識別算法研究

汪金花 劉 巍 李孟倩 戴佳樂 韓秀麗

(1.華北理工大學礦業工程學院,河北 唐山 063210;2.河北省礦業工程開發與安全技術重點實驗室,河北 唐山 063210)

影像自動識別與檢測分析是智能與綠色礦山技術融合發展關鍵技術之一。 在圖像識別和計算機視覺領域,基于特征影像識別技術具有非接觸性、直接性優點,廣泛應用于信息安全、人臉識別、指紋識別、檔案管理、可視通信等領域[1-2]。 在過去的幾十年里,學者們提出了許多經典的影像識別方法,主要包括卷積神經網絡方法(Convolutional Neural Network,CNN)、支持向量機(Support Vector Machine,SVM)、主成分分析法(Principal Component Analysis,PCA)等。 卷積神經網絡的深度學習架構對圖像處理快速高效,使其成為近幾年智能識別主流方法之一[3-4]。唐小佩等[5]在飛機類型影像識別過程中,利用Canny算子獲取飛機邊緣輪廓,通過卷積神經網絡結合SVM 分類器,簡化了飛機目標識別算法,具有良好的魯棒性。 徐巖等[6]將紋理特征和幾何特征進行融合,提出一種新的Chu-GLCM 識別特征,通過支持向量機分類器提取人臉圖像進行試驗,發現該方法能夠提高人臉識別率4 個百分點。 同時,選用了目標顏色、紋理及形態的組合特征能夠有效提高目標識別的精準度。 王左帥等[7]對車輛圖像的方向梯度直方圖(HOG)特征、不變矩特征和灰度共生矩陣特征進行了降維和線性融合法變換,多類特征融合識別試驗結果驗證了算法的有效性,基于融合后形成的新特征的車輛識別準確率達到了97.22%。 王玉晶[8]選取了圖像的紋理特征與顏色特征進行特征組合,同時采用混沌粒子群優化算法對特征進行了優選,試驗結果組合特征提高了分類準確率,減少了分類時間。 一些研究對特征參與識別權值進行了優化,通過特征加權處理,提高了算法識別效率和精度。 黨宏社等[9]在ReliefF 算法基礎上提出了一種基于特征和距離加權的KNN 分類算法,通過對自然圖像分類,證明了該方法相比于標準KNN 算法具有更高的準確率。 關于礦物巖石遙感影像或者鏡下影像鑒定識別,一些研究應用了智能自動識別算法[10-11]。 徐述騰等[12]應用Tensor Flow 深度學習算法,對吉林夾皮溝金礦和河北石湖金礦的黃鐵礦、黃銅礦、方鉛礦、閃鋅礦等硫化物礦物進行了卷積神經網絡模型識別,自動提取了目標礦相顯微鏡下的礦物深層特征信息。 郭艷軍等[13]針對石英、角閃石、黑云母、石榴石和橄欖石的偏光顯微圖像,采用卷積神經網絡殘差約束算法進行了自動識別試驗,識別精度達到了89%。

目前,鏡下影像識別以顏色特征識別為主,結合部分形態指標進行檢測,總體識別精度較低[14-15]。本研究以鏡下礦物影像智能識別為例,融合影像目標的顏色矩、紋理矩和形狀RSTC 矩3 類特征指標,以指標熵權和變異系數權為智能識別貢獻率權值,構建一種多矩融合機器學習智能識別模型。 利用磁鐵礦、云母、方解石、黃銅、鐵酸鈣等影像進行識別試驗,分析算法的有效性。

1 多矩融合識別模型

1.1 影像多矩特征

圖像特征提取是目標影像識別最為重要的環節,直接決定識別結果的準確性和精度。 識別特征提取應滿足區分度、不變性和魯棒性要求。 所謂特征區分度是不同類型目標特征應有顯著差異;特征不變性指相同類型目標的特征指標差異無顯著變化;特征魯棒性是同一個目標經過旋轉、縮放、扭曲變換后,依然能夠識別出特征。 鏡下不同類型礦物影像色彩不同,同一類型礦物影像色彩相似,有明顯區分度。 對于同一種礦物由于結構不同,表現出不同的紋理和形態,識別有一定難度。 因此為了提高鏡下礦物識別準確度,可以從顏色、紋理和形態3 個層次構建礦物目標影像識別特征模型。

1.1.1 顏色Color 矩

影像表達形式有RGB(紅色、綠色、藍色)、HSV(色調H、飽和度S、亮度V)多種色彩模型。 其中,HSV顏色模型更接近人類視覺感知特點,并且支持大量的圖像分析算法。 為了便于影像智能識別,本研究構建了基于HSV顏色模型的Color 矩。

由于圖像剪切出單個目標通常是不規則圖形,設單個目標的最大長度為M、最大寬度為N,則對于包含目標的M×N矩形圖像的像素值可以表示為

式中,A為目標圖像的空間點域;f(x,y)為圖像空間點(x,y)的像素值。

圖像如果用HSV模型進行表達,其Color 矩分別是H、S和V的3 個通道像素均值、中誤差[16],即

式中,M、N為圖像剪切出單個目標的最大長度和最大寬度;f(x,y)為目標上點(x,y)的像素值;An為目標圖像的空間點域A對應的非0 像素值個數和。

1.1.2 紋理GLCM 矩

紋理特征反映了圖像均勻程度和紋理粗糙程度。灰度共生矩陣是常用的一種圖像紋理提取方法,是指以灰度級i這個點離開了特定的位置d= (Δx,Δy)進而到達灰度為j的概率。 通過圖像灰度共生矩陣可以計算圖像能量、對比度、相關性及熵的4 個統計特征[17],結果見表1。

表1 圖像紋理的GLCM 矩Table 1 GLCM moment of image texture

1.1.3 形態RSTC 不變矩

不同類型目標一般形狀不同,有時形態不同卻代表了同一種物質。 形狀特征因子是影像目標識別的關鍵因素,可以通過不變矩來表示。 不變矩是指圖像在經過旋轉、平移、縮放等變換后仍保持不變的一種特征量,對于離散的二維圖像f(x,y),其中(p+q)階原點矩mpq、中心距μpq的計算公式[18]為

通過大量試驗研究,為了保證目標發生平移和旋轉后也具有不變性,學者們構建了7 個Hu 不變矩,隨后優化的RSTC 不變矩,可以滿足目標影像發生旋轉、縮放等變化后的不變性,見表2。 實際應用時一般采用取對數方式對數據進行壓縮,RSTC 不變矩。

表2 Hu 不變矩與RSTC 不變矩Table 2 Hu invariant moment and RSTC invariant moment

1.2 多矩特征融合權值

為了提高目標影像的自動識別精度,將顏色、紋理和形態3 類特征進行融合,構建智能識別過程的多矩特征融合矩陣。 為了提高模型識別準確率,防止出現神經網絡智能識別過程的泛化現象,設置輸入特征指標的初始權。

1.2.1 構建多矩特征融合矩陣

目標影像通常有顏色、紋理和形態3 類特征,那么對應的影像識別特征集C是圖像顏色CC、紋理CG和形態CR的特征集合,共計16 個因子。 其CC包括顏色空間H、S、V通道的均值、標準差的6 個指標,紋理CG由灰度共生矩陣求解的能量、對比度、相關性和信息熵4 個指標構成,形狀CR包括RSTC 不變矩特征6 個指標。 相關公式為

假設由n個目標樣本的影像特征構成多矩特征融合矩陣A,那么其行秩即為特征指標個數。

為了消除不同指標的量綱影響,考慮特征對模型識別的貢獻率,可以采用效益型指標進行歸范化處理,得到規范后的矩陣R:

式中,效益型指標rij為

式中,min {aij}為第j個指標的最小值;rij為規范后的數值,0≤rij≤1。

1.2.2 確定指標因子熵權Pa

熵是對不確定信息的度量。 某一個指標的差異程度越大,其對應的信息熵就越小,表明該指標所提供的信息量越大,在綜合評價中發揮的作用越大,權重也越大。 本研究應用熵權法計算每類特征中的指標權值時的主要依據是各個指標的差異程度[19]。

首先,根據式(9)多矩特征融合規范后的矩陣R,計算每個樣本值占第i項指標樣本之和的比重,公式為

然后計算第i個指標樣本信息的熵值:

式中,k=-(lnn)-1;n為樣本數。

于是,第i個指標的熵權重Pai可進行如下計算:

式中,m為特征識別指標個數。

1.2.3 計算變異權值Pb

在目標影像識別過程中,顏色、紋理和形態特征類型對識別結果的貢獻率不同,每個類型中不同因子對識別結果影響程度也不同,如區分云母和方解石2 種物質,顏色因子貢獻率的影響比較突出;而一類物質鐵酸鈣顏色大致相同,當區分鐵酸鈣的針狀、柱狀和他形鐵酸鈣時,其紋理和形態特征因子對建模貢獻率的影響會比較突出。 因此需要確定每類特征權值,以便突出目標異類特征[20]。

圖像顏色CC、紋理CG和形態CR有3 類特征,每一類每個特征的變異系數可定義為

式中,ti為類特征變異系數;di為類特征指標中誤差;xi為類特征指標均值。

那么,類特征權值Pbi為

1.2.4 計算多矩特征融合的初始權陣

多矩融合特征權值包含顏色CC、紋理CG和形態CR,共計16 個指標的權值。 為了削弱異常值的影響,使得權重分配更加客觀合理。 同時又防止某類特征不突出,減少智能識別計算量,因此最后多矩特征融合的初始權Pi通過每個指標的熵權和變異系數權值的組合確定公式為

當某一類特征權值小于閾值d時,認為該類特征指標對目標識別的貢獻率不突出。 為減小特征識別過程中的計算量,可以對其初始權強制歸零,不參與目標智能識別運算。 當某一類特征權值大于等于閾值d時,該類特征指標的初始權為指標因子熵權Pai。

1.3 多矩融合識別技術流程

鏡下影像是多種類型圖斑的混合,智能識別之前需要進行圖斑的自動分離。 將鏡下影像進行自動分割、合并尺度后,利用對象的色彩、紋理及結構形態因子,進行面向對象的分類。 同一類鏡下圖斑自動分成一個圖層,對圖層內的圖斑進行邊緣檢測和分割處理,得到大量的單獨圖斑,作為下一步智能識別的數據集。

本研究采用BP 神經網絡進行圖斑智能識別試驗,網絡包含輸入層、隱含層和輸出層。 文中參考前文1.2 節,對輸入層進行了優化。 輸入層為多矩特征融合矩陣A,包括6 個顏色特征因子,4 個紋理特征因子,6 個形狀特征因子。 試驗根據每種特征因子貢獻率確定輸入初權值,以便加快收斂。 對應輸入權可以采用指標熵權、變異系數權和綜合定權。 隱含層激勵函數選取默認的Sigmoid 變換函數,輸出層是圖斑識別類型。

本研究模式識別網絡采用量化連接梯度函數(trainscg 算法)進行訓練。 神經網絡從特征輸入的訓練集開始學習,通過監督分類訓練輸出期望值,訓練過程采用誤差反向傳播方法,不斷迭代優值賦予初始權值,直至誤差最小。 具體流程如圖1 所示。

圖1 基于加權多矩融合的礦物影像識別流程Fig.1 Mineral image recognition model based on weighted multi-moment fusion

2 試驗數據

本研究試驗選取了兩大類樣本。 第一類樣本選取了金屬礦石中經常出現的磁鐵礦、云母、方解石、黃銅4 種礦物進行試驗,主要是為了測試圖斑的色彩、紋理和形態特征對目標識別算法的貢獻率,測試多矩融合特征識別算法的有效性。 樣本中的4 種礦物具有一定的代表性,色彩各異,區分度明顯,紋理和形態方面也有較大差異性。 但實際的鏡下影像較為復雜,圖斑形態各異,為了驗證智能識別算法對實際情況的適用性,選取了燒結礦鏡下影像作為第二類樣本。 除了有不同顏色、紋理的圖斑外,還有針狀、柱狀以及他形不同形態的鐵酸鈣,這類燒結礦具有典型性。

第一類樣本有400 幅圖像(圖2),第二類樣本有200 幅圖像(圖3)。 神經網絡訓練樣本按照70 ∶15 ∶15 的比例劃分,70%的訓練集,15%的驗證集,15%的測試集。 同時為了測試算法的魯棒性,對部分樣本圖像進行了旋轉、縮放等預處理,并統一尺寸為100×100。

圖2 礦物圖像的第一類樣本Fig.2 Mineral images of type Ⅰ samples

圖3 礦物圖像的第二類樣本Fig.3 Mineral images of type Ⅱ samples

3 試驗結果分析

3.1 多矩特征指標權值

計算數據集圖斑的顏色、紋理和形態特征指標時,由于同一幅圖像上不同特征值之間的數值差異較大,為了避免數值干擾識別效果,將特征值歸一化至0～1 區間內。 第一類樣本不同類型礦物的Color 矩、GLCM 矩和RSTC 不變矩特征指標的部分計算結果見表3。 由表3 可知:不同類型礦物6 個Color 矩的指標數值差異明顯,如方解石S4色度均值為0.69,方差為0. 51,而黃銅S7分別為0. 14,0. 13,區分度高;同一類型礦物GLCM 矩也有一定的差異,如磁鐵礦2 個樣本的對比度CON指標分別為0.16 和0.29,黃銅2 個樣本相關性COR指標分別為0.25 和0.36,均為很好的目標識別特征。 不同類型圖斑RSTC 不變矩結果也有一定的區分度,方解石y7不變矩為0.21 和0.32,黑云母分別為0. 39 和0. 36。 說明顏色、紋理和形態3 類指標的識別區分度不同,從而對智能算法貢獻程度也應不同。

表3 第一類樣本不同類型礦物識別特征指標(部分)Table 3 Identification characteristics of different types of minerals in type I samples (part)

根據磁鐵礦、云母、方解石、黃銅4 類樣本16 個特征因子的差異程度計算出熵值、變異系數值,并結合式(13)～式(15)計算出多矩特征融合權值,結果見表4。 由表4 可知:綜合權值中Color 矩類特征權值貢獻率較高,特征明顯。 紋理中相關系數有一定的突出權值,形態因子貢獻率不明顯。

表4 第一類樣本訓練的初始權值Table 4 Initial weight of the training of type I samples

3.2 目標礦物影像識別

開展第一類樣本目標圖像的智能識別試驗時,在單位權、熵權、變異系數權及綜合權4 種初始權的情況下,采用Color 矩、Color 矩&GLCM 矩、Color 矩&GLCM 矩& RSTC 矩作為特征輸入進行智能識別。選用識別正確率和識別時間作為識別效果的評價指標[21]。 表5 只列出了部分結果,從表中可以看出,單獨利用Color 矩一類指標進行識別時,平均精度約95%。 使用兩類組合特征指標進行識別時,平均精度約97%。 使用多矩融合特征進行識別時,識別正確率達到了98%左右,算法識別效果顯著[22],說明隨著輸入特征數量增加,訓練結果精度有所提升。

表5 不同初始權的影像智能識別效果Table 5 Image intelligent recognition effect with different initial weights

由表5 可知:隨著初始權值參與訓練,各類方案識別正確率略有升高。 當以綜合權值為初始權進行影像智能識別試驗時,識別時間相對減少,識別精度上升至99%。 可見,采用不同的特征指標進行智能識別時效果存在差異,主要取決于該類特征能否有效描述圖像的本質特征。由于每一維特征對分類的重要程度或識別貢獻率是不相同的,在對特征進行加權融合后,可以有效提高分類的準確率。 另外,特征的維數也會影響分類結果,并且在輸入端通過降低某類低貢獻率特征權重的方式,可以有效避免分類特征相互干擾。 同時,給定輸入數據初始權,有助于顯著提升智能識別過程中的收斂速度。

3.3 燒結礦鏡下影像識別

為了驗證多矩融合識別模型的有效性,開展了燒結礦鏡下圖像目標的識別試驗。 燒結礦樣品按3 種方案進行配料,均采用化學純CaO(C)和Fe2O3(F)按摩爾配比,制作C2F(41. 18 ∶58. 84)、CF(25. 93 ∶74.07)、CF2(14.89 ∶85.11)3 種混勻壓塊,使用可控溫箱式馬弗爐進行微型燒結,升溫至1 400 ℃恒溫0.5 h 后分別降溫至1 100 ℃并恒溫6 h,獲得3 組燒結礦樣品。 制作燒結礦切片并在電子顯微鏡下觀察獲取的試驗原始圖像如圖4 所示。

圖4 燒結礦樣品鏡下原始圖像Fig.4 Original image of sinter sample under microscope

首先將鏡下圖像進行面向對象分類(圖5),得到玻璃相、磁鐵礦和針狀、柱狀、他形的鐵酸鈣目標圖斑,見表6。 對鏡下圖像進行面向對象分類,經過邊緣分割后,提取玻璃相、磁鐵礦和針狀、柱狀和他形的鐵酸鈣5 類樣本,每類樣本為40 個,共計200 個。

圖5 燒結礦鏡下圖像面向對象分類后影像Fig.5 Image of sinter under microscope after object-oriented classification

表6 燒結礦鏡下圖斑樣本類型Table 6 Type of spot samples in sinter mirror

對燒結礦鏡下圖像的數據集圖斑進行了顏色、紋理和形態指標特征的熵值及變異系數計算,結果見表7。 由表7 可知:玻璃相、磁鐵礦、鐵酸鈣不同類型目標的Color 矩、 GLCM 矩和RSTC 不變矩特征指標的熵權差異不明顯,但是變異權值明顯不同。 針狀、柱狀和他形的不同形態鐵酸鈣的RSTC 不變矩識別特征明顯不同,權值相差較大。 對于綜合定權,根據不同指標變異權值大小,設定閾值d=0.02,即對于變異權小于等于0.02 的指標,其神經網絡輸入端的初始權值為0。

表7 燒結礦鏡下圖斑樣本訓練的初始權值Table 7 Initial weight of spot samples training in sinter mirror

對采集的圖像特征進行智能識別訓練,顏色矩、紋理矩和RSTC 不變矩及對應權值作為神經網絡輸入端進行訓練,結果見表8。 由表8 可知:如果單獨使用一類特征指標識別圖班,平均精度很低。 利用兩類特征指標識別圖班時,精度明顯提升,達到了90%左右。 當利用RSTC 矩&GLCM 矩&Color 矩的多矩融合特征指標,在綜合權作為智能識別輸入初始權時,精度達到了97%,雖然訓練時長有所增加,但增加幅度微小。

表8 燒結礦鏡下目標圖斑識別結果Table 8 Target pattern recognition results of sinter under microscope

4 結 論

推進礦山智能化建設,需要信息化、數字化技術融合發展。 鏡下礦物影像自動識別是礦物智能化檢測的關鍵技術。 本研究針對鏡下礦物影像神經網絡智能識別算法展開了研究,主要結論如下:

(1)集成了鏡下礦物影像的顏色Color 矩、紋理GLCM 矩及形態RSTC 不變矩的量化指標,根據3 類統計特征差異度確定因子的熵權值,并根據特征識別貢獻率確定因子的變異權值,構建了基于多矩特征融合的權值算法模型。 模型通過優化特征因子的初始權值,有效控制了網絡訓練的泛化現象和每個因子的參與度,弱化了訓練過程中不確定性特征指標的干擾。

(2)采用鏡下磁鐵礦、云母、方解石、黃銅4 種礦物400 個樣本進行試驗,模型自動識別的平均正確率達到了98%以上。 選取燒結礦鏡下圖像200 張數據集圖斑進行了不同形態的目標識別試驗,總體精度達到了97%。 結果表明:基于綜合定權的多矩特征融合圖像識別算法可靠性好,是一種簡單有效的鏡下目標圖斑智能識別方法。

(3)所提模型改善了鏡下影像智能識別效果,為鏡下影像智能化分類提供了一種新方法,鏡下圖斑自動分割是后續研究重點。