基于LSP與GLCM方法的碎米識別特性研究

徐子龍, 楊 柳, 肖 軒,范雨超, 羅 洋, 李 瑜, 裴后昌, 張永林

(武漢輕工大學機械工程學院,武漢 430023)

大米是人類的主要食物來源,其富含多種的碳水化合物,能給人們的日常生活提供能量。在碾米的工程中會產生碎米這一副產品,由于碾米等加工技術的缺陷,在加工過程中會產生15%～20%的碎米[1]。碎米是大米品質的重要指標之一,是大米分級的重要依據。碎米檢測可以反向調整稻谷的加工方式,適當碾米,減少米粒營養物質的流失和碎米量。碎米的檢測具有重要意義[2],檢測篩選出碎米,用于制備淀粉,糖醇,米蛋白,米制品等,有效提高其利用率和經濟價值。因此,快速以及準確的碎米檢測對于碾米企業的生產加工環節非常重要[3]。

機器視覺在農產品檢測領域發展迅速,可以對目標作物的缺陷、成熟度、大小進行檢測識別,同時能有效地排除主觀因素干擾,提高檢測的準確率。而大米品質鑒定由檢驗員人為進行,在一定程度上保證了準確性,但需要大量的人力、時間和主觀判斷。因此,利用計算機視覺技術可以對大米的加工品質及外觀品質進行快速、無損檢測,對于提高大米的品質至關重要[4]。梁詩華等[5]基于C-SVM 的大米品種識別研究,識別分類準確率約為99%,其特征參數選取過于單一。王正[6]利用Matlab中的圖像處理模塊對大米的外觀圖像進行了顏色矩和紋理特性分析,為后續研究大米表面質量和透明度提供了支撐。劉金平等[7]提出了一種基于多尺度全方向高斯導數濾波的圖像空間結構視覺特征提取方法,采用LS-SVM 方法構造了大米加工品質自動分類模型。馬超等[8]從圖像的顏色、像素面積和紋理特征實現對大米的品質檢測。萬鵬等[9]研究了利用灰度-梯度共生矩陣對采集到的不同加工精度大米的圖像進行分析,該方法檢測的平均準確率為92.17%。

近年來,利用計算機視覺技術的大米檢測研究已有不少,然而采用多種特征組合的米粒特征提取的內容較少,缺少分析與研究。本研究根據GB/T 1354—2018《大米》檢測標準,碎米利用以及經濟價值,將識別對象定義為小碎米、大碎米和整米。并提出了一種利用圖像處理的技術,提取多種類型的特征參數,根據米粒樣本圖像的紋理和形狀等物理性質對其進行分類的方法。采用LSP融合GLCM的算法對米粒圖像提取紋理特征,以及米粒的形狀特征參數,構建碎米識別模型,結果表明模型能夠較快并準確的實現整米,碎米的分類識別。如圖1所示,所述方法包括:搭建了一個米粒的圖像采集平臺,目前進行單顆米粒采集,獲得單顆米粒圖像;圖像預處理,預處理可以過濾掉圖像采集時出現的光斑等噪聲,減少運算時間,提高效率;根據米粒特點,進行紋理特征和形狀特征提取,建立米粒的特征庫;將米粒特征集輸入至優化后的機器學習模型中訓練得到碎米檢測模型,整個識別流程如圖2所示。為提高碎米識別提供了可靠的理論基礎和技術支持,建立可調控的大米適度[10]加工產線,明確大米分級加工[11],促進大米加工產業鏈的技術革新。

圖1 碎米識別平臺

圖2 碎米識別流程圖

1 材料與方法

1.1 材料

實驗采用執行標準為GB/T 19266的粳米。米粒樣本產自黑龍江省五常市稻花香產區,選取稻花香2號種子,有機加工標準。

1.2 數據集采集

米粒樣本圖像在相同距離和相同光照條件下進行拍攝。拍攝設備固定在三腳架上,米粒放置在黑色背景板上,鏡頭距離米粒15 cm,進行圖像采集。拍攝設備為CCD工業相機,光源為自然光,每個品種采集50張圖片,準備150張圖像的數據集用于分類實驗。采集樣本的圖像初始分辨率為3 024×3 024,為了減少處理時間,將原圖像剪裁至分辨率為512×512,采用PNG文件格式存儲。

1.3 圖像預處理

圖3為米粒圖像的預處理步驟。預處理的目的是將數據轉換成更容易、更有效的處理格式,以獲得更準確的數值,有利于后續圖像特征提取與識別。

圖3 圖像預處理

在進行圖像采集的過程中,成像傳感器在圖像采集過程中可能會受到環境條件的影響,攝像頭拍攝的圖像中會夾雜著光斑、粉塵顆粒等冗余信息,在圖像中引入噪聲[12]。將原圖像進行中值濾波處理,可用消除圖像采集時產生的雜散的噪聲點,抑制噪聲且又能保持圖像的細節。

彩色RGB格式圖像轉化為灰度圖像是將三維圖像降維到單維,提供了單維的操作。這一步的目的是使圖像更簡單,并減少代碼的復雜性,并保留了大部分的圖像信息,灰度圖像適用于灰度共生矩陣(GLCM)進行特征提取。

灰度圖像的灰度級數通常為256級,灰度共生矩陣計算量大,計算時間長[13],灰度共生矩陣的計算是針對于每一個像素,運算量較大。同時高分辨率圖像計算量大,低分辨率圖像計算量小[14]。為了減少運算量,使用np.digitize函數對灰度圖像進行壓縮處理,灰度級數由之前的256級壓縮至64級,小、大、整米圖片大小分別由89.23、124.75、127.07 kb降低至26.6、49.89、59.4 kB分別減少了70%、60%、53%。以整米為例,整米的灰度圖像的GLCM計算時間歷時3.40 s,壓縮后計算歷時2.24 s,運行時間減少了34%。

2 特征提取方法

特征選擇是識別計算機視覺圖像的最重要步驟,因為它影響了整體過程的準確性。 所選功能應具有最小類間相似性和最大類內相似性。如何提取出目標物體表征性能較好的特征信息,是提高目標物體分類準確率的關鍵[15],構成了決定算法準確性的基礎。 此步驟的輸入是米粒圖像,輸出是代表區分特征的特征向量。通過提出一種產生更多判別特征和更少數據維度的全局和局部方法,這些問題得到了解決。研究了2種特征提取方法,即灰度共生矩陣特征提取和形狀特征特征提取,并提出了兩種特征提取方法的組合。這種合作旨在利用各自的主要優勢,同時相互補充,以提升各自的弱點[16]。

2.1 紋理特征提取

紋理是圖像中最重要的特征之一,可以從任何類型的圖像中提取,如RGB、單色、航空、衛星圖像,已被越來越多地用于評估和檢查食品屬性[17,18]。圖像的紋理反映了像素的強度值的變化,它可能包含物體幾何結構信息,因為通常強度值的變化巨大可能表明幾何結構的變化。整米、大碎米、小碎米在整體的結構上具有一定的差異,因此不同米粒的紋理特征可以在一定程度上反映出米粒的破碎程度。

2.1.1 LSP特征提取

局部相似模式(LSP)是由Pourreza等[19]提出的一種旋轉不變的特征算子。LSP局部相似模式是LBP局部二值模式的改進算法,是一種用于確定具有旋轉不變性的區域紋理變化的算法。其主要區別是在LBP中,閾值是中心像素的灰度等級,而在LSP中可以定義一個閾值,即相似范圍半徑(SRR)。通過指定的相似范圍半徑(SRR)對中心像素值進行閾值處理。在紋理嵌入噪聲的情況下,LSP算子能夠有效提高紋理的分類效果。

2.1.2 GLCM特征提取

灰度共生矩陣(GLCM)是Harklick[20]在1979年提出的一種考慮像素空間關系的紋理統計方法。通過計算具有特定值和特定空間關系的像素對在圖像中出現的頻率來表征圖像的紋理,創建灰度共生矩陣,再從這個矩陣中提取統計度量值。每種米粒都有自己的特點,完整米粒的形態更規則,整體成橢圓狀,邊緣均為圓弧。碎米粒一般為3種斷裂形式,頭部斷裂,尾部斷裂,頭尾都發生斷裂。碎米其斷裂處類似一條直線,與整米原有的圓弧狀有較大的區別。即米粒在大小、整體形狀、局部輪廓上存在差異,這些差異可以用米粒的紋理特征描述。

紋理分析更善于用可測量的參數呈現圖像紋理,如角二階矩(ASM)、熵(Ent)、對比度(Con)和相關性(Cor)。

Angular second moment(ASM)表示灰度分布的均勻程度和紋理的厚度,即像素對中的重復性,可以檢測出圖像紋理的紊亂。

ASM=∑k∑lP2(k,l)

(1)

Entropy(Ent)熵是圖像所具有信息量的度量,它表示了圖像中紋理的非均勻程度或復雜程度。

ET=-∑k∑lP(k,l)log[P(k,l)]

(2)

Contrast(Con)是相鄰像素組的最高值和最低值之間的差異,顯示圖像中存在的局部變化量。

Con=-∑Dn=0n2{∑k∑lP(k,l)}

(3)

Correlation(Cor)是對圖像灰度等級之間的線性依賴關系的衡量,用于測量像素的線性依賴性。

Cor=∑k∑l(kl)P(k,l)-μ2σ2

(4)

2.1.3 LSP與CLCM融合的特征提取算法

圖像的特征提取方法主要有2類方法,即整體方法和局部方法。本研究使用局部相似模式對圖像的局部空間紋理特征進行編碼[21],編碼后采用GLCM統計出紋理特征量,將米粒整體與局部的信息進行融合。融合特征提取方法是基于LSP算法和CLCM算法的結合。對于該操作,首先對原圖像應用LSP算子,利用LSP算子對圖像進行分析,生成紋理圖像。隨后對生成的LSP圖像進行提取GLCM紋理特征,計算出角二階矩(ASM)、熵(Ent)、對比度(Con)和相關性(Cor)4個方向上的均值。傳統的GLCM算法在提取特征時是基于一個像素及其下一個相鄰像素進行運算的,不涉及圖像上的其他局部模式,而融合算法在提取特征時考慮了所有的紋理結構和空間信息。在本研究中,使用融合算法從米粒圖像中獲得的特征使用的公式與GLCM算法相同。LSP顯性的構建了每個點和鄰居點的關系,用這一關系來描述中心點,在有明顯光線變化時,區域的表觀會發生變化,但點和點的關系可能是魯棒的[22],則LSP可以在外部環境有變化時,有效增強米粒的信息,該方法將米粒圖像的局部信息與整體信息相結合,提取米粒具有差異性的紋理特征。

2.2 形狀特征提取

形狀特征時描述圖像內容的一個重要特征,能直觀地表述物體的特征,是計算機視覺和模式識別中的一個基本問題[23]。圖像處理和模式識別中一般要獲取的目標參數是面積、周長、目標圖像的長軸長度、短軸長度、外接凸多邊形面積、離心率等[24,25]。經觀察分析,整米、大碎米、小碎米的面積、周長、最小外接矩形面積和周長差異較大,可作為形狀特征參數。

3 結果與討論

3.1 數據處理與分析

本次研究樣本數據共150個,每個類別分別有50個圖像。將提取的所有特征角二階矩、對比度、相關性、熵、面積、周長、最小外接矩形面積,最小外接矩形周長作為特征參數進行訓練和測試。

將圖像劃分為3個類別,小碎米、大碎米和整米。通過Matlab對圖像的處理,經灰度共生矩陣提取計算,得到紋理特征數據。通過4個方向的灰度共生矩陣計算得出0°、45°、90°、135°的角二階矩、熵、對比度、相關性,在計算出不同樣本的4個方向的紋理特征的平均值。表1是從GLCM中提取出來的特征均值。

表1 紋理特征提取參數均值

由表1可知,這些參數表示了不同米粒的ASM、Ent、Con,Cor等圖像紋理特征的數值大小,整米粒表面光潔圓滑,小碎米和大碎米,在其斷裂處會有明顯的灰度變化,小碎米灰度變化更加突出。這一破碎特性使不同米粒紋理特征參數具有明顯的差異,可以通過比較這些特征參數反映出不同圖像紋理特征的差異,在不同特征參數的差異的對比中,米粒紋理進行分類識別應當是可行的,從而達到實現對碎米特性的分類的目的。

如圖4a所示,碎米的ASM值分布在0.861 026～0.589 545,整體大于整米的ASM值分布范圍0.566 731～0.448 286,表明整米圖像紋理相似性更大,紋理特征值波動較小,碎米因破碎程度不同,其紋理值相較于整米波動顯著。小碎米的ASM值大,紋理更加均勻。通過角二階距對應的碎米紋理數值,能實現的不同尺寸碎米的區分。圖4b中整米和大碎米的熵值偏高,整米Ent值最大為1.515 161,說明其圖像中的灰度差異較大,小碎米的熵值比較小,小碎米Ent值最小為0.403 75,說明其圖像灰度均勻,共生矩陣中元素大小差異大。圖4c中整米圖像的清晰度最好,反差越大,Con值整體較高,最大為0.183 26,反之碎米,Con值較小,最小為0.035 557,對比度小,則溝紋淺,效果模糊。圖4d中小碎米的Cor值平均為0.104 865 2,高于整米和大碎米,說明其圖像中的局部灰度相關性大于大碎米和整米。

注:曲線代表不同米粒的紋理特征值。

通過Matlab對圖像的處理,分別得到米粒輪廓面積、周長、米粒最小外接矩形面積,周長4個形狀特征向量,如表2所示。

表2 形狀特征參數

通過表3數據得出,米粒的形狀特征參數差異明顯,大碎米的面積均值約為整米的2/3,小碎米的面積均值約為整米的1/2,表明對比米粒形狀特征參數上的差距可以有效的區分整米和碎米。4個形狀特征特征向量可以作為有效的特征參數放入分類器,并且可獲得較好的分類效果。

表3 形狀特征參數均值

3.2 識別模型建立與分析

米粒的選定特征形成輸入特征向量,再送入分類器進行訓練識別,識別過程的最后階段是分類階段。分類器的目的是通過根據特征向量將圖像放置在預定義的類別中來識別圖像。利用劃分好的數據集分別訓練4種分類模型:支持向量機(SVM)、線性判別分類器(LDA)、K近鄰(KNN)、隨機森林(RF)。引入準確率(Accuracy)、精確率(accuracy)、召回率(accuracy)和F1-score來驗證模型性能。結果如表4所示,對比分類模型性能,GLCM紋理特征與形狀特征同時作為特征向量時,4種分類器的分類準確率都在95%以上,其中基于Linear核函數的支持向量機分類模型性能最優,準確率達到97.56%,精確率、召回率和F1-score均高于其他分類模型,預測的正確樣本個數最多。對于形狀特征,KNN分類模型最優,準確率可達96.67%,但預測精確率為94.33%,低于其他3種分類模型,預測的正確的正樣本數量最少。對于紋理特征,RF分類器效果最好,準確率為95.00%,僅預測正確的正樣本數量低于SVM分類模型,其他評價指標高于另外分類器。組合特征相比于形狀特征,GLCM紋理特征,SVM分別提升了2.56%,4.23%;LDA分別提升了0.52%,2.75%,KNN分別提升了0.33%,3.67%,RF分別提升了0.50%,1.50%。數據表明,單特征的分類結果都低于組合特征分類結果,說明使用LSP與GLCM融合算法所提取的紋理特征,基于GB/T 1354—2018大米檢測標準,提取的3類大米的形狀特征,2類特征相互組合,可以提高分類結果。

表4 不同分類器識別精度

此外,與梁詩華,基于米粒形狀特征作為特征集,使用SVM模型對碎米分類,準確率為95.60%[26],本研究基于特征組合,采用優化后的SVM分類模型進行分類處理,得到準確率為97.56%,提升了1.96個百分點。證明GLCM提取的四維特征加上四維形狀特征作為特征參數放入分類器中的準確率要高于單獨的形狀特征得到的準確率,說明,GLCM紋理特征加形狀特征作為特征參數可以實現快速并準確的碎米分類效果。

4 結論

針對于碎米識別,本研究采用LSP與GLCM融合算法提取米粒的4維紋理特征,并提取米粒自身的4維形狀特征,利用SVM、LDA、KNN和RF 4種分類器,將兩個特征合共8維特征,分別放入4個分類器,對整米與兩類碎米進行了識別分類。并比較單獨的形狀特征在不同分類器上的碎米識別性能,相比于單獨使用紋理特征或形狀特征,紋理特征加形狀特征結合起來能夠有效的提高識別準確率。分析結果表明,提取紋理特征與形狀特征,使用SVM的Linear核函數對整米和兩種碎米的分類準確率達到97.56%,方法既考慮了圖像的整體特性,也考慮了紋理變化帶來的局部特征,特別使用了LSP算法對圖像進行了預先處理,再進行GLCM紋理特征的提取,最后獲得了理想的碎米識別分類準確率。