基于機器視覺的香梨表面損傷識別研究

摘要：機器視覺技術能夠從香梨圖片中提取豐富的特征信息，自動識別出香梨損傷區域。首先分析了機器視覺的技術原理以及圖像處理方法。接著，對采集到的香梨損傷圖片進行平均值灰度化處理，去除圖像中的噪聲、增強有用的特征，保留彩色香梨圖像的大部分信息，形成特征向量矩陣。最后，將深度學習中的卷積神經網絡（CNN）作為分類器，對香梨損傷特征進行訓練和分類，實現香梨表面損傷的準確識別。

關鍵詞：機器視覺；卷積神經網絡；損傷識別；特征提取

一、前言

香梨作為一種重要的水果品種，被全球廣泛種植和消費，其質量與損傷問題直接影響著市場價值和消費者滿意度。由于香梨表面損傷往往是隱蔽且細微的，傳統的人工檢測方法費時費力，且存在主觀性和不穩定性的問題，難以滿足大規模、高效率的質量檢測需求。機器視覺技術借助計算機視覺和圖像處理技術，能夠從香梨圖片中提取豐富的特征信息，自動識別出香梨損傷區域，極大地提高了香梨表面損傷識別的準確性和效率。

通過深入研究損傷特征和優化識別模型，預期可以大幅提高損傷識別的準確率，降低漏檢和誤檢率。機器視覺技術的應用將推動農業生產向智能化[1]、數字化方向邁進[2]，有助于提高農產品生產效率和質量水平。

二、機器視覺與圖像處理

（一）機器視覺技術原理

機器視覺技術模仿人類視覺系統，通過計算機和圖像處理算法，使計算機能夠像人一樣獲取、處理和理解圖像信息。機器視覺技術的基本流程包括圖像獲取、圖像預處理、特征提取、特征匹配和決策輸出等。圖像獲取是機器視覺的第一步，由攝像頭、相機等設備采集目標物體的靜態圖像或者視頻流。采集的圖像受到光照、噪聲等因素的影響，需要對圖像進行灰度化、濾波、增強、去噪等預處理，以提高后續處理的效果。對預處理后的圖像進行色彩、紋理、形狀分析，從中提取出有用的特征信息。在特征提取后，對提取到的特征進行匹配，將其與事先存儲的模板或特征庫進行比對，從而找到與目標相匹配的特征。根據特征匹配的結果，機器視覺系統做出相應的決策輸出。

卷積神經網絡（Convolutional Neural Network，CNN）是一種深度學習模型，特別適用于圖像處理和視覺識別任務，如圖1所示。在香梨表面損傷識別的研究中，采用CNN和圖像分割來實現損傷的自動檢測和識別，可以達到更好的損傷識別效果。CNN網絡利用卷積操作和池化操作來提取圖像的特征。卷積操作通過濾波器在圖像上進行卷積運算，提取出圖像中緣、紋理。池化操作對特征圖進行降采樣，減少特征圖的尺寸和參數數量，同時保留關鍵信息。通過多層卷積和池化操作，CNN能夠逐漸提取高級抽象的特征，從而實現對復雜圖像的識別和分類。

CNN通過反向傳播算法，最小化預測結果與真實標簽之間的差異，即最小化損失函數。在分類任務中，常用的損失函數是交叉熵損失函數，用于度量預測類別和真實類別之間的差異。

（二）圖像預處理方法

圖像處理基于圖像的像素信息和圖像中的空間結構進行操作，利用計算機算法對圖像進行處理，以改變圖像的外觀、特征或質量。閾值分割方法通過將像素灰度與預先設定的閾值進行比較來分割圖像。將圖像轉為灰度圖，通過設定閾值將圖像分成不同的區域，將損傷區域與正常區域分離。

平均法是最常用的方法，將彩色圖像的紅、綠、藍三個通道的像素值求平均來得到灰度值，如公式（4）所示。平均法考慮了人眼對不同顏色通道的感知差異，能夠更好地保留圖像的視覺信息。灰度圖像轉化后，每個像素只有一個灰度值，這樣可以將圖像信息從三維（RGB）簡化為二維，使得后續的圖像處理和特征提取更加高效。加權平均法是在平均法的基礎上，對不同通道的像素值進行加權平均，以考慮不同顏色通道的重要性。

形態學處理方法通過結構元素對圖像進行腐蝕、膨脹等操作，來改變圖像的形狀和結構。特征提取方法通過計算圖像的統計特征、顏色直方圖、紋理特征等，提取顏色、紋理、形狀等特征，來顯示圖像的內容和特性，幫助識別不同類型的損傷。這些圖像處理方法能夠有效地提取和增強圖像中的有用信息，為香梨表面損傷的識別提供有力的支持。

三、基于機器視覺的香梨表面損傷研究

（一）香梨損傷特征

了解香梨的損傷特征及其成因，可以更好地設計和優化損傷識別模型，提高損傷識別的準確性和魯棒性，為農產品質量檢測和保鮮等領域提供有效的解決方案。香梨的損傷特征包括磕碰劃傷、淤傷、刺傷、病斑等（如圖2所示）。

磕碰劃傷是指香梨表面因與硬物碰撞或摩擦而產生的劃痕或凹陷，該損傷通常呈現不規則的形狀和邊緣，其灰度和紋理特征與周圍區域有明顯差異。淤傷指香梨表面因受到撞擊而形成的淺色斑點或色差[3]。淤傷的形狀通常較小且不規則，顏色與周圍區域有明顯差異。刺傷是指香梨表面因受到尖銳物體刺入而形成的穿透性損傷。刺傷通常呈現線狀或點狀，其邊緣清晰，顏色與周圍區域有明顯對比。病斑是指香梨表面因受到病菌或病毒感染而形成的不規則斑點或區域。病斑的顏色和紋理通常與正常區域明顯不同。

（二）特征提取

特征提取的目標是從圖像中提取有助于區分不同損傷類型的特征信息。對于磕碰劃傷、淤傷、刺傷和病斑等不同類型的損傷，特征提取是非常重要的步驟。

首先，采用平均值灰度方法，對采集的香梨圖像進行預處理，以去除圖像中的噪聲、增強有用的特征。平均值灰度法保留了彩色圖像的大部分信息，將彩色圖像轉換為灰度圖像后，每個像素點仍然包含有關原始圖像的某種形式的顏色信息。對于顏色分布較為均勻的圖像，采用平均值灰度法能夠比較好地保持圖像的對比度，使得圖像的邊緣和細節信息得以保留，如圖3所示。對于灰度圖像，每個像素的灰度值表示為矩陣中的一個元素[4]。整個圖像表示為一個二維矩陣，當灰度圖像的大小為64×64像素，可以將其表示為一個64×64的矩陣，其中每個元素為0到255之間的一個灰度值。

根據不同損傷類型的特點，選擇合適的特征用于識別。對于磕碰劃傷和淤傷，可以采用紋理特征、邊緣特征；對于刺傷，可以采用形狀和邊緣特征；對于病斑，可以采用顏色和紋理特征。將提取到的特征表示成合適的向量或矩陣形式，以便于后續的分類或識別。

如果提取的特征維度較高，可以采用特征選擇或降維算法來減少特征的維度，以提高計算效率和減少冗余信息。采用t-SNE構建高維空間和低維空間之間的概率分布，使得相似的數據在高維空間和低維空間中有較高的概率，而不相似的數據在高維空間和低維空間中有較低的概率。首先，對于每對樣本i和j，通過高斯核函數來計算它們的相似度，高斯核函數的帶寬由用戶指定。計算低維空間中樣本之間的相似度時，同樣使用高斯核函數，但帶寬會根據樣本在高維空間中的相似度來自適應調整，使得樣本在低維空間中更好地保持相對的距離關系。根據高維空間和低維空間中的相似度計算樣本的條件概率分布。接著，通過最小化高維空間和低維空間之間的Kullback-Leibler散度，優化映射關系，使得相似的樣本在低維空間中更聚集，不相似的樣本在低維空間中更分散。高維空間中數據點i和數據點j之間的相似度計算方法如公式（5）所示：

（三）分類器設計與訓練

CNN模型由多個卷積層和池化層交替堆疊構成，通常包括若干個卷積層、激活函數、池化層、全連接層和輸出層。CNN的設計需要根據實際任務和數據集的特點來進行調整。如CNN模型有LeNet[5]、AlexNet、VGG[6]等。由卷積層提取一系列的特征圖，由池化層減小特征圖的尺寸和參數數量。 在每個卷積層后，需要添加ReLU、Sigmoid或者Tanh激活函數，常見的激活函數有ReLU、Sigmoid、Tanh等。經過多個卷積和池化層之后，將特征圖展平為向量，并連接到一個或多個全連接層。全連接層用于對特征進行進一步處理和學習，輸出最終的分類結果。輸出層通常使用Softmax函數將得分轉換為概率，用于分類任務。

香梨灰度圖像中包含了損傷區域和正常區域的灰度信息，通過圖像增強，可以使損傷區域和正常區域的特征更加明顯和突出，通過增強對比度，使損傷區域與周圍區域的灰度差異更加明顯，有利于區分不同的損傷類型。同時，對香梨灰度圖像進行圖像增強可以改善圖像的視覺效果和質量，增加香梨圖像的對比度、增強邊緣、減少噪聲等，使圖像更加清晰和明亮。

訓練CNN模型是一個迭代的過程。將準備好的數據集劃分為訓練集和驗證集，用于模型訓練和驗證。通過反向傳播算法計算梯度并更新模型參數，不斷優化模型。訓練過程中，調整設置合適的學習率、批量大小和訓練輪數等超參數。為了防止過擬合，可以使用正則化技術和早停策略等，如表1所示。訓練完成后，使用驗證集來評估模型的性能，并評估模型的表現。最終，在測試集上對模型進行測試，得到損傷識別的結果。

在香梨表面損傷識別研究中，采用CNN網絡進行分類和識別，準確率可以達到91%。即經過上述訓練，CNN分類器可以對香梨表面的磕碰劃傷、淤傷、刺傷和病斑等不同類型的損傷進行準確的識別，從而為香梨質量檢測和保鮮提供有效的解決方案。隨著數據量和訓練深度的增加，CNN模型的性能和泛化能力將不斷得到提升。

四、結語

本文分析了基于機器視覺的香梨表面損傷識別問題，利用平均灰度值方法、特征提取和CNN分類器的設計與訓練，進行了表面缺陷分類檢測。CNN網絡在香梨表面損傷識別任務中表現出較高的準確性和魯棒性，為農產品質量檢測和智能農業的發展提供了一種可行的解決方案。目前，香梨表面損傷的數據集仍有限，數據量的增加可以進一步提高模型的泛化能力和準確性。因此，未來可以通過更廣泛的數據采集和標注，構建更大規模的數據集，并拓展到更多種類的損傷，提高系統的應用范圍和實用性。除了圖像信息外，香梨損傷的識別還可以融合多種傳感器信息，如紅外圖像、超聲波等，提高識別的全面性和準確性。

參考文獻

[1]崔焱，彭可，楊玉娥，等.基于機器視覺的手機蓋板表面缺陷檢測系統設計[J].制造業自動化，2023，45（07）：75-79+96.

[2]賀玉彬.基于機器視覺的大壩表面裂縫自動測量方法[J].制造業自動化，2023， 45（07）：160-163.

[3]董建偉，劉媛媛，陳斐，等.基于多光譜圖像的庫爾勒香梨表面缺陷檢測[J].農機化研究，2021，43（09）：35-40.

[4]張衛民，國海，劉帥帥.基于計算機視覺的碭山梨分級系統[J].安徽科技學院學報，2022，36（04）：55-59.

[5]付夏暉，王菊霞，崔清亮，等.基于輕量化卷積神經網絡的蘋果表皮損傷分級研究[J].果樹學報，2023，40（10）：2263-2274.

[6]黃仁彬，詹道樺，楊修定，等.基于加權多尺度特征融合的帶鋼表面缺陷檢測算法[J].計算機集成制造系統，2023（07）：17.

作者單位：邱鵬，晉中信息學院；蘇兆兆，新疆大學；賈瑤鏇，山西農業大學

責任編輯：尚丹