基于圖像處理與SVM的核桃仁多特征融合分級方法

顏旭 王應彪 張兆順 李帥奇 張超宇

(西南林業大學機械與交通學院，云南 昆明 650224)

云南省是深紋核桃[1]的起源地和分布中心，也是全球最大的核桃生產基地。市場上不同等級的核桃仁，對應的銷售價格與用途存在差異，因此對核桃仁分級方法的研究有重要意義。已知核桃仁是油脂很多的堅果，長時間高溫潮濕環境就會發生霉變，發生霉變的核桃仁主要在顏色上呈現深綠色斑點或者白色粉狀，在形狀上與正常核桃仁無異。目前，相關國家的標準與生產研究主要針對北方普通核桃，云南主栽深紋核桃與北方普通核桃相比，內在品質、加工利用等方面均有顯著差異[2]，所以本文針對云南核桃仁分級進行研究。

劉星星等[3]在HSV空間下提取各通道均值，確定色調通道H值23，亮度通道80為閾值進行葡萄干色澤識別，紅、黃、褐色葡萄干的正確識別率分別為89.33%、92.00%和96.67%。李秀昊等[4]提取稻谷圖像的顏色特征和形狀特征，基于特征融合和SVM的稻谷識別獲得較高的準確率99.50%。林海波等[5]提取蘋果的大小、顏色、紋理、缺陷、形狀5個特征，利用交叉驗證法優化SVM中的懲罰系數，該分級方法準確率達96.72%。馬佳佳等[6]以花生種子和外觀顏色為主要特征，采用支持向量機模型完成分類任務，準確率達86%。蔡建等[7]提取色調色調、飽和度、核桃仁輪廓面積與最小外接圓面積之比等特征，建立決策樹模型對核桃仁樣本進行預測，正確率達92%。韓巧玲等[8]采用HSV閾值法實現核桃種核圖像的精準分割，對形態、紋理、顏色3類表型定量描述，對核桃種核的自動分割達到99.7%。張保華等[9]計算馬鈴薯圖像的偏心度、矩形度、圓形度等共計13個形狀特征輸入到I-RELIEF模塊中，用支持向量機訓練，對畸形馬鈴薯的識別率達98.1%。雪合拉提·木塔力甫等[10]分析色調灰度直方圖和顏色矩均值直方圖，建立BP神經網絡色澤識別模型，分辨準確率達96.42%。

1 材料與方法

1.1 試驗材料與分級標準

試驗核桃購于昆明市白龍菜市場，選擇市面上常見的云南三臺核桃為試驗對象，核桃仁樣本總量232個。

硬件上，圖像采集系統由相機、計算機、光源及暗箱等組成。大恒MER-051-120GC工業相機，白平衡自動曝光，圖像拍攝分辨率為808(H)×608(V),鏡頭為8MM-2/3-5m-C-MOUNT,焦距為8mm。考慮到核桃仁表面溝壑的存在，采用分體式LED環形燈源，進行光線補償，色溫指數為6000～6500K，選用固定位置拍攝，以控制變量減少后期圖像處理的難度。

軟件上，Anaconda是一個安裝、管理Python相關包的平臺。在圖像處理方面，OpenCV是一個開源的計算機視覺和機器學習軟件庫。本研究采用Python 3.9，OpenCV 4.5.4，完成圖像處理、特征提取、分級等工作。

云南核桃仁顏色以黃白色為主，有少數品種的種仁顏色為黃色和白色，還出現少數淡紫色和黃褐色[11]。核桃堅果種仁有飽滿、較飽滿和干癟，為適應多數核桃仁實際狀況，并結合云南省林學會[12]發布的核桃仁質量標準，從顏色和完整度上確定本次研究對核桃仁等級的劃分，見表1。

表1 核桃仁等級劃分情況

1.2 圖像預處理

1.2.1 原始RGB核桃仁圖像灰度化

將原始圖像調整為統一大小(330，330)，灰度圖像指八位灰度圖，其具有256個灰度級，像素值的范圍是[0,255]。灰度化方法一般有3種，分別是最大值法、平均值法、加權平均法。最大平均法是直接取R、G、B 3個分量中數值最大的分量的數值(0視為最小，255視為最大)；平均法是取R、G、B通道的平均值作為灰度值；加權平均法是對3個通道賦予不同的權重實現灰度化，當圖像由RGB色彩空間轉換成GRAY色彩空間時，其映射關系為：

Gray=00.299×R+0.587×G+0.114×B

(1)

此公式為標準的轉換形式，也是在OpenCV中使用的轉換形式。霉變核桃仁灰度直方圖與正常核桃仁灰度直方圖如圖1所示。

圖1 核桃仁灰度直方圖

1.2.2 閾值分割

為了有效實現前景和背景分離，常用的閾值函數有普通閾值函數和自適應閾值函數，經多次試驗發現，用固定閾值函數分割圖像，如圖2a所示，核桃仁內部出現較大的孔洞，所以，根據1.2.1采集到的單峰灰度圖判斷，本文采用自適應閾值函數，采用三角法對核桃仁圖像進行閾值分割，如圖2b所示，孔洞明顯減小。

圖2 二值化閾值分割圖

1.2.3 形態學處理

獲得二值圖像后，圖像中核桃仁內部有比較多的小孔，本文采用形態學閉運算處理方法，對圖像先進行膨脹操作，再進行腐蝕操作的過程。經試驗可知，閉運算時采用矩形、內核尺寸為3×3的卷積核，再進行2次迭代，可以填充二值圖像中核桃仁內部部分孔洞，觀察輪廓也更加平滑。

1.2.4 提取繪制圖像輪廓

通過對圖像輪廓的提取繪制，可以獲得圖像的大小、位置、方向等信息。輸入經過形態學處理后的圖像，提取輪廓的方式為建立一個等級樹結構的輪廓，這樣獲得所有輪廓并建立層級關系。為解決核桃仁內部出現小的輪廓問題，采用設置最小面積的方式來剔除中間孔洞輪廓，經多次試驗，閾值1000可以很好地篩選完成得到最外圖像輪廓，如圖3所示。

圖3 提取輪廓圖

1.3 特征的提取與識別

1.3.1 核桃仁顏色特征識別

顏色特征是基于像素點的全局特征，可以描述試驗圖像的表面性質，是區分霉變、異色核桃仁和正常核桃仁重要參數。顏色特征可分為顏色直方圖、顏色矩、顏色聚合向量和顏色相關圖。本文所采用的方法是顏色直方圖，提取B、G、R 3個通道的顏色特征，將256個像素區間設置成128個像素區間，減少了數據量，提升了運算速度。

1.3.2 核桃仁形狀特征識別

形狀特征主要包含輪廓特征和區域特征2類，圖像的輪廓特征主要描述外邊界的復雜情況，圖像的區域特征著重描述整個形狀區域，是區分特等、一等、二等核桃仁的重要參數。本文主要以提取外輪廓和最小外接矩形的方式計算核桃仁面積、核桃仁周長、核桃仁寬長比、核桃仁矩形度、核桃仁圓形度5個特征參數。這里相較于其他核桃仁質量等級研究(引用)，加入圓形度的概念，通過多次試驗測量，特等、一等、二等核桃仁的圓形度有較大差別。圓形度用來刻畫物體邊緣的復雜程度，圓形度公式：

(2)

式中，L代表核桃仁二值圖像的周長；A0表示核桃仁的像素面積。核桃仁作為不規則物體，本身邊緣較為彎曲特等核桃仁外形比較復雜，圓形度較小；二等核桃仁外形比較簡單，圓形度較大。

1.4 SVM

支持向量機就的中心思想是找到距分類樣本點間隔最大的分類超平面，判別函數：

(3)

式中，αi為Lagrange乘子；yi為類別標簽；k(xi,x)為核函數；b為閾值。

2 試驗結果與分析

2.1 識別流程

試驗有特等核桃仁樣本80個，一等核桃仁樣本40個，二等核桃仁樣本72個，等外核桃仁樣本40個。具體流程如下。

設置測試集、訓練集比例7∶3；提取樣本圖像的B、G、R 3個通道顏色特征和面積、周長、矩形度、圓形度、長寬比形狀特征；判斷5個形狀特征在不同等級核桃仁數值上的差異，挑選特征參數，再結合3個通道顏色特征組合；訓練SVM模型，選用徑向基核函數，懲罰系數c=1000；記錄各個組合的正確率，根據結果分析試驗。

2.2 結果與分析

2.2.1 基于多重比較的形狀特征參數選擇

本文提取了核桃仁樣本的面積、周長、矩形度、圓形度、長寬比5個形狀特征參數，運用多重比較的方法，選擇作用分類效果比較大的特征參數。由于等外核桃仁在形狀上包含了二分仁、四分仁、米仁、碎仁，所以這里針對特等、一等、二等核桃仁進行比較，結果見表2。

表2 基于多重比較的形狀特征差異性檢驗

通過表2可知，3個等級的核桃仁在形狀特征的具體數值上有所區別，說明形狀特征對不同等級核桃仁的判斷可以提供幫助。由多重比較可知，3個等級核桃仁分類中，面積、周長、圓形度3個形狀特征參數相互之間差異比較明顯。面積方面，從特等到一等像素點數遞減；周長方面，從特等到二等數值遞減；圓形度方面，特等0.38，一等0.51，二等0.63，數值大小上遞增。而矩形度特征各等級之間十分接近，不存在顯著差異，長寬比兩兩之間雖然存在較大差異，但沒有明顯的規律。因此，本文采取3個特征為一個組合的方式進行核桃仁等級識別的建模分析。

2.2.2 基于不同特征的SVM核桃仁分級

根據核桃仁等級劃分要求，通過提取核桃仁特征參數，建立7個不同組合的顏色特征加形狀特征模型，對特等、一等、二等、等核桃仁區分，并進行了模型比較，結果見表3。

表3 基于不同特征的SVM核桃仁分級結果

由表3可知，顏色特征加形狀特征整體分類效果比較好，特別是R通道顏色特征與圓形度、周長、面積的結合，分類正確率達到94%，比G通道顏色特征與圓形度、周長、面積的組合高7%。形狀特征與R通道的組合相較于與B、G、R 3通道分類正確率更高，而且在試驗中發現，提取3通道的時間更長，而表現出來的效果并不是最好。因此，本文基于R通道顏色特征與圓形度、面積周長3個形狀特征建立SVM模型。

3 結論

本試驗的研究對象是云南三臺核桃仁，提取了5個形狀特征參數，通過觀察不同等級核桃仁在該特征具體數值的差異，判斷該特征對區分等級的影響力。試驗結果表明，面積、周長、圓形度，可以作為有效區分核桃仁等級的形狀特征參數。

根據核桃仁圖像特點，建立7個顏色加形狀特征組合，分別構建SVM核桃仁分級模型。結果表明，圓形度、面積、周長3個形狀特征與R通道顏色特征的組合模型表現最好，分類正確率達94%。