基于BPNN和SVM的煙葉成熟度鑒別模型

謝濱瑤，祝詩平，黃華

西南大學工程技術學院，重慶 400716

成熟度是煙葉質量品質的重要指標[1-2]。但目前煙葉生產中大多仍采用人工采收、肉眼鑒別成熟度的方法，很難保證準確率與效率。因此，如何快速準確鑒別煙葉成熟度是研究的熱點。美國學者Thomas等[3]將圖像處理技術應用于煙葉研究，成功提取煙葉圖像特征。Dasari[4]利用深度學習卷積神經網絡鑒別煙葉成熟度，準確率為85.10%。相對于煙葉成熟度，國外學者對果蔬成熟度[5]的研究更多，國內對煙葉成熟度的研究已有一些報道。汪強等[6]基于計算機視覺技術建立了SPAD值與煙葉成熟度的關系模型。SPAD計可即時測量植物葉綠素含量（SPAD值），但SPAD計屬單一波段反射儀器，反射率穩定性差，易受環境因素影響。史龍飛等[7]研究了基于機器視覺技術鑒別煙葉成熟度，準確率為93.67%。王杰等[8]研究了基于極限學習機鑒別煙葉成熟度，準確率為96.43%。李青山等[9]研究表明基于高光譜參數鑒別煙葉成熟度是可行性的。高憲輝等[10]研究了通過顏色值指標鑒別煙葉成熟度，準確率為95.60%。

上述研究是將煙葉樣本通過采樣箱帶回實驗室，由固定光源拍攝成像，而不是采收環節中直接拍攝成像。本研究通過提取植株顏色特征和紋理特征，在采收現場直接拍攝成像，并建立基于BP神經網絡的煙葉成熟度鑒別模型（Identification Model of Tobacco Leaf Ripeness Based on Back Propagation Neural Network，IMTLR-BPNN）和基于支持向量機的煙葉成熟度鑒別模型（Identification Model of Tobacco Leaf Ripeness Based on Support Vector Machine，IMTLRSVM）。

1 煙葉圖像采集

本試驗樣本從重慶市武隆區火爐鎮徐家村煙葉園區獲得，分別于2017年7月16日、7月30日分2次在種植現場植株上自然光照下直接拍攝整片下部煙葉，共采集圖像樣本324份。采集時間為傍晚17:30-18:30，此時光照均勻。由VGA-工業相機采集樣本，分辨率為1024*768。由火爐鎮煙草部門烤煙技術人員鑒別煙葉成熟度，最終結果為：未熟樣本171份，適熟樣本102份，過熟樣本51份。隨機選取總樣本的3/4作為訓練集，共243份，余下1/4作為測試集，共81份。

2 圖像特征提取

2.1 目標圖像提取

快速準確地提取目標圖像是快速鑒別成熟煙葉的基礎。通過雙三次插值算法將原圖像分辨率由1024×768壓縮為298×248。某煙葉樣本原始圖像經壓縮后如圖1a所示。樣本的目標區域為煙葉，顏色為綠色、黃色、以及不同程度的黃綠色。其背景區域大部分為褐色泥土，小部分為黑色地膜和綠色雜草。背景區域中除了極小部分與目標區域顏色相近，絕大部分都與目標區域的顏色相差較大。因此采用基于RGB顏色空間的彩色圖像分割算法[11]提取目標圖像。

將原始壓縮圖像分解成R、G和B通道圖像，對其進行算術運算分別獲得圖像R+G+B、R+B、R+G、B+G、R-B、R-G、G-B、G-R、B-R和B-G，共10幅合成圖像，依次編號為C1～C10。按式（1）計算其相對對比度，某煙葉樣本結果如表1所示。

表1 合成圖像對比度Tab.1 The contrast ratio of composite image

式中CR為對比度，bL為目標區域平均灰度值，aL為背景區域平均灰度值。

表1中C7目標和背景區域的相對平均灰度值最大。因此，選取G-B圖像通過閾值分割算法[12]進行分割，得到的圖像如圖1b所示。目標區域中的噪聲可通過孔洞填充算法[13]除去。背景區域中的噪聲較小，因此可以先對圖像進行腐蝕，除去噪聲點，然后通過膨脹處理，還原被腐蝕掉的目標區域邊緣，得到煙葉目標區域的二值圖像（用Q表示），如圖1c所示。煙葉目標圖像按式（2）獲得，如圖1d所示。

式中·為點積運算；Q為目標區域的二值圖像；NR, NG, NB分別為原始壓縮圖像的R、G、B三個分量圖像；MR, MG, MB分別為目標圖像的R、G、B三個分量圖像，M為目標圖像。

圖1 煙葉圖像分割過程Fig.1 Segmentation process of tobacco leaf image

2.2 顏色特征

分割得到的目標圖像為RGB（紅、綠、藍）顏色模型，模型中的所有顏色可由R、G、B表示，其取值范圍為[0, 255]。RGB分別代表紅色、綠色和藍色，當R、G、B均最小時，圖像顯示為黑色，當R、G、B均最大時，圖像顯示為白色，當R、B均較小，而G較大時，圖像顯示為綠色，當B較小，而R、G均較大時，圖像顯示為黃色。

將目標圖像的RGB顏色模型轉換為HSV（色調、飽和度、明度）顏色模型。H代表圖像的色調，取值范圍為[0°，360°]，當H為60°時，圖像顯示為黃色，當H為120°時，圖像顯示為綠色。S為圖像顏色的飽和度，取值范圍為[0，1]，S的值越大，圖像顏色越深。V為圖像顏色的明度，取值范圍為[0，1]，V的值越大，圖像顏色越明亮。計算所有樣本圖像的R、G、B、H、S和V值，不同成熟度煙葉顏色特征范圍如表2所示。

由表2可知，在RGB顏色模型中，未熟煙葉的G較大，而R、B均較小，說明煙葉此時為綠色，尚未成熟。隨著煙葉成熟度的增大，B變化不大，其值仍然較小，而R、G逐漸增大，表明隨著成熟度的增加，煙葉顏色逐漸由綠色變為黃色。在HSV顏色模型中，隨著煙葉成熟度的增大，H值逐漸由118.10°減小為58.41°，說明煙葉的顏色由綠色逐漸轉變為黃色。表明隨著成熟度的增大，煙葉會從綠色變為黃色。隨著成熟度的增加，S、V值逐漸增大，說明隨著煙葉的成熟度的增大，煙葉顏色變深，主脈變亮。除B外，其余顏色特征均從不同角度描述了圖像的顏色信息，反映了煙葉在成熟過程中的顏色變化。

表2 不同成熟度煙葉的顏色特征值Tab.2 Color feature values of tobacco leaves with different maturity

2.3 紋理特征

存在某種空間關系的像素間聯合分布稱為灰度共生矩陣，記為Pδ，灰度級為L，則Pδ是一個L×L的矩陣。某元素Pδ（i，j）空間位置關系為δ=（Dx，Dy），選取水平方向，即δ=0。

能量是灰度共生矩陣元素值的平方和，反映了圖像紋理的粗細程度，其值越大，紋理越粗。按下式可計算目標圖像的能量。

熵為圖像包含的信息量，反映圖像紋理復雜程度，其值越大，紋理越復雜。按下式可計算熵。

慣性矩也稱逆差矩，值越均勻，慣性矩越小。按下式可計算慣性矩。

相關性度量灰度共生矩陣在行或列方向上的相似程度，其值越大，紋理越一致。按下式可計算相關性。

式中：

計算所有樣本圖像的能量、熵、慣性矩和相關性的值，不同成熟度煙葉紋理特征范圍如表3所示。

表3 不同成熟度煙葉的紋理特征值Tab.3 Vein feature values of tobacco leaves with different maturity

由表3可知，隨著煙葉成熟度的增加，能量的值逐漸增大，說明未熟煙葉表面光滑，紋理較細，隨著成熟度的增加，煙葉葉片組織疏松，含水量適中，紋理變粗。煙葉從未熟到過熟，熵的值變小，表明煙葉的成熟度越高，圖像紋理越簡單。隨著煙葉成熟度的增加，慣性矩變大，說明煙葉的成熟度越高，紋理越均勻。煙葉由未熟成長為過熟，相關性增大，說明成熟煙葉紋理較一致。這些紋理特征從不同角度描述了圖像的紋理信息，反映了煙葉成熟過程中的紋理變化。

3 煙葉成熟度鑒別模型的建立

3.1 基于BP的煙葉成熟度鑒別模型（IMTLR-BPNN）

BP神經網絡模型是一種前向多層反向傳播學習算法[14]。它根據預測誤差調整網絡權值，使預測輸出不斷逼近期望輸出。取R、G、H、S、V均值和能量ASM、熵ENT、慣性矩INE、相關性CORRL，共9個特征作為輸入。煙葉的成熟度作為輸出，未熟煙葉記為標簽“1”，適熟煙葉記為標簽“2”，過熟煙葉記為標簽“3”。其網絡結構圖如圖2所示。

隱含層的單元數按下式計算。

式中h、m、n依次為隱含層、輸入層、輸出層單元數，a為1～10之間的調節常數。經過反復多次訓練，發現當a為2時，網絡收斂最快，效果最好，此時迭代步數為5。取m=9，n=1，a=2，則h=6，即隱含層的單元數為6。表示向上取整。

圖2 模型IMTLR-BPNN的網絡結構Fig.2 Network structure of model IMTLR-BPNN

訓練集樣本的9個特征作為輸入，建立基于BP神經網絡的煙葉成熟度鑒別模型IMTLR-BPNN。訓練過程中，該模型的誤差變化曲線如圖3a所示。由圖可知，當迭代次數為5時，均方誤差逐漸收斂于零，說明該模型對應的函數收斂較快且誤差較小。該模型對測試集中81份樣本進行20次預測，結果不穩定，準確率取平均值為93.83%。其中一次的預測結果如圖3b所示，43份未熟樣本全部預測正確；26份適熟樣本中有1份被錯誤預測為未熟樣本，1份被錯誤預測為過熟樣本；12份過熟樣本中有2份被錯誤預測為適熟樣本；共有4份樣本預測錯誤，準確率為95.06%。

本試驗使用的計算機名為DESKTOP-3GIDB2N，Windows版本為Windows10教育版，系統類型為64位操作系統，處理器為Intel（R） Celeron（R） CPU G3930 @2.90GHz 2.90GHz。使用的軟件MATLAB版本為2017b。一份樣本圖像從壓縮到通過模型IMTLR-BPNN預測成熟度，用時約為0.339 s,其中壓縮用時約為0.138 s。

圖3 模型 IMTLR-BPNN的訓練和輸出Fig.3 Training and output of model IMTLR-BPNN

3.2 基于SVM的煙葉成熟度鑒別模型（IMTLR-SVM）

支持向量機選擇與BP神經網絡相同的輸入和輸出。輸入的數據歸一化后，利用粒子群（Particle Swarm Optimization，PSO）算法對支持向量機的參數進行優化，訓練集樣本用來訓練支持向量機，得到模型IMTLR-SVM。

利用PSO優化支持向量機的參數，其種群數為20，終止代數為100，支持向量機參數c范圍為[0.1,10000]，支持向量機參數g范圍為[0,1]，經過PSO優化后，參數c的最佳值為1062.65，參數g的最佳值為0.03。粒子群算法進化曲線如圖4a所示，各代平均適應度的曲線在92%附近波動，各代最佳適應度的曲線與最佳適應度的曲線的波動較小，幾乎重疊，可知PSO優化后的結果較好。該模型對測試集中81份樣本進行20次預測，準確率穩定，預測結果如圖4b所示。

圖4 模型IMTLR-SVM的訓練和輸出Fig.4 Training and output of model IMTLR-SVM

由圖4b可知，43份未熟樣本全部預測正確，26份適熟樣本中有1份被錯誤預測為過熟樣本，12份過熟樣本中有1份被錯誤預測為適熟樣本，共有2份樣本被預測錯誤，準確率為97.53%。一份樣本圖像從壓縮到通過模型IMTLR-SVM預測成熟度，用時約為0.337s。

3.3 比較研究

本文與已有文獻的準確率、運行時間、樣品狀態比較如表4所示，IMTLR-SVM模型鑒別準確率最高，達97.53%。IMTLR-BPNN及IMTLR-SVM預測煙葉成熟度的預測時間均很短，能滿足煙葉采收機快速鑒別的要求。因此通過機器視覺對煙葉成熟度進行快速鑒別是可行的。預測煙葉的成熟度是為了采收適熟煙葉，本文樣本圖像在種植現場植株上自然光照下直接拍攝得到，更接近采收機現場拍攝環境，更具實際意義。

表4 所建模型與現有模型的比較Tab.4 Comparison between existing models and the proposed model

4 結論

1）本文基于BP神經網絡和支持向量機建立了煙葉成熟度鑒別模型IMTLR-BPNN和IMTLR-SVM，代替傳統的肉眼鑒別。使得鑒別結果更準確、用時更少、效率更高，提高了煙葉的經濟效益。同時降低了對煙農煙葉知識的要求。

2）模型IMTLR-SVM鑒別一份樣本圖像的成熟度用時約為0.337s。鑒別準確率為97.53%，結果穩定，表明模型IMTLR-SVM鑒別煙葉成熟度是有可行的。雖然本文只對下部煙葉進行了建模，但建模方法同樣適用于中部煙葉和上部煙葉。樣本圖像是在種植現場植株上自然光照下直接拍攝得到，與采收機的現場拍攝環境接近。SPAD計也是可以現場即時測量煙葉SPAD值，但需人工反復測量，再根據測量結果，人工鑒定煙葉成熟度。本文模型只需采集煙葉圖像，便可即時自動鑒別煙葉成熟度。因此模型IMTLR-SVM的建立為煙葉采收機提供了決策依據。

3）本文的樣本圖像是在特定時間段拍攝得到的，并且沒有研究多片煙葉重疊的情況。實際采收環節中，存在天氣、日光強度、多片煙葉重疊、拍攝角度等因素對鑒別準確率的影響，還需進一步研究。