基于機器視覺的烤煙鮮煙成熟度判別模型優選*

劉浩，孟令峰，王松峰，劉自暢，杜海娜，孫福山

(1. 中國農業科學院煙草研究所,農業部煙草生物學與加工重點實驗室,山東青島,266101;2. 中國農業科學院研究生院,北京市,100081)

0 引言

烤煙煙葉是卷煙生產的主要原料,其產量和品質的提升一直是廣大煙葉工作者關注的重點,鮮煙葉作為烤后煙的基礎,其成熟度直接影響烤后煙的質量[1],烤煙上部葉是烤煙單株生產力的重要組成部分,并且上部煙葉的烘烤難度較中下部煙葉大,所以科學地判定上部葉成熟度對于提高烤后煙質量有重大意義。但目前對于鮮煙成熟度的判別大多是依靠人工主觀經驗,存在判別標準不統一、主觀性過強、費力低效的缺點[2-3]。而且對鮮煙進行各種生理生化指標判別時[4],需對煙葉進行有損檢測,存在技術性要求較高,費時和操作復雜等問題。因此實現鮮煙葉成熟度的智能判別是目前研究的重點。目前機器視覺技術在農業方面應用甚廣[5-7],如產前種子篩選與果蔬分級[8-9]、產中作物病蟲草害識別與監測[10-14]、作物生長信息監測與產量估計[15]以及現代農業裝備定位導航[16]等領域均有一定程度的應用。在鮮煙成熟度判別方面,史龍飛等[17-18]建立了鮮煙成熟度智能判別的一些模型,初步證明利用機器視覺技術對鮮煙成熟度進行判別是可行的,而建立多種預測鮮煙成熟度模型進行比較的報道較少。

基于此,本文擬通過構建不同鮮煙成熟度圖像數據庫、提取圖像顏色與紋理特征值,利用聚類分析和相關性分析篩選鮮煙成熟度圖像指標,建立基于遺傳算法的支持向量機(GA-SVM)、基于粒子群算法(PSO-BP)的神經網絡和極限學習機(ELM)三種模型對鮮煙成熟度進行判別比較,得出優選模型,以期為鮮煙素質成熟度的智能判別和智能采收提供理論依據和技術支持。

1 材料和方法

1.1 試驗材料

試驗于2021年在四川省涼山州西昌市中國農業科學院西南試驗基地進行,試驗田肥力中等,供試烤煙品種為云煙87,行距1.2 m,株距0.5 m,按照優質煙生產技術規范進行栽培。采收的上部鮮煙葉按照4個檔次成熟度分類:欠熟(50片)、尚熟(49片)、適熟(49片)、過熟(52片),分類標準如表1所示。

表1 煙葉不同成熟度處理及主要外觀特征Tab. 1 Tobacco leaves with different maturity and main appearance characteristics

圖像采集設備采用專用高清相機和標準拍攝暗箱。利用Matlab 2016進行數據處理。

1.2 圖像預處理

煙葉圖像會受到背景、光照等因素影響而產生噪聲,為了增強圖像中的有效信息,需對采集圖像進行改善處理,來提高圖像的辨識度[19-21]。如圖1所示,本研究將原始圖像轉為灰度圖像,分別采用均值濾波和中值濾波對采集圖像進行去噪,結果表明使用中值濾波器能夠改善煙葉圖像的質量。由于鮮煙葉圖像采集時會受背景因素影響,所以使用Matlab 2016自帶的閾值分割程序進行基于YCbCr顏色空間的圖像分割。并運用合成運算獲得與背景分割后的完整煙葉彩色圖像。

(a) 煙葉原始圖像

1.3 圖像特征提取

鮮煙素質可作為鮮煙采收成熟度的內在基礎與成熟度形成對應關系,鮮煙素質可以通過成熟度表現出來,而煙葉顏色和主脈狀態是判斷煙葉田間成熟度的重要依據[22],因此可以通過顏色特征和紋理特征來量化煙葉采收成熟度,以提供判斷標準。本試驗主要是在不同顏色空間模型RGB和l*a*b*顏色空間的基礎上提取了其顏色均值和基于R、G、B顏色矩陣的幾種組合特征2G-R-B、R/G、G-R和基于l*a*b*顏色矩陣的a*/b*,基于鮮煙葉圖像灰度梯度共生矩陣的能量、灰度平均、梯度平均、灰度不均勻、梯度不均勻、相關度、灰度熵、梯度熵、慣性矩和逆差矩10個紋理特征。

1.4 數據處理與模型建立

為保證模型訓練準確性及模型的泛化性,將上述提取的10個顏色特征和10個紋理特征分別進行變量聚類,然后將煙葉圖像特征與鮮煙成熟度進行相關性分析,篩選出每類特征中與成熟度相關性最強的1個圖像特征作為訓練樣本。選取優選圖像特征組合作為模型輸入,建立ELM、GA-SVM和PSO-BP分類模型對煙葉成熟度進行分類比較。數據處理軟件為SAS 9.4和Matlab 2016軟件。

支持向量機(SVM)是數據挖掘中的一個新方法,能夠處理模式識別分類等問題。本文建立SVM模型選用的是SVM中的RBF核函數,其特點是不隨參數變化而變化[23],利用模擬自然界中適者生存的遺傳算法對支持向量機中c和g兩個參數進行尋優[24-26]。以最高的交叉驗證集判別準確率為尋優目標,在遺傳算法中將種群數量設置為30,最大迭代次數為50,參數c和g從0.1～200進行尋優取值。

BP神經網絡是一種按誤差逆傳播算法訓練的多層前饋網絡。BP神經網絡模型以隱含層節點數目5為步長,從0到60對BP隱含層節點數進行尋優。并選取premnmx函數,將樣本數據進行歸一化處理。設定訓練誤差目標為0.000 1,終止訓練步數為1 000,并將BP神經網絡的初始權值和閾值運用粒子群算法(PSO)進行優化,PSO中的種群大小設置為30,迭代次數設置為50,以確保分類的精準度。

極限學習機(ELM)是一種針對單隱含層前饋神經網絡的算法。本文建立ELM模型選用Sigmoid函數,以隱層神經元數目20為步長,交叉驗證集判別準確率最高為尋優目標進行隱層神經元數目尋優,并用10折交叉法進行驗證。

2 結果與分析

2.1 上部煙葉圖像特征的聚類分析

利用SAS 9.4將提取的顏色特征和紋理特征分別進行變量聚類和相關性分析,結果如表2所示。由表2可知,煙葉的顏色特征值與鮮煙成熟度的相關性均達到極顯著關系。類別1中a*/b*的相關性最強,相關系數達到0.924,類別2中R的相關性最強,相關系數為0.934,類別3中l*的相關性最強,相關系數為0.926。煙葉的紋理特征值與鮮煙成熟度的相關性均呈極顯著關系,類別1中慣性矩相關性最強,相關系數達到0.745,類別2中梯度不均勻相關性最高,相關系數為0.457。所以選定3個顏色特征a*/b*、R、l*和2個紋理特征慣性矩、梯度不均勻為煙葉圖像的優選特征作為模型輸入變量。

表2 煙葉特征優選Tab. 2 Optimization of tobacco characteristics

2.2 上部煙葉圖像特征值參數范圍

表3是每個成熟度各個特征值的平均值及參數變化范圍。由表3可知,顏色特征值R隨成熟度增加而逐漸增大,欠熟煙葉R平均值為77.07,而過熟煙葉R平均值增加到162.94。顏色特征a*/b*與l*值隨成熟度增加也表現為逐漸增大的趨勢,這表明煙葉成熟度的變化可以由煙葉顏色特征很好地體現出來。紋理特征慣性矩表現為隨成熟度增加而增加,梯度不均勻隨成熟度增加其變化程度并不大。表明隨成熟度增加,煙葉外觀紋理變均勻但程度較小。

表3 上部葉特征值參數范圍Tab. 3 Parameter range of upper leaf eigenvalues

2.3 上部煙葉圖像特征變化趨勢

圖2為上部鮮煙葉成熟過程中顏色特征變化趨勢。

(a) R值變化趨勢

由圖2(a)可知,上部葉隨成熟度增加,顏色特征R呈現逐漸增大的趨勢,R分量體現為過熟>適熟>尚熟>欠熟,這是由于純紅色與純綠色的加色理論上為純黃色[27],隨煙葉成熟度增加,煙葉逐漸由綠色變為黃色,R分量逐漸增加;由圖2(b)可知,四種成熟度a*/b*總體呈現逐漸升高的趨勢,這主要是因為a*分量表示從紅色到綠色的范圍[28-29],a*分量為負表示為綠色,隨著鮮煙葉成熟度增加,鮮煙葉中綠色是逐漸減少的,所以a*分量逐漸增大;b*分量表示從黃色到藍色的范圍,b*分量為正表示黃色,隨著鮮煙葉成熟度增加,鮮煙葉中黃色逐漸增加;b*分量隨之增加,總體呈隨成熟度增加,a*/b*逐漸增大的趨勢;圖2(c)為l*值在煙葉成熟過程中變化趨勢,l*代表明暗度,隨煙葉成熟度增加,煙葉色澤變亮,所以l*呈現隨成熟度增加逐漸增大的趨勢。總體來看,成熟度可以由顏色特征R、a*/b*、l*很好地體現出來。

圖3為上部鮮煙葉成熟過程中紋理特征變化趨勢。由圖3(a)可知,紋理特征慣性矩隨成熟度增加而增加,但變化不明顯,主要因為慣性矩與紋理均勻程度有關[30-31],隨煙葉成熟度增加,煙葉葉片紋理變均勻但程度較小;圖3(b)表明紋理特征梯度不均勻隨成熟度增加變化不大。總體來看,慣性矩與梯度不均勻對成熟度的表征效果并不明顯。

(a) 慣性矩變化趨勢

2.4 基于機器視覺的上部煙葉成熟度預測模型

選取不同圖像特征組合作為模型輸入,建立ELM、GA-SVM和PSO-BP分類模型對鮮煙成熟度進行判別效果比較。由表4可知,輸入優選特征數據所建立的ELM模型訓練集、交叉驗證集、測試集準確率分別為96.67%、83.00%、84.00%,模型識別時間為0.000 440 s,所建立的GA-SVM模型訓練集、交叉驗證集、測試集準確率分別為93.33%、93.33%、92.00%,模型識別時間為0.044 196 s,所建立的PSO-BP模型訓練集、交叉驗證集、測試集準確率分別為94.00%、96.67%、90.00%,模型識別時間為0.176 045 s。結果可知,基于遺傳算法的GA-SVM模型對于上部煙葉成熟度的判別效果最優,測試集準確率達到92.00%,其次是基于粒子群算法的BP神經網絡模型,測試集準確率達到90.00%,ELM模型的效果相對較差,測試集正確率只有84.00%。

表4 模型分類結果Tab. 4 Model classification results

3 討論

鮮煙素質作為煙葉烘烤特性的決定因素,直接影響烤后煙的質量,鮮煙素質可以通過成熟度表現出來,科學地判定鮮煙成熟度對于提高烤后煙質量有著很大作用,顏色和主脈是判斷煙葉田間成熟度的重要依據,圖像處理技術可以量化鮮煙的顏色形態等外部特征[32-33],通過顏色特征和紋理特征來量化煙葉采收成熟度,以提供判斷標準。本研究選定與煙葉成熟度相關性系數最大的3個顏色特征和2個紋理特征,發現隨成熟度增加,顏色特征R、a*/b*、l*隨成熟度增加呈明顯增大的趨勢,這是由于隨煙葉成熟度增加,煙葉顏色由綠變黃。將5個特征作為PSO-BP神經網絡、GA-SVM和ELM分類模型的輸入,進行鮮煙成熟度判別,結果表明,PSO-BP神經網絡、GA-SVM和ELM分類模型的準確率分別為90.00%、92.00%、84.00%,說明GA-SVM模型分類結果最好,PSO-BP神經網絡次之,ELM分類模型略差。原因是鮮煙葉四個成熟度顏色紋理特征的空間分布較為接近,特別是相鄰的兩成熟度之間,而SVM的特點是采用映射函數將原始數據映射到一個高維空間[34],相對于BP神經網絡和ELM這類神經分類網絡,可以使原始樣本轉化成為高維空間中線性可分的樣本,所以模型準確度較高。前文所提相關學者的研究,試驗只設置了欠熟、適熟、過熟三種成熟度處理,煙葉特征相差明顯,但在煙葉實際生產采烤過程中,成熟度校對不止3個檔次,本研究按照煙葉生產實際采收經驗,將煙葉成熟度劃分為欠熟、尚熟、適熟、過熟4個檔次,進行了模型參數的優化比較,提高了模型的穩定性和泛化性,以期為之后的煙葉成熟度判別和機械采收提供技術支撐和理論指導。

4 結論

1) 本研究選取四個成熟度鮮煙樣本,分為欠熟、尚熟、適熟、過熟,符合實際采收與煙草公司收購要求。所建立的3類鮮煙成熟度預測模型,表現為基于遺傳算法的SVM模型鮮煙成熟度識別效果優于基于粒子群算法的BP神經網絡模型,基于粒子群算法的BP神經網絡模型識別效果優于ELM模型。

2) 本研究選定與鮮煙成熟度相關性系數最高的3個顏色特征R、a*/b*、l*與2個紋理特征慣性矩、梯度不均勻。發現煙葉顏色特征R、a*/b*、l*可以很好表征成熟度的變化,表現為隨成熟度增加,顏色特征R、a*/b*、l*逐漸增大的趨勢。而紋理特征慣性矩與梯度不均勻表征效果稍不明顯。

3) 本研究建立三類模型并進行比較,包括基于遺傳算法的支持向量機(GA-SVM)、基于粒子群算法的反向傳播(PSO-BP)神經網絡和極限學習機(ELM)模型,從中篩出優選模型。SVM模型準確度達到92.00%,初步實現了對鮮煙成熟度的智能判別。表明可以利用機器視覺技術對鮮煙成熟度進行判定,對實際生產有一定指導意義。