基于數字圖像的大田哈密瓜不同時期冠層相對葉綠素含量檢測研究

劉彥岑,郭俊先,*,郭 陽,史 勇,黃 華,李龍杰,張振振

(新疆農業大學 a. 機電工程學院;b. 數理學院,新疆 烏魯木齊 830052)

葉綠素是負責吸收光輻射并驅動光合作用的主要色素,其含量直接關系植物的光合能力和初級生產力,可用作反映植物生理狀態的重要指標[1]。葉綠素的主要組成元素為氮元素。研究發現,多種經濟作物葉片的葉綠素含量與其葉片氮濃度有較強的相關性[2];因此,利用葉綠素含量估算作物營養狀況并結合土壤測試技術可為作物的精準施肥提供依據[3-4]。

傳統地,葉綠素含量主要通過化學分析法獲取,但該方法具有延時破壞性[5]。隨著傳感器的發展,基于測量葉片反射率的高光譜、多光譜儀器能夠實現對葉綠素含量的快速無損檢測,但此類設備價格昂貴,對測量環境的要求較高[6]。相對而言,便攜式手持葉綠素儀(SPAD儀)價格低廉,攜帶使用方便,且測量結果與葉綠素含量具有高相關性,可作為作物葉綠素含量的相對值,在農業研究領域中應用廣泛[7];但是,SPAD儀的單次測量面積較小,在實際生產中不適宜大面積的快速檢測。植物冠層的葉綠素含量變化與冠層顏色變化息息相關,但這些變化十分細微,人眼難以察覺。近年來,一種低成本監測作物葉綠素含量的方法迅速興起,該方法利用高精度可見光傳感器獲取作物冠層圖像,結合數字圖像處理技術提取與葉綠素含量具有高相關性的顏色特征,進而實現對作物葉綠素含量的快速無損檢測[8-9]。程立真等[10]基于數字圖像技術提取了蘋果冠層葉片RGB空間內的顏色特征參數,發現葉綠素含量與B/R、B/(R+G+B)等9種顏色特征具有高相關性,并基于顏色特征建立了葉綠素含量的支持向量機(SVM)模型,可用于快速估測蘋果葉片葉綠素含量。Sánchez-Sastre等[11]基于數字圖像技術提取了甜菜冠層圖像的25個顏色特征,發現(R-B)/(R+G+B)等顏色特征與甜菜冠層的葉綠素含量具有高相關性,利用主成分分析對顏色特征進行預處理后建立了甜菜冠層葉綠素含量的逐步回歸檢測模型,該模型可為甜菜收獲期氮含量的廉價估測提供方法支持。婁衛東等[12]從RGB和Lab顏色空間提取油菜冠層圖像顏色特征,發現顏色特征G、L與冠層葉綠素含量的相關性極高,并基于兩顏色特征建立了油菜冠層葉綠素含量的線性檢測模型,其決定系數(R2)分別為0.916、0.919。目前,在小麥、青菜、黃瓜等作物上都已證實,基于數字圖像技術提取的圖像顏色特征可實現對樣本葉片葉綠素含量的快速無損檢測[13-15]。然而,在實際生產中,冠層葉片的空間位置交錯復雜,樣本葉片雖來自于冠層但卻未必能如實反映冠層的情況。此外,除顏色特征外,圖像本身還蘊含著豐富的紋理特征,其價值也值得挖掘。

基于上述背景,為探尋一種快速無損監測作物整個冠層相對葉綠素含量的方式,本文以大田哈密瓜為研究對象,在田間鋪設導軌,利用自制小車搭載高精度相機獲取不同生長期大田哈密瓜的完整冠層圖像,在對圖像進行處理后提取圖像的紋理特征和不同空間的顏色特征,分析圖像特征與冠層相對葉綠素含量的相關性,并建立不同時期大田哈密瓜相對葉綠素含量的預測模型,以期為大田哈密瓜的生長評價與精細化管理提供技術支持。

1 材料與方法

1.1 試驗材料與試驗地點

供試哈密瓜品種為金華蜜25號,俗稱新86。試驗于2021年6月至2021年9月在新疆哈密市巴里坤哈薩克自治縣三塘湖鄉中湖村開展。該地區年降水量僅46.1 mm,屬典型的溫帶大陸性冷涼干旱氣候。

為增加樣本多樣性,對哈密瓜進行水肥調控。以當地常規水肥管理(灌水總時長115 h,總施肥量260 kg·hm-2)為對照(CK),另設低水(102 h,簡記為W1)、高水(128 h,簡記為W2)2個灌水總時長水平,及高肥(300 kg·hm-2,簡記為N1)、中肥(280 kg·hm-2,簡記為N2)、低肥(234 kg·hm-2,簡記為N3)3個總施肥量水平。所有處理的肥料均分兩次施用,在伸蔓期施用總施肥量的40%,在膨果期施用總施肥量的60%。灌水平均流量在9.0～9.5 m3·h-1,施用肥料為以色列進口的Haifa化肥(P2O5的質量分數為52%,K2O的質量分數為34%)。每個處理重復3次,處理間均設置保護行,共計21個區塊(圖1)。

圖1 試驗小區示意圖Fig.1 Schematic diagram of experimental plots

1.2 冠層圖像采集

利用自制的小車搭載AT-200CL型3CCD面陣相機(丹麥JAI公司)獲取哈密瓜伸蔓期、開花期及膨果期的冠層圖像。為減小自然光的影響,獲得最佳成像效果,將小車外部密封,底部用鋁箔材料遮擋,內部采用白色背景,搭載兩個HLND-500SW2-R型條形穩定光源(美國CCS公司),設置光照角度為60°。為盡量避免拍攝時對試驗區作物造成損壞影響后續試驗結果、統一拍攝高度(1.4 m),在試驗區鋪設導軌,導軌兩兩齊平,保證小車在相同高度,且拍攝過程中能夠平穩步進(圖2)。

1,試驗地;2,導軌;3,擋光鋁箔;4,光源開關;5,鏡頭;6,面陣相機;7,圖像采集小車;8,電腦;9,固定光源;10,冠層葉片。1, Test site; 2, Guide rail; 3, Light blocking aluminum foil; 4, Light source switch; 5, Lens; 6, Area array camera; 7, Image acquisition car; 8, Computer; 9, Fixed light source; 10, Canopy blade.圖2 冠層圖像采集裝置示意圖Fig.2 Schematic diagram of canopy image acquisition device

拍攝時,人工推動小車滑動到指定位置,待小車固定平穩后利用CentreM6100t型計算機(聯想集團有限公司)控制拍攝圖像。每個時期采集2次圖像,每個小區采集3張圖像,每個時期共采集126張圖像。使用隨機抽樣法以2∶1的比例劃分建模訓練集與測試集。

1.3 冠層相對葉綠素含量測定

單次圖像獲取后,利用SPAD-502P-葉綠素計(日本Konica Minolta)標定對應區域的相對葉綠素含量,每個區域選取10片葉進行測量。由于該儀器單次測量面積小,故在測量時避開葉脈選取葉片左、中、右3個位置測量3次[16],取平均值作為該葉片的值,最后取10片葉的平均值作為對應圖像的冠層相對葉綠素含量(SPAD)。

1.4 圖像處理

在圖像采集過程中,為確保獲取的圖像來自統一光源且獨立于光線變化,每次拍攝前利用CmaExpert軟件以白色背景板為參照標準對圖像進行白平衡預處理。

基于Matlab2021a軟件開發一款圖像處理及特征自動提取程序。圖像處理包括圖像分割、圖像開運算以及圖像中值濾波。其中:圖像分割基于二進制閾值分割原理來消除土壤背景,提取主要感興趣區域(ROI),閾值范圍利用Matlab軟件中的Color Thresholder工具獲取冠層葉片RGB像素的3D云圖并利用多邊形選定確定;圖像開運算是為了消除圖像分割后ROI區域中殘余的與哈密瓜冠層葉片主體離散的像素,運算結構選取3×3的正方形結構元素,迭代一次。為提取更精確的冠層圖像ROI,在圖像開運算后采用中值濾波去除離散噪聲點,選取的濾波模塊大小為3×3,迭代一次。

1.5 圖像特征提取

數字圖像通常包含顏色和紋理兩種視覺特征:圖像顏色特征是對圖像表面蘊含的顏色信息的統計描述;圖像紋理特征反映的是圖像顏色在同一空間內排列產生的紋理規律,是圖像顏色的一種區域性特征[17]。

葉綠素是冠層葉片的主要色素,其含量決定著作物冠層的顏色狀態。由于大田哈密瓜存在個體差異,加上本研究進行了水肥調控,因此不同時期的大田哈密瓜冠層圖像顏色狀態差異較大。為充分挖掘圖像顏色信息,提取ROI區域后,利用程序計算ROI區域的R、G、B三通道均值,通過色彩空間變化和代數運算得到32種顏色特征(表1)。為深度挖掘圖片的信息,進一步提取ROI區域的6種紋理特征(表2)。最終,共獲得38種圖像特征,用于后續分析與建模。

表1 顏色特征的基本信息Table 1 Brief introduction of color features

表2 紋理特征的基本情況Table 2 Brief introduction of texture features

1.6 預測模型的建立與評價

首先,分析各時期圖像特征與測得的冠層相對葉綠素含量的相關性。由于各參數為連續變量,所以選擇皮爾遜(Pearson)相關系數。然后,通過主成分分析對各時期的輸入變量進行降維。

最后,采用多元線性回歸(MLR)、支持向量機回歸(SVR)、隨機森林(RF)模型,分別建立3個時期冠層相對葉綠素含量的預測模型,并利用R2、均方根誤差(RMSE)對模型的預測效果進行評價。

1.7 數據處理

采用Excel 2016軟件整理數據。采用SPSS 20.0軟件進行方差分析和Pearson相關性分析,對有顯著(P<0.05)差異的,采用最小顯著差數法(LSD)進行多重比較。

2 結果與分析

2.1 不同處理的冠層相對葉綠素含量

將不同處理下各時期哈密瓜冠層的相對葉綠素含量整理于表3。整體上看,從伸蔓期到膨果期,冠層的相對葉綠素含量呈增長趨勢。方差分析結果顯示,在同一時期,不同處理的冠層相對葉綠素含量有顯著差異,說明不同水肥處理對冠層葉綠素的合成具有顯著影響。

表3 不同處理下大田哈密瓜的冠層相對葉綠素含量Table 3 Relative chlorophyll content of field cantaloupe canopy under treatments

2.2 圖像處理結果

大田哈密瓜冠層的原始圖像及經過預處理的圖像如圖3所示。可見,用本文提出的方法能夠有效去除土壤巖石等背景,以及經過顏色分割后黑色背景里殘留的與冠層葉片亮度接近的噪聲點。

圖3 原始圖像及經過處理的大田哈密瓜冠層圖像Fig.3 Images of field cantaloupe canopy before and after image processing

2.3 冠層圖像特征與相對葉綠素含量的相關性

對各時期的顏色特征、紋理特征與冠層相對葉綠素含量進行相關性分析(表4):在顏色特征方面,總體上看大部分顏色特征在不同時期都與冠層相對葉綠素含量有較強的相關性,相關系數普遍大于0.7且至少在P<0.05水平上具有顯著性。在RGB模型內,R、G在3個時期都與冠層的相對葉綠素含量有較高的相關性,僅含有加減運算的顏色特征與各時期冠層相對葉綠素含量的相關性也較高,但帶有乘除運算的顏色特征與各時期相對葉綠素含量的相關系數普遍低于0.5。HSV、NTSC模型中的部分顏色特征在伸蔓期后特別是膨果期出現相關性驟降的現象。Gray模型和YCbCr模型與3個時期冠層相對葉綠素含量的相關性較為穩定,相關系數的絕對值普遍大于0.75。在紋理特征方面,平均值在3個時期都與冠層的相對葉綠素含量有較高的相關性,且相關性極顯著(P<0.01);一致性和熵在伸蔓期和開花期與冠層相對葉綠素含量的相關系數也都大于0.7,且相關性極顯著,說明紋理特征在解釋冠層相對葉綠素含量時也能提供較為豐富的有用信息。

表4 不同時期圖像特征與冠層相對葉綠素含量的相關系數Table 4 Correlation coefficient between image features and relative chlorophyll content of field cantaloupe canopy at different growth stages

輸入變量作為構建模型的關鍵,其本身的獨立不共線性決定著模型的精度和穩定性。為構建高穩健性的模型,還需要探明各圖像特征之間的線性關系。為此,對各圖像特征進行相關性分析,結果如圖4所示,每個小方塊的顏色代表對應兩個圖像特征的相關性,顏色越深,相關性越強。在本文選定的3個時期,特別是伸蔓期,有較多深紅色和深綠色的方塊堆積,說明大部分圖像特征之間具有較強的相關性,需要對其做進一步處理。

R、G、B分別表示RGB模型的紅、綠、藍三基色;Gray表示灰度模型的灰度值;H、S、V分別表示HSV模型的色調、色飽和度和明度;YNTSC、I、Q分別表示NTSC模型的光亮度、色調、飽和度;Y、Cb、Cr分別表示YcbCr模型的亮度分量、藍色色度分量、紅色色度分量;m,平均值;S,標準偏差;F,平滑度;T3,三階矩;U,一致性;e,熵;D,相對葉綠素含量。“*”表示相關性達到顯著水平(P<0.05)。R, G, B represent the red, green and blue primary colors of RGB model, respectively; Gray denotes the gray value of the grayscale model ;H, S, V represent the hue, color saturation and value of HSV model, respectively; YNTSC, I, Q represent the brightness, hue and saturation of NTSC model, respectively; Y, Cb, Cr represent the luminance component, blue chromaticity component and red chromaticity component of YcbCr model, respectively; m, Mean; S, Standard deviation; F, Smoothness; T3, Third moment; U, Consistency; e, Entropy; D, Relative chlorophyll content of canopy. “*” indicate significant correlation at P<0.05.圖4 不同時期圖像特征及冠層相對葉綠素含量的相關性Fig.4 Correlation of image features and relaitve chlorophyll content of field cantaloupe canopy at different growth stages

2.4 主成分分析

由于多數圖像特征間存在著較強的相關性,無法滿足輸入變量獨立非共線性的要求,特采用主成分分析對圖像特征進行降維(表5),以期得到相互獨立的主成分。在本文選定的3個時期,前5個主成分的累積方差貢獻率均接近或超過95%,前10個主成分的累積方差貢獻率均超過99%,基本可以涵蓋所有圖像的特征信息。基于此,本研究選取前5個主成分構建多元線性回歸模型(MLR)。為最大限度地保留信息,選取前10個主成分構建非線性的SVR和RF模型。

表5 主成分的方差貢獻率Table 5 Variance contribution rate of principal components

2.5 冠層相對葉綠素含量的預測模型

2.5.1 MLR模型

線性模型MLR對有用信息的提取能力有限,因此增加蘊含信息量較少的輸入,不僅不會提高模型精度,反而會導致模型的輸入維度增加,降低穩健性[18]。為此,選擇前5個主成分作為輸入變量構建MLR模型:

D=β0+β1P1+β2P2+β3P3+β4P4+β5P5。

(1)

式(1)中;D代表SPAD值;β0～β5是各主成分的回歸系數,將其值整理于表6。

表6 建模參數表Table 6 Modeling parameters

2.5.2 SVR模型

SVR是一種基于統計學習理論的機器學習方法,其基本模型定義為特征空間上的間隔最大的線性分類器,其學習策略是使得間隔,即支持向量最大化,并最終轉化為求解凸二次規劃的問題,具有運算簡單、穩健性高的特點[19-20]。為最大限度地保留原始圖像的特征信息,選取前10個主成分作為SVR模型的輸入,構建冠層相對葉綠素含量的預測模型。SVR模型選用RBF核函數,采用網格搜索法選取最佳核函數參數g和懲罰因子C。

2.5.3 RF模型

RF模型是通過Bootstrap法隨機取樣生成多個決策樹,綜合各決策樹得出最終結果的集成算法,能高效處理高維度數據,克服了單一決策樹過擬合的問題[21]。選取前10個主成分作為RF模型的輸入,建立各時期冠層相對葉綠素含量的預測模型,模型參數ntree表示RF模型中的決策樹個數,mtry表示分類樹每個節點用以二分數據的自變量個數,采用網格搜索法選取最佳核函數參數ntree和懲罰因子mtry。

2.5.4 模型效果對比

以最優參數分別建立冠層相對葉綠素含量的預測模型,對比各時期各模型的效果(表7)。對于MLR模型來說,開花期冠層相對葉綠素含量預測模型的RMSE值最小,在測試集上,其RMSE值相較于伸蔓期與膨果期分別下降了29.36%、16.04%;但膨果期冠層相對葉綠素含量預測模型的R2值最大,在測試集上,其R2值相較于伸蔓期與開花期分別提升了28.57%、18.03%。對于SVR模型來說,膨果期冠層相對葉綠素含量預測模型的精度最高,在測試集上,其RMSE值相較于伸蔓期與開花期分別下降了24.74%、21.51%,而R2值分別上升了14.08%、5.19%。對于RF模型來說,同樣以膨果期冠層相對葉綠素含量預測模型的精度最高,在測試集上,其RMSE值相較于伸蔓期與開花期分別下降了3.88%、25.00%,而R2值分別上升了4.00%、2.63%。

表7 建模效果對比Table 7 Comparison of modeling effect

對比3個模型的性能:在同一時期,非線性的SVR、RF模型對冠層相對葉綠素含量的預測精度均明顯優于線性的MLR模型,其RMSE值更小,而R2值更大,說明相較于線性模型,非線性模型對于高維度復雜數據的解析能力更強。在非線性模型之間,SVR模型與RF模型在各時期的R2值雖然相差不大,但SVR模型在訓練集與測試集上的RMSE值均更小。綜上,基于圖像特征建立的哈密瓜關鍵生育期冠層相對葉綠素含量的SVR預測模型效果最好,基于該模型對3個時期大田哈密瓜冠層葉綠素含量的預測結果構建回歸散點圖(圖5),伸蔓期、開花期、膨果期的R2分別為0.73、0.73、0.83,RMSE分別為0.90、0.91、0.76,各時期樣本點具有較為明顯的線性關系,且異常點較少。

RMSE,均方根誤差;R2,決定系數。RMSE, Root mean square error; R2, Coefficient of determination.圖5 不同時期支持向量機回歸(SVR)模型預測值與實測值的回歸散點圖Fig.5 Regression scatter diagram of the predicted value by support vector regression (SVR) model and the measure value at different growth stages

3 討論

作物冠層葉綠素含量與作物的營養累積能力息息相關,作物冠層葉綠素含量的快速無損獲取可為作物科學的田間管理提供技術支持。本研究利用自制的圖像采集小車獲取不同時期大田哈密瓜的冠層圖像,并基于數字圖像處理技術提取圖像的顏色和紋理特征。相關性分析發現,在RGB顏色空間內,紅、綠兩顏色的特征以及這兩個顏色特征的組合與冠層相對葉綠素含量的相關性較為穩定。這與李修華等[22]用冠層圖像特征預測玉米葉綠素含量的研究結果一致。HSV顏色空間是圖像處理中常用的顏色空間。本研究發現,HSV空間顏色特征與哈密瓜冠層的SPAD值具有顯著相關性。這與孫玉婷等[23]對水稻冠層圖像的研究結果一致。另外,本研究發現,Gray與YCbCr顏色空間與3個時期大田哈密瓜冠層相對葉綠素含量的相關性較為穩定,相關系數普遍大于0.75。部分顏色特征在伸蔓期后,特別是膨果期,出現了與冠層相對葉綠素含量相關性驟降的現象。這可能是因為隨著生長期的后移,一部分葉片老化,同時也有新葉生長,因此冠層葉綠素含量隨著新老葉的分布差異化產生了異常值,而這些異常值對相關系數的影響較大。

本文在對圖像特征進行主成分分析后,分別建立了基于圖像特征的大田哈密瓜不同時期冠層相對葉綠素含量的MLR、RF、SVR預測模型,其中,非線性模型的建模效果明顯優于線性模型。在非線性模型之間,RF與SVR模型的R2值雖然相差不大,但SVR模型的RMSE值要明顯更小。這是因為,RF模型對于超出訓練集數據范圍的數據處理能力較差,因此在對測試集中某些數值較大或較小的樣本數據進行預測時易出現過擬合問題,從而導致預測精度變差。本文基于圖像特征利用SVR建立的哈密瓜冠層相對葉綠素含量預測模型的效果最好,其在伸蔓期、開花期、膨果期的預測值與實測值回歸的R2值分別為0.73、0.73、0.83,RMSE值分別為0.90、0.91、0.76。

圖像特征,特別是紋理特征還有豐富的信息值得挖掘,建模方法也存在著優化空間,后續研究將會圍繞上述內容開展,以期為哈密瓜的田間管理提供更精準的技術支持。