基于深度信念網絡的多品種水稻生物量無損檢測

段凌鳳 潘井旭 郭子龍 劉海北 覃建祥 柯希鵬

(1.華中農業大學工學院， 武漢 430070； 2.華中農業大學作物遺傳改良國家重點實驗室， 武漢 430070)

0 引言

水稻是世界上最主要的糧食作物之一，高產一直是水稻育種與栽培的重要目標[1-2]。水稻生長發育中的生物量積累是經濟產量(以下簡稱產量)的物質基礎[3-4]。不同品種生物量積累動態規律[5-6]及各生育階段生物量與產量的關系不一致[7]，連續測量不同品種的水稻生物量，對研究不同品種生物量積累動態和水稻產量形成規律、指導水稻生產及育種具有現實意義。

近年來，已有學者在基于圖像特征的作物生物量測量模型構建上進行了探索研究。梁淑敏等[7]以植株圖像周長為表征因子，建立了玉米鮮生物量測量模型。更多研究則基于植株不同角度下投影面積構建生物量測量模型，如基于頂視投影面積[8]、基于2幅互呈90°的側視投影面積[9]、基于頂視投影面積與2幅互呈90°側視投影面積[10-13]，以及基于多幅側視投影面積平均值與頂視投影面積[14-15]等。研究表明，僅基于植株投影面積無法建立準確有效的多品種全生育期生物量測量模型[13]。通過加入其他表征因子，如綠色比[16]、株齡[17]、株高及分蘗數[18]等，可提高生物量測量模型的精度。然而，這些研究的對象大多為處于營養生長早期的少量品種，構建的模型品種及生育期適應性較差。另外，上述研究均基于傳統的回歸分析建模，不足以描述圖像特征與生物量之間復雜的非線性關系。

自從HINTON等[19]開創性地提出深度信念網絡以來，基于大數據驅動的深度學習技術以其優越的性能及充足的生理學基礎而廣泛地應用于各個領域[20-26]。深度學習的優勢在于可以直接將原始數據輸入到模型中，而不需要單獨對特征進行選擇與變換，由模型通過學習給出合適的特征表示[27]。從理論上來說，將原始圖像輸入深度學習網絡即可得到很好的檢測結果，但本研究中的原始圖像尺寸非常大(2 452像素×2 056像素)，現有網絡無法處理，若直接壓縮則會造成很多圖像細節丟失。另外，即使壓縮到適合現有網絡的圖像尺寸(如224像素×224像素)，對于這么多的參數輸入，需要更多樣本(數十萬甚至數百萬)才能得到較好的效果。因此，本研究采用先提取圖像特征、再建模的方式。深度信念網絡(Deep belief network, DBN)首先對網絡進行無監督預訓練，然后通過反向傳播(Back propagation,BP)算法對網絡進行微調，尤其適用于有標簽樣本的數量有限情況下的學習問題。深度信念網絡具備層次化特征學習與表達的能力，在探索分析輸入、輸出間復雜非線性關系上具有獨特優勢[28]。

圖像特征和水稻生物量間具有復雜的非線性關系，深度信念網絡是解決這一問題的有效工具。本研究使用深度信念網絡進行生物量建模的另一個重要原因在于，研究中有大量無標簽樣本，而深度信念網絡能充分利用無標簽樣本提高模型性能，是研究水稻生物量測量模型的有力工具。本研究首先通過圖像分析從原始水稻圖像中提取生物量相關圖像特征，然后引入深度信念網絡，構建適用于多品種水稻生殖生育期的水稻生物量模型。

1 材料與方法

1.1 成像系統

本研究中的圖像采集裝置如圖1所示。水稻植株由工業輸送線自動輸送至檢測區域，電動旋轉臺帶動水稻旋轉一周，由彩色工業相機(AVT Stingray F-504)采集水稻圖像，圖像尺寸為2 452像素×2 056像素。每盆植株每次采集14個不同角度下的可見光圖像。采集到的圖像將自動傳輸至工作站。

圖1 圖像采集裝置Fig.1 Image acquisition equipment1.旋轉臺 2.控制器 3.相機 4.工作站

1.2 試驗材料與圖像采集

本研究的試驗材料為存在廣泛自然變異的483份水稻核心種質資源。樣本種植于直徑為22 cm的塑料盆中。試驗設置對照組(N)和干旱脅迫組(D)，每個組設置4個重復，共483×2×4=3 864個樣本。對照組正常澆水，種植于露天環境下，而脅迫組種植在溫室中，于孕穗期進行干旱脅迫。

當水稻樣本長至孕穗期時，對脅迫組所有品種的4個重復采集圖像。隨后，脅迫組斷水進行脅迫。采用TRIME-PICO32型土壤水分測量儀(IMKO Micromodultechnik GmbH, Ettlingen, 德國) 測量土壤含水率。當土壤含水率降至15%時，給脅迫組澆水，使土壤含水率保持在15%的水平5 d。再次采集脅迫組和對照組所有樣本的水稻圖像，并對脅迫組和對照組所有品種的兩個重復進行有損人工測量獲取水稻地上部分干物質量。復水后對脅迫組和對照組正常澆水，于成熟期進行第3次水稻圖像采集，并對脅迫組和對照組所有品種的兩個重復進行有損人工測量獲取水稻地上部分干物質量。由于部分樣本在測量中出現人為失誤，最終具有人工測量干物質量數據的有標簽樣本為3 811個，僅有圖像而無人工測量干物質量數據的無標簽樣本為3 829個。

1.3 圖像處理及性狀提取

1.3.1圖像處理

圖像采集完成后進行處理，主要步驟如下：①圖像閾值分割。首先將圖像轉換到HSL顏色空間，利用HSL顏色空間固定閾值分割法分割圖像，提取圖像的L分量，設定閾值為100。去除小區域后得到水稻植株二值圖像。②提取顏色分量。利用二值圖像和原始RGB圖像進行掩模操作，獲取植株的RGB圖像，提取水稻植株圖像的超綠分量(GEx)和超紅分量(REx),若某像素的GEx值大于預定義GEx閾值，REx值小于預定義REx閾值，則該像素被分割為植株綠色部分。提取i2組分，測定水稻植株的黃色部分。各顏色分量的計算公式為

(1)

(2)

(3)

GEx=2g-r-b

(4)

REx=1.4r-b

(5)

i2=0.5R-0.5B

(6)

式中R、G、B——彩色RGB圖像的R、G、B分量

r、g、b——歸一化R、G、B分量

③檢測水稻植株邊緣和最小外接矩形。利用IMAQ EdgeDetection VI提取水稻植株邊緣，并利用IMAQ Particle Analysis VI檢測水稻植株最小外接矩形(圖2)。

圖2 水稻植株邊緣和最小外接矩形檢測Fig.2 Detection of edge and border of rice plants

1.3.2圖像特征提取

基于處理好的水稻圖像，對每個植株共提取57個圖像特征，分別為：

株高(HP)：將水稻拉直后測量得到的高度。

分蘗數(NT)：分蘗的數目。

綠色投影面積(AG)：植株綠色部分的像素數。

莖稈面積(AST)：莖稈像素數。

植株投影面積(A)：植株像素數。

綠色比(RGLA)：綠色投影面積與植株投影面積的比值。

植株密度(C1～C6)：將圖像分為若干個尺寸為5像素×5像素的子圖像，計算每個子圖像內的前景像素比例。像素點的密度定義為該像素點所在子圖像中的前景像素數占子圖像總像素數的比例。對植株180°范圍的圖像(本研究中為7幅)進行同樣處理，以這些圖像得到的密度均值作為植株密度。根據子圖像內的前景像素比例，將子圖像劃分為6個不同水平，分別為水平1(0～10%)、水平2(10%～20%)、水平3(20%～40%)、水平4(40%～60%)、水平5(60%～80%)、水平6(80%～100%)。統計不同前景像素比例水平中所含子圖像數占所有子圖像數的比例，計算得到6個不同植株密度水平，分別記為C1、C2、C3、C4、C5、C6[29]。

周長面積比(RPA)：植株周長與植株投影面積之比，其中周長為植株邊緣像素的數目。

分形維數1(DF1)：由植株原始圖像計算得到的分形維數。

植株外接矩形高(H)：植株最小外接矩形的高度。

植株外接矩形寬(W)：植株最小外接矩形的寬度。

植株占空比(RPB)：植株面積與其最小外接矩形面積的比值。

高寬比(RHW)：植株外接矩形高與植株外接矩形寬的比值。

分形維數2(DF2)：以植株最小外接矩形為邊界裁剪圖像后計算的分形維數。

深綠色面積(ADG)：植株深綠色部分的前景像素數。

植株相對頻數(F1～F14)：本文共采集了植株360°旋轉范圍內的14幅圖像，每幅側視圖對應不同的植株角度，側視圖中相同的像素點位置在不同的側視角度下對應著不同的植株位置。統計側視圖像中每個像素點處出現前景像素(植株像素)的次數。本實驗共14幅側視圖，即前景像素出現次數為0～14。不考慮前景像素出現次數為0的像素數，統計圖像中出現i次前景像素的像素點的個數，根據統計的個數，計算出現i次前景像素的相對頻率，得到14個分布頻率特征，記為特征F1、F2、F3、F4、F5、F6、F7、F8、F9、F10、F11、F12、F13、F14[30]。

淺綠色面積(ALG)：植株淺綠色部分的前景像素數。

綠色等級(GC)：植株顏色等級分為深綠色和淺綠色，分別用1和0表示。當植株深綠色面積大于淺綠色面積時為1，否則為0。

直方圖特征：均值M、標準差S、三階矩MU3、平滑度R、熵E、一致性U[29]。

灰度-梯度共生矩陣特征T1～T15：T1、T2、T3、T4、T5、T6、T7、T8、T9、T10、T11、T12、T13、T14、T15分別為相關、小梯度優勢、大梯度優勢、能量、灰度分布不均勻性、梯度分布不均勻性、灰度平均值、梯度平均值、灰度熵、梯度熵、混合熵、差分矩、逆差分矩、灰度均方差、梯度均方差[30]。

表1為各時期57個特征的平均值及各特征與生物量之間的相關性。從表中可以看出，大多數特征與生物量之間具有極顯著的相關性。

2 水稻生物量無損檢測模型構建

2.1 數據預處理及性能評價

本研究中有標簽樣本3 811個，無標簽樣本3 829個，深度信念網絡能充分利用無標簽樣本提高模型性能，是研究水稻生物量測量模型的有力工具。將有標簽樣本隨機劃分為訓練集和測試集，其中訓練樣本3 000個，測試樣本811個。為了消除不同水稻生物量特征數據量綱的差異，提高訓練收斂速度，利用Matlab工具箱中的mapminmax函數將數據歸一化至[0,1]區間。

本文采用決定系數R2(Coefficient of determination)、平均相對誤差(Mean absolute percent error，MAPE)、相對誤差絕對值的標準差(Standard deviation of absolute percent error，SAPE)來判斷所構建模型的性能。計算公式為

(7)

(8)

(9)

式中VAPEi——第i個樣本的相對誤差絕對值

VMAPE——平均相對誤差

VSAPE——相對誤差絕對值的標準差

yai——第i個樣本的生物量系統測量值

ymi——第i個樣本的生物量人工測量值

n——樣本數量

2.2 基于多元線性回歸的水稻生物量模型構建

通過逐步線性回歸法對水稻生物量數據進行回歸分析，并通過方差膨脹因子(Variance inflation factor, VIF)進行共線性檢驗，當某個回歸變量的VIF小于10時，認為建立的回歸模型無顯著的共線性。最終從57個特征值中篩選出4個特征值，并利用SPSS對其進行共線性檢驗，確定無共線性。最終構建的逐步線性回歸模型方程為

Y=0.072+1.185X1-0.224X2-0.270X3-0.224X4

(10)

式中Y——植株干物質量

X1——三階矩X2——株高

X3——莖稈面積

X4——植株外接矩形高

該模型測試集的R2為0.807 6、MAPE為22.15%、SAPE為37.53%。

2.3 基于深度信念網絡的水稻生物量模型構建

線性回歸模型的性能相對較差，為了提高模型性能，構建基于深度信念網絡的生物量模型。

DBN模型訓練中可見層數據類型、隱含層層數、隱含層節點數、學習率、迭代次數、動量都會對模型性能產生影響，本文分別測試其對DBN模型性能的影響。

(1)可見層數據類型

分別測試可見層數據類型為高斯型和概率型時對DBN模型性能的影響，結果表明高斯型模型的R2為0.925 9，MAPE為11.60%，SAPE為18.00%；概率型模型的R2為0.906 9，MAPE為14.51%，SAPE為33.18%，高斯型數據類型性能優于概率型。

(2)隱含層層數

DBN隱含層層數很大程度上影響著DBN模型的性能。選擇5種不同DBN隱含層層數，分別測得它們對DBN模型性能的影響，結果如表2所示。當隱含層層數為3時，模型性能最優。

(3)隱含層節點數

分別選擇8種不同的隱含層節點數測試其對DBN模型性能的影響，結果如表3所示。從結果可以看出，隱含層節點數為70-70-70時，模型性能最優。

(4)學習率

DBN訓練中選擇合適的學習率可以有效提高參數學習的收斂速度和學習性能。首先設置受限玻爾茲曼機(Restricted Boltzmann machines, RBM)預訓練的學習率為0.1，然后測試BP算法不同學習率對DBN模型性能的影響。表4和表5分別為學習率隨迭代次數改變(式(11))和不隨迭代次數改變對模型性能的影響。結果顯示，學習率隨迭代次數改變且初始學習率為0.2時，DBN訓練的精度高，建立的模型更準確。

表1 各時期特征均值與生物量之間的相關性分析Tab.1 Correlation analysis of feature values for each period and biomass

注：** 表示極顯著(P<0.001)；*表示顯著(0.001

表2 隱含層層數對DBN模型性能的影響Tab.2 Influence of hidden layer number on performance of DBN model

表3 隱含層節點數對DBN模型性能的影響Tab.3 Influence of hidden layer neuron number on performance of DBN model

(11)

式中li——迭代次數i時的學習率

l0——初始學習率

i——迭代次數

表4 DBN訓練中學習率隨迭代次數改變對DBN模型性能的影響Tab.4 Influence of learning rate which varied with change of iterations on performance of DBN model

(5)迭代次數

迭代次數對模型性能有較大的影響。從迭代次

表5 DBN訓練中學習率不隨迭代次數改變對DBN模型性能的影響Tab.5 Influence of learning rate which did not vary with change of iterations on performance of DBN model

數50～2 000之間選擇9種不同的迭代次數，分別測試其對DBN模型性能的影響，結果如表6所示。從表中可知，當DBN模型迭代次數為200時，模型性能最優。

表6 迭代次數對DBN模型性能的影響Tab.6 Influence of different numbers of iteration on performance of DBN model

(6)動量

為了測試動量對性能的影響，分別測試了動量隨迭代次數改變(式(12))和不隨迭代次數改變對DBN模型性能的影響。結果表明，可變動量條件下DBN的R2為0.929 9，MAPE為11.19%，SAPE為18.36%；固定動量條件下DBN的R2為0.915 4，MAPE為12.70%，SAPE為23.34%。

(12)

式中mi——第i次迭代的動量

綜上，最終確定了性能最優的DBN模型，即可見層數據類型為高斯型，隱含層層數為3層，隱含層節點數為70-70-70，學習率為0.2，迭代次數為200，動量隨迭代次數改變而改變。

2.4 DBN模型與回歸模型性能比較

圖3為DBN模型與回歸模型對測試集處理性能比較的結果。

分析圖3可知，DBN模型R2較線性回歸模型增加了0.122 3，MAPE和SAPE分別降低了10.96個百分點和19.17個百分點，因此DBN模型具有更優的擬合效果。

圖3 DBN模型及回歸模型性能比較Fig.3 Comparison of performance between DBN model and regression model

3 結論

(1)對不同品種水稻核心種質資源進行圖像采集，并利用HSL顏色空間固定閾值分割法分割圖像，對處理后的圖像進行特征提取，每個植株共獲得57個水稻特征值。

(2)通過逐步線性回歸方法構建水稻生物量回歸模型，模型測試集的R2為0.807 6、MAPE為22.15%、SAPE為37.53%。

(3)通過反復試驗構建一組可見層數據類型為高斯型、隱含層層數為3、隱含層節點數為70-70-70、學習率為0.2、迭代次數為200的多品種生物量無損檢測DBN模型，模型測試集R2為0.929 9，MAPE為11.19%，SAPE為18.36%。

(4)將回歸模型與DBN模型的性能進行對比，結果表明，DBN模型具有更優的訓練結果。