基于ST-LSTM的植物生長發育預測模型

王春穎 泮瑋婷 李 祥 劉 平

(1.山東農業大學機械與電子工程學院，泰安 271018;2.山東省農業裝備智能化工程實驗室，泰安 271018;3.山東農業大學生命科學學院，泰安 271018;4.作物生物學國家重點實驗室，泰安 271018)

0 引言

表型是對復雜植物生長、發育、抗性、結構、生理、生態以及個體數量參數等性狀的定量評估[1-3]。自然植物的生長緩慢，提早預知植物生長發育并解析植物表型，將減少植物生長、成像和測量所需的時間，加快生物學家的實驗周期，進而加速新品種的培育[4-5]。植物生長發育預測有望解決育種行業研發周期長、效率低、成本高、決策難等問題。

目前，國內外相關學者已開展了一些植物表型預測研究，如基于多相時植被指數估算作物產量[6-9]，但這些研究僅能估算單一表型的最終結果。時序預測模型利用時序特征預測數據變化為表型預測和模擬提供可能[10-14]，已有研究建立了時序預測模型預測環境因素對植物生長發育的影響[15-16]。YUE等[17]建立了基于長短時記憶網絡(Long short-term memory,LSTM)和卷積長短時記憶網絡(Convolutional LSTM,ConvLSTM)的預測模型，可預測未來一年的日照時數、累積降水量和平均溫度，同時開發了數據驅動模型預測每個生長階段。

但這些研究僅能預測單一表型的動態變化，不能很好地可視化植物生長發育。而植物生長發育的性狀信息可通過分析植物圖像獲得，一些研究成果已成功探索了植物生長發育的空間和時間特征信息的提取與應用[18-20]。2019年，SAKURAI等[21]首次提出利用歷史植物圖像進行植物生長發育預測的研究，使用ConvLSTM和編碼器-解碼器模型來預測植物葉片的生長。YASRAB等[5]使用GAN模型來預測植物葉片和根系的生長變化，但該模型基于植物掩碼預測生長發育，忽略了植物的紋理和顏色信息。

因此，本文利用植物生長發育的空間依賴性、時間依賴性，提出一種基于ST-LSTM的植物生長發育模型，通過植物歷史生長圖像序列，預測植物形態結構隨時間而發生的幾何變化，實現植物生長發育預測與可視化。

1 植物生長發育預測數據集

擬南芥是生物學模式植物，分子遺傳背景清晰，生長周期短、生長條件可控，很容易從頂視圖觀察擬南芥的生長模式，時序采集圖像可以保持一致性。因此，本文采用擬南芥植物圖像[18]構建植物生長發育預測數據集。該擬南芥圖像數據包括理想生長條件的4種基因型(Sf-2、Cvi、Landsberg和Columbia)，共96個連續頂部圖像生長發育序列，每個生長發育圖像序列包含22幅圖，圖像采集時間間隔為24 h。

圖像噪聲是植物生長發育預測的一個關鍵問題，需要對植物圖像進行預處理，去除背景噪聲的干擾。通過微調Mask R-CNN模型實現識別、提取植物掩模，進而通過形態學運算去除圖像背景。去除背景后的擬南芥連續生長發育圖如圖1所示。

將擬南芥圖像分辨率調整為128像素×128像素，并通過旋轉圖像90°、180°和270°來增強數據，按照不同的植株編號劃分訓練集和測試集。每個品種中編號1～12的植株生長發育圖像為訓練集，編號13～16的植株生長發育圖像為測試集。訓練集和測試集中每個序列包含10幅連續生長發育圖像，其中前5幅作為輸入，后5幅作為輸出。最終形成植物生長發育預測數據集，包含3 340組訓練數據和1 105組測試數據。

圖1 背景去除后的擬南芥連續生長發育圖像Fig.1 Successive images of Arabidopsis thaliana without background

2 基于ST-LSTM的植物生長發育預測模型

2.1 植物生長預測問題定義

植物生長發育隨時間變化具有明顯的時間相關性和空間相關性(圖2)，即在植物圖像序列中的任意像素位置A的像素，不僅與歷史時刻該位置A′的像素時間相關；又因為自然圖像具有極高的結構性，位置A的像素也與同一時刻的圖像內臨近像素位置B的像素空間相關。植物生長發育預測的目的是利用觀測到的圖像序列來預測植物生長發育。

模式層計算輸入特征向量與訓練中各個模式的匹配關系，模式層神經元個數等于各個類別訓練樣本數之和，該層每個模式單元的輸出為

因此，根據歷史j個植物圖像序列It-j+1:t，預測未來k個生長序列圖像t+1:t+k，定義植物生長發育預測公式為

圖2 植物生長發育數據時空相關性示意圖Fig.2 Spatio-temporal correlation diagram of plant growth data

(1)

式中It——每個植株在t時刻的RGB圖像，It∈R3×m×n，m×n為RGB圖像尺寸

p——貝葉斯概率

2.2 植物生長發育預測模型結構

針對緊耦合的植物生長發育時空相關性，以植物生長發育時序圖像為研究對象，提出基于ST-LSTM的植物生長發育預測模型,如圖3所示。植物生長發育預測模型通過提取植物生長發育的空間和時間特征，近似估計植物生長發育。

植物生長發育預測模型由時序圖像輸入層、卷積層、ST-LSTM網絡隱含層和輸出層組成。首先將歷史j個時刻的植物圖像序列It-j+1:t輸入到卷積層中，1×1卷積運算，不破壞圖像的空間結構，跨通道交互和信息整合，提升網絡的表達能力。然后，將空間結構特征輸入ST-LSTM網絡隱含層，提取層次化的時空特征。最后，輸入到1×1卷積層，連接ST-LSTM網絡隱含層的所有狀態，預測生長發育圖像序列t+1:t+k。

圖3 植物生長發育預測模型結構圖Fig.3 Structural diagram of prediction model for plant growth and development

2.3 ST-LSTM網絡隱含層結構

圖4 ST-LSTM單元內部結構圖Fig.4 Structure diagram of ST-LSTM cell

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

(11)

式中ip、gp、fp——輸入門、輸入調制門、遺忘門

i′p、g′p、f′p——另一組輸入門、輸入調制門、遺忘門

Xp——輸入狀態

ω、ω′——權重矩陣

b、b′——偏差矩陣

σ——Sigmoid激活函數

*——卷積運算符

⊙——哈達瑪積

2.4 評估指標

為了評估植物生長發育預測模型，定量評價預測的植物生長發育圖像，使用均方誤差(Mean square error，MSE)、峰值信噪比(Peak signal to noise ratio，PSNR)和結構相似性(Structural similarity index measure，SSIM)作為評估指標[18,24-25]。MSE評估了實際與預測圖像之間的像素差異度；PSNR是峰值信號能量與MSE之比，評估了實際與預測圖像之間的像素差異度，PSNR越高，圖像和實際圖像越接近；SSIM則是一種基于感知的度量方法，衡量結構信息在整幅圖像上的差異，其值域為[0，1]，SSIM越接近1差異越小，當且僅當兩幅圖像完全相同時，其值為1。

同時選擇擬南芥冠層葉面積、冠幅和葉片數作為植物生長發育預測的評價內容。將擬南芥圖像轉換為二值圖像，冠層葉面積通過統計二值圖像的連通域像素和計算，冠幅為連通域的最小外接矩形的長、寬的平均值。冠層葉面積、冠幅和葉片數預測的評價指標包括決定系數R2和均方根誤差(RMSE)。

3 植物生長發育預測結果與分析

3.1 模型參數設定

植物生長發育預測模型以最小平方誤差作為損失函數，選用Adam優化器進行訓練。每次迭代隨機選取10個生長序列，設置最大迭代次數為30 000，模型在所有時間節點上都對下一生長發育圖像進行預測。選取不同學習率、ST-LSTM隱含層層數、隱含層中ST-LSTM單元數以及ST-LSTM單元的卷積核尺寸進行測試，以獲得較優的預測性能。

不同學習率的訓練損失值曲線如圖5所示，最后1 000次迭代的訓練損失值和學習率的關系如圖6所示，訓練損失值關于學習率呈U形曲線。當學習率為10-6，訓練損失值較大，變化率較小，如圖5中的藍色曲線；當學習率過大，梯度下降使訓練誤差增加而非減小，如圖5中的橙黃色曲線。學習率越低，權重更新速度越慢，損失函數變化速度越慢。因此在訓練損失值相近的情況下，選擇學習率為0.001，訓練損失值小，且波動幅度小，不存在離散點。

圖5 不同學習率的訓練損失值曲線Fig.5 Loss value curves of different learning rates

圖6 最后1 000次訓練損失值變化曲線Fig.6 Loss value curves of last 1 000 iterations

不同ST-LSTM隱含層層數、隱含層中ST-LSTM單元數以及ST-LSTM單元的卷積核尺寸，對模型容量和特征提取有很大的影響。設計ST-LSTM隱含層層數為3、4、5，隱含層單元數為32、64、128，ST-LSTM中的卷積核尺寸為3×3、5×5和7×7進行訓練。同時監測訓練誤差和測試誤差對訓練結果的影響，通過網格搜索算法確定最優的隱含層數量和隱含層單元數組合為：隱含層層數為5，隱含層單元數為64，ST-LSTM中的卷積核尺寸為3×3。模型預測效果通過計算預測圖像序列與生長發育實際圖像序列之間的結構相似度(SSIM)來度量，如圖7所示。

圖7 不同模型網絡結構的結構相似度對比Fig.7 Comparison of SSIMs for different model structures

圖7顯示了不同模型網絡結構下，t+1時間節點植物生長發育預測圖像的結構相似度(SSIM)。ST-LSTM中的卷積核越小，所需要的參數和計算量越小，降低了計算復雜度，卷積核增大，結構相似度明顯降低，如圖7中的藍色虛線框。更深的網絡比更寬的網絡的表達能力強，能夠逐層學習特征，增加感受野，生長發育預測結果結構相似度更高。

為了驗證所提出的植物生長發育預測模型性能，選取ConvLSTM為對比模型。ConvLSTM網絡選用ConvLSTM單元堆疊隱含層，參數設置均與所提出的模型相同。

3.2 植物生長發育預測結果與性能分析

植物生長發育預測結果如圖8所示，根據歷史的5個生長圖像序列，預測t+1到t+5的生長發育圖像。使用MSE、PSNR和SSIM作為評估指標，定量評價所提出的生長發育預測模型和ConvLSTM，每個預測時間節點的定量評估結果如圖9所示。所有預測時間節點的SSIM均值為0.774 1，MSE均值為27.35，PSNR均值為39.74。首個預測時間節點的SSIM為0.874 1，MSE為17.10，PSNR為30.83，表明預測與生長發育實際圖像序列具有較高的相似性。

圖8 植物生長發育預測結果Fig.8 Prediction results of plant growth and development

植物生長發育預測模型的MSE、PSNR和SSIM值均優于ConvLSTM模型，意味著所提出的模型提取植物生長發育時空相關性的能力更強。但植物生長發育預測模型和ConvLSTM模型均無法有效拓展預測時效，預測時效越長模糊現象越嚴重，預測結果相似性越差，PSNR和SSIM值會逐漸下降，MSE值逐漸升高。造成這種現象的原因可能是預測誤差積累和植物生長發育的復雜性。

圖9 定量評估結果Fig.9 Quantitative results

圖10 不同生長階段的生長發育預測結果Fig.10 Prediction results of growth and development at different growth stages

圖11 不同生長階段的冠層葉面積、冠幅和葉片數的預測結果Fig.11 Prediction results of canopy leaf area,crown width and leaf number at different growth stages

對不同生長階段的植物生長發育序列進行預測，檢驗模型適應性，包含預測10～15 d的生長發育、12～17 d的生長發育、15～20 d的生長發育和16～21 d的生長發育。植物生長發育預測模型預測結果如圖10所示，預測結果相應的表型參數(冠層葉面積、冠幅和葉片數)如圖11所示。顯然，所提出的植物生長發育預測模型在生長發育中期(10～15 d、12～17 d)比后期(15～20 d和16～21 d)的生長發育預測效果好，原因在于生長發育后期植株形態結構逐漸復雜，預測難度增加。生長發育預測的冠層葉面積和冠幅具有較好的一致性和相似性，t+1、t+2和t+3時刻的預測誤差明顯小于t+4和t+5，說明所提出的植物生長發育預測模型有效地改善了預測時效問題。但生長發育預測的葉片數預測精度較差，這是預測圖像的新生葉與成熟葉片邊界不明顯造成的；且葉片越密集(圖10c)，植物生長發育預測模型無法區分內部葉片邊界，預測誤差越大，因此，預測的葉片數在t+3和t+4時刻出現拐點(圖11c)。

植物生長發育預測模型在包含4種基因型數據的測試集上的檢驗結果如圖12所示。所提出模型預測的圖像序列與生長發育實際圖像序列具有較高的一致性和相似性，冠層葉面積、冠幅和葉片數的預測R2分別為0.961 9、0.908 7和0.915 8；RMSE分別為2 164像素、36.45像素和6.73，普適性較好。顯然，t+5時刻相對于t+1時刻，冠層葉面積和冠幅的偏移量都大，同樣反映了預測時效性這一問題。從圖12中還可以看出，隨著冠層葉面積和冠幅的增加，模型預測精度明顯下降，再次說明預測精度受植物生長發育的復雜性影響。

圖12 測試集的預測結果Fig.12 Prediction results on test set

4 結束語

基于ST-LSTM提出的植物生長發育預測模型，利用歷史植物生長發育圖像序列，預測和可視化了植物的生長發育。生長發育預測圖像序列與實際圖像序列具有較高的一致性和相似性。首個預測時間節點的結構相似度為0.874 1，均方誤差為17.10，峰值信噪比為30.83。植物生長發育預測模型對冠層葉面積、冠幅和葉片數預測R2分別為0.961 9、0.908 7和0.915 8。所提出的預測模型專注于預測預處理后的RGB圖像而不是原始圖像，既減少了預測的復雜性，又保留了圖像中植物的顏色紋理信息。研究結果驗證了預測植物生長發育的可行性，通過減少植物生長、成像和測量所需的時間，進一步加速生物學家培育新品種的試驗周期，加快育種智能化的進程。