基于深度學習的水稻表型特征提取和穗質量預測研究

楊萬里，段凌鳳，楊萬能

1.華中農業大學工學院，武漢 430070； 2.華中農業大學作物遺傳改良國家重點實驗室，武漢 430070

我國是世界上最大的稻米消費國[1]，為提高我國稻米的自給率，水稻單產的持續增加一直是育種和栽培研究的重要目標[2-3]，精準的產量預測可以加快育種的速度并為糧食的種植提供指導[4]。水稻穗部的表型特征、穗數、稻穗的投影面積等與產量有著極為密切的關系[5]，而且穗部表型特征的識別在水稻的病蟲害檢測、營養分析、抽穗期的檢測具有重要的指導意義[6-7]。因此，水稻稻穗準確識別和分割是水稻產量預測和表型研究的關鍵。

隨著近年水稻功能基因組學的發展，準確快速獲取大規模群體表型數據對水稻的育種和改良具有重要意義[8-9]，而傳統的表型數據獲取往往需要進行大量的人工實驗且費時費力，自動化快速的表型提取方法可以突破傳統水稻表型技術的瓶頸，加快水稻育種速度。現有研究通過圖像顏色特征分割果穗[10-12]，但是這種方法分割的準確度不高且容易產生噪聲，不能滿足復雜環境下稻穗分割的要求。隨著深度學習的快速發展，其在作物果穗的識別和分割上得到廣泛應用。Ghosal等[13]提出一種基于卷積神經網絡的高粱穗的計數方法；Xiong等[14]提出一種基于卷積神經網絡的Panicle-SEG網絡進行水稻稻穗分割，針對復雜環境具有很好的適應性；Sadeghi-Tehran等[15]提出一種基于簡單線性迭代聚類和深度卷積神經網絡的田間小麥穗自動技術的系統DeepCount；段凌鳳等[16]對多個大田稻穗分割模型進行比較，得出基于SegNet的卷積神經網絡分割效果與耗時的性價比最高。部分研究基于土壤性質[17]、氣溫、降水[18]等因素并結合遙感技術預測大田水稻產量，但該方法無法預測單株水稻產量。由于水稻產量預測可以更好地為生長發育、遺傳育種等研究提供數據支持，因此，精確提取水稻整株和穗部的表型特征數據及產量預測，是未來水稻育種和表型組學研究的重要內容。

本研究使用卷積神經網絡SegNet[19]和Faster R-CNN[20]對盆栽水稻稻穗分別進行分割和穗數計數，基于分割后稻穗圖像，提取穗部圖像的表型特征，結合整株水稻的顏色紋理等表型特征，構建盆栽水稻稻穗鮮質量、干質量預測模型,旨在為水稻穗質量預測提供新的思路和方法，進一步提高水稻穗質量預測的準確性。

1 材料與方法

1.1 圖像采集系統

圖像采集系統如圖1A所示，采用自動化工業流水線表型檢測平臺獲取圖像[8]，盆栽水稻通過送檢線運送到旋轉臺，按照等角度旋轉13次共360°，位于水稻側面的可見光工業相機(AVT Stingray F-504)在每次旋轉的間隙拍攝，每盆水稻共采集13張側視png格式的RGB圖片，圖像的分辨率為2 452像素×2 056像素，自動采集圖像并儲存至工作站，檢測完畢的水稻通過出檢線送出。

1.2 試驗材料與數據

本試驗的水稻品種為華粳295，試驗基地位于華中農業大學盆栽場，水稻種植于塑料盆中。盆缽規格為下部直徑16 cm、上部直徑19.5 cm、盆高19 cm，每盆均裝入5.0 kg風干土壤，添加適量水將水稻幼苗種植其中，共83盆，試驗期間適時追肥、人工除草和病蟲害防治。在水稻蠟熟期采集了1 079張RGB圖像，圖像獲取后，人工統計每株水稻的穗數，并將穗部剪下稱質量，記作穗鮮質量(FW)，烘干后再次稱質量，記作穗干質量(DW)。Faster R-CNN模型訓練數據集材料，共322盆水稻，生長環境與華粳295相同，共采集了4 186張RGB圖片。

1.3 基于Faster R-CNN的穗數計數模型

使用Faster R-CNN目標檢測網絡對稻穗進行計數[20]。Faster R-CNN網絡主要包括：特征提取網絡CNN、區域建議網絡RPN、特征金字塔網絡FPN以及目標區域池化ROI pooling層、分類和回歸層。特征提取網絡CNN采用ResNet101殘差網絡結構，其中包括卷積層、激活層和池化層，其作用是在訓練過程中對輸入CNN網絡的圖片進行特征提取并輸出特征圖；FPN結構將不同卷積層的特征圖生成一個特征圖金字塔，將特征圖金字塔輸入區域建議網絡RPN得到候選區域；目標區域池化層將每個候選區域映射到特征圖上，然后對每個區域進行最大池化得到區域建議特征圖；分類和回歸層根據輸入的區域建議特征圖輸出候選區域的類別和檢測框。

訓練數據集使用322盆水稻拍攝的4 186張2 452 像素×2 056像素的盆栽水稻圖片，每張圖片中的水稻均抽穗。首先利用labellmg軟件對目標稻穗進行標注，生成xml格式的文件，再轉化為json格式的文件，4 186張圖片和json文件按照3∶1的比例隨機劃分為訓練集和驗證集，隨后進行模型訓練，模型訓練采用的是PyTorch框架，使用GPU訓練，參數設置學習率為0.01，學習的動量因子為0.9，權重衰減weight_decay為0.000 1，epoch為1 000，訓練后得到稻穗檢測的模型。

1.4 基于SegNet的稻穗分割模型

稻穗分割使用的是SegNet網絡，SegNet是由劍橋大學研發的開源圖像分割項目[19]，網絡結構如圖2所示。在FCN網絡結構上，搭建編碼解碼網絡結構，從而實現從端到端的逐像素圖像分割，圖2中綠色部分為卷積層+BN層+激活層，黃色為池化層，紅色為上采樣層，藍色為分類層。由于本研究只需要分割出稻穗，屬于二分類問題，只有前景點和背景點兩個類別，所以需要把SegNet最后1個輸出層通道數改為2，得到本研究的網絡結構。

圖2 SegNet網絡結構示意圖

網絡訓練。第一步，訓練數據集準備。使用Photoshop對70張2 452像素×2 056像素(高×寬)的盆栽水稻圖片進行人工標注，將背景點標注為0，稻穗像素點標注為1。第二步，數據擴增。由于盆栽圖片中稻穗部分前景點的像素占比很小，因此需擴大前景點樣本量以保持樣本平衡，首先進行圖片裁剪，有稻穗的區域，使用360像素×480像素(高×寬)和480像素×360像素(高×寬)的框在該區域上、下和左、右共4個方向采用滑動窗口的形式裁剪出子圖，只有背景的區域隨機框出20%并裁減；對所有稻穗區域的子圖進行旋轉鏡像實現數據擴增，得到3 960張360像素×480像素(高×寬)的子圖。第三步，數據集劃分。將3 960張子圖按照83∶17的比例隨機劃分訓練集和驗證集，得到3 304張訓練集樣本和656張驗證集樣本，標簽圖采用同樣的方式處理使之與子圖一一對應。

由于訓練樣本較少，在模型訓練的過程中很容易導致過擬合，所以本研究使用網絡結構相似的大田稻穗分割模型PanicleNet進行網絡初始化[16]，以提高模型的分割精度、縮短訓練時間。基于caffe平臺隨機梯度下降法訓練，學習率設置為0.001，epoch為100即所有樣本訓練100次，訓練集的batchsize為4，驗證集的batchsize為2，學習的動量因子為0.9。

1.5 圖像分割、處理及特征提取

1)整株特征提取。圖3左側為整體特征提取部分，主要處理過程如下：①預處理。對ROI區域進行裁剪。②二值化。將彩色RGB圖進行閾值分割，公式為：2G-R-B≥N(其中，G為像素點的綠色分量，R為紅色分量，B為藍色分量)，N=20為閾值，得到水稻植株的二值圖，將整株分割的二值圖與RGB圖片進行掩膜得到整株分割圖像。③提取綠色部分分量。使用裁剪過的植株RGB圖像，利用綠色和紅色分量，如果像素點綠色分量大于閾值Egthreshold并且紅色分量小于閾值ERthreshold則判定為綠色部分，與原圖掩膜得到綠色分割效果圖，Egthreshold=0.3，ERthreshold=0.15。④將預處理的RGB圖轉化為HSI圖像，然后提取I分量得到的灰度圖像與二值圖掩膜，得到最終的灰度圖。⑤將預處理的RGB圖轉化為HSL圖像，然后提取G分量的梯度圖。

基于以上的圖像處理過程可以提取51個整株水稻特征。高(H)：植株形態參數，植株外接矩形的高度；寬(W)：植株形態參數，植株外接矩形的寬度；周長/面積(PAR)：植株形態參數，植株的周長與植株投影面積的比值；總投影面積(TPA)：植株形態參數，植株所占的像素點個數；面積/外接矩形的面積(TBR)：植株形態參數，總投影面積(TPA)與外接矩形面積的比值；高/寬(HWR)：植株形態參數，外接矩形高(H)與寬(W)的比值；分形維數(FDNIC)：植株形態參數，預處理裁剪后RGB圖的分形維數；分形維數(FDIC)：植株形態參數，植株外接矩形裁剪后RGB圖的分形維數；頻數(F1～F13)：植株形態參數，每盆水稻每次拍攝在360°范圍內拍攝13張側視圖片，統計在13張圖片中每個相同位置像素點出現前景點的頻數，不考慮頻數為0的點，F1為13張圖中相同位置只出現1次前景點的像素個數，以此類推，得到F1～F13；緊湊度(PC1-PC6)：植株形態參數，反映植株的緊湊程度；綠色程度(GCV)：植株顏色參數，圖片中綠色部分所有像素點R分量數值的平均值；綠色投影面積(GPA)：植株顏色參數，綠色部分像素點個數；綠色比例(GPAR)：植株顏色參數，綠色投影面積與整株投影面積的比值；I分量灰度直方圖：植株紋理參數，均值M_I、平滑度SE_I、標準差S_I、三階矩MU3_I 、一致性U_I、熵E_I；灰度-梯度共生矩陣特征(T1～T15)：植株紋理參數，包含了像素的灰度信息和梯度信息，T1～T15分別表示相關性、小梯度優勢、大梯度優勢、能量、灰度分布不均勻性、梯度分布不均勻性、灰度均值、梯度均值、灰度熵、梯度熵、混合熵、差分矩、逆差分矩、灰度標準差、梯度標準差。

圖3 特征提取流程

2)穗部特征提取。如圖3，主要處理過程：①將所有待分割的水稻盆栽圖片裁剪為360像素×480像素(高×寬)的子圖，輸入訓練好的Rice-PanicleNet模型，得到分割的二值水稻子圖。將這些圖片拼接得到整株的稻穗分割圖，將其與原圖掩膜，得到分割后的RGB稻穗圖。②RGB稻穗分割效果圖處理后得到H分量灰度圖、稻穗外邊緣圖 、I分量灰度圖、稻穗綠色分割二值圖，圖3只顯示穗部區域。

基于以上圖像處理過程，共提取33個穗部特征。稻穗紋理參數：均值P_M_I、平滑度P_SE_I、標準差P_S_I、三階矩P_MU3_I 、一致性P_U_I、熵P_E_I、灰度-梯度共生矩陣特征(P_T1～P_T15)；稻穗形態參數：總投影面積P_TPA、外接矩高P_H、外接矩寬P_W、總投影面積/外接矩面積P_TBR、凸包面積P_HA、投影面積/凸包面積P_THR、周長/面積P_PAR、分形維數P_FDIC、周長P_P；稻穗的顏色參數：黃色投影面積P_YPA、綠色投影面積P_GPA、黃色面積比P_YTR。

1.6 稻穗計數和稻穗分割模型的評價標準

稻穗計數模型評估，將模型統計穗數與人工統計的實際穗數進行比較，誤差越小，相關性越高，則模型的計數效果越好。主要的稻穗分割評價指標有4種：交并比(IOU)、精度(Precision)、召回率(Recall)和F值(F-measure)，其中，交并比(IOU)表示分割結果與實際的一致性，取值范圍為[0,1]，交并比值越大表示分割效果越好，一般認為IOU達到0.7以上，表明分割結果比較準確。精度表示分割為稻穗的像素點中真實樣本的比例，精度越高分割效果越好。召回率是真實稻穗像素點被分割出來的比例，數值越大表示分割的完整性越好。F值是一個綜合性能指標，由于實際情況中，分割精度越高，召回率就越低，兩者存在矛盾，故提出由兩者計算得到的F值作為一個指標，F值越大，表示分割效果越好。具體公式如下：

(1)

(2)

(3)

(4)

式(1)～(4)中，SP表示預測和真實標簽都為前景點的像素個數，SF表示預測為前景點而真實標簽為背景點的像素個數，TP表示預測為背景點而真實標簽為前景點的像素個數，TF表示預測和真實標簽都為背景點的像素個數。

2 結果與分析

2.1 基于Faster R-CNN的水稻穗數計數模型準確性評估

在試驗過程中，人工統計了每盆水稻稻穗的穗數。在測試階段閾值設置為0.5，利用訓練好的Faster R-CNN模型，在線輸入待檢測的1 079張原始RGB圖片，輸出檢測圖。效果示意圖見圖4。圖4中稻穗部分用紅色矩形框標出，同時在圖中顯示稻穗個數。每盆水稻每次拍攝13張圖片，所以檢測出13個稻穗的數值，考慮到不同角度拍照時存在遮擋及稻穗重疊的現象，取13張圖片中檢測到稻穗數目最大值作為檢測結果，記做穗數(PN)。

A、B、C、D為4組稻穗檢測示意圖，左邊是原始圖片的局部示意圖，右邊是檢測結果輸出圖片。A,B,C and D are four groups of schematic diagram of rice panicle detection,the left is the local schematic diagram of the original picture,and the right is the output picture of the detection result.

圖5A為Faster R-CNN模型自動檢測穗數與人工統計的每盆水稻穗數的誤差。從圖5可以看出,自動檢測與人工統計穗數誤差為0的有62盆，穗數誤差為1的有18盆，穗數誤差為2的有3盆；可以得出檢測完全正確的盆數占總數75%，誤差在±1以內的占總數96%。圖5B為穗數自動檢測值與人工統計穗數的散點圖，每個點左側數字為該點的數據個數，紅色線為Y=X的直線，共83個數據，相關系數R2=0.760 7。

圖5 穗數自動檢測值與人工統計值的相關性分析

2.2 基于SegNet的稻穗分割模型準確性評估

首先，將1 079張彩色RGB原圖輸入訓練好的SegNet模型，輸出得到二值化的分割效果圖，然后，隨機挑選6張彩色RGB原圖作為測試集，使用Photoshop人工制作標簽，原始RGB圖片中的稻穗用白色填充，所有的背景像素用黑色填充，得到人工二值圖。將人工二值圖和SegNet模型分割二值結果圖進行對比，計算出每張圖的IOU、Precision、Recall、F-measure。根據這些數據計算平均數。從表1可以看出，6張圖片的4個評價標準的值都在0.8以上，平均值分別為0.970、0.861、91.168%、0.838，其中，綜合評價參數F值達到91%以上，最能反映分割準確度的交并比平均值達到0.83以上。

表1 分割效果評估 Table 1 Segmentation effect evaluation

2.3 水稻穗質量預測模型的建立

本研究提取了整株水稻51個特征數據和穗部33個特征數據，以及Faster R-CNN網絡檢測得到穗數(PN)，共85個特征，人工統計測量得到穗數(MN)、干質量(DW)、鮮質量(FW)共3個數據。每張圖片85個特征數據，每盆水稻13張圖像，計算13張圖片特征數據的平均值，所有數據全部歸一化處理。模型分別使用干質量和鮮質量作為因變量，自變量從3種不同特征數據集中篩選：整株和穗的所有85個特征數據、Faster R-CNN網絡檢測得到的穗數(PN)和穗部33個特征、整株水稻的51個特征。用這些自變量分別與因變量鮮質量、干質量數據建立預測模型，使用SPSS軟件進行逐步線性回歸分析，若挑選出來的特征VIF低于10表示特征之間的共線性較弱，特征的Sig小于0.05表示顯著，當所挑選的特征滿足VIF低于10和Sig小于0.05，則用于預測模型。為了驗證模型的性能，避免產生過擬合的現象，采用K折交叉驗證的方法，這里K取數值5，首先將所有的數據集隨機劃分為5份，每次選取其中的1份作為測試集，其余4份為訓練集，以此建立5個預測模型并測試，記錄每次的評估參數，取平均值并計算標準偏差。本研究使用R2、MAPE和SAPE作為模型的評價指標，R2為決定系數、MAPE為平均相對誤差、SAPE為相對誤差絕對值的標準差，R2越高越接近于1預測效果越好，MAPE和SAPE越小表示模型越穩定擬合效果越好,建立的6個模型的擬合效果評估見表2。

由表2可知，稻穗鮮質量的3個預測模型中，穗部特征熵(P_E_I)和灰度-梯度共生矩陣特征混合熵(P_T11)作為自變量建立的模型預測效果最好，R2為0.787±0.051、MAPE為0.107±0.024、SAPE為0.088±0.029。模型1和2對比，使用所有特征和僅使用穗特征時，挑選的模型自變量一樣，而模型3僅使用整株特征預測的R2為0.505±0.177，表明穗部特征作為自變量鮮質量的預測效果最好。

稻穗干質量的3個預測模型中，模型4使用所有特征預測效果最好R2為0.840±0.054、MAPE為0.103±0.019、SAPE為0.087±0.019。對比模型4和5，在沒有整株特征時模型5的R2達到0.808±0.043，與模型4的R2很接近,而模型6僅使用整株特征預測時，R2為0.512±0.187，這表明當穗部特征和整株特征都作為自變量時稻穗干質量的預測效果最好。

表2 稻穗鮮質量和干質量的多個預測模型五倍交叉驗證性能評估 Table 2 Five times cross validation performance evaluation of multiple prediction models for fresh and dry weight of rice panicle

6個模型擬合效果表明，對于水稻稻穗鮮質量的預測，使用穗特征預測效果較好，而使用整株特征時預測效果相對較差；對于水稻稻穗干質量的預測，穗部特征和整株特征都作為自變量預測效果最好，僅使用整株特征預測效果相對較差。

3 討 論

本研究提出了一種針對室內盆栽水稻特征提取和穗質量預測的新方法，對比傳統的表型特征獲取方法，可以實現高通量并且快速的水稻特征提取。通過稻穗分割，提取了傳統方法難以獲取的穗部特征，然后使用特征數據對稻穗的鮮質量、干質量進行預測。本研究基于卷積神經網絡Faster R-CNN實現了盆栽水稻穗數的自動檢測,基于SegNet網絡框架訓練模型對盆栽水稻稻穗進行分割。利用RGB和HIS等顏色空間對整株水稻圖片和分割后稻穗圖片進行閾值分割，經過圖像處理，提取了51個整株水稻特征和33個穗部特征。根據提取的85個特征數據，建立多個盆栽水稻稻穗鮮質量和干質量預測模型，使用五倍交叉驗證對模型進行評估，結果表明穗部特征的預測效果最好，僅使用整株特征預測相對效果最差。水稻稻穗鮮質量預測模型中R2最高達到0.787±0.051，稻穗干質量預測模型中R2最高達到0.840±0.054。

盆栽水稻產量預測對大田產量研究具有一定的指導性，由于大田水稻生長環境的復雜性，生長過程不可控制，產量預測具有一定的誤差。研究預測盆栽水稻質量，生長環境可控，因為盆栽可移動性，提取的表型數據多且數據更加精準，通過盆栽種植水稻預實驗，挑選出與產量相關性高的表型特征，在研究大田水稻時關注高相關性特征，可以大幅度提高實驗效率，減少實驗工作量，從而快速挑選出高產品種。