基于Kinect相機的穴盤苗生長過程無損監測方法

王紀章 顧容榕 孫 力 張 運

(江蘇大學現代農業裝備與技術教育部重點實驗室， 鎮江 212013)

0 引言

隨著現代設施農業的發展，蔬菜集約化生產規模不斷擴大，集中化育苗已成為必然趨勢。穴盤育苗成本低、運輸方便、效率高，對促進蔬菜產業的機械化、規?；涂沙掷m發展具有重要意義[1]。穴盤苗的發芽率和形態參數可以為幼苗培育和生長環境參數調控提供參考依據。通過對穴盤苗生長特性的無損監測，實現幼苗生長過程監測和形狀評估，對提高工廠化育苗的自動化和智能化水平具有重要意義[2-3]。

目前，研究人員將機器視覺、光譜等技術應用于高通量作物表型，實現了作物生理生態信息的自主監測、分析和應用[4-7]。如文獻[8]的研究表明，對幼苗進行定量生長分析是監測幼苗生長的常用方法，定量生長分析形成一個反饋回路，可以控制植物灌溉、施肥，以及環境溫度和濕度。文獻[9]通過獲取不同營養處理的幼苗彩色圖像，利用參照物法計算幼苗葉片的投影面積。文獻[10]采用傳統的手動測量方法測量幼苗的質量和面積，具有侵入性和破壞性，既費時又容易出錯。在穴盤苗移栽時，利用機器視覺技術可以識別穴盤孔內是否有幼苗、幼苗是否損壞，并且可對幼苗健康狀況進行監測[11]。但是，由于缺乏對從發芽至移栽整個過程的監測和管理，導致穴盤苗的漏苗、徒長、病變等問題，給后續機械化移栽作業帶來不便。此外，對幼苗的評價指標單一，僅根據株高[12-13]、莖粗[14]和葉面積[15-16]等單一指標無法綜合判斷幼苗的健康狀況。同一植物幼苗各器官之間具有明顯的相關性，不同器官的指標可以更好地反映幼苗的健壯性。因此，通過無損監測幼苗生長的多種形態參數，構建穴盤苗的壯苗評價指標，對于優化穴盤苗生長環境、提高穴盤苗品質具有重要意義。

微軟的Kinect相機能同時捕獲彩色(RGB)、紅外(IR)和深度信息，Kinect V2 相機大幅提升了深度信息的掃描精度，已廣泛應用于多種領域，目前研究人員已將其應用于植物表型監測的研究中[17-20]。在植物重建研究中，文獻[21]重建了玉米、甜菜和向日葵的高度和葉面積，發現運動結構技術和Kinect相機的重建結果具有很強的一致性，并且該模型的計算值和地面真實信息具有良好的一致性和相關性。運動結構技術在重建末端細節和高度估計的準確性方面顯示出更好的結果，而Kinect V2 相機具有獲取時間短、重建速度快的優勢。這些研究表明，Kinect V2 相機可用作捕獲RGB-D信息的工具。文中以Kinect相機表示Kinect V2 相機。

本研究通過Kinect相機采集穴盤苗RGB-D信息，設計獲取穴盤苗發芽率、株高、葉面積、壯苗指數的高效分析方法，并進行實驗驗證，以實現穴盤苗生長過程的無損監測。

1 材料與方法

1.1 穴盤苗育苗

實驗在江蘇大學農業裝備工程學院人工氣候室進行，發芽階段設置溫度為26～28℃，相對濕度為90%～95%；出芽后，設置白天溫度為25℃，光照為255～315 μmol/(m2·s)，夜間溫度為18℃，濕度為80%～85%，以保證黃瓜穴盤苗的正常發芽與生長[22]。黃瓜種子品種為“中壽35號”，育苗基質中草炭、蛭石、珍珠巖質量比為6∶2∶2。播種時使用打孔器在穴格中心打孔，孔深1.5 cm，播種時將種子平放后播下[23]。

1.2 信息采集平臺搭建

如圖1所示，Kinect相機安裝在三腳架上并連接到便攜式計算機實現信息采集。調節Kinect相機距穴盤底部900 mm，并位于黃瓜植株正上方。相機鏡頭的水平調節采用Apple IOS12系統中的水平儀軟件，將iPhone7手機放置在Kinect相機上方，并且將手機鏡頭放在Kinect相機外側，打開水平儀軟件，通過調節三腳架使水平儀顯示為0°[24]。

通過在Microsoft Visual Studio 2013軟件開發平臺調用Kinect相機 V2 SDK和計算機視覺庫OpenCV3.0.0，設計開發了黃瓜植株冠層RGB-D圖像采集程序。由于Kinect相機的彩色圖像尺寸為1 920像素×1 080像素，而深度圖像尺寸為512像素×424像素，因此無法直接使用彩色和深度圖像對穴盤苗進行處理以及彩色點云生成，需要進行彩色圖和深度圖配準。圖像配準流程如下：

(1)獲取彩色幀，并保存為彩色圖像。

(2)獲得深度幀，并保存為深度圖像。

(3)使用基于雙線性內插法原理，通過MapDepthFrameToColorSpace()函數和深度幀的信息計算深度圖像和彩色圖像的映射關系，獲得尺寸為512像素×424像素的彩色圖像。

彩色圖像、深度圖像和經過映射處理后的彩色圖像如圖2所示。

1.3 測量儀器

為了測定穴盤苗葉面積，采用EPSON DS-50000型掃描儀掃描摘下后鋪平的幼苗葉片，并通過WinFOLIA圖形分析系統計算幼苗的葉面積，精度為0.01 mm2；幼苗株高采用游標卡尺測量，精度為0.01 mm；莖粗采用游標卡尺通過“十字交叉法”測量，精度為0.01 mm。

2 穴盤苗無損監測方法

2.1 發芽率監測方法

發芽率是衡量穴盤苗品質的重要指標，觀測幼苗發芽情況也是指引種子補播或補苗的重要技術手段。由于工廠化穴盤穴孔個數多，使用人工觀察計數非常耗時且費力，并且很容易忽略剛剛發芽的小幼苗[25]。目前，大田幼苗發芽監測采用無人機低空數字圖像診斷[26-27]，但是需要昂貴的高分辨率相機。本研究中，對使用成本較低的Kinect相機采集到的彩色圖像進行處理，通過統計發芽數實現發芽率監測，處理流程如圖3所示。

(1)彩色圖像灰度預處理。為了便于后期圖像分割，消除由Kinect相機光電轉換系統中感光構件靈敏度而引起的圖像亮度分布不均勻問題，考慮幼苗為綠色的特征，通過增強綠色通道(G)數據，減弱紅色通道(R)和藍色通道(B)數據，進行超綠灰度化處理，以獲得灰度圖像增強的效果。公式為

(1)

式中f(u,v)——像素點(u,v)的灰度

(2)穴盤苗分割。為了加快分析速度，采用并行區域分割算法中的全局閾值分割，包括直方圖法分割和Otsu閾值分割。直方圖法分割是通過人工觀察直方圖中的灰度集合來確定目標和背景的分割閾值范圍。Otsu閾值分割法是最大類間差法分割，自動選擇閾值來將目標和背景類間方差最大化，該算法因為處理時間快、處理精度高而被廣泛應用于實時性高、精度要求高的圖像分割中。利用Matlab中的graythresh()函數實現Otsu計算全局灰度閾值，記為level，再通過調用im2bw()函數將分割出的圖像進行二值化顯示。

(3)小噪聲點去除。在分割后，植株周圍仍存在一些非目標小噪聲點。通過調用形態學開運算open()函數進行去除。

(4)發芽率分析。對分割后的幼苗進行連通分量統計，輸出連通分量目標數，即發芽數，將發芽數除以穴盤格數獲得發芽率。

2.2 株高分析方法

株高是幼苗品質判別的關鍵因子，株高為從植株基部至主莖頂部即主莖生長點的距離。本文中株高H則定義為從植物主莖根部到頂端的垂直距離，采用土面法測量，即將穴盤格表面以上部分視為幼苗主莖根部的位置，以一株幼苗中2個葉片的中心點作為主莖生長點。如圖4所示，Kinect相機平面至穴盤底面高度為h1，Kinect相機平面距離葉片中心點高度為h2，穴盤高度為h3，幼苗株高H計算公式為

H=h1-h2-h3

(2)

通過深度圖像中地面所在區域，其所對應的深度為h1，穴盤高度h3為40 mm；為獲取h2，需要先獲得幼苗植株主莖點位置。由于幼苗葉片形態具有對稱性，可以將幼苗2個葉片的中心作為幼苗植株主莖點位置。Kinect相機平面距離葉片中心點高度提取方法如下：

(1)葉片中心像素點坐標提取。將彩色圖像在經過灰度預處理、分割、形態學變換后繼續分析連通分量中心，獲得整盤幼苗葉片連通分量中心的(x,y)像素坐標。

(2)彩色圖像與深度圖像匹配。根據深度圖像和彩色圖像的映射關系，將彩色圖像中的各個穴孔中幼苗的中心像素點匹配到深度圖像中對應的像素點位置矩陣M。

(3)葉片中心高度獲取。導入深度圖像，將中心像素點坐標矩陣M對應到深度圖像中，中心像素點坐標對應的深度即為各個穴孔中幼苗的h2。

2.3 葉面積分析方法

葉面積是衡量植株長勢的重要指標之一，對植物的生長發育有著顯著影響[28]。常規葉片面積測量除了采用葉面積儀之外，還采用攝像頭或掃描儀獲取RGB圖像，通過統計葉片像素點數再與標定物按比例比較計算葉面積，該方法停留在二維水平，對于彎曲等變形葉片的測量誤差較大，只有將葉面展平或者摘下測量才能獲得較高的精度[29]。掃描儀速度快，但是需要摘下葉子進行掃描，對植物造成損害[30]。因此，本文提出通過Kinect相機拍攝到的深度圖像，利用葉表面重建結果和深度圖像中的不同高度下的像素點面積求和來計算葉面積。葉面積獲取過程為：

(1)深度圖直通濾波

Kinect相機的數據采集范圍為0.5～4.5 m，在被測植株以外，會包含很多背景噪聲，通過直通濾波器去除被測幼苗植株深度外的深度像素，具體計算式為

(3)

式中 (u,v)——深度圖像中像素的位置坐標

dst(u,v)——目標像素

src(u,v)——原始深度圖像中像素

dmin——直通濾波器下限

dmax——直通濾波器上限

dmax取值為Kinect相機到穴盤上表面以上10 mm的距離，即dmax=h1-h2-10。

(2)深度圖像條件濾波

在上述深度圖像直通濾波后，植株周圍還有三角架、邊緣噪聲等非目標物需要被濾除，設定幼苗穴盤所在區域作為條件濾波范圍，通過遍歷深度直通濾波后的深度圖像中的像素，將幼苗穴盤所在區域內的像素深度值保留為原來的深度值，其余區域深度值置零。從而只保留穴盤內的深度數據，獲得穴盤內包含幼苗植株的深度數據。

(3)深度圖像邊界保持濾波

經過上述直通濾波和條件濾波后，葉片周圍還會存在部分孤立噪聲點，為了不影響葉片邊界，采用邊界保持類濾波可清除孤立噪聲點。常用的邊界保持類濾波有K近鄰均值濾波、K近鄰中值濾波以及最小均方差濾波。

(4)深度圖中像素分辨率計算

根據Kinect相機測量原理，各幼苗的高度不同，深度圖像中，幼苗葉在不同高度處占據的像素的實際尺寸也不同。根據葉片表面像素點與相機之間的不同距離，結合Kinect相機的分辨率和視場角，可以計算出幼苗葉面積。

Kinect相機的分辨率為512像素×424像素，視角為70°×60°。當相機距離目標高度為h(h≥500 mm)時，記單位像素點的水平和垂直分辨率分別為P1和P2，單位為mm/像素，計算公式為

(4)

(5)幼苗葉面積計算

重建葉片表面，統計每株葉片表面像素個數，記為n。當一株幼苗表面有n個不同深度的像素時，該株幼苗的葉面積S計算方法為

(5)

式中i——幼苗葉片在深度圖像中的像素點序號

hi——Kinect相機在像素點i的深度

2.4 幼苗壯苗指數計算方法

壯苗指標用于反映幼苗健壯程度，包括幼苗的外部形態指標和生理生化指標。外部形態指標可劃分為簡單指標、相對指標。簡單指標是單項性狀指標，包括株高、莖粗、葉片數、葉面積、各部分干物質質量等。簡單指標雖簡單易行，但缺乏對幼苗客觀全面反映。相對指標是指2種單項性狀指標的比值，如莖粗株高比、根冠質量比、冠質量莖高比、葉面積根體積比等。明村豪等[31]提出植株壯苗指數I的計算公式為

(6)

式中D——莖粗

葉片的長度、寬度和面積能夠客觀地反映秧苗品質，可以作為幼苗壯苗指標。文獻[32]提出，莖粗、冠鮮質量對種苗品質有正向的決定作用，株高有負向的決定作用，可以根據莖粗、冠鮮質量和莖高的情況對穴盤苗品質做一個初步的判斷。同一植株幼苗的各個器官之間具有明顯的相關性，葉面積與莖粗之間呈現正相關性。根據以上結論，提出使用葉面積開方與株高的比值來作為壯苗指數，壯苗指數I表示為

(7)

3 實驗結果及分析驗證

根據上述監測方法，對發芽率、株高、葉面積的獲取結果進行分析。同時對本方法提取的發芽率、株高、葉面積、壯苗指數進行實驗驗證。采用國際上慣用的RMSE模型驗證方法，將本方法的獲取值作為觀測值，將其余驗證方法的獲取值作為真值，進行分析。

3.1 發芽率分析

3.1.1發芽率獲取結果

Kinect相機獲取的原始彩色圖像如圖5a所示，其灰度直方圖如圖5b所示，超綠灰度化處理后的灰度直方圖如圖5c所示。與預處理前灰度直方圖相比，超綠灰度化能夠突出植株綠色部分的灰度特征，能夠明顯區分出幼苗與背景。

直方圖分割的閾值范圍為110～250，分割結果如圖5d所示，Otsu閾值分割結果如圖5e所示。從結果可以看出，直方圖分割需要觀察灰度集區間來設置灰度范圍，而Otsu閾值分割是自動選擇閾值處理，處理效果較優。而且，直方圖分割出來的穴盤苗周圍含有更多的噪聲點。因此，Otsu閾值分割適合用于后續穴盤苗分割。

圖像分割后，通過形態學開運算去除小噪聲點，如圖5f所示，穴盤苗已經完全和背景分開，進行連通分量統計輸出目標數目，即幼苗發芽個數，如圖5g所示，最后得到穴盤格數后獲得發芽率。

3.1.2發芽率測量結果分析

為驗證本方法檢測發芽率效果，通過本文方法和人工統計法分別統計穴盤規格為50、72、128、150、200格的穴盤苗在發芽后第3天、第5天和第7天的發芽個數，并計算發芽個數誤差與發芽率誤差，統計結果如表1所示?？梢钥闯觯诎l芽后5 d內的發芽率誤差不大于1.567%，在發芽后7 d的發芽率誤差不大于12.66%。造成誤差的原因是幼苗葉片遮擋嚴重，格數越多，穴盤孔越小，幼苗葉片遮擋越嚴重，導致不同株幼苗的葉片無法分開，在檢測時檢測到了一個連通分量，系統認為這些葉片屬于同一個連通分量，如圖6中紅色方塊標記處所示。因此，本文方法在葉片遮擋嚴重時，獲取的連通分量數減少，得出的發芽率會小于實際發芽率。因此，本文方法進行發芽率分析的適宜時間是在發芽后5 d之內。

表1 發芽個數與發芽率誤差Tab.1 Error of germination number and germination rate

3.2 株高分析

3.2.1株高提取結果

彩色圖像中葉片中心像素點坐標提取結果如圖7a所示，藍色標記的位置為葉片中心。將葉片中心像素點坐標對應到深度圖像中，根據式(2)可獲得幼苗株高H，H的三維散點圖如圖7b所示。提取的72株幼苗株高分布在10～30 mm之間。

3.2.2株高測量結果分析

用測量精度為0.01 mm的游標卡尺測量幼苗高度時，測量主莖生長點至穴盤上表面的垂直距離，測3次取平均值。

2種方法下測得的72株幼苗的株高進行線性擬合分析，如圖8所示，本文方法分析的株高與用游標卡尺測得的株高之間線性擬合方程為y=0.901 3x+2.189 8，擬合優度R2為0.875，RMSE為1.395 mm。從擬合效果可以看出，本文方法獲得株高結果準確。

3.3 葉面積分析

3.3.1葉面積獲取結果

為了使深度圖像顯示更加明顯，對原始深度圖像進行渲染，如圖9a所示。為了濾除被測幼苗以外的無效背景，對深度圖進行直通濾波，直通濾波器下限dmin設為500 mm，上限dmax設為845 mm。直通濾波后的深度圖如圖9b所示?？梢钥闯觯捎诜治龅闹仓旮叨却笥?0 mm，所以上限設置能夠將穴盤以下部分濾除的同時又保留完整穴盤苗植株。

在深度直通濾波后，植株穴盤周圍還有三角架和邊緣噪聲等非目標物，通過設置條件濾波范圍為像素橫坐標167～398像素，像素縱坐標75～190像素的區域，區域內的像素深度值保持不變，其余區域深度值置零，即可將其濾除。條件濾波后的深度圖如圖9c所示，對比深度直通濾波，條件濾波后的穴盤周圍的非目標物被濾除。

條件濾波后的葉片周圍還存在部分孤立噪聲點，為了消除這些孤立噪聲點又不影響葉片邊界，比較K近鄰均值濾波、K近鄰中值濾波和最小均方差濾波3種邊界保持類濾波清除孤立噪聲點的效果，如圖9d、9e、9f所示?？梢园l現K近鄰中值濾波比K近鄰均值濾波清除的噪聲點多，而最小均方差濾波雖然能清除噪聲點，卻改變了植株間距，使得植株粘在一起，對植株分割造成影響。因此，K近鄰中值濾波可以作為清除葉片周圍孤立噪聲點的有效濾波方法。

通過上述直通濾波、條件濾波、邊界保持濾波后，幼苗植株葉片周圍的噪聲和背景基本被去除。對于濾波后的深度圖，采用三維網格法對植株葉片表面進行重建，結果如圖9g所示，取對數后如圖9h所示。將濾波后的深度圖像轉換為點云，并進行點云處理，得到點云重建后的穴盤苗如圖9i所示。由圖9可以看出，經過直通濾波、條件濾波、K近鄰中值濾波后，葉片深度圖像每個像素點的深度沒有出現較大的偏差，能夠很好地重建葉面。

3.3.2葉面積計算結果誤差分析

隨機選擇15株幼苗并記錄所在穴格行列號。用EPSON DS-50000型掃描儀掃描幼苗葉片，并通過WinFOLIA圖形分析系統計算幼苗的葉面積。通過掃描儀獲得的葉面積、本方法重構獲得的葉面積和文獻[29]介紹的彩色圖像素法分析的葉面積結果如表2所示，從表2中可以看出，彩色圖像素法分析的葉面積小于其他兩種方法。與掃描儀分析的葉面積相比，彩色圖像素法計算的葉面積平均誤差為6.28%，本文方法計算的葉面積平均誤差為2.15%。本文提出的基于深度像素點提取葉面積的分析方法具有較好的提取效果。

表2 不同方法下的葉面積與誤差Tab.2 Leaf area and error under different methods

3.4 壯苗指數驗證分析

將本文提取的壯苗指數與文獻[31]提出的莖粗與株高的比值作為植株壯苗指數的結果進行擬合分析，驗證本文所提出的壯苗指數計算方法的可行性。采用游標卡尺十字交叉法測量隨機抽取的15株幼苗的莖粗D1，使用游標卡尺測出這15株幼苗的株高H1，代入式(6)得到壯苗指數I1。將本文設計方法獲得的葉面積S1和株高H2代入式(7)得到壯苗指數I2，對2種計算方法下的壯苗指數進行線性擬合，如圖10所示，擬合優度R2為0.958。結果表明，所提出的壯苗指數可以用于穴盤苗壯苗分析。

4 結論

(1)根據工廠化穴盤苗無損測量需求，提出了利用Kinect相機構建基于顏色信息和深度信息的穴盤苗生長過程無損監測方法。

(2)對Kinect相機獲取的彩色圖像結合灰度預處理、Otsu閾值分割、形態學開運算、連通分量統計處理后獲取發芽率。對不同規格的穴盤進行發芽率實驗分析，在發芽后5 d內，發芽率誤差不大于1.567%。

(3)通過提取彩色圖像中幼苗葉片中心像素點坐標，實現了基于深度圖像的穴盤苗株高獲取，與人工測量的實際株高進行對比分析表明，株高和實際株高之間的擬合優度R2為0.875，RMSE為1.395 mm。

(4)將深度圖像進行融合直通濾波、條件濾波、邊界保持類濾波的算法處理，有效去除穴盤苗周圍的背景噪聲以及波動幅度大的深度數據，利用深度圖實現了穴盤苗的葉面積測量，葉面積平均誤差為2.15%。提出以葉面積開方與株高的比值作為壯苗指數，經實驗驗證，該方法與現有壯苗指數計算方法具有較好的擬合優度，壯苗指數擬合優度R2為0.958。說明基于Kinect相機的穴盤苗形態學指標監測方法可以用于穴盤苗的壯苗指數評價。