農作物三維空間數據采集平臺及試驗設計

馮可心

摘 要：建立在虛擬植物基礎上的生產決策系統將有助于深入地了解和調控農作物生長，有效提高農業決策水平，減少化肥、農藥的使用量。作為現代農業信息化技術核心部分，虛擬植物在農業上具有廣泛應用。本文對農作物三維空間數據采集平臺及試驗設計進行了分析。

關鍵詞：農作物;三維空間;數據采集平臺;試驗設計

以三維視覺方式分析，研究和設計農作物形態結構和生長過程。由于植物生長的多樣性、復雜性和可變性，植物形態模型的建立比機械部件和建筑物等的建模更難，因此三維植物模型的建立一直是植物學重點，計算機圖形學等方面?；趫D像的植物三維重建是指利用機器視覺原理通過攝像機獲取圖像進行三維重建，主要應用于農作物生長狀況的實時監測，藥物和肥料的準確噴灑。及時預防和控制病蟲害等研究領域。在本文中，Kinect是微軟為XBOX360室內運動感應游戲，用于收集不同時期農作物的三維空間數據。

一、系統設計方案

1.數據采集系統設計

本研究采用的數據采集系統如圖2.1所示。采集系統由數碼相機，視頻傳感器，三維激光測距儀，數據采集單元和通信模塊組成。

（1）數碼相機。數碼相機采用鎖孔成像原理，通過光學鏡頭投射物體的坐標點，并在傳感器上形成相應的坐標點。圖像平面坐標點的集合可以真實地反映拍攝對象的空間關系。通過對圖像平面坐標點的分析，可獲得拍攝對象的特征形態。圖像傳感器是農作物生長觀察的關鍵組成部分，是農作物生長觀察的基礎，利用圖像傳感器做農作物生長區域的空間映射，將目標識別到圖像空間坐標點，通過計算坐標像素，得到目標特征參數?？紤]到現場環境的復雜性，選擇具有自動對焦，自動曝光和自動白平衡的攝像機，以確保攝像機能夠適應不斷變化的天氣并更好地收集農作物的真實場景圖像。

（2）三維激光測距儀。3 d激光測距儀是一臺激光測距儀，安裝在三軸云臺，三軸云臺安裝在地面上，3米高度測量范圍0-250厘米，它可以實現360°旋轉水平，垂直--90°-90 °旋轉，旋轉角度為0.5°，最小支持RS485和RS232通訊，可通過PC指令掃描設定開始時間和視點，實現觀察區域耕作測量。三軸搖籃頭的固定底座安裝在離地面3.5米處。由于地面的平坦度和主搖籃頭的安裝位置，三軸搖籃頭中的激光發射器的高度略有不同。

（3）數據采集單元。農作物生長狀態信息由數據采集單元獲取，由數據存儲，通信接口，USB接口，外部存儲器接口，以太網接口，監控電路，指示燈等組成。同時，系統可以運行嵌入式實時操作系統。結構框如圖2.2所示。數據采集單元主要用于收集農作物生長的真實場景圖像并將其與通信模塊連接。數據采集系統的主要功能包括以下三點：

①控制圖像傳感器采集圖像并設置傳感器參數;②將采集的圖像數據存儲到CF卡中，通過通信模塊實現數據通信和傳輸，并與數據監控中心進行交互;③為省電可以設置自適應供電模式，例如可以在工作間隔期間接通低功耗模式。

（4）數據傳輸單元。ZY2100自動農作物氣象觀測站支持現有的有線和無線通信技術。有線通信模式包括以太網專線（IEEE 802.3）和光纖，無線通信模式主要通過4G網絡傳輸。如圖2.3所示。將監控點的警告信息發送到區域控制中心或本地信息顯示標志。

圖像采集器通過有線，Wi-Fi / 3G / 4G路由器和其他通信設備將農作物圖像采集信息傳輸到數據監控中心。監控中心設置收集時間并控制數據收集單元在不同時間收集數據。當收集的圖像連續丟失時，監控中心將發出警報消息。為確保觀測數據的完整性、連續性和準確性，數據采集單元具有自動和手動數據采集和采集功能。

（5）供電單元。大多數農作物觀測站都是在田間建造的。當使用220V市政電源時，需要鋪設線路。為不影響農業，電力線需要埋在地下。因此電源采用電池供電方式，并采用太陽能光伏發電板對電池充電。如圖所示，太陽能供電單元主要由太陽能光伏板，充放電控制器和儲能電池組成。供電能力主要與連續陰雨天，工作時間和系統功耗有關，可根據實際情況計算。本文使用的電池輸出電壓為12V，3d激光測距儀的輸入電壓為12V，集電極輸入電壓為5V，攝像機輸入電壓為7.4v。需要轉換電池輸出電壓。目前，常見的電壓轉換芯片是LM2596和TPS5430。在本文中，選擇LM2596模塊作為電壓控制芯片。 LM2596是降壓電源管理單片機的開關穩壓器，可通過電位器實現5V固定輸出電壓或0-37v直流可調電壓，最大輸出電流為3A。兩個直流電壓輸出模塊設計用于將電池的12V電壓轉換為可由收集器和攝像機正常使用的電壓。

2.農作物自動觀測識別軟件設計

自動農作物觀察和識別軟件是數據監測中心的一部分，是整個識別系統的核心。數據監控中心由數據通信軟件，農作物識別軟件和集成商業軟件組成。本文以農作物識別算法及其實現為主要研究內容，對通信軟件設計和綜合業務部分進行了詳細的介紹。 MATLAB2014a用作材料識別軟件的開放式開發環境，硬件配備i5-6500cpu，8GB內存和Windows 64位操作系統。設置配置文件，該文件包含觀察站點信息ID，裁剪類型代碼ID，讀取圖像的路徑，識別開始日期，識別開發周期的開始，識別結果的存儲路徑。軟件運行時首先讀取配置文件，通過字符匹配，是否存在圖像存儲路徑，如果圖像路徑存在，則根據配置設置位置開始讀取圖像，然后確定網站信息的圖像，編碼并且配置文件設置的信息是一致的，如果沒有則需要重置配置文件，如信息一致根據配置文件選擇相應的判別算法周期進行判斷。如圖像達到一定生長階段，生長階段識別標記成為下一個生長階段識別標記。

3.多傳感器圖像融合技術

被稱為最大的優點是能夠同時獲取彩色圖像的空間距離信息，即獲得RGB三維圖像，在目標物體識別和定位過程中，獲得更多具有信息的特征，并通過一定的算法有效地進行信息融合，將顯著提高目標識別的準確性，精度和速度，研究人員一直致力于信息融合在傳感器中的發展和意義。在RGB-D圖像處理過程中，根據應用的不同，一般有兩種處理方法：（1）圖像處理在融合決策之前獲取特征信息;（2）執行圖像融合以在做出決定之前獲得融合的特征信息。

4.三維重建技術

目前的三維重建方法包括：（1）基于生長規則的建模方法，如l系統，過程參數方程等。它們只需要少量參數來控制一些基于植物學或數學的生長規則來獲得植物模型，實際減少程度低。（2）基于圖像的三維重建，有基于單一圖像和圖像序列的方法，該方法的復雜度很高。（3）基于激光點云的重建方法。通過Fast SCAN，Focus3D，Hand SCAN和其他激光掃描儀獲得3d點云數據，然后重建模型。該技術很簡單，但掃描設備很昂貴。 Kinect深度圖像包含空間信息，通過簡單的空間坐標變換處理，可以間接獲得點云數據，然后可以獲得三維重建模型。

二、識別算法研究

1.農作物發育狀況特征參數識別算法研究

農作物生長狀況特征參數包括農作物覆蓋度、密度、高度、葉面積指數、干物質重量等參數，本文主要研究覆蓋度，高度的自動識別方法，基于顏色特征的圖像分割算法的使用，獲取圖像分割，目標特征參數，并根據覆蓋的公式，農作物的覆蓋值。

（1）農作物發育狀況特征參數識別算法框架。圖像處理是通過不同的數學運算從數字圖像獲得特征信息的過程，包括圖像預處理，圖像分割，特征提取和其他手段。為獲得一些預期的結果，初步篩選所收集的原始圖像，即圖像預處理。預處理是去除圖像中的噪聲。常用的圖像預處理方法有圖像增強、圖像變換、圖像濾波、圖像平滑等功能，算法處理手段有圖像灰度和二值化、腐蝕擴展操作、中值濾波、高斯濾波、小波分析等，目的是去除圖像噪聲，增強有用信息，從而提高特征提取和識別分析的可靠性。由于天氣、太陽光照度和其他條件的差異，所獲得的大田農作物圖像有明顯差異，因此處理圖像并減少環境干擾對識別結果的影響尤為重要。隨著基于綠色像素的分割方法的不斷研究和發展，許多學者提出了對光強度不敏感的分割算法，可用于分割所收集的綠色農作物圖像，這不僅節省了計算量，但也使分割結果更準確。

（2）綠色植被提取算法。綠色植被提取通常使用圖像的顏色特征來提取不同顏色的空間（例如RGB和HSV）。最常用的色彩空間是RGB色彩空間。根據綠色像素的頻率，直方圖統計方法用于計算該區域中顏色發生的頻率。 Ex G和Ex GR等提取方法不需要考慮顏色之間的空間位置和空間關系，只需要對顏色的頻率值進行統計，并設置合適的閾值來實現綠色像素的提取。該方法計算速度快，復雜度低，但由于忽略了顏色之間的空間關系，因此無法在分割中準確表達圖像目標。自1995年以來在Excess green（ExG）算法中，一些學者在不斷深入研究的基礎上，先后提出了CIVE，AP-HI聚類算法，本研究采用了三種田間農作物實時圖像分割算法。從2016年春季內蒙古吐泉縣農作物生長周期中選取三個具有代表性的真實場景圖像。該區域的光照強度高于鄭州地區。圖像的選擇原則如下：第一個是早期生長階段農作物的真實場景圖像，即三葉期和七葉期之間。為了便于后者的表達，它被稱為I類圖像，如圖3.1（a），（b）和（c）所示。第二類是中期生長階段，基本上是農作物生長的拔節期。它被稱為II類圖像，如圖3.1（d）（e）（f）所示。第三種類型是后期生長階段，在農作物抽穗期之后和成熟期之前，稱為III類圖像，如圖3.1（g）（h）（I）所示。根據不同的照明條件，選擇了三種圖像，即不充分照明，正常照明和明亮照明，并采用不同的分割方法對圖像進行分割。所選圖像如下：

①ExG分割

Excess green （Ex G）是 Woebbecke 在 1995 年提出的，通過使用色度坐標和修改色調，將綠色植物從土壤背景中分離出來，分割公式如 2.1所示：

Ex G =2 g -r -b （2.1）

利用 Ex G 算法分別對三類圖像進行處理，得到分割結果如下：

從圖像分割的結果可以看出，Ex G方法能夠分割I類圖像。如圖3.2（a），（b）和（c）所示，盡管在具有較低亮度的圖像中分割農作物，但是引入了大量噪聲，而在其他兩個圖像中不能分割田地中的農作物。在II類圖像分割中，如圖3.2（d）（e）（f）所示，暗圖像的亮度很好地分割出裁剪出來，而另外兩個圖像被引入了很多噪點，特別是第二幅圖像未能分解，對光強度特別敏感，該方法在正常亮度的情況下說明，不可能對土壤進行背景分割，對光線的敏感性較強，導致分割效果不理想;對于III類圖像的分割，噪聲被引入圖3.2（g），（h）和（I）所示的結果中。特別是，當光強度高時，圖像不能被有效地分割。

②CIVE分割

CIVE植被提取顏色指數（植被提取的顏色指數）是2003年基于大豆和甜菜區綠色植被提取的片岡，考慮如何從背景中獲取綠色植被，土壤和農作物生長狀況的領域進行評價，方法表達式如公式2.2中所示的類型：

CIVE =0.441r -0.811g +0.385b +18.78745 （公式2.2）

利用 CIVE 對三類圖像進行分割，實驗結果如下：

CIVE方法在I類圖像分割過程中，CIVE方法實現了良好的分割效果，但有一點損失分割; CIVE方法當II類圖像在a和c中分割時，存在很大一部分分割結果丟失，尤其是丟失圖像，分割誤差過大; CIVE方法對III類圖像進行分割，對三種圖像分割結果有損失，特別是在第一次圖像丟失嚴重時，分割誤差過大，說明這種方法也不穩定。 CIVE算法在較高的土壤背景百分比下，可以實現綠色植被的有效提取。當農作物到后期，隨著葉面積的增加，以農作物覆蓋土壤背景的圖像形式，從而導致CIVE算法對分割結果缺乏綠色植被。

2.覆蓋度自動識別算法

農作物覆蓋率是衡量農作物生長的重要指標，也是評估農作物生長的重要參數。覆蓋率是指植物垂直投射在地面上的樣本區域總面積的百分比。準確提取覆蓋率信息對于監測農作物生長和預測農作物產量非常重要。傳統的覆蓋度計算方法包括：估算方法，概率計算方法，儀器測量方法等。隨著農業科技的發展，中國農業進入了以高產，優質，高效為發展方向的新階段。通過統計綠色像素自動觀察圖像占整個圖像的比例，得到農作物覆蓋率，提出四種方法，農作物生長完整周期的圖像分割真實統計綠色像素在每個圖像中占比例整個圖像，農作物覆蓋全循環曲線。見圖3.4。

X軸表示2016年收集的春季農作物的田間圖像數量，從苗期到成熟期共427個，按生長順序排列。 Y軸表示從整個圖像中的相應圖像分割的農作物的比例。 Ex G分割得到的覆蓋曲線波動最嚴重，整體數據分割性能與上述三次實驗一致。由于其對光的敏感性，分割結果是均勻的，因此不適合具有大的光變化的農作物分割場景。 CIVE方法曲線波動比較嚴重，也觀察到Y值，CIVE方法與其他方法相比，農作物分割最小，特別是在農作物中后期，土壤逐漸受到農作物植被的阻斷，分割結果數值小，從上述三種圖像分割結果是一致的，因此CIVE方法對農作物種植面積較大，土壤在背景條件下不明顯，容易造成分割缺失，使分割效果小;通過HI方法和本文中的方法獲得的曲線是相似的。觀察到Y值。這兩種方法的分割結果是相似的。根據HI對上述三種圖像的分割效果，當光照強度較高時，HI分割會引入噪聲，從而導致高覆蓋值。因此，多閾值圖像分割的分割結果更接近實際值。本研究采用多閾值圖像分割方法，圖像分割，告知日常采集和篩選參數，從每日三葉蟲期間篩選開始收集第一天的覆蓋率作為基準，所有圖像使用的第一個日期閾值分割圖像分割方法，獲取每個圖像的覆蓋范圍，設置每日圖像覆蓋率變化的三角洲，覆蓋范圍內三角洲所有圖像的變化篩選率，其平均值為三葉蟲周期圖像覆蓋率第一天。設置每日覆蓋率rho，確定圖像覆蓋開始后的三葉期，圖像覆蓋率以滿足每日覆蓋率和每日圖像覆蓋率，并選擇農作物覆蓋率的平均值作為當天的圖像覆蓋范圍，以及標準覆蓋范圍之后的第二天。識別過程如圖3.5所示：

3.深度圖像獲取試驗

傳統的單眼識別往往是可見光照度和陰影，色度和環境的變化，物體等因素對彩色圖像的影響無法提供3D數據信息，而雙目識別雖然克服了這個問題，可以轉換2 d識別為3 d識別處理，但雙目很難識別攝像系統的校準和測量等，當攝像系統運動或變形時，必須選擇校準對象，系統的魯棒性大大降低。另外，雙目識別有時需要匹配拍攝相同場景的兩個攝像機，這需要相對大量的計算并且難以滿足實時要求。 Kinect可用于獲取深度圖像，這可以更好地解決單眼和雙目識別中遇到的問題。主要優點如下：（1）可以快速獲取物體和場景的深度信息，滿足實時監控的要求; （2）像素灰度值僅與物體或場景與深度相機之間的距離有關，并且不受光線或陰影等因素的影響。它可以適應各種環境變化，具有很強的魯棒性。 （3）核心設備是廉價彩色攝像機，紅外發射器和紅外CMOS傳感器。價格也比較低，使用方法與普通相機類似，適合普遍使用; （4）除獲得深度圖像外，該裝置還可以獲得相應的RGB彩色圖像，更有利于后期圖形和圖像的分析和處理。

4.農作物冠層高度識別算法研究

田間農作物的冠層高度測量是自動農作物生長觀察的難點。傳統的測量方法是技術人員深入到現場，測量幾個區域的高度值，然后計算平均值。工作量大，測量結果受人為因素的影響很大。一些研究采用基準測試方法，通過圖像采集比較基準測量的大小來測量農作物冠層的高度。然而，該方法在測量方面存在很大的局限性，只能通過基準周圍幼苗的高度來判斷整個區域的幼苗冠層高度。此外，實地崗位影響正常的農業活動，給機械化作業帶來諸多不便。本文研究了基于激光技術的野外冠層高度測量技術。激光測距儀安裝在三軸云平臺上，實現觀察區域的動態掃描，獲得冠層定位點集。通過校正內角誤差，三角幾何轉換和數據擬合獲得農作物冠層高度。

（1）激光測距原理。激光測距是通過測量激光脈沖信號和目標之間的時間間隔來計算目標的測量距離。激光發射器發射光束。當光束撞擊物體時，光束將被反射回來。激光接收器接收反射光并記錄用于發射和接收的時間t。

（2）三軸云臺參數標定。當數據采集系統通電時，三軸支架頭被激活并旋轉到初始位置。此時，激光發射器S直接面向地面，以從地面獲得發射點的高度。高度是從三軸云臺底部到地面的高度，這是通過激光發射器自動測量地面獲得的高度。在terminal命令中輸入READPARAM命令以獲得高度值H0，垂直校正角度α和水平校正角度b。校正后的角度a和b是在三維高度計頭部設計中校準后由全站儀器確定的旋轉偏差角度。在高度計算中，測距儀的掃描角度是設定角度和校正角度的總和。

為了確保實驗的準確性，在采集系統通電之前，應對三軸云臺下的地面進行布置和平整。在激光測距儀獲得從發射噴嘴到地面的高度之后，采用垂直線測量方法。具有T形錐形的細線用于將垂直線從激光發射器的初始位置引導到地面，并且用儀表標尺測量垂直線L0的長度。 L0 / cosa用于測量高度H0是否可靠。如果手動測量值和自動測量值之間的高度差在50mm以內，則H0用作后續計算的基礎。如果誤差在50mm以內，則使用L0 / cosa的長度作為基準。使用SETPARAM指令重置高度值。當測距儀垂直旋轉時，激光口高度離地面會發生變化，顯然，發射口高度值離地面作為測量基準是不科學的，因此，利用三角形角度和邊長關系，確定高度偏差圖3.6三軸云臺發射器的垂直掃描位置之間的關系，根據三角余弦定理可以知道delta delta H = R *（1-cosa）。

設定初始化高度H0，垂直旋轉角度Ai，垂直校正角度a，三軸云臺旋轉半徑r，如圖3.7所示：Hi = H0 +列車H = H0 + r *（1-cosai） 。

在實際應用過程中，為避免設備對農民的農業活動造成的不便，觀察設備一般安裝在沒有農作物生長的田地邊緣。因此激光發射器的高度與地面的高度與農作物生長的水平面的高度之間存在偏差。當測量農作物冠層的高度時，應以農作物生長平面為基準，計算平面到激光發射點S垂直高度h'，如圖3.8所示，農作物平面與設備安裝平面高度差為火車在初始化激光發射器時，將照射在地面上的點O的平面作為參考平面。有：H'= H +ΔH

當h> 0時，農作物平面在基準面上方;當h <0時，裁剪平面位于基準平面下方;當h = 0時，裁剪平面和基準平面重疊，h'值和h相同。

（3）農作物冠層高度數據采集。由于農作物真實場景圖像的采集位置是固定的，因此高度數據應該是該真實場景圖像區域中農作物的冠層高度。打開遙控終端，在終端窗口輸入READPARAM指令，設置掃描的初始和結束角度，以及掃描的水平和垂直步驟，使激光發射器發出的光束落在觀察到的農作物范圍內通過相機。將水平掃描范圍設置為“beta”，將垂直掃描范圍設置為“alpha”。在高度測量裝置中，電動工作，三軸云臺自動初始化，激光發射旋轉到S“點，垂直角度α理論角度位置為0°，三軸云臺在水平位置e點，水平角度β理論角度為0°。

5.出苗期識別算法研究

農作物的出苗階段是農作物生長發育初期的第一個特征階段。在觀察農作物生長階段期間，可以基于農作物的出苗階段計算生長和發育階段的經驗。因此準確判斷農作物幼苗出苗階段對于確定農作物整個生長階段至關重要。農作物出苗階段的鑒定主要是根據每日圖像出現階段的數量來確定是否達到出苗階段，利用綠色像素提取，出苗階段的幼苗類型特征和出苗分布區域的圖像來判斷是否到苗期。在判斷出現圖像時，所涉及的識別算法包括多閾值圖像分割算法，掩模操作和區域生長算法。判斷圖像出現的前提是從真實場景中分割出農作物苗期的圖像。由于田間背景環境復雜，在農作物出現之前就已在田間產生雜草。同時，不同氣候和地區土壤的色差較大，增加了農作物出苗時圖像分割的難度。因此，在苗期自動識別農作物之前，應消除復雜背景環境對鑒定結果的影響。在本文中，二元掩模處理用于去除背景中的干擾項。

三、結語

本研究總結了Kinect在農業信息領域的應用，闡述了其在國內外的研究進展，分析了Kinect的關鍵技術，闡述了其優缺點和發展方向，為其應用和研究提供了有益的參考。 Kincet在現代農業信息領域。在三維形狀重建的農作物生長模型方面，為了實現基于農作物生長發育的實際重建規律是非常困難的，盡管可以在設備的基礎上獲得圖像信息的深度，以提高重建效率，簡化重建步驟，但三維重建和低自動化的普遍適用性，未來應增加樓宇自動化系統，三維重建快速重建。

參考文獻：

[1]高仁強，張顯峰，孫敏，趙慶展. 融合無人機LiDAR和高分辨率光學影像的點云分類方法[J]. 南京信息工程大學學報（自然科學版），2018，10（01）：102-112.

[2]王孟博. 基于點云的農作物植株三維重建技術研究[J]. 鄂州大學學報，2018，25（01）：104-106+109.

[3]牛慶林，馮海寬，楊貴軍，李長春，楊浩，徐波，趙衍鑫. 基于無人機數碼影像的玉米育種材料株高和LAI監測[J]. 農業工程學報，2018，34（05）：73-82.

[4]高寒，李芳，朱景福，王孟博，李妍. 農作物基于點云的三維重建方法研究[J]. 農業科技與信息，2018（02）：74-76+86.

[5]陳晨，劉濤，武威，陳雯，李瑞，周彤，姚照勝，孫成明. 三維傳感器Kinect在農業領域的應用與發展[J].江蘇農業科學，2018，46（08）：11-14.

[6]肖麗萍，劉木華，ZHU Heping，蔡金平，林金龍，歐鳴雄. 噴嘴噴施不同生物農藥霧滴特性研究[J]. 農業機械學報，2018，49（02）：100-106.

[7]陳洪，趙慶展，李沛婷. 無校正點的機載LiDAR農作物點云數據精度評價[J]. 江蘇農業科學，2018，46（12）：179-184.

[8]戴建國，張國順，郭鵬，曾窕俊，崔美娜，薛金利. 基于無人機遙感可見光影像的北疆主要農作物分類方法[J]. 農業工程學報，2018，34（18）：122-129.

[9]周杰，王益. 均勻矩形陣列的三維空間衰落相關模型[J]. 新疆大學學報（自然科學版），2017，34（01）：44-48.

[10]張雪，郭彩玲，宗澤，張偉潔，劉剛. 基于輪廓分割的草莓葉片三維建模[J]. 農業工程學報，2017，33（S1）：206-211.

[11]陳冬梅. 基于計算機的視覺立體匹配算法研究[J]. 無線互聯科技，2017（04）：61-62.

[12]甘陽英，蘇柱華，肖廣江，張金鴿. 廣東連平縣生態農業發展規劃研究[J]. 中國農學通報，2017，33（17）：146-152.

通訊作者：李偉凱，男，山東安丘人，教授，博士生導師。