基于激光視覺的農作物株高測量系統

郭新年 周恒瑞 張國良 柯永斌 蘇 軍 趙正敏

(1.淮陰工學院江蘇省湖泊環境遙感技術工程實驗室， 淮安 223003;2.淮陰工學院生命科學與食品工程學院， 淮安 223003)

0 引言

隨著我國農業技術的不斷發展，智慧農業與精準農業已成為未來發展趨勢[1-16]。實現智慧農業與精準農業的前提條件是精準獲取農作物相關生長信息，主要包括農作物生長環境信息，如氣候、土壤、光照等，農作物生長參數信息，如株高、生長期、長勢等。在精準獲取農作物相關生長信息的基礎上，才能廣泛地研究相關信息之間的聯系，以及實現信息互聯與精準的干預。

在農作物生長環境信息獲取方面，相關技術已經得到迅速發展。國內外學者基于傳感器及網絡構建監測平臺，開發了各種采集環境溫度、濕度、光照等[3-4]相關信息，土壤水分[5-6]、氮素、磷素、鉀素[7-9]等相關信息的檢測系統。

在農作物生長參數信息檢測方面也取得了長足發展[1,10-16]，如外在參數檢測[10]和生長期識別[11]等。然而在農作物株高測量方面，由于測量環境差異大、農作物類型多樣等因素，一直沒有高精度、自動化、適用于地面觀測站的測量方法?，F有株高測量方法主要分為主動式測量方法[12-14]和被動式測量方法[15-17]。主動式測量方法主要利用相關傳感器主動發射測量信號，如超聲、紅外等，依靠接收主動測量信號實現測量[12-14]。然而現代測量方法中，基于計算機視覺技術的被動測量手段，已經逐漸成為測量的主要手段，很多學者也將該技術應用到農業領域[15-17]?，F有文獻表明，在農作物的株高視覺測量中，全自動識別農作物頂點與底點是實現農作物自動化視覺測量的技術難點。

針對視覺測量作物株高技術中存在農作物頂點和底點難以識別的問題，提出一種基于激光視覺的農作物株高測量方法，該方法通過特定步驟的棋盤格標定方法，標定作物底點平面信息，并通過在農作物上主動投射激光，自動識別作物頂點，進而實現自動化實時測量株高參數的目的。

1 系統建模

圖1 基于激光視覺的農作物株高測量系統圖Fig.1 Diagram of crop height measurement system based on laser vision

基于激光視覺的農作物株高測量系統如圖1所示，圖中ocxcyczc為相機坐標系，ogxgygzg為農作物底端點水平面對應的地面坐標系，農作物的株高即為農作物在地面坐標系的高度。該系統的數學模型包括相機模型、光平面方程模型和改進的三角測量模型。

1.1 相機模型

(1)

其中

式中K——相機內參數

fu、fv——圖像u、v方向的尺度因子

s——u、v兩軸向的夾角因子

u0、v0——相機鏡頭光軸與CCD/CMOS平面的交點坐標

其中，zc為點P在相機坐標系的深度，一般無法通過小孔成像模型直接獲得，所以在小孔成像模型中，圖像坐標系的一個點對應三維空間中的一條射線。

在凸透鏡成像過程中，鏡頭的變形會導致物點在像平面上成的像偏離理想位置，所以在使用過程中一般采用考慮鏡頭畸變的非線性模型[17]。本系統中相機內參數和畸變參數共同構成相機參數。

1.2 光平面方程模型

(2)

式(2)即為激光平面方程式。

1.3 改進的三角測量模型

設P為激光平面上一點，p為其投影到圖像平面上的對應點。在原始的三角測量模型中，給定圖像平面上一點p和激光平面方程π，可求解p點在相機坐標系的對應點P的三維坐標值[18-19]。但本測量背景是測量農作物株高，要求解農作物相對于底端水平面的高度，所以本文提出改進的三角測量模型。

根據三角測距原理，激光條形成的特征點既滿足小孔成像模型，又滿足光平面方程模型[19]，即

(3)

由此可得激光條打在農作物上特征點的深度值zcl。

設相機的安裝高度為zi，相機光軸與重垂線夾角為θ，參數zi和θ的余弦值cosθ共同構成相機安裝參數I=(zi,cosθ)。則農作物株高為

h=zi-z′ccosθ

(4)

其中

(5)

式中z′c——農作物頂點在相機坐標系zc軸的值

其中zc0為相機光軸與平行于地面的棋盤格平面的交點在相機坐標系zc軸的值，將此位姿下標定板坐標系定義為世界坐標系，zg0為相機光心點在該世界坐標系下的z軸坐標值。

在基于激光視覺的農作物株高測量系統中，相機內參數K、畸變參數、激光平面方程π和相機安裝參數I隨著系統安裝完成后即固定，為常量，需預先標定；系統工作時，激光條打在農作物上的特征點可通過相應圖像處理算法得到，將特征點代入系統模型中運算即可實時測量農作物株高參數。

2 系統標定方法

針對該系統測量模型，系統參數采用對文獻[18]中方法加以改進的標定方法。該改進后的標定方法中要求至少有一次將棋盤格標定板置于農作物底端點對應水平面的平行平面上，使地面坐標系與棋盤格平面坐標系平行，以標定出相機參數、相機安裝高度zi和光軸與重垂線夾角參數cosθ。另將激光條打在棋盤格平面上以標定激光平面方程π。

2.1 系統標定流程

本系統標定包括相機參數標定、相機安裝參數標定和激光平面標定，具體標定流程如下：

(1)拍攝不同位姿下的棋盤格平面靶標圖像和相應的打了激光條的圖像，要求至少一次將棋盤格標定板置于農作物底端點對應水平面的平行平面上，且拍攝位姿大于等于3次。

(2)利用不同位姿下的棋盤格靶標圖像標定相機內參數和畸變參數，本文使用文獻[18]中標定方法，該方法可同時得到每個位姿下相機坐標系相對于棋盤格平面坐標系的旋轉矩陣R、平移向量t和畸變系數等。

(3)根據棋盤格平面置于農作物底端點對應水平面的平行平面上的外參數等信息，標定相機安裝參數。求解相機原點在世界坐標系的坐標，得到相機相對于世界坐標系的高度zg0；測量世界坐標系相對于地面坐標系的高度z0，進而求解相機安裝高度參數zi；求解相機光軸與棋盤格平面交點的z軸值zc0，標定相機光軸與重垂線夾角參數cosθ。

(4)根據相機參數和各位姿下的外參數，以及激光條上特征點的信息，標定激光平面方程。通過每個位姿下的外參數，求解靶標平面在相機坐標系的平面方程；求解不同位姿下，打在靶標平面上的激光條上的點在相機坐標系的三維坐標；采用最小二乘法擬合激光平面方程。

2.2 相機參數標定

在張氏方法[18]中，將棋盤格平面所在坐標系定義為標定板坐標系，基于平面約束，相機模型變為

(6)

(7)

通過分解矩陣H，可求解相機內參數K，相機坐標系與標定板坐標系的外參數R、t。文獻[18]方法可同時標定出鏡頭的徑向畸變參數k1、k2。

2.3 相機安裝參數標定

(8)

由于地面坐標系與世界坐標系平行，從世界坐標系到地面坐標系之間無旋轉，僅有z軸上的平移，即兩坐標系僅有高度差，設為z0，當世界坐標系與地面坐標系重合時，z0=0。由此可以標定相機安裝高度信息為

zi=zg0+z0

(9)

該位姿下，相機光軸與棋盤格平面交點的z軸值zc0可通過如下過程求解：標定板在世界坐標系的表示為π0=(0,0,1,0)，即z=0的平面，將該平面變換到相機坐標系，表示為π1=(a0,b0,c0,d0)，即

(10)

由此，可標定出相機光軸與重垂線夾角參數為

(11)

其特殊形式為，將相機豎直安裝，θ=0，zg0=zc0，cosθ=1，此時可直接測出相機距離地面的安裝高度zi，則相機安裝參數I=(zi,1)。

2.4 激光平面方程標定

將每個位姿下的棋盤格平面在相應標定板坐標系的方程πi=(0，0，1，0)通過式(10)變換到相機坐標系，對應的平面為ωi；激光條在標定板上形成的光點滿足相機模型，同時這些光點均滿足ωi平面方程，激光點在相機坐標系的坐標為

(12)

其中

Xci,j=(xci,j,yci,j,zci,j)

式中Xci,j——第i位姿下激光條上第j點在相機坐標系的坐標

zci,j——Xci,j的z軸坐標值

在每個位姿下，取j(j≥10)個激光條上點的三維坐標，經過最小二乘法擬合激光平面方程π=(a,b,c,1)。

3 實驗結果

本實驗基于Canon 700D型相機和領越光電激光器構建基于激光視覺的農作物株高測量系統。系統實物圖如圖2所示，系統中Canon 700D型相機配IS STM鏡頭，型號為EF-S 18～55 mm f/3.5～5.6，機身CMOS尺寸為5 184像素×3 456像素，機身對焦設置為手動對焦；功率300 mW的紅光激光器，波長655 nm。實驗采用一次拍照完成后取出采集圖像，用Matlab進行圖像處理及測量。

圖2 系統實物圖Fig.2 Picture of measurement system

3.1 系統參數標定結果

根據1.1～1.3節的測量模型和2.2～2.4節的參數標定方法，利用3幅及以上帶有激光條的棋盤格圖像，即可標定所有系統參數。實際測試中選取20幅棋盤格圖像標定相機內參數和畸變參數，選用2幅置于農作物底端平面上的圖像標定相機安裝參數，并取均值，選取6幅圖像，每幅圖像上選取20個在標定板上的激光點標定光平面方程參數。標定板置于水平地面上，標定板的厚度z0=31.20 mm，激光特征點提取采用灰度重心法[19-20]，圖3為標定相機過程中的外參數可視圖，表1給出了基于激光視覺的農作物株高測量系統各參數的標定結果。

圖3 相機外參數可視圖Fig.3 Extrinsic parameters visualization of camera

參數標定結果相機參數K=7594.285802578.150807595.78371768.8994001é?êêêù?úúúk1=-0.088797 k2=0.50986光平面方程參數π=(0.0027914,0.0001763,0.00048376,1)相機安裝參數I=(2919.3688,0.99995)

3.2 激光點三維重建

如圖4所示，本系統使用盆栽模擬農作物進行測量，將激光條打在被測盆栽上，提取光條灰度重心點作為特征點，將光條特征點依據式(3)變換到相機坐標系，進行三維重建，激光點在相機坐標系的三維點云如圖5所示。

圖4 實測圖Fig.4 Practical measurement picture

圖5 三維點云重建圖Fig.5 Reconstruction of 3D point cloud

3.3 測量結果

所有激光點云中，取在相機坐標系中zc軸坐標值最小的N(N≥10)個點，實驗中取10，其均值作為頂點z′c，根據式(4)可得農作物株高h。測量過程中，通過在盆栽底部增加高度模擬農作物的生長，進行了一系列的高度測量。如表2所示，直接測量的模擬植株真值范圍為558.00～1 843.30 mm，測量絕對誤差最大為28.30 mm，相對誤差最大為2.17%。

3.4 誤差分析與工程化建議

本系統誤差來源主要包括：①系統模型誤差：在建模過程中，由系統模型引入的誤差。②參數標定誤差：系統參數標定過程中引入的誤差。③圖像處理誤差：圖像處理過程中引入的誤差。

系統模型的誤差主要來源于小孔成像模型[18]，在實際測量中可忽略，參數標定誤差主要來源于圖像處理過程，如標定相機參數時棋盤格角點提取精度不高，光平面方程標定過程中激光條中心點提取精度不高等。因此，未來提高系統精度的方法可以從圖像處理角度入手，如研究更高提取精度的激光條中心點提取算法[20]。

表2 株高測量結果Tab.2 Measurement results of crop height

本系統硬件配置適合在環境光線較弱，激光點可有效落到被測作物頂點的野外環境下測量。在實際工程化中，受植物表面對激光的吸收散射及野外環境光的影響，激光線特征不明顯時，可采用如下方案解決：①在安全前提下增大激光器功率。②選擇早晨或傍晚等環境光較弱時測量。

針對代表株高的莖尖或葉尖面積非常小的問題，以及作物稀疏的測量場景，可采用多線激光[21]或掃描測量[22]的方法。

4 結束語

提出了一種基于激光視覺的農作物株高測量系統，該系統通過使用主動激光器輔助、特定步驟的棋盤格標定，有效解決了一般視覺測量中農作物頂點和底點難以識別的問題，可實現自動化測量農作物株高參數的目的，使得株高測量不必依賴于專業技術人員，將大大提高測量效率與系統的實用性能。該系統精度高，魯棒性強，具有很高實用價值。

1 LI D, XU L, TAN C, et al. Digitization and visualization of greenhouse tomato plants in indoor environments [J]. Sensors, 2015, 15(2): 4019-4051.

2 MICROBES B. Using depth cameras for biomass estimation—a multi-angle approach [J]. Precision Agriculture, 2015, 15(1): 97-101.

3 楊信廷, 吳滔, 孫傳恒,等. 基于WMSN的農作物環境與長勢遠程監測系統[J/OL]. 農業機械學報, 2013, 44(1): 167-173. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130132&flag=1&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2013.01.032.

YANG Xinting, WU Tao, SUN Chuanheng, et al. Remote monitoring system of crop environment and growing based on WMSN [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(1): 167-173.(in Chinese)

4 KALOXYLOS A, EIGENMANN R, TEVE F, et al. Farm management systems and the future internet era [J]. Computers and Electronics in Agriculture, 2012, 89: 130-144.

5 LATI R N, FILIN S, EIZENBERG H. Estimating plant growth parameters using an energy minimization-based stereovision model [J]. Computers & Electronics in Agriculture, 2013, 98(7):260-271.

6 RICHTER R. Modelling and monitoring urban built environment via multi-source integrated and fused remote sensing data [J]. International Journal of Image & Data Fusion, 2013, 4(1):2-32.

7 劉秀英, 王力, 宋榮杰, 等. 黃綿土風干過程中土壤含水率的光譜預測[J/OL]. 農業機械學報, 2015, 46(4): 266-272.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20150439&flag=1&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.04.039.

LIU Xiuying, WANG Li, SONG Rongjie, et al. Prediction of soil moisture content in air-drying loess using spectral data [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(4): 266-272.(in Chinese)

8 DEBAENE G, NIEDZWIECKI J, PECIO A, et al. Effect of the number of calibration samples on the prediction of several soil properties at the farm-scale [J]. Geoderma, 2014,214-215(2): 114-125.

9 SHAO Y, HE Y. Nitrogen, phosphorus, and potassium prediction in soils, using infrared spectroscopy [J]. Soil Research, 2011, 49(2):166-172.

10 鄭立華, 麥春艷, 廖崴,等. 基于Kinect相機的蘋果樹三維點云配準[J/OL]. 農業機械學報, 2016, 47(5): 9-14.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160502&flag=1&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2016.05.002.

ZHENG Lihua, MAI Chunyan,LIAO Wei, et al. 3D point cloud registration for apple tree based on Kinect camera [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 9-14.(in Chinese)

11 YU Z, CAO Z, WU X, et al. Automatic image-based detection technology for two critical growth stages of maize: emergence and three-leaf stage [J]. Agricultural & Forest Meteorology, 2013, 174-175(12):65-84.

12 高巍, 陳進, 李耀明. 農作物高度自動測量裝置的研制[J]. 農機化研究, 2004,26(4): 114-116.

GAO Wei, CHEN Jin, LI Yaoming. Research of the crop height automatic measuring system [J]. Journal of Agricultural Mechanization Research, 2004,26(4): 114-116.(in Chinese)

13 李霞, 王維新, 宋海堂. 基于超聲波技術棉株高度自動測量的研究[J]. 農機化研究, 2008,30(6):187-189.

LI Xia, WANG Weixin, SONG Haitang. Research of cotton altitude automation measurement based on ultrasonic technology [J]. Journal of Agricultural Mechanization Research, 2008,30(6):187-189.(in Chinese)

14 張邦成, 張玉玲, 王昕, 等. 超聲紅外復合測距系統設計[J]. 制造業自動化, 2011, 33(14): 122-124.

ZHANG Bangcheng, ZHANG Yuling, WANG Xin, et al. Design of ultrasonic infrared distance compound measurement system [J]. Manufacturing Automation, 2011, 33(14): 122-124.(in Chinese)

15 李長纓, 滕光輝, 趙春江,等. 利用計算機視覺技術實現對溫室植物生長的無損監測[J]. 農業工程學報, 2003, 19(3): 140-143.

LI Changying, TENG Guanghui, ZHAO Chunjiang, et al. Development of non-contact measurement on plant growth in greenhouse using computer vision [J]. Transactions of the CSAE, 2003, 19(3): 140-143.(in Chinese)

16 YU Z, CAO Z, BAI X. Automatic measurement of crops canopy height based on monocular vision [J]. Proceedings of SPIE—the International Society for Optical Engineering, 2011, 8006(2):147-159.

17 蔣普, 耿楠. 基于網絡攝像機的株高遠程無損測量系統[J]. 農機化研究, 2015,37(4): 68-72.

JIANG Pu, GENG Nan. Crop height non-destructive remote measurement based on IP camera [J]. Journal of Agricultural Mechanization Research, 2015,37(4):68-72.(in Chinese)

18 ZHANG Z. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11):1330-1334.

19 郭新年, 白瑞林, 王秀平, 等. 結構光視覺引導的焊接機器人系統自標定技術[J]. 計算機工程與應用, 2014, 50(19):262-266.

GUO Xinnian, BAI Ruilin, WANG Xiuping, et al. Self-calibration technique for structured light vision guided welding robot system [J]. Computer Engineering and Application, 2014, 50(19): 262-266.(in Chinese)

20 劉子騰, 白瑞林, 王秀平. 基于激光視覺的角焊縫圖像特征點提取[J]. 焊接學報, 2016, 37(2):89-93.

LIU Ziteng, BAI Ruilin, WANG Xiuping. Image feature extraction of fillet weld based on laser vision [J]. Transactions of the China Welding Institution, 2016, 37(2): 89-93.(in Chinese)

21 肖華軍, 侯力, 游云霞. 一種基于圖像融合的多線結構光立體視覺測量方法[J]. 四川大學學報:工程科學版, 2015, 47(3):154-159.

XIAO Huajun, HOU Li, YOU Yunxia. A measurement method of multi-line structured light stereo vision based on image fusion [J]. Journal of Sichuan University: Engineering Science Edition, 2015, 47(3): 154-159.(in Chinese)

22 郭新年, 柯永斌, 王楷, 等. 一種全自動農作物株高測量方法及裝置：2017102292830[P]. 2017-04-10.