三維傳感器Kinect在農業領域的應用與發展

陳 晨，劉 濤，武 威，陳 雯，李 瑞，周 彤，姚照勝，孫成明

（揚州大學江蘇省作物遺傳生理國家重點實驗室培育點／糧食作物現代產業技術協同創新中心，江蘇揚州225009）

三維是指在二維中加入一個方向向量從而構成的空間系，也就是坐標系的三個軸，即x、y、z軸，其中x軸代示左右方向，y軸代示上下方向，z軸代示前后方向，從而形成三維視覺效果。三維技術和許多其他新興技術一樣，最初都是來源于軍事應用領域，隨著信息化和現代化的發展，三維技術在各個領域的應用潛力逐漸顯現出來，三維技術本身也經歷了從誕生到初步發展期到穩定發展期再到繁榮期的歷程［1］。同時，三維技術在農業上的應用也有很多。侯彩云等使用三維圖像處理技術對稻米的外觀、營養及蒸煮品質等進行了觀察與監測，為食品的定量學提供了理論基礎［2］；胡少軍等利用計算機圖形學對小麥進行虛擬性的可視化研究，模擬小麥葉片在三維空間的生長狀況，提出了一種模擬小麥葉片扭曲和卷曲的數學模型，并靈活掌控葉片扭曲和卷曲效果表現小麥葉片在自然情況下的生長狀況［3］。

近年來，由于三維技術取得了較大的進步，從而興起了一項新興的攝像技術—深度相機。深度相機在捕獲視頻的同時，也能同步輸出相機到像素點的距離，這種圖片稱為深度圖像［4］。深度圖像是通過對三維傳感器所得到的圖形或圖像進行描繪，得出物體的三維形狀并進行圖像分析處理，具有自動化水平高、效率高、速率高和造價較低等優點，這些優點是傳統掃描設備所不具備的［5］。

基于深度相機的研究可以劃分為6類：物體辨識、三維物體重建、機器人導航、加強現實、圖像處理和人機交互［2］。傳統的三維激光掃描儀和結構光掃描儀雖然能夠精確地獲取物體表面的三維信息，但這類設備不易操作、結構復雜且價格昂貴。利用多臺彩色攝像機所構成的立體視覺系統雖然可以低成本地獲取三維空間信息，但這類系統算法在很大程度上存在缺陷例如魯棒性較低、計算復雜度高且較難處理存在遮擋及缺少紋理的情況［6］。因而，微軟公司推出的三維相機Kinect引起了越來越多研究者的廣泛關注。本文先簡述Kinect傳感器的組成及其原理，以及Kinect設備在國內外的研究進展；其次討論Kinect設備的優點與不足；最后對Kinect傳感器在農業上的應用進行展望，以期為Kinect在農業領域的進一步應用提供參考。

1 K inect簡介

1.1 Kinect組成

Kinect是微軟在2010年正式公布的XBOX360體感周邊外設，它是基于微軟和以色列開發商PrimeSense開發的一種能夠解釋特定手勢，并利用紅外投影儀、相機和專用芯片來跟蹤三維中的物體和個人運動的設備。該設備具有一個RGB攝像頭、深度傳感器和多陣列麥克風，以廉價的成本提供了完整的三維人體運動捕捉［7］、人臉識別［8］和語音識別能力［9］。彩色相機［10－12］可以在同一時間同時獲取彩色圖像和深度圖像［13］，并且圖像顏色格式可以是 RGB也可以是 YUV［14］。Kinect傳感器的麥克風陣列由4個朝下的內置麥克風組成，使之能夠確定聲音的方向并對環境噪聲進行抑制［15］，而且通過其具有高性價的深度攝像頭功能廣泛引起了各地研究人員的興趣，因此Kinect被廣泛應用在各個領域，尤其活躍于三維重建領域和計算機視覺領域［6］。

由圖1可知，在Kinect結構中右邊是3D深度傳感器，中間是 RGB攝像頭，左邊是紅外線發射器（INFRARED TRANSMITTER）［16］，傳感器下面是數組式麥克風（MULTIARRAY MIC），底座和傳感器之間有一個電動馬達，通過特定程序可以調整Kinect的俯仰角度。同時，Kinect 1秒能夠處理30幀每幀640×480個像素的深度信息，深度探測的最佳范圍在1.2～3.8 m之間［17］，但是 Mankoff等也嘗試在誤差不超過1%的情況下將深度探測距離擴大到5 m［18］。

1.2 工作原理

Kinect在獲取空間信息、色彩信息以及獲取聲音數據方面展示了十分強大的人機交互方法［19－20］。Kinect之所以有這么強大的功能，是因為微軟合作方以色列的PrimeSence公司的PS1080系統級芯片（SoC），PrimeSense采用了該公司光編碼（light coding）這一先進技術。此技術不再須要經過特殊制作的感光芯片，只需要一般的互補金屬氧化物半導體（complementarymetal oxide semiconductor，簡稱 CMOS）感光芯片就可獲取三維深度信息，這就是Kinect成本低的關鍵［21］。

目前，深度攝像頭成像原理通常分為雙向測距（time of flight，簡稱 ToF）技術和光編碼技術2類［22－23］。光編碼技術是利用光源照明把所需要測量的空間進行編碼，它是結構光技術中的一種，與其他結構光技術不同的只是深度計算方式不同。光編碼的光源被稱作“激光散斑”，是通過激光光線射到粗糙物體表面或者穿過毛玻璃之后從而產生的衍射斑點。這些斑點具有很強的隨機性，并且會根據距離的不同而不停地變換圖案，也就是說三維空間中的任意2處的斑點圖案都是不相同的。如果將這樣的結構光照射在三維空間中，整個三維空間就會全部被標記，把一個不知名的物體置于這個三維空間，只要看物體上所形成的散斑圖案，就能夠知曉物體的放置位置，也就是說Kinect可以很確切地記錄物體的三維位置信息［24］。

紅外相機在獲取到編碼圖案后，還須要經過解碼過程將斑點圖案信息轉變成深度信息。因此，要將整個三維空間的斑點圖案全部記錄下來，所以要對光源進行1次標定，標定的方法是每隔一定距離取1個參考平面，把參考平面上的斑點圖案以及與參考平面之間的距離這個數據記錄下來［21］。

隨著科技的進一步發展，智能硬件在日常生活中越來越普及。2014年7月，Kinect 2.0正式發售。與第一代Kinect相比，第二代Kinect能夠更加精準地識別物體的位置信息，具有較高的色彩識別度和分辨率。2代Kinect傳感器的技術配置對比情況如表1所示。

2 K inect在國內外農業領域應用的研究進展

2.1 國外研究進展

利用Kinect進行三維重建的研究受到了很大關注，同時也有人將Kinect應用在畜牧業、養殖以及農業生產等方面。

2.1.1 土壤顆粒大小 Marinello等提出并討論了Kinect用于土壤微地形動態特性的實現［25］。Kinect的最大用處是對于土壤微地形的三維表征成本有效的解決方案。參考面的測試表明，傳感器如何在平均粗糙度下降到1 mm的情況下在表面上提供可重復的粗糙度表征。在受到不同耕作方式的土壤上進行現場（犁耕、耙耕、振動、旋耕）測試。研究結果表明，不同的粗糙度參數值可能與耕種土壤的不同特性有關，測試還包括耙地的速度不同，3D特性可以區分這些不同的速度、平均粗糙度與速度之間具有線性相關系數高于0.9的關系。

表1 2代Kinect傳感器的技術配置對比

2.1.2 三維重建 Izadi等提出讓用戶自己手持Kinect設備掃描室內三維場景并且實時對室內三維場景進行重建［26］。該設備的基本思想是將Kinect掃描過的每一幀經過迭代最近點（iterated closest point，簡稱ICP）結合到一起，同時使用地面動力裝置（ground power unit，簡稱GPU）進行并行加速從而達到實時的效果［27］。Chen等通過利用Kinect獲取玉米點云從而獲得玉米幾何結構參數中的葉面積指數和葉角分布，重建了基于深度圖像的玉米三維模型［28］。

2.1.3 畜牧養殖 Kongsro等構建了一個利用紅外深度圖像并且基于微軟Kinect攝像頭技術的原型［29］。該原型可以利用深度圖像估測不同大小和品種豬的質量。結果表明，長白豬和杜洛克豬平均質量的估測誤差分別是4.6%、4.9%。圖像分析需要一定程度地干預或者圖像質量的主觀選擇，并且在農場環境下應用這個原型須要更加自動化。

2.1.4 作物與植物監測 Papp將農產品監測與Kinect捕獲空間信息的特性結合起來，通過結合Kinect和壓力傳感器獲取傳送帶上農產品的空間大小和材質等信息，并將數據傳送到計算機上對其進行分類［30］。Andújar等利用Kinect實現了對楊樹生物量的估計，采取的方法是利用Kinect相機對楊樹進行多角度多方面的信息獲取［31］。Qin等通過Kinect相機獲得作物生長過程的彩色圖像和深度圖像，為不同生長階段農作物的長勢狀態分析提供數據依據并進行實時監控［32］。Azzari等利用Kinect相機獲取的深度圖像手動測量加利福尼亞草原上生長的2種植被的結構，從而為遙感測量和改善生物物理冠層模型提供了更好的信息驗證［33］。

2.2 國內研究進展

在國內，研究人員在各個領域包括農業領域也進行了大量的研究，并且取得了相應的研究成果。

2.2.1 三維重建 陳興等構建了由2臺Kinect組成的系統對人體進行三維重建，該系統首先采用棋盤格標定法對2臺Kinect進行標定；其次分別使用2臺Kinect對站立在旋轉臺上的人員進行上、下半身全面數據的掃描并且獲得相應的360°點云；最后利用迭代最近點算法對采集人體三維點云數據以及標定結果進行拼接，從而獲得較為完整的人體三維點云模型［34－35］。Fu等利用Kinect采集和分析溫室盆栽番茄的圖像，通過使用參數L－系統圖形符號行細化算法和Hough變換算法對溫室盆栽番茄各部分器官進行三維重建，從而為番茄生長過程的可視化奠定了基礎［36－37］。

2.2.2 農作物監測 江曉慶等嘗試將Kinect傳感器開放運用到室外實時監測農作物長勢，并設計了1種基于Kinect設備的農作物實時監測系統，從而可以在計算機終端獲得作物生長過程的彩色圖像和深度圖像，因此，該系統能夠獲得品質較好的三維數據信息，并為農作物生長模型病蟲害實時監測、長勢狀態分析、三維重建等提供數據依據［17］。肖瀟以苤藍、胡蘿卜和馬鈴薯的變態根莖為對象，利用Kinect曲面重建的方法獲取它們變態根莖的彩色云點，并且對彩色點云數據進行配準、濾波、曲面重建，從而在曲面模型中提取特征點間的長度參數和變態根莖體積參數，并用統計學方法進行分析驗證。結果表明，曲面重建模型可以完整地表現出它們變態根莖的紋理特征、提取特征點間的長度參數和體積構型參數，誤差均不超過10%［38］。鄭立華等利用Kinect相機對蘋果樹進行三維點云配準，首先利用Kinect相機提取單株蘋果樹的點云信息，再進行初始配準，然后利用ICP算法對點云進行精確配準，實現蘋果樹點云在不同角度下的準確拼接［39］。

2.2.3 畜牧 劉波等利用Kinect深度相機獲取生豬運動深度圖像序列，提取生豬的步頻特征，并通過生豬前后肢遠近側端點的水平坐標變化和骨架端點匹配建立生豬運動模型，對于監測生豬異常行為具有重大意義［40］。

2.2.4 人體識別與控制 張鑫等設計了1個可以根據人體的動作實時控制花盆擺放位置的系統，該系統通過使用Kinect進行人體動作和姿勢辨認，定義了人體不同的動作，并且通過人體的不同動作向智能花盆系統作出相應的指令，智能花盆系統在接收到不同的位置命令后可以進行相應的移動從而構建出不同的圖案［41］。該系統不僅具有觀賞性，也可以應用在互動科普教育中。冷晶晶以Kinect三維骨架為基礎提出了一個關于關節角度變化的序列運動特征模型［42］。該模型以人體運動過程中的關節運動情況為切入點發現，關節的旋轉角度決定了四肢在空間中的位置，而四肢的運動也能反映關節角度的變化。羅元等通過利用Kinect設備獲取的深度圖像信息將手部從背景中分割出來，再通過對Hu矩添加3個表達式使它包含更多的細節特性，從而識別手勢目標，最后通過網絡將識別得到的結果轉換成控制指令傳送給智能輪椅，最終實現運動控制等［43］。

3 Kinect的優點與不足

3.1 Kinect的優點

Kinect等深度相機為計算機視覺、三維圖像處理和三維重建等領域的研究提供了一種新的方法，目前在機器人［44］、機器視覺［45－46］、生物醫學［47］、視頻監測、汽車工業、增強現實、游戲、人機交互［48］等領域也得到了廣泛關注。

與傳統三維掃描設備相比，Kinect不僅能夠實時捕獲物體表面彩色與深色信息結構，而且Kinect設備小巧、使用便利、價格低廉；與立體視覺方法相比，Kinect的原理是主動發射近外光，不易受光照變化和物體表面紋理的影響，計算復雜度較低［6］。

3.2 Kinect的不足

（1）Kinect具有獲取深度信息噪聲大、辨識率低以及獲取數據質量低等缺點。由于這個原因，目前通過各種算法得到的掃描重建模型的精度明顯沒有使用傳統三維掃描設備的高，因此無法滿足對精度方面要求比較高的應用需求。

（2）Kinect在捕獲物體表面各個方面完整的信息時，有必要對全方位獲取的數據進行配準，然而Kinect在含噪數據配準方面［49］，特別是動態的配準方面，仍然是一個難題。

4 展望

目前，Kinect在農業方面的應用主要集中在對農作物的監測與記錄、農業機器人視覺系統和作物三維形態生長模型的重建這3個方面。

（1）前人的研究基本上只采用了1臺Kinect，然而考慮到Kinect的視角和最佳探測范圍，1臺Kinect已經無法滿足需求。因此，可以利用多個Kinect多方位多角度地捕獲信息，實現高質量的點云配準。

（2）在農作物監測與記錄方面，雖然通過所獲得的作物生長過程中的彩色圖像和深度圖像可以獲得較為良好的三維數據信息，但是在作物病蟲害方面的研究還相對較少，利用Kinect實時監測作物病蟲害也是研究趨勢之一。

（3）在農業機器人視覺系統方面，目前，提高農業自動化水平已經成為我國農業科研領域的研究趨勢，而應用于農業領域的各類機器人也受到了極大的關注［50］。Susanto等將Kinect設備與機器人進行組裝獲取彩色圖像和深度圖像，并對這些信息進行特征提取和系統學習，然后輸入一個目標物體的名稱，使機器人能夠從周圍的環境中識別出所輸入的目標物體［51］，未來將Kinect結合機器人技術開發出能夠應用于農業領域的機器人［52］。

（4）在作物三維形態生長模型重建方面，要實現基于作物生長發育規律的真實重建是非常困難的［53］，基于Kinect所獲取的深度圖像信息雖然可以提高重建效率，簡化重建步驟，但是三維重建的普遍適用性和自動化程度偏低［54］，未來應加大構建自動化三維重建系統，實現快速重建。

參考文獻：

［1］Taylor J，Beraldin JA，Godin G，et al.NRC 3D imaging technology formuseum and heritage applications［J］.Computer Animation and VirtualWorlds，2003，14（3）：121－138.

［2］侯彩云，Oshita S，Seo Y，等.3維圖像處理系統在稻米品質檢測中的應用研究［J］.農業工程學報，2001，17（3）：92－95.

［3］胡少軍，何東健，耿 楠，等.基于圖像處理的小麥葉片形態的三維重建［J］.農業工程學報，2007，23（1）：150－154.

［4］周 瑾.基于Kinect深度相機的三維人體重建技術研究［D］.杭州：杭州電子科技大學，2012.

［5］周 穎.深度圖像的獲取及其處理［D］.西安：西安電子科技大學，2008.

［6］童 晶.基于深度相機的三維物體與人體掃描重建［D］.杭州：浙江大學，2012.

［7］吳瑋瑩，王 豫，李 秦，等.Kinect人體運動捕捉誤差及其空間分布［J］.北京生物醫學工程，2014，33（4）：344－348.

［8］尹潘龍，徐光柱，雷幫軍，等.Kinect下深度信息獲取技術及其在三維目標識別中的應用綜述［J］.集成技術，2013（6）：94－99.

［9］Mohamed A B H，Val T，Andrieux L，et al.Using a kinect WSN for homemonitoring：principle，network and application evaluation［C］／／International Conference on Wireless Communications in Unusual and Confined Areas，IEEE，2012：1－5.

［10］Fu J J，Miao D，Yu W R，et al.Kinect－Like depth data compression［J］.IEEE Transactions on Multimedia，2013，15（6）：1340－1352.

［11］Zhang Z Y.Microsoft kinect sensor and its effect［J］.IEEE Multi Media，2012，19（2）：4－10.

［12］Cruz L，Lucio D，Velho L.Kinect and RGBD Images：Challenges and Applications［C］／／Sibgrapi Conference on Graphics，Patterns and Images Tutorials.Brazil：Ouro Preto，2012，36－49.

［13］沈 躍，徐 慧，劉 慧，等.基于Kinect傳感器的溫室植株綠色與深度檢測方法［J］.中國農機化學報，2016，37（8）：155－161.

［14］Islam M R，Rahaman S，Hasan R，et al.A novel approach for constructing emulator for Microsoft Kinect XBOX 360 Sensor in the.NET platform［C］／／4th International Conference on Intelligent Systems Modelling and Simulation，IEEE，2013：1－6.

［15］Han J G，Shao L，Xu D，et al.Enhanced computer vision with microsoft kinect sensor：a review［J］.IEEE Transactions on Cybernetics，2013，43（5）：1318－1334.

［16］Chávez GM，SarocchiD，Santana E A，etal.Using kinect to analyze pebble to block－sized clasts in sedimentology［J］.Computers and Geosciences，2014，72：18－32.

［17］江曉慶，肖德琴，張波，等.基于Kinect的農作物長勢深度圖像實時獲取算法［J］.廣東農業科學，2012，39（23）：195－199，237.

［18］Mankoff K D，Russo T A.The kinect：a lowcost，highresolution，shortrange 3D camera［J］.Earth Surface Processes and Landforms，2013，38（9）：926－936.

［19］朱 濤，金國棟，蘆利斌.Kinect應用概述及發展前景［J］.現代計算機：專業版，2013（4）：8－11，33.

［20］王 丹，邵小寧，胡少軍，等.基于 Kinect的虛擬果樹交互式修剪研究［J］.農機化研究，2016（10）：187－192.

［21］白正彪.基于Kinect的運動示教系統研究與實現［D］.天津：天津大學，2012.

［22］Kolb A，Barth E，Koch R，et al.Time－of－flight cameras in computer graphics［J］.Computer Graphics Forum，2010，29（1）：141－159.

［23］Salvi J，Pages J，Batlle J.Pattern codification strategies in structured light systems［J］.Pattern Recognition，2004，37（4）：827－849.

［24］石曼銀.Kinect技術與工作原理的研究［J］.哈爾濱師范大學自然科學學報，2013，29（3）：83－86.

［25］Marinello F，Pezzuolo A，Gasparini F，etal.Application of the kinect sensor for dynamic soil surface characterization［J］.Precision Agriculture，2015，16（6）：601－612.

［26］Izadi S，Newcombe R A，Kim D，et al.Kinect fusion：real－time dynamic 3D surface Reconstruction and interaction［C］／／International Conference on Computer Graphics and Interactive Techniques，2011：1175－1184.

［27］Chen J，Wu X J，Wang M Y，etal.3D shapemodeling using a selfdeveloped hand－held 3D laser scanner and an efficient HT－ICP point cloud registration algorithm［J］.Optics and Laser Technology，2013，45（1）：414－423.

［28］Chen Y M，Zhang W M，Yan K，et al.Extracting corn geometric structural parameters using kinect［C］／／Geoscience and Remote Sensing Symposium，IEEE，2012：6673－6676.

［29］Kongsro J.Estimation of pig weight using a microsoft kinect prototype imaging system［J］. Computers and Electronics in Agriculture，2014，109：32－35.

［30］Papp A.Studies on the detection of concealed objects using the neutron reflection method［J］.Applied Radiation and Isotopes，2013，75（3）：26－29.

［31］Andújar D，EscolàA，Rosell－Polo JR，et al.Using depth cameras for biomass estimation－a multi－angle approach［C］／／European Conference on Precision Agriculture，2015，97－102.

［32］Qin C B，Du Q L，Tian L F，et al.The control system design of automatic weeding robot based on visual navigation［C］／／International Conference on Robotics and Biomimetics，2012：956－961.

［33］Azzari G，Goulden M L，Rusu R B.Rapid characterization of vegetation structure with a microsoft kinect sensor［J］.Sensors，2013，13（2）：2384－2398.

［34］陳 興，梁 潔，杜希瑞，等.采用兩臺Kinect相機的三維人體數字化［J］.電腦知識與技術，2016，12（1）：192－195.

［35］于雅慧，況立群，韓 燮，等.基于Kinect相機和改進ICP的三維物體重建［J］.計算機工程與設計，2014（10）：3574－3578.

［36］Fu D C，Xu L H，Li D W，et al.Automatic detection and segmentation of stems of potted tomato plantusing kinect［C］／／Sixth International Conference on Digital Image Processing，2014.

［37］付代昌，徐立鴻，李大威，等.基于Kinect的溫室番茄盆栽莖干檢測與分割［J］.現代農業科技，2014（3）：336－338，343.

［38］肖 瀟.基于Kinect植物變態根莖曲面重建［D］.昆明：昆明理工大學，2013.

［39］鄭立華，麥春艷，廖 崴，等.基于Kinect相機的蘋果樹三維點云配準［J］.農業機械學報，2016，47（5）：9－14.

［40］劉 波，朱偉興，楊建軍，等.基于深度圖像和生豬骨架端點分析的生豬步頻特征提取［J］.農業工程學報，2014，30（10）：131－137.

［41］張 鑫，徐文勝，劉階萍，等.基于Kinect的智能花盆體感控制系統研究［J］.機電工程，2014，31（9）：1226－1230.

［42］冷晶晶.基于Kinect骨架信息的人體動作識別［J］.數字技術與應用，2014（9）：80－80.

［43］羅 元，謝 ，張 毅.基于Kinect傳感器的智能輪椅手勢控制系統的設計與實現［J］.機器人，2012，34（1）：110－113，119.

［44］Fankhauser P，Bloesch M，Rodriguez D，et al.Kinect v2 formobile robot navigation：evaluation and modeling［C］／／International Conference on Advanced Robotics.IEEE，2015：388－394.

［45］童偉亮，王廣偉.基于Kinect及雙目機器視覺原理的物體3維建模系統［J］.中國水運，2015，15（8）：121－122，124.

［46］董建民，陳偉海，岳昊嵩，等.基于Kinect視覺系統的西紅柿自動識別與定位［J］.中國農機化學報，2014，35（4）：169－173.

［47］Oikonomidis I，Kyriazis N，Argyros A A.Efficientmodel－based 3D tracking of hand articulations using kinect［C］／／Proceedings of the British Machine Vision Conference，2011.

［48］吳國斌，李 斌，閻驥洲.KINECT人機交互開發實踐［M］.北京：人民郵電出版社，2013.

［49］Essmaeel K，Gallo L，Damiani E，etal.Temporal denoising of kinect depth data［C］／／Eighth International Conference on Signal Image Technology and Internet Based Systems，IEEE，2012：47－52.

［50］張立彬，計時鳴，胥 芳，等.農業機器人的主要應用領域和關鍵技術［J］.浙江工業大學學報，2002，30（1）：36－41.

［51］Susanto W，Rohrbach M，Schiele B.3D object detection with multiple kinects［C］／／European Conference on Computer Vision.Heidelberg：Springer，2012：93－102.

［52］王 濱，陳子嘯，傅隆生，等.基于Kinect傳感器的獼猴桃果實空間坐標獲取方法［J］.農機化研究，2016，38（5）：232－237.

［53］吳靈通.水稻三維形態生長模型構建的初步研究［D］.杭州：浙江大學，2012.

［54］余秀麗，王丹丹，牛磊磊，等.Kinect在現代農業信息領域中的應用與研究進展［J］.農機化研究，2015（11）：216－221.