李煒,朱德利*,王青,曾紹華
(1.重慶師范大學計算機與信息科學學院,重慶 401331;2.重慶師范大學重慶市數字農業服務工程技術研究中心,重慶 401331)
數字孿生是針對物理世界的實體,利用數字化手段構建出一個數字世界的“克隆體”[1],能夠與物理實體保持實時交互聯接,借助歷史數據、實時數據以及算法模型等,通過“克隆體”模擬、驗證、預測控制物理實體全生命周期過程,從而分析和優化實體。其依靠計算機輔助設計(computer aided design,CAD)、建筑信息模型(building information modeling,BIM)、地理信息系統(geographic information system,GIS)等傳統數字化技術構建真實世界與數字世界的數字模型[2],通過傳感器、物聯網技術與真實世界實現數據交換與同步;依賴建模仿真技術精確模擬和運算不同的物理過程。此外,它還與新興的人機交互、虛擬現實(virtual reality,VR)、混合現實(mixed reality,MR)以及人工智能等技術結合,實現數字孿生的人機交互和智能化。數字孿生作為新一代技術,不僅承載了傳統制造領域工藝、流程和質量的要求,還可降低制造過程的成本、復雜度等,同時能夠發揮數字技術靈活的優勢。
借鑒上述數字孿生的概念,將實體作物與虛擬作物的生長同步、實時狀態監測與環境響應之間的交互系統概括為作物數字孿生系統。它綜合了氣象學、作物生理學、作物生態學、過程建模、虛擬現實等技術,以“生理機制解析-重構形態機理-模擬算法構建-生產力動態預測-效應定量評估”為主線,構建數字化模型,形成全生命周期的映射,定量監測作物動態生理過程,描述器官建成和產量等過程與環境間的動態模擬關系。系統的構建過程包括獲取、傳輸作物生長信息,構建數字化生長模型以及用戶可視化交互等,通過系統實現作物生理機制監測、生長模擬、環境響應及生產力預測等。在當前的物聯網框架下,借助各種傳感器獲取作物信息[3],基于多種傳輸協議網絡傳輸作物生長信息[4],通過移動端、無人機、機器人等設備反饋信息并實施作物生長調控。該系統不僅增強業務處理的機理性,而且有效地篩選、提煉、分析海量信息,最終有序地傳送給智能設備執行分析、處理并反饋結果[5]。由于系統結合了環境、管理方式、經濟效應等因素對孿生作物進行定量化表達,從而指導作物株型設計和品種改良。由此可知,該系統可有效克服傳統監測方法任務繁重、低效、易出錯以及監測結果不客觀等方面的局限性,并能夠分析作物生理機制、監測與反饋作物生長狀況,以及實現可視化交互。
基于大量相關文獻資料基礎,本文對作物數字孿生的基本概念、研究內容、構建流程、關鍵技術等進行概括總結,明確其在作物生長模擬、分析、預測、交互等方面的價值,并探討了該系統未來的研究趨勢,旨在為今后作物數字孿生系統的研究提供參考依據。
借鑒工業數字孿生系統的研究內容,本文將作物數字孿生系統的主要研究內容分為實體作物生長模擬、虛擬作物生長建模、孿生系統的可視化和交互方法3個方面。
實體作物生長模擬是基于作物生理機制,同時結合作物生長所需的光照、土壤、氣候等環境因素,通過數字化模擬作物生長狀況。早在20世紀60年代,已有研究者對植物的生理過程進行數字化描述,這標志著作物生長動態模擬的開端[6]。隨著對作物生理狀態過程的認知不斷加深,以及虛擬現實和物聯網技術的發展,以數字模擬為主的作物生長模擬迅速發展,并逐漸在作物生長中得到廣泛應用。許多國家都針對用于模擬和監測的作物生長模型進行研究,相繼開發了許多不同類型的模型,已從少數國家發展到多個國家,從少數作物擴展到數十種作物,在研究內容、特點和方法等方面呈現出新的發展趨勢[7]。按照適用類型分類,實體作物生長模型主要包括多作物通用生長模型與單一作物生長模型2個方面。
1.1.1 多作物通用生長模型 適用于多實體作物類型的生長模型是農業前沿性領域的重要研究內容之一[8]。該項研究在20世紀80年代有較為不錯的發展,推出了一批有代表性的作物模型,且得到一定程度的認同與肯定。多作物通用生長模型大致可分為禾谷類作物模型、豆類作物模型及綜合性作物模型等。
①禾谷類作物模型。禾谷類作物是目前種植范圍較廣、數量較多的一類作物,主要包括小麥、大麥、玉米等作物。1970年,De Wit等[9]發表了首個基于作物生長動力學的ELCROIS模型,此模型較為詳細地描述了器官生長、冠層光合作用和呼吸作用等過程。隨后,在此基礎上發展了多種作物生長模型,主要包括BACROS模型[10]、SUCROS模 型[11]、WOFOST模 型[12]、MACROS模 型[13]、LINTUL模型[14]等。這些模型普遍適用于禾谷類作物的生長模擬,且綜合考慮土壤、氣候等因素,其主要特點在于解釋性、機理性、通用性強,僅需改變作物參數和采集的土壤、氣候數據庫而適用于不同的禾谷類作物。隨后,Ritchie[15]采用系統工程原理,通過動力學方法和計算機技術構造了以“作物-土壤-環境”為主線的CERES系列作物模型,該模型不僅適用于玉米、高粱、水稻、谷子、小麥、大麥等作物生長動態模擬,而且不受地域、氣候和土壤等條件的限制,可以模擬作物在自然環境下的生長、發育和產量形成的動態過程。此外,隨著澳大利亞ASPSIM模型[16]與中國CCSODS模型[17]的出現,對小麥、玉米等禾谷類作物生長模擬有了進一步的貢獻,具有較好的實用性和穩定性。
②豆類作物模型。早在20世紀70年代初期,美國農業部以大豆為對象,開發了適用于豆類的GOSSTM[18]和GLYCIM[19]生長模型;Wilkerson等[20]也建立起適用于大豆的SOYGRO模型。隨后,美國研究者通過合并SOYGRO(大豆模型)[20]、PNUTGRO(花生模型)[21]和BERNGR(干菜豆模型)[22]等模型,形成了CROPGRO系列模型[23],主要用于模擬豆類作物的生長、發育和產量形成過程[24],該模型的設計結構支持用戶對作物特征參數進行修改而應用于不同作物。由于ASPSIM模型[16]的綜合性優勢,它也能夠用于模擬豆類作物的生長過程。
③綜合性作物模型。澳大利亞的ASPSIM模型[16]是綜合性的模型,主要用于模擬小麥、玉米、棉花、油菜、豆類和雜草等作物,它的核心是土壤而非植被,這一點不同于其他國家的生長模型,該模型主要將天氣、作物、農藝管理引起的土壤屬性的連續變化作為模擬的中心[25]。它集成多種模型的優勢,能夠將眾多零散模型研究結果的優勢集中于模型當中是其設計特色之一,并且可采用“即插即用”的方式應用到其他學科領域,作為公用平臺使得模塊之間的對比變得相對容易。另外,美國在先前模型的基礎上開發了DSSAT決策支持系統[26],主要包括CERES和CROPGRO系列模型,其不僅有通用模塊,還有不同作物的獨立模塊,可模擬的作物種類多達17種,具有鮮明的特色,且主要功能在于模擬季節變化、不同空間位置和管理措施對作物生長發育的影響。在中國,高亮之等[17]將一系列中國作物模型結合開發了綜合性的作物栽培模擬優化系統CCSODS,該模型結合作物生長模型、栽培優化系統及專家知識等,主要適用于水稻、小麥、玉米、棉花、大豆和油菜的栽培模擬與決策優化。
1.1.2 單一作物生長模型 單一作物生長模型主要針對特定作物進行生長模擬,具有較為鮮明的針對性,如水稻、小麥、棉花等特定作物。在20世紀80年代,我國引進荷蘭、美國模型后逐漸形成有中國特色的作物生長模擬模型[6]。在水稻方面,金之慶等[27]基于水稻作物形成了作物栽培模擬優化系統RCSODS模型,集合了作物模擬技術和栽培優化理論;蘇李君等[28]以有效積溫作為氣象因子,收集中國氣象數據庫中的氣象數據和現有學術論文中的水稻生長數據,建立了描述水稻生長過程的葉面積指數和干物質積累的普適的Logistic模型,并研究了水稻最大葉面積指數與最大干物質累積量、收獲指數與降水量之間的關系。在小麥方面,孫寧等[29]結合“鐘模型”RCSODS和CERE-Wheat模型的方法,開發了小麥生長發育模型(WheatSM),該模型針對國內不同品種的冬小麥而研發,并適用于中國大面積范圍的作物,較好地適用于華北地區的冬小麥。在棉花方面,潘學標等[30]結合中國棉花栽培的研究成果研制了用于模擬棉花生長發育的COTGROW模型;馮利平等[31]以棉花為研究對象,建立了用于棉花生長的COTSYS模型。
1.1.3 典型作物生長模型比較與評價 結合上述生長模型和相關進展,本文選取WOFOST、CERES、APSIM、RCSODS、WheatSM等典型模型進行對比,如表1所示,主要分為多作物通用模型和單一作物模型2部分。這些模型主要以作物生長發育為主要內容,注重作物生理機制的表達,同時考慮氣溫、降水、光照、CO2濃度等因素的影響,以及光截獲與利用、物候發育、干物質分配等過程的復雜作用。

表1 典型作物生長模擬模型比較Table 1 Comparison of typical crop growth simulation models
多作物通用模型多適用于禾谷類作物,主要模擬冠層的光截獲與利用、物候發育、干物質分配、蒸騰作用、水分平衡和養分平衡等過程,此外,各模型模擬有共同的核心過程又有不同突出點。WOFOST模型是以生長度日(growing degree-days)對作物生長發育進行模擬,其模擬基礎為作物的生理生態過程,主要包括同化作用、呼吸作用、蒸騰作用、干物質的分配等,最大特點是普適性,通過調整作物參數以適用于不同的作物;CERES模型以光能為主要驅動,應用系統工程原理、動力學方法和計算機技術,集成天氣、土壤等模擬模塊;APSIM模型以土壤為核心,包含土壤侵蝕、碳素平衡、土壤溫度、水分平衡、殘茬分解等過程。
單一作物模型針對水稻和小麥研究而成。RCSODS是目前較為完善的水稻栽培模擬優化決策系統,結合作物模擬與栽培優化原理進行栽培決策服務。WheatSM模型是針對中國不同地區小麥品種類型(冬性、半冬性和春性)而研發的適用于我國大面積范圍應用的模型,尤其在華北冬小麥區有較高的適用性。
虛擬作物建模不僅能夠使模擬的作物達到逼真的視覺效果,還能通過仿真技術進一步揭示作物生長形態結構與生理狀態的變化規律。因此,本文針對建模方式展開了不同程度的分析,從生長規則、三維儀器、圖像等建模方法闡述目前學者的研究工作,以促進人們對虛擬作物生長過程的認知。
在基于作物生長規則方面,國外較為著名的動態結構模型有L-System和AMAP等,兩者都是以作物生長規則而建模。L-System本質是重寫系統,通過對植物對象生長過程的經驗式概括和抽象,采用其擴展形式。如Seleznyova等[32]通過將植物韌皮部和木質部機理與L-System結合,對碳水化合物在植物體結構運輸過程進行建模;Vazquez-arellano等[33]結合3D數字圖像和LSystem,用于玉米重構作物模型,還能很好地模擬作物在其他不同共生空間的動態生長過程;此外,L-System還結合不同的模型,如集合DOL-System、D1L-System、D2L-System、隨機L-System、參數LSystem。由L-System優化出的OpenGL-System能夠形成作物圖像,同時考慮到作物群體之間的光競爭、同一植株內不同器官之間對水分和養分競爭等因素[34]。AMAP方法是通過分析并確定作物的形態結構,利用多尺度樹形圖進行作物拓撲結構的描述和模擬,適用于任何作物。其優勢在于具有強大的數據采集與分析模塊。Coen等[35]通過分析植株生長規律和經驗數據,構建了植株的拓撲和器官的定量化模型,逼真地模擬并可視化植物地上部分從幼苗到成熟的過程。Frasson等[36]以玉米冠層為對象,基于無損檢測的方法開發了高度詳細的三維數字模型。Jallas等[37]整合植物可視化模型和AMAP模型來建立植株拓撲結構與器官形態變化的耦合模型,較好地虛擬了棉花的生長過程。國內方面,李書欽等[38]基于實測的小麥葉片數據,建立小麥葉片主脈控制點構造算法,計算小麥葉片NURBS曲面控制點坐標,以模擬小麥形態;王美麗等[39]基于L-System和OpenGL技術,建立了小麥、玉米的根系生長模型,模擬根系發育過程,實現作物根系的重建。
三維掃描儀器的發展使得建模精度得到了提升,Lee等[40]利用激光掃描技術獲取柑橘三維信息,并量化其幾何參數;袁曉敏等[41]通過三維數字化儀重建了番茄器官、個體及群體,并開發了可視化軟件,快速生成番茄模型;王勇健等[42]針對植物葉片形態特征,選擇合適的三維掃描儀進行葉片點云數據獲取,通過點云預處理獲取高質量虛擬模型。
由于掃描儀器操作復雜且耗時較長,不少學者通過視覺的方法進行建模,如基于Kinect深度圖像方面,王孟博[43]利用Kinect深度獲取水稻植株的點云數據,通過點云數據預處理、去噪等方式,將不同方位的點云數據收集并配準,進而快速獲取作物點云數據;邵小寧[44]以玉米為研究對象,通過Kinect相機快速獲取其點云數據。此外,基于單幅圖像方法,Zeng等[45]通過拍攝的單幅植株圖像進行分類,刪除為樹枝、細線化等,預估枝干寬度和生長規律,由此構建模型。單幅圖像的方法存在無法精確重建的問題,且誤差較大,因此有了基于運動圖像的方法,楊亮等[46]利用運動圖像并采用SIFT算法進行多幅黃瓜葉片特征點匹配,從而獲取其三維模型。最后,還有基于立體視覺的方法,王傳宇等[47]在室內環境利用雙目立體視覺技術對玉米葉片進行了三維重建;袁挺等[48]采用2臺攝像機組成立體攝像機,通過獲取敏感波段的黃瓜紅外圖像,并基于灰度相關與極線幾何相結合的策略實現黃瓜三維重建。
根據國內外不同虛擬作物建模方法,從適用范圍、采集圖像、數據量、重建精度與速度等方面進行比較,如表2所示。基于L-System、AMAP和NURBS曲面等方法雖然能夠逼真地模擬出作物的器官和單株作物的三維形態,但其局限性在于所抽象出來的規則和實體難以完全一致,且不適用與高大的作物。基于三維掃描儀的方法所建立的模型精度較高,由于涉及到大量的機械運動導致重建過程比較耗時。基于圖像的方法需要較多的圖像數據,提高了重建的精度和速度,但是自然條件下不穩定的光照條件限制了基于圖像的作物重建應用,雖然基于深度相機的方法可以有效避免光照問題,但目前的深度相機仍存在分辨率較低、掃描范圍小等問題。

表2 虛擬作物建模方法比較Table 2 Comparison of virtual crop modeling methods
在作物數字孿生系統的可視化與交互方面同樣做了大量研究。朱冰琳等[49]以玉米、大豆為研究對象,基于機器視覺方法對作物個體、群體進行重建,根據其重建出的三維結構實現株高、冠幅與器官的生長可視化。李書欽等[50]在小麥生長模型基礎上,構建了小麥生長模擬可視化系統。在交互方面,孫愛珍等[51]以棉花中苞葉器官為研究對象,采用VC++集成編程環境,結合OpenGL交互技術,實現棉花苞葉器官的可視化交互;汪強等[52]構建玉米6個時期的栽培管理知識模型,建立玉米綠色高產定向栽培3D模型庫,包括種子模型、蟲害模型、藥劑模型、雜草模型、玉米苗模型、農機模型等,基于Unity引擎開發了可交互的玉米綠色高產定向栽培可視化系統。
OpenGL集成許多不同的渲染函數和繪制函數,用簡單的圖形繪制復雜的三維景象。利用作物的形態參數來實現孿生作物生長過程的可視化,直觀地觀測孿生作物的生長規律。而Unity集成了強大的3D引擎,以實時3D技術極大地支撐了實時的三維渲染。它基于實體作物三維建模,集成生長模型,定義行為感知控制,實現人機交互,搭建逼近真實的模擬場景,在時間尺度和空間尺度上對真實世界加以優化和改善。
在作物數字孿生系統構建流程方面,岳學軍等[53]從現代農情智能感知和信息解析技術2方面分析了國內外農情信息感知技術和基于大數據分析農情的研究進展,總結了當前用于獲取農田信息數據的關鍵技術,突出了農情數據在農業數字化和智能化中的重要性;康孟珍等[54]在智慧農業信息感知、智能決策和決策實施的基礎上,提出與農業企業資源計劃、農業生產執行系統、農業生產過程控制系統相結合的構想;張文宇等[5]闡述了模型的重要性及基于模型的智慧農業平臺的需求,以期發揮模型在物聯網和智慧農業中的重要作用。因此,本文根據上述論述將其概括為圖1所示的一般構建流程,主要包括數據獲取與傳輸、模型構建、可視化與交互等過程;對實際農業系統和虛擬農業系統的描述,系統中實體作物和孿生作物所涵蓋的映射關系也表示為3個層次,如圖2所示[54]。

圖1 作物數字孿生系統一般構建過程Fig.1 Generally construct process of crop digital twin systems

圖2 實體作物與孿生作物映射Fig.2 Mapping between physical crop and twin crop
首先,作物數字孿生系統需要高質量的農作物數據(作物株高、葉面積、生長質量和器官數量等)、生長環境數據(光照、溫度、水分、空氣、土壤和養分等)以及高精度、逼真的作物三維模型作為基礎支撐,綜合運用數據分析技術確保數據的準確性和實用性,并通過現有傳輸方式實現作物數據完整傳輸。其次,根據作物生長分析和生態分析方法,結合作物生長發育基本規律與環境因子、管理技術之間關系,明確作物生長機理、作物產量而構建不同環境和技術措施的響應模型,該模型包括模擬孿生作物生長發育、器官生成、光合作用、水分、氮素平衡、生物量分配、氣象仿真等子模型[50]。此外,系統還結合了作物生長環境、作物經濟效應及管理技術等,借助孿生作物監測實體作物的環境響應狀況,隨后再經過智能設備分析處理,實現孿生作物的模擬實驗與接收反饋,同時對實體作物進行數據收集和信號控制,從而達到實體作物與孿生作物信息交互的目的[53]。最終通過可視化技術,將作物生理生態過程和形態變化等大量抽象數據轉換為人眼可見的三維模型,用戶可根據需求改變系統外部驅動變量的輸入,實現用戶與系統的交互操作,同時可通過可視化的呈現方式對實體作物生長加以分析,并對作物生長方式、管理方式制定相對應的優化措施。
此方法可有效避免農田難以試驗的部分以及減少對實體造成不必要的損壞等,通過系統監測作物生長動態,定量分析和評估不同氣象環境對作物生產的影響,評價不同農技措施對增產的作用,為田間作物育種提供評價依據。
數字孿生系統需要數據來驅動,是動態性的系統。因此,作物數據的實時采集與傳輸是實現作物數字孿生系統的基本保障。大數據是智慧農業的基礎,信息感知與傳輸則是數據的源頭[54],挖掘各項農情數據,并進行農情監測與預警[55],基于上述分析將作物孿生系統中首要階段概括為數據獲取與傳輸2部分(圖3)。

圖3 作物數字孿生實時數據獲取Fig.3 Crop digital twin real-time data acquisition
圖3所示的實體作物數據采集方面,根據不同作物的主要種植地區多年的氣象、土壤環境和作物生長狀況基于物聯網監測技術和傳感器技術(其分類和功能如表3所示)進行采集、分析,主要包括逐日最高、最低氣溫、降雨量、太陽輻射值和作物逐日生長狀況等圖像或視頻數據,同時根據圖像分割算法實現作物器官分割。虛擬作物數據方面,結合三維激光掃描技術、三維重建技術、三維點云網格化技術可有效地獲取數字孿生作物的三維形態數據。此外,獲取的數據只有不斷分析和提煉才能形成有價值的信息,作物數據應進行預處理,降低數據噪聲和復雜性,增強數據的可操作性,通過關聯規則等挖掘分析,從海量的作物數據中提取出規律和價值[56]。

表3 傳感器具體類型和功能Table 3 Sensor-specific types and functions
數據傳輸則基于通信網絡[54],將具有獨立功能的設備或子系統連接起來,按照規定的網絡協議實現數據通信,實現分布式系統硬件和軟件資源文件共享及系統綜合管理、控制[53]。根據傳輸媒質不同,通信技術可分為有線和無線通信技術。有線通信技術安裝成本較高,傳輸距離受限,限制在作物監測中的推廣應用等。無線通信技術根據距離的遠近可以分為無線局域網技術、無線廣域網技術2類。無線局域網技術主要有ZigBee、W-Mbus、Bluetooth、WiFi、NFC、RFID等;常見的無線廣域網技術包括GPRS、4G、5G、LoRa和NB-IoT等。
基于物聯網信息采集與傳輸,按照規定的網絡協議,將作物生長發育信息、環境要素等各種“物件”與互聯網相連,進行信息交互和通信[54]。圖4為基于物聯網實現的基本結構,分別通過感知層、傳輸層、應用層3個應用場景構建。

圖4 基于物聯網實現的基本結構Fig.4 Basic structure based on the implementation of the internet of things
作物生產各個階段都需要構建不同模型完成相應功能,如信息分析過程中仍需要生長模型,反饋過程需要優化、調控模型。本文基于各個階段模型進行總結,如圖5所示。構建的模型主要包括作物形態、器官模擬和作物生長模擬等,以孿生作物與生長模型為基礎,并結合農田環境因素,通過作物孿生體的生長變化反映實體作物在不同環境因素下的響應狀況,模型以此做出播種方案設計、生長監測、養分淋失預警、產品預測、管理措施等決策。

圖5 模型構建Fig.5 Model construction
2.3.1 作物形態、器官模擬模型 作物形態、器官模擬模型主要分為作物形態虛擬模型和作物器官虛擬模型2部分。首先針對形態部分,采用快速三維建模的手段獲取孿生作物的形態結構,常用于獲取虛擬作物建模的手段有三維激光掃描儀,其建模精度高,能較好地還原作物的三維結構,但由于復雜的機械運動和操作,耗時較長;三維重建技術也能較好地還原,有效解決了耗時長的問題,但對于重建一些結構復雜的作物,需要大量的圖像數據。對于器官模型的獲取,需要結合器官識別算法和器官圖像分割算法,對大量的作物圖像數據進行器官分割,主要包括葉、莖、果實、根、果枝等器官,最后形成虛擬化的形態與器官模型數據庫。
2.3.2 作物生長模擬模型 作物生長模擬模型是基于作物生理過程機制,將氣候、土壤、品種和農技措施等影響因素作為主要驅動變量的數值模擬模型,并且以特定時間步長動態模擬作物生長發育的生物學參數與產量,定量化研究環境因子及管理措施對作物生態生理的影響。作物生長模擬模型包含作物階段生長發育、器官生長與建成、光合作用與物質積累、生物量分配、水分平衡、氣象仿真等子模型,其功能如表4所示。

表4 作物生長模擬子模型功能Table 4 Crop growth simulation sub-model functionality
構建的模型不僅模擬作物形成過程,還能根據不同條件定量分析器官幾何形態與空間伸長規律、器官顏色動態特征、器官拓撲結構以及植株個體空間上的配置、個體相互作用和群體建成的關系等。以生長度日為尺度,結合生長模型模擬輸出各器官的總干重與分配方式得到單個器官的干物質量,以及各器官的形態特征參數和形成模式,形成作物器官三維模型,主要模擬器官幾何形態、空間生長曲線、顏色變化等特性,最終通過耦合的模型實現農田事件預測。
2.3.3 環境響應決策 由于在數據庫中存儲了形態與器官模型、土壤性質、氣象數據、品種特性等作物參數信息,因此模型在環境變量(氣象數據、土壤條件等)與作物生長特性的基礎上,通過獲取實體作物生長過程的關鍵特征并用算法計算多種環境狀態變量,將結果映射到孿生體的變化中,以模擬和預測實體作物基于不同環境下的生長發育及環境響應情況,同時根據孿生體的反饋結果做出相應決策,其決策包含了作物播種方案、生長監測、養分淋失預警、產量預測及種植管理措施等。通過模型的決策管理,不僅能夠以直觀的方式感
知不同外部環境條件下作物的生長變化,還能輔助用戶為不同生產目標制定優質、高效的管理決策。從而使得作物生長過程中眾多實際問題有較好的解決措施,達到信息化和智能化的目的。
李書欽等[38]構建了NURBS曲面模擬小麥葉片生長,用OpenGL實現了小麥葉片在不同管理措施條件下生長過程形態三維可視化表達,劉慧等[57]用系統分析方法與動態建模技術,構建具有機理性的生長模型,實現水稻個體與群體可視化表達;何火嬌等[58]基于水稻器官幾何形態模型、生長模型與可視化模塊,并通過人機交互操作,重構出水稻器官、主莖和植物群體三維形態。
本文在上述前人研究基礎上,總結了作物數字孿生的可視化與交互過程(圖6)。由設備上的傳感器中導入作物每個器官的長度、面積、溫度等關鍵信息,通過重構技術、插值方法與可視化技術生成不同作物可視化模型,可視化模型根據輸入的作物器官、形態模型等,綜合利用不同器官三維形態可視化方法與計算機圖形學真實感繪技術(光照,顏色,紋理等)繪制作物的器官、個體、群體模型,結合其拓撲結構和空間配置規律,系統可基于C++交互平臺或Unity平臺將作物生長環境、作物生長趨勢實現數字可視化,用數字化的方式描述整個作物生長的虛擬場景,并結合用戶輸入的驅動變量和作物間的碰撞監測和相應技術等,在虛擬數字空間中進行生長預測、過程模擬等仿真預測。

圖6 作物可視化及交互過程Fig.6 Crop visualization and interaction process
可視化與交互過程,利于用戶了解、分析作物生長狀況,以及對未來作物生長發育做出相對應的優化策略,同時還能避免實體損害、生長異常產生的嚴重后果。
作物數字孿生系統的核心在于模型,模型的關鍵則是數據。在國家大數據戰略大力支持下,未來會進一步擴充數字孿生基礎設施條件,綜合國家重大科技建設,發揮新型傳感器和傳統試驗調查數據的協同作用,獲取更多有利于模型構建的氣候條件、土壤信息、作物參數、管理措施等數據;在虛擬作物獲取方面,近幾年深度學習的迅速發展,促進了基于深度學習的三維重建,相比于傳統的獲取方式,深度學習提供了更便捷的重建手段,它提高了三維重建的速度和精度,是未來數字孿生應用趨勢之一。此外,還需結合大數據管理、空間數據管理等手段,推進作物數字資源的整合。同時,政府和科研機構大力發展云計算服務平臺,實現高效數據處理,促進作物數據的協同與應用開發服務共享,為作物算法模型優化與模擬提供數據支撐。
作物數字孿生系統以作物的生長度日為步長預測作物的生長發育過程,能夠模擬水分限制、光溫潛在、養分限制等條件下的作物生長狀況。然而,作物生長發育的影響因子變幻莫測,因此需要深化與GIS、RS等技術的耦合機制,更好地實現模型的準確預測能力。同時,研究極端天氣對作物生長發育與產量品質形成的影響程度,提升模型在極端天氣情況下的模擬能力,也是未來關注的重點之一。由于全球氣候變暖對作物產量帶來極大的威脅,有效地耦合作物生長模型與氣候預測模型及更好地評估氣候對作物生產力的影響并制定應對措施已經成為當前研究的熱點。同時,將集成開發多模型于一體的數字孿生決策系統,取多模型模擬結果的中值或均值,減少模型參數與模型結構帶來的不確定性。當前作物經濟的發展與社會經濟、文化、觀念等息息相關,不僅是系統間模型耦合,還包括農田場景模擬、事件預測等。將社會因素融入系統中,發展面向社會的作物生長系統化,將會是未來作物孿生系統發展的重大趨勢。
隨著當前人工智能的興起,深度學習算法得到快速發展。尤其是圖像處理、三維重建等方面,深度學習技術減輕了傳統提取特征方法的負擔。其中在獲取作物器官圖像數據方面,YOLO、SSD等深度學習的目標檢測網絡可檢測器官,并結合U-Net與Mask-RCNN等分割模型實現器官圖像分割處理,以此采集作物器官圖像;在作物形態和器官重建方法方面,根據不同的三維表達方式選擇重建網絡,以適用于不同的農業場景,如3D-R2N2網絡[59]實現作物體素的重建,用PGSN網絡[60]實現作物點云三維重建,采用Pixel2Mesh網絡[61]實現單視圖的作物器官與形態的三維網格重建,Mvsnet網絡[62]基于多視圖實現三維重建。
深度學習除了用于作物圖像處理和三維重建外,還可應用于數字孿生系統中實現產量預測、土壤環境監測等功能。Madec等[63]提出Tassel Net模型估計麥穗密度,以此估算小麥產量;You等[64]以整個區域作物的像素直方圖,通過融合CNN與LSTM網網絡,并以圖像序列的方式訓練學習,以此預測大豆產量。土壤監測方面,Song等[65]結合MCA與DBN,DBN-MCA模型可有效預測玉米田中土壤濕度的時空分布狀況。
此外,隨著VR、MR等交互技術的興起,用戶能夠直觀地監測農作物的實時生長發育及環境響應狀況,通過孿生體模擬和預測作物長勢、產量,從而調整作物管理措施。人工智能技術與數字孿生的融合不僅提升了作物數字孿生系統的數字化和智能化程度,同時還能夠幫助用戶更深入地了解農田作物的生長過程。
當今是基于知識與大數據的時代,智能技術的發展和普及(如大數據、物聯網、云計算、人工智能及智能控制等)吸引了眾多使用智能化系統的用戶。孿生系統需要通過虛擬增強技術和虛擬化平臺,更好地還原實體作物的生長環境和實時數據同步,以及為用戶提供可設置的虛擬農田環境變量,虛擬不同的田間場景,同時通過模型輕量化處理技術和可視化展示平臺,實現器官、個體、群體甚至田間場景的3D仿真和可視化應用,并將設備的數據、圖表信息等融入其中進行完整展示,讓用戶輕松模擬使用場景和作業動態,使得用戶可以在PC端、手機端隨時隨地監測作物生長情況,從而實現多方協同操作,有助于用戶間破除溝通障礙和信息堵塞,輕松實現協同化發展的目標。
數字信息化技術的發展與虛擬現實技術為作物生長孿生提供了發展空間。數字孿生模擬技術將會在未來成為作物生長監測與栽培育種應用的核心技術之一,使作物生長、田間栽培管理變得更加智能化、精確化、目標化、動態化。因此,本文以“生理機制解析-重構形態機理-模擬算法構建-生產力動態預測-效應定量評估”為主線,概括了作物數字孿生模型的主要過程,同時分析系統中所用的關鍵技術,加強作物生長模擬的機理性和實用性,將其有機結合,實現作物生長監測。此外,作物數字孿生系統還提供數字化研究的基礎平臺,可代替部分現實環境中難以試驗的部分。用戶可通過虛擬化的作物生長、虛擬化的田間場景、虛擬化的管理策略等了解和學習作物生長監測的各個方面。系統能夠與外界的實際場景實時同步,有利于呈現出田間多樣化的虛擬場景,通過孿生系統實時監測田間作物生長狀況,分析和預測農田可能發生的事件,如孿生系統預測作物在特定生長階段病蟲害發生概率,及時進行有效的防護;孿生系統檢測作物單位時間間隔內的水分含量,有利于調整田間作物的灌溉措施。此外,還可有效解決傳統田間試驗受作物生長狀態的束縛性較強的問題,以及錯開作物生長時期和開發周期延長、成本增加等問題,針對不同農田氣象環境的虛擬仿真試驗,有助于加強作物對環境因素的對策和對作物生產影響的認知。結合作物栽培學和數字孿生技術真實地展示田間作物生長狀態,并有效解決農田病蟲害管理、作物生長發育、以及針對孿生作物狀況做出相應決策等問題。同時,孿生系統能夠根據自定義的作物管理方式,根據資金、市場預估進行實際場景的經營規劃,在運營中,孿生作物與實際作物不斷進行互動。對于經營者而言,如同配備了不同專業背景的專家,在知識自動化的時代,實現更好的經營策略和作物管理方式。