基于ArUco標志的農機翻地移動增強現實系統設計

袁志浩 劉桂陽 陳國太

摘要：針對傳統農機翻地作業季節時令性強且不易觀察的問題，以水稻本田作業農機為研究對象，設計了一種基于ArUco標志碼的農機翻地移動增強現實仿真系統。通過對手機視頻流進行自適應閾值處理、輪廓查找以及比特位比對等操作，識別空間中的ArUco標志;使用張正友標定法對手機相機鏡頭進行標定，通過ArUco標志的角點對手機相機進行位姿估計并通過坐標空間轉換實現AR的定位與追蹤。利用3DS Max設計本田作業農機具三維虛擬模型，對模型主體作業部分進行拆分，重新定向各部分的模型軸心。結合Unity 3D引擎對農機翻地作業過程進行仿真設計，并移植到手機移動端。通過手機移動端掃描地板上的ArUco標志，便可以在真實物理空間中還原水稻本田農機翻地作業環境，實現對虛擬農機翻地過程的仿真模擬與交互控制。在谷歌Pixcel XL手機上對仿真系統進行真機測試，結果表明：系統在手機移動端運行幀率穩定在46 fps以上，且AR識別速度快、準確率高，為其他農業仿真應用提供了新的技術參考。

關鍵詞：ArUco標志;移動增強現實;農機翻地模擬;三維建模;農業仿真

中圖分類號：TP391 文獻標志碼： A

文章編號：1002-1302（2021）08-0189-07

收稿日期：2021-03-04

基金項目：黑龍江省農墾總局科技攻關項目（編號：HNK125B-04-06）;全國大學生創新創業比賽項目（編號：201810223015）。

作者簡介：袁志浩（1995—），男，山東聊城人，碩士研究生，研究方向為增強現實技術與計算機視覺。E-mail：499920072@qq.com。

水稻本田的農機翻地作業過程一直都是水稻智慧旅游的重點。由于農機作業過程受到季節時令等問題的影響，在實際旅游時難以隨時隨地對其進行參觀，因此農機翻地作業的可視化仿真一直是亟待解決的問題。傳統水稻本田農機的作業過程是通過虛擬現實技術進行模擬仿真的，這種方式只是在個人計算機（PC）端建立農機作業的虛擬仿真程序，跟真實世界沒有任何聯系，系統交互性差，沉浸感不強，難以在水稻田旅游業中推廣應用。

目前增強現實（augmented reality，AR）的表現形式有很多種，比如張力新等利用微軟Hololens AR眼鏡進行腦-機接口研究[1]，李乾等通過局部不變性進行無標志增強現實方法的研究[2]，郭曉敏等使用正的溫度系數（positive temperature coefficient，PTC）的Vuforia增強現實引擎進行AR導覽系統的研究[3]，此外還有市場上流行的ARkit與ARcore等增強現實開發組件。上述AR開發工具雖然可以實現對圖像、平面進行AR識別與定位，但對于特征點較少的地板很難進行穩定的識別與定位。因此，筆者提出一種基于ArUco標志的移動增強現實技術（mobile argument reality，MAR）[4-6]仿真方案。該方案通過放置在地板上ArUco標志碼即可實現AR的識別與定位，在真實空間中生成虛擬仿真環境，使用手機移動端就可以對虛擬仿真環境進行全方位觀察與交互。該方案不僅解決了原有AR開發組件對光滑地板難以識別定位的問題，通過ArUco標志碼還能夠穩定地生成翻地作業三維AR仿真環境，解決了季節時令性強而導致的難以觀察的問題，為水稻旅游業的可視化仿真提供新的解決方案。

1 系統整體方案設計

水稻本田作業農機翻地仿真系統主要包括基于ArUco標志碼的AR系統的搭建和在Unity 3D引擎中設計農機翻地的虛擬作業環境。這2個部分的功能設計如圖1所示。

1.1 系統仿真效果

通過使用手機移動端掃描地板上放置的ArUco標志碼，系統會在該地板區域生成1塊固定大小的虛擬水稻田以及與翻地作業相關的農機具模型。用戶可以通過手機對翻地作業以及農機的行進和轉向等過程進行360°的AR觀察與交互，如同在真實水稻田中進行參觀，從而帶來更強的體驗感。圖2為手機端農機翻地作業的仿真效果。

1.2 ArUco的識別與定位設計

ArUco是一種二進制平方黑白標志碼，結果如圖3所示。其最外側黑色邊框幫助檢索算法可以在復雜的檢測背景中快速找到待識別的標志碼，內部不規則排列的黑白區域構成二維矩陣，用于確定每個檢測碼的唯一身份標志，并固定自身4個外圍角點的排列順序。ArUco檢測庫現已集成到OpenCV開源計算機視覺處理庫中，被廣泛用于增強現實、機器人導航等領域。

1.2.1 自適應閾值處理 閾值處理是指將灰度圖像中小于閾值的像素點全部設置為0，大于閾值的像素點設置為255，實現從灰度圖到二值圖像的轉換，降低圖像處理的復雜度，提高計算效率。自適應閾值處理是圖像二值化的一種常用方式，它屬于局部閾值處理的范疇，常被用于光照強度分布不均的圖像二值化操作。即光照強度較高的部分閾值較大，光照強度較低的部分閾值較小[7]。

自適應閾值的重點在于局部閾值的確定，常用的方式有：計算某領域的像素平均值，計算某領域的像素中值，計算某領域的像素高斯加權平均值等。筆者采用計算某領域的像素點高斯加權平均值作為局部閾值（即通過高斯內核與二階高斯分布函數進行卷積），對視頻圖像進行閾值處理。二階高斯分布函數為：

G（x，y）=12∏σ2e-x2+y22σ2（1）

式（1）中σ決定了高斯分布函數的寬度。

取3×3的高斯內核與二階高斯分布函數相卷積，得出每個像素鄰域的最佳局部閾值，完成自適應閾值處理，處理結果如圖4所示。

1.2.2 ArUco識別 ArUco標志碼的檢測需要預先指定標志碼字典的規格，不同規格字典的選擇會導致不同的檢測結果。如“DICT_4×4_50”表示從視頻流中檢測內部二維矩陣為4×4，唯一身份id取值為[0，50），左閉右開區間內共50類ArUco檢測碼。通過對閾值處理后的源圖像進行輪廓查找，找到圖像中類似ArUco標志的方形輪廓，通過對輪廓中的ArUco標志按照預設字典的規模進行比特位提取，確定檢測對象的唯一身份id（圖5）。若id存在于當前字典中，則該ArUco標志碼識別成功。圖6為不同規格字典中ArUco標志碼的檢測結果。

將地形點高度圖抽象成如圖12-b所示的地形點網格，使像素點與網格頂點一一對應。若地形面積較大或程序運行卡頓，應減少網格頂點的數量，以保證程序運行流暢。

數據地形使用二維數組對網格頂點進行存儲，設Terrain[m，n]為儲存地形點網格的二維數組，其中m、n分別為地形點網格x、z軸方向網格點數量。由于網格頂點與像素點是一一對應的，所以Terrain[m，n]數組的索引值用來表示高度圖中對應

的像素點。地形點的高度值由高度圖中像素點的灰度值表示，Terrain[m，n]數組中每個索引值對應的數組元素尚未存儲任何數值，因此可以用來存儲對應像素點的灰度值。

通過數組索引定位到高度圖中對應像素點的具體位置，該像素點的灰度值再通過數組索引存儲到二維數組中，完成二維地形點數組與高度圖映射。通過動態改變數組中存儲的索引值進而改變地形點高度值，實現地形動態起伏效果。

2.2.2 翻地仿真 稻田秋翻地是指牽引農機牽引翻地犁進行翻地作業的過程，結果如圖13所示。

秋翻的實際翻地區域為圖13中陰影翻地區域的總和，但實際利用二維數組設置地形點高度時設置二維數組中所有的數據，對未進行翻地的空白區域也同樣進行地形點高度設置，從而導致仿真結果偏差。因此，需要去除二維數組中左上三角區地形點數據。其具體方法如圖14所示。

最后根據牽引農機的行進速度，逐幀改變每個翻地齒對應的數據地形中的地形點高度，完成整個稻田秋翻地仿真模擬過程。最終的仿真效果如圖15所示。

2.2.3 農機機械運動狀態模擬 牽引農機的機械運動主要包括行進與轉向2個狀態， 其中農機的轉向控制是設計的重點與難點。牽引農機轉向原理如圖16所示。

水稻本田作業的牽引農機是前輪轉向方式，由前輪轉向機動車的轉向約束[15-16]可求得牽引農機兩轉向輪之間的差速方程：

n2n1=2L+B（sin β）2L-B（sin β）。（7）

其中：n1為內側轉向輪的轉速;n2為外側轉向輪的轉速。由公式（7）可以求得牽引農機轉向時前轉向輪的轉速關系，根據轉速關系設計農機轉向時轉向輪的轉動速度，實現差速轉動。

牽引農機的行進狀態比較單一，4個行進輪的轉速由輪胎半徑與行進速度決定。其轉速表達式為：

n=V作2πr輪。（8）

式中：n為行進輪的轉速;V作為農機作業時的行進速度;r輪為輪胎的半徑。通過公式（8）可以得出牽引農機行進時每個輪胎的轉速。

3 討論與結論

打開手機移動端的農機翻地仿真APP，掃描放置在地板上的ArUco標志，掃描成功會在手機屏幕中加載農機翻地仿真環境，筆者對農機的AR觀察、農機的行進與轉型控制以及農機翻地等過程分別進行移動端的性能測試與分析，分析結果如圖17所示。

圖17-a為農機的AR觀察與農機行進與轉型控制操作時中央處理器（CPU）的性能開銷示意，可以看出此時CPU消耗較小，系統主循環僅為 8.15 ms，幀率穩定在60 fps以上。由于翻地模擬需要動態更改地形點的高度，系統主循環耗時為 22.18 ms，耗時明顯增加，此時系統幀率為46 fps，運行流暢，滿足農業仿真的需求（圖17-b）。翻地結果測試表明，用于AR仿真的虛擬地形尺寸不宜過大，在不影響仿真效果的前提下，應盡量降低地形系統的解析度。

筆者通過移動增強現實技術實現水稻本田作業農機翻地作業的模擬設計，解決傳統水稻本田作業季節時令性強、農機作業過程不易觀察等問題。通過手機移動端掃描ArUco標志碼，就可以在真實物理空間中生成水稻本田農機翻地作業虛擬環境，解決了傳統VR仿真程序沉浸感不足的問題。隨著智能穿戴設備的發展，未來可將該模擬系統移植到AR智能眼鏡設備中，擺脫移動設備的束縛，進一步提高系統的仿真效果。

參考文獻：

[1]張力新，張裕坤，柯余峰，等. 基于Hololens的增強現實腦-機接口研究[J]. 中國生物醫學工程學報，2019，38（1）：54-61.

[2]李 乾，高尚兵，潘志庚，等. 基于無標記識別的增強現實方法研究[J]. 系統仿真學報，2018，30（7）：2608-2614.

[3]郭曉敏，申閆春. 基于Unity/Vuforia的AR導覽系統研究[J]. 計算機仿真，2019，36（8）：165-169.

[4]宋燕燕，曹效業，周 靈. 移動增強現實技術在互動展示中的應用研究[J]. 計算機技術與發展，2016，26（9）：83-86.

[5]孫 源，陳 靖. 智能手機的移動增強現實技術研究[J]. 計算機科學，2012，39（S1）：493-498.

[6]李 丹，程耕國. 基于Android平臺的移動增強現實的應用與研究[J]. 計算機應用與軟件，2015，32（1）：16-19，23.

[7]程淑紅，尚果超. 基于視覺的答題卡自動判分系統設計[J]. 計量學報，2018，39（6）：804-810.

[8]夏仁波，劉偉軍，趙吉賓，等. 基于圓形標志點的全自動相機標定方法[J]. 儀器儀表學報，2009，30（2）：368-373.

[9]Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[10]王世安，王向軍，陰 雷. 基于擴展正交迭代的快速加權的相機位姿估計[J]. 紅外技術，2020，42（3）：205-212.

[11]閻曉東，張永生. 基于3DS MAX環境的3維場景重建工具[J]. 測繪學院學報，2002，19（2）：109-112.

[12]許捍衛，房曉亮，任家勇，等. 基于SketchUp的城市三維建模技術[J]. 測繪科學，2011，36（1）：213-214.

[13]蔣充劍，韓海良，翟永翠. 基于Unity 3D的推土機模擬訓練平臺設計[J]. 中國工程機械學報，2017，15（6）：517-521.

[14]黃敏兒，杜志強，朱 慶，等. 利用像素高度圖的三維建筑物屋頂和立面提取方法[J]. 武漢大學學報（信息科學版），2014，39（10）：1221-1224.

[15]瞿濟偉，郭康權，宋樹杰，等. 農用柔性底盤偏置軸轉向機構聯動耦合控制策略及試驗[J]. 農業工程學報，2019，35（23）：55-65.

[16]賈 全，張小超，苑嚴偉，等. 拖拉機自動駕駛系統上線軌跡規劃方法[J]. 農業機械學報，2018，49（4）：36-44.