移動AR技術教學機器人實驗輔助應用研究

汪永生 李 巖 劉 明

（銅陵學院，安徽 銅陵 244000）

一、引文

近幾年來，越來越多高校興建了機器人實驗室，開設了機器人相關實踐課程，對機器人技術發展和人才培養發揮著重要作用[1-3]。機器人實驗相對于其他工科類實驗要復雜，操作流程與步驟較繁瑣，實驗難度大。教學機器人[4]是一種適合高校學生的具有開放式特征的實訓實驗平臺，其作用主要以展示機械結構、運動特征和功能關系為主，特點是將機器人的開放性、易用性、教育性和趣味性與一體。就教學機器人實驗常規操作方式而言，學生在實驗過程遇到困難和問題時，通常會暫停進行中的實驗，去對照查閱實驗指導書或實驗操作手冊等輔助資料，不能實時解決問題和困難，這樣很難把所有的注意力都集中在實驗上，導致實驗效率低下，降低了實驗興趣。針對此種情況，本文對增強現實（Augmented Reality,AR）等相關技術進行了深入分析與研究，并提出了基于移動AR技術教學機器人實驗輔助系統框架，通過設計和開發移動AR技術教學機器人實驗輔助系統，對教學機器人實驗提供實時輔助，減少實驗操作錯誤，降低實驗難度，增強實驗興趣，提高實驗效率。

AR技術在機器人領域的應用國內外有著諸多的研究。Koji Ohmori，Kunio Sakamoto[5]研發了基于 AR技術自動移動機器人系統，通過標識器和遠程指示控制，給定一個目標位置，機器人能自動準確地移動到該目標位置。Fang H C，Ong S K[6-7]等人針對機器人任務規劃問題，將AR技術應用于末端執行器，并由其指引機器人進行路徑規劃取向，通過交互界面，用戶能夠直觀地評價機器人軌跡規劃過程?劉國現,于蓮芝等人[8]設計實現一種用于空間遙操作的增強現實系統模型,實現虛擬模型與現場信息在同一窗口中顯示,從而方便操作者的觀察與操作，解決了虛擬現實預測技術的不足,提高了遙操作系統的可靠性。周明珠,陳一民等人在文獻[9]中提出了基于增強現實多視圖視頻融合方法,構建多視圖控制系統能有效地提高疊加顯示仿真機器人的穩定性，很大程度上提高了操作的正確率。李國梁在其博士論文中[10]對機器人在增強現實環境中的操控策略進行研究,實現預測仿真圖像和真實圖像疊加顯示,達到移動機器人環境感知信息重構以及實時跟蹤的目的,實現用戶對遠程端移動機器人遠程操控目標。李實,劉波等人[11]將AR技術應用于帶電作業機器人系統，利用雙目立體攝像機和激光雷達獲取精確數據信息標注在顯示器上，操作平臺上的機器臂通過遙操作方式完成帶電作業，操作效率得到了提升，使用體驗顯著改善。對比傳統的機器人操控模式，以上國內外研究大多數在不同程度上改善和提升了機器人操控性能，也給本文研究提供了良好的借鑒。

二、移動增強現實系統

AR技術是利用計算機系統產生的虛擬信息實時融合到真實場景中，以實現增強真實環境，加強用戶對真實世界的感知，真正實現技術以人為本，而不是人去適應機器[12-13]。跟蹤注冊、虛實融合和實時交互是AR技術三個重要的基本特征。

將AR技術移植于移動終端設備的技術稱之為移動AR技術[14]。當前以智能手機、平板電腦等為代表的移動終端設備，在硬件性能和軟件功能上逐漸與臺式機相差甚微，從而為增強現實系統在移動終端設備上的實現提供了一個全新的運行平臺。

圖1 移動增強現實系統

一個完整的移動增強現實系統包含六大模塊構成，分別是視頻采集模塊、特征識別模塊、模型數據庫、三維注冊模塊、模型渲染模塊、顯示交互模塊[15]，如圖1所示。視頻采集模塊主要由移動設備攝像頭捕獲真實場景的圖像或視頻信息。特征識別模塊對采集的圖像或視頻信息中的目標進行識別，并計算待注冊目標的初始位置。待注冊目標的虛擬模型和特征存儲在模型數據庫，以便三維注冊和模型渲染時調用。三維注冊模塊功能主要是實時跟蹤目標對象，在目標正確的位置進行虛擬信息注冊。交互模塊主要用來處理用戶與真實環境實時互動信息，并實時給出相應的反饋結果。模型渲染模塊對待增強信息進行渲染，最大程度上實現虛實完美融合。顯示交互模塊通過視覺方式為用戶和系統之間構建一座橋梁，用戶可以通過觸摸、身體姿態、語言等多種方式實現對系統的交互操作。

三、移動AR技術教學機器人實驗輔助系統

（一）系統框架設計與功能

結合AR技術在機器人方面的應用研究，本文將AR技術應用到教學機器人實驗，提出了基于移動AR技術教學機器人實驗輔助系統框架 （以下簡稱“移動AR輔助系統”）。移動AR輔助系統主要功能有視頻圖像捕獲、目標物體識別與跟蹤、虛擬輔助信息創建和存儲型、虛擬信息三維注冊、視頻虛實融合顯示和交互操作、系統原理框架結構如圖2所示。

圖2 系統原理框架結構

系統基本工作流程是：通過視頻圖像捕獲功能從真實的機器人實驗場景中獲取視頻圖像，并對視頻圖像進行目標識別與跟蹤，從而實時獲取目標在視頻圖像中的精確位置。后臺數據庫中存儲著目標特征、3D模型、操作手冊、輔助信息等，通過目標識別和跟蹤的結果確定所需的信息，再調用數據庫中相關信息。根據目標跟蹤而得到的位置實時進行虛擬模型和輔助信息三維注冊，疊加到真實實驗場景中。最后進行虛擬模型和信息虛實融合的視頻渲染，顯示增強用戶視覺感官，并能進行實驗操作人機交互。

（二）系統開發流程

系統開發主要流程有目標對象三維建模、AR系統開發工具平臺、機器人特征提取等。

1.目標對象三維建模

通過三維建模工具或軟件創建機器人實驗目標對象三維模型，以便在三維注冊時系統調用虛擬模型疊加到真實場景中。目前三維物體建模方法主要有三維軟件建模、儀器設備測量建模、圖像或者視頻來建模等三種，而通過三維軟件建模是比較流行的一種。

2.AR系統開發工具平臺

目前，AR SDK（Software Development Kit，軟件開發工具包）開發工具平臺眾多，國外比較著名的開發工 具 平 臺 有 Apple ARKit、PTC Vuforia、ARToolKit等，而國內近幾年也涌現了一批像百度AR、EasyAR等非常優秀AR SDK開發工具平臺。對比而言，國外AR SDK開發工具技術更加成熟，功能穩定完備。其中，Unity與Vuforia組合是一個相當不錯的AR系統開發工具平臺。

本系統開發環境基于Windows7、Unity2017.3個人版、Vuforia7 SDK。Unity3D主要以圖形化開發環境方式跨平臺綜合型游戲開發工具，可以讓用戶非常容易地創建三維動畫、目標可視化等互動內容。Vuforia是目前世界上主流的AR SDK，主要由Vuforia引擎、Vuforia系列工具和云識別服務三個部分組成，支持多種AR識別類型，如Image Targets、VuMark、Multi-Targets、Object Recognization等。 Unity3D 作為一款功能強大的游戲引擎，對3D模型導入導出和控制極其方便，加上Vuforia強大的AR識別功能，是一款非常適合AR開發工具組合。Unity2017以及更高版本已經集成了Vuforia SDK插件，更容易進行AR軟件系統開發，并能將系統應用發布至Android、iOS、Mac等移動平臺。

觀察組與對照組術后6個月的血清TNF‐α值均顯著低于術前（P＜0.05）；且觀察組顯著低于對照組（P＜0.05）。見表4。

3.機器人特征提取

機器人實驗操作目標對象為三維物體，其特征提取有別于二維圖形圖像，需要對其進行三維特征提取，形成目標對象特征文件存儲到機器人特征數據庫中。安卓機器人是目前高校一種較為常見的教學機器人，搭載了安卓操作系統，具有較為逼真的人形外觀，在程序控制下能模仿人類各種動作等。以下以安卓機器人為目標對象，對其進行三維特征提取。實驗硬件為華為G9青春版，型號HUAWEI VNSAL00，系統為Android 6.0，三維特征提取軟件為Vuforia Object Scanner。 啟動 Vuforia Object Scanner，對安卓機器人進行三維掃描，盡可能讓綠色區域覆蓋機器人，從而提取到更多的特征點，最終形成目標對象特征文件。由于安卓機器人具有人形特征，形狀較為對稱，角點和邊緣點不多，特征不明顯。為了提取更多的特征點，增強識別效果，故對安卓機器人身體顯著部位貼上標識物，以便獲取更多的特征點。

表1 安卓機器人特征點提取數據

從表1可以看出，當給安卓機器人貼上標識物后，提取的特征點顯著增多，形成的特征數據庫文件也較無標識物情況下要大。提取的特征點數量多少對機器人的識別效果會產生很大影響，下面就對安卓機器人在無標識物和有標識物兩種情況下，對其進行三維識別測試。

在無標識物情況下，分別對安卓機器人正面、背面和側面進行了測試。圖3（b）所示，在機器人右下腳處出現綠色長方體，則表示機器人能正常識別，而圖3（c）、（d）均未出現綠色長方體，則表示未能識別機器人。

圖3 無標識物安卓機器人特征點提取與識別效果

對貼有標識物安卓機器人正面、背面和側面分別進行測試，測試結果在機器人右下腳處均出現了綠色長方體，表示安卓機器人能正常被識別，如圖4（b）、（c）、（d）所示。

圖4 有標識物安卓機器特征點提取與識別效果

四、實驗結果與分析

（一）系統應用實驗

本次實驗選用智能手機作為移動終端測試設備，安裝移動AR教學機器人實驗輔助系統，以安卓機器人實驗為實例，進行移動AR教學機器人實驗輔助系統測試。安卓機器人實驗項目主要有安卓機器人藍牙通訊實驗、基本控制實驗、多線程實驗、傳感器實驗和自主避障實驗等，實驗涉及到機器人程序編程、控制與通訊，實驗難度和復雜度比較大。移動AR輔助系統具體操作流程如圖5所示。

圖5 移動AR輔助系統操作流程

在手機上啟動移動AR教學機器人輔助系統，通過手機攝像頭系統開始對安卓機器人進行掃描，直至識別出目標對象，同時相關信息也融合到真實實驗場景之中，如圖6（a）所示。點擊其中一個實驗項目按鈕，進入安卓機器人實驗輔助界面，內有“實驗準備”、“實驗內容”、“實驗步驟”、“參考文檔”、“實驗APP”等功能按鈕，如圖6（b）所示。通過這些功能，實驗操作者可以十分輕松地學習和掌握該項實驗的內容、方法、步驟和操作。利用疊加在實驗場景中增強現實虛擬模型信息，可進行諸如機器人“前進”、“轉頭”等人機交互操作，如圖 6（c）、（d）所示。

圖6 AR輔助實驗場景

（二）系統性能評價

為了度量傳統方法和移動AR輔助系統的性能差異，在與機器人相關專業學生中隨機抽取40人，分2組每組20人進行測試，一組使用傳統方法（輔助工具是紙質實驗指導書），另一組使用移動AR輔助系統進行教學機器人實驗對比，給出滿意度（Satisfaction Degree,SD）、易用度（Usability Degree,UD）和興趣度（Interest Degree,ID）主觀評價[16]。主觀評價分數由李克特量表(Likert Scale)確定[17]，即5級態度“很滿意、滿意、一般、不滿意、很不滿意”，分別對應賦予“5，4，3，2，1”的分值，如表 2 所示。

表2 主觀評價分數確定原則

用離散系數(Coefficient of Variation,CV)考察評價數據的波動范圍，確保參與評價數據有效性和代表性。離散系數是測度數據離散程度的相對指標，在一定程度上可反映變量之間的離散程度，其定義為標準差與平均值之比：

2.評價結果與分析

表3 兩種方法主觀評價平均分數據對比

從表3數據分析得出，在滿意度、易用度和興趣度3個指標上，AR輔助系統主觀評價平均分值均遠高于傳統方法。易用度指標上說明了移動AR輔助系統降低了實驗難度，提升了實驗效率。興趣度指標則說明了移動AR輔助系統使實驗增添了新穎性，更能激發學生的興趣。滿意度指標方面，是學生對移動AR輔助系統的主觀認可。

傳統方法和移動AR輔助系統SD、UD和ID的主觀評價分的均值和離散系數對比如圖7所示，圖中橫坐標對應主觀評價指標，主觀評價分的均值（藍色星號標記）和CV值（橙色星號標記）由縱坐標顯示。可以看出，兩種方法的3個指標CV值都較小，說明評價數據波動范圍小，平均指標的代表性較好，可以作為衡量移動AR輔助系統的評價依據。移動AR輔助系統SD、UD離散系數值都比傳統方法小，則表明了參與測試學生對移動AR輔助系統的滿意度和易用度評價較為一致。在對實驗興趣度評價數據方面，兩種方法的CV值相同，體現了參評學生對兩種方法帶來實驗興趣度的評價數據波動程度一致。

圖7 主觀評價指標平均值和離散系數

設計的主觀評價實驗方法雖然會受到諸如參評學生數量、參評學生專業知識水平和教學機器人實驗項目樣本量等因素限制，可能對實驗結果產生一定影響，但對改進與優化移動AR教學機器人實驗輔助系統設計具有較高的參考價值。相對于傳統方法，移動AR輔助系統的滿意度、易用度和興趣度指標穩定性好，可用于系統性能評價。

五、結束語

本文通過研究AR技術在機器人領域的應用，提出了基于移動AR技術教學機器人實驗輔助系統，設計開發了移動AR輔助系統并將其應用于教學機器人實驗，利用虛擬信息與實驗真實場景緊密融合，直觀形象地對每一步的實驗進行輔助操作。采用分組實驗對比評價方法對系統進行主觀評價，數據對比結果顯示，移動AR輔助系統要優于傳統方法，并能提升實驗效率。由于本系統中目標識別借助了第三方識別工具，在目標機器人無標識物的情況下，識別效果一般。研究和改進以機器人自然特征的識別算法，提高識別準確率和成功率，將是今后重點研究目標與方向。