增強現實輔助維修技術研究進展

趙守偉，馬東璽，張 勇，馬颯颯，于 明

(1.河北工業大學信息工程學院，天津 300401；2.軍械技術研究所，河北 石家莊 050000)

增強現實(augmented reality, AR)借助計算機圖形圖像與數據交互技術，將虛擬信息實時映射到真實場景中，兩種信息相互補充，增加了人類感知真實場景的信息量與理解程度。將AR技術應用于復雜裝備維修，可在一定程度上解決新型復雜裝備維修人員少、技術資料海量等問題，提高維修效率。本文結合國外典型AR原型系統，介紹了AR技術在復雜裝備維修中的研究進展，分析了AR技術在復雜裝備維修中應用的可行性，并對關鍵技術進行了研究。

1 常用術語

(1) AR又稱混合現實(mixed reality, MR)，是將計算機生成的虛擬物體、場景或系統提示信息疊加到真實場景中，實現對現實的增強[1]。

(2) 顯示設備(display device)。由顯示器件和相關電路組成，能提供符合視覺感受因素的視覺信息。根據所用顯示器件的不同，分為屏幕顯示設備(monitor-based display, MBD)、頭盔顯示器(head-mounted display, HMD)、吊桿式雙目顯示設備(binocular omni orientation monitor, BOOM)和頭戴式投影顯示設備(head-mounted projective display,HMPD)。MBD有采用平板顯示器和投影儀的實現方案。如Xin等[2]開發了基于平板電腦的草圖繪制工具用于AR系統交互式3D設計，Hakkarainen等[3]研究了手機AR輔助裝配誘導系統的可能性，Mistry和Maes[4]提出的“第六感項目”則采用投影儀作為顯示設備實現空間增強現實(spatial AR, SAR)，另外也有將便攜式投影設備用于AR輔助肝臟手術中[5]。MBD用于增強場景圖片顯示實現簡單，但屏幕分辨率低，減少了用戶的場景沉浸感。HMD較好地解決這一問題，根據實現原理，HMD可分為光學透射式 HMD(optical see-through HMD,OST-HMD)和視頻透射式HMD(video see-through HMD, VST-HMD)。OST-HMD視場(FOV)不必太大，用戶可同時看到外部世界的真實物體與虛擬場景，但要求二者位置精確對準，長時間配戴不易眩暈；VST-HMD為了獲得足夠的場景沉浸感，要求顯示視場較大，用戶也只能看到計算機產生的圖像，長時間佩戴易產生精神上的不適，但對跟蹤要求較低。BOOM的顯示器由吊桿支撐，可提供用戶高分辨率的影像，但BOOM是一種單用戶虛擬環境，并不能解決屏幕過近對眼睛造成的不舒適感。HMPD由一個微型投影鏡頭、頭戴式顯示屏幕和一個雙目反射屏幕組成，由于體積重量大，應用范圍較窄。

(3) 人-機交互(human-computer interaction,HCI)。是指人與計算機之間使用某種對話語言，以一定的交互方式，為完成確定任務的人與計算機之間的信息交換過程[1]。在許多AR應用中，大多采用了手勢[6]和運動控制[7-8]等交互策略。Ong和Wang[9]提出的裝配輔助系統是一個典型的支持3D裸手的自然交互系統，可以理解用戶雙手表達的裝配意圖。ARCADE是一個可以用手直接操作全息3D對象的項目[10]。微軟研究院的Kinêtre則是一個基于Kinect的應用，它允許用戶隨意掃描一個對象，生成可跟隨模仿人體運動的3D模型[11]。人-機交互技術是衡量AR系統性能優劣的重要指標之一，以OpenNI為代表的自然接口開源軟件包為快速開發自然人機交互程序提供了基礎平臺，而利用ARToolKit、FLARToolKit、SLARToolKit、ARTag等開源代碼使用計算機圖像技術計算攝像機和標記物之間的相對位置，提供的快速和準確的標記跟蹤，能夠加快AR系統開發速度。

(4) 跟蹤注冊(tracking and registration)。是指將虛擬信息正確的呈現在真實場景的特定位置上所采用的技術和設備[1]。目前可分為基于傳感器的三維注冊技術、基于視覺的三維注冊技術和混合注冊技術。較為通用的跟蹤設備包括慣性、磁、聲傳感器、GPS以及射頻設備等。GPS和射頻設備常作為室外跟蹤手段，特別適合于大動態范圍下的場景跟蹤，如Hammad等[12]提出了一種基于GPS的分布式AR方法DARCC用于建筑任務的可視化協作，Shahi等[13]利用超寬帶雷達技術用于可視化建筑過程中的人員定位。基于視覺的三維注冊技術利用圖像進行空間位置信息提取，易于實現，定位精度高，可實現大視場范圍內多目標跟蹤，特別適用于與HMD結合使用，但基于視覺的三維注冊技術跟蹤算法較復雜，系統實時性較差，易受外界環境光照影響，對基準點的提取也會產生誤差，從而影響跟蹤精度；混合注冊技術綜合了上述兩種方法的技術優勢，具有廣闊的應用前景。

(5) 力反饋(force feedback)。利用機械表現出的反作用力，將數據通過力反饋設備表現出來，從而使用戶身臨其境的體驗各種效果。如Valentini[14]將可穿戴式數據手套用于AR系統虛擬裝配過程中的人機交互，Chen等[15]則將觸覺設備用于虛擬機器人的路徑規劃。

2 典型AR輔助維修原型系統

2.1 ARPPSM(2013年)

2013年阿爾及利亞先進技術發展中心的Benbelkacem等[16]，針對偏遠地區光伏太陽能系統水泵維修問題，開發了基于增強現實技術的光伏水泵維修系統(augmented reality for photovoltaic pumping systems maintenance, ARPPSM)。ARPPSM原型系統的硬件為一臺配有攝像頭的掌上電腦。圖1是ARPPSM原理框圖。

由圖1可知，ARPPSM的跟蹤模塊用于實時計算攝像機和標識物之間的位置和角度信息，描述模塊在跟蹤模塊的引導下將基于Direct X技術生成的3D虛擬對象及相關維修信息準確地覆蓋在標識物上，從而實現增強現實維修誘導信息的顯示。考慮到ARtoolkit注冊技術采用的是一種靜態閾值，在光照發生變化時難于保證注冊的穩定性，ARPPSM采用了一種改進型的i-ARtoolkit注冊技術，以消除野外環境條件下光照變化、背景不均勻性和攝像機標定誤差帶來的影響，其核心思想是采用Otsu算法，對輸入視頻流的每一幀灰度圖像的直方圖進行分析，將直方圖分成兩個部分，使得兩部分之間的距離最大，從而獲得自適應閾值，然后利用獲得的自適應閾值進行圖像二值化，通過探測二值圖像中的標識物，計算攝像機位姿并獲得變換矩陣參數，最后，將3D虛擬對象及維修信息疊加在標識物之上。

圖1 ARPPSM原理框圖

標識物尺寸大小也是影響注冊精度與穩定性的重要因素，Samir Benbelkacem采用統計實驗的方法，如圖2所示，通過設定不同的觀測距離(x)和旋轉角度(Ω)，確定注冊效果最佳的標識物尺寸(d)。實驗中分別選取d=20 mm，30 mm，40 mm，60 mm，80 mm，100 mm；Ω從5°~90°，并以15°作為最小間隔；x從250 mm到3000 mm，并以250 mm作為最小間隔。實驗結果顯示：對于ARPPSM原型系統，采用80~100 mm之間的標識物尺寸能夠保證80%以上的識別準確度，并可有效保證注冊精度與穩定性。

圖2 以觀測距離和旋轉角度確定標識物尺寸的實驗方法

實驗結論：ARPPSM原型系統適用于光伏水泵的輔助維修，可節省維修時間，提高維修人員專業技能和執行維修任務的積極性，在一定程度上還可減少事故發生的風險。ARPPSM原型系統未來還需完善兩個方面：一是采用多標識物替代單標識物提高識別精度；二是進一步優化人-機交互手段。

2.2 ACARS(2012年)

2012年新加坡國立大學綜合科學與工程研究生學院的Zhu等[17]針對傳統意義上的AR輔助維修系統和維修環境關聯性差這一問題，開發了可編程環境感知增強現實系統(authorable context-aware augmented reality system, ACARS)。ACARS原型系統不是單純的被動的“只讀”系統，操作人員也不是單純的信息接收者，ACARS將虛擬維修信息的內容與操作人員的專業水平和實際場景中的維修狀態結合起來，允許操作人員根據實際維修場景對ACARS維修內容進行修改(這些維修內容由設計者提供)，以達到進一步提高維修效率的目的。ACARS由5個模塊組成，分別是場景管理(context management, CM)模塊、增強現實可視化(augmented reality visualization, ARV)模塊、數據庫、離線編寫(offline authoring, OFA)模塊和在線編寫(on-site authoring, ONA)模塊。圖3是ACARS原理框圖。

ACARS的硬件包括了用于“虛實結合”顯示的Wrap 920型HMD、用于采集場景信息的網絡攝像機和一臺用于數據存儲和圖形圖像處理的便攜式計算機。圖3中，ACARS的OFA模塊提供桌面級的人機交互維修界面，設計者在離線狀態下利用OFA模塊創建與維修活動相關的信息和基于維修場景的維修內容。ONA模塊利用OFA產生的數據和信息進行在線的人機交互，同時也提供操作人員在線狀態下的移動式可編程用戶操作界面。數據庫存儲相關的信息內容、靜態過濾規則和各種多媒體信息，如CAD模型和各種圖形圖像等。CM模塊用于載入用戶輸入和傳感器讀入的數據，同時驅動高層次的場景感知信息并提供給ARV模塊。

ACARS提出的可編程場景感知主要依靠面向維修任務的場景實體建模(context ontology for maintenance service, COMS)實現。COMS包括了類、次類和屬性等概念。其中類定義為裝備、設備、位置、人員和活動5個方面，分別代表完成一個完整的維修活動所需的各種資源，如“裝備類”中的指示器指維修對象的顯示儀表，通過讀取相關數據可進行故障檢測和開展預防性維修，“位置類”中的屬性則包括溫濕度、空氣壓力等。次類分為修復性維修和預防性維修兩個方面，代表故障發生的不同類型，其中“條件”還可分為頻度和范圍兩個方面，分別表示維修間隔期和數據超差范圍。圖4是COMS關系圖。

實驗結論：ACARS原型系統基于COMS概念，明確了維修活動開展的時機、維修活動開展的方法，規范了操作人員做什么、如何做、在什么地方做等一系列問題。表1是參與實驗的操作人員對ACARS原型系統性能的主觀評價，其中滿意度最高為5分，最低為1分。可見相對于紙質手冊、傳統AR輔助維修系統，ACARS原型系統表現出了良好的輔助維修能力。

圖3 ACARS原理框圖

圖4 COMS關系框圖

表1 主觀評價平均分值比較

2.3 ARMAR(2011年)

美空軍于2007年聯合空軍研究實驗室、人力效能理事會、戰斗人員準備研究部、后勤準備分部、懷特-帕特森空軍基地和哥倫比亞大學，啟動了維修保障增強現實(augmented reality for maintenance and repair, ARMAR)研究計劃[18]。該計劃的目的是探索和評估增強現實系統在裝備維修保障中的效能和可行性。圖5是ARMAR原型系統設計框圖。

圖5 ARMAR原型系統設計框圖

圖5中，有灰色背景的文本框為外部模型或應用程序界面，虛框文本框代表未來發展研究計劃。ARMAR采用模塊化設計，可在不改變整個維修流程或系統框架前提下，通過修改相應的維修模塊，完成維修流程更新和升級。ARMAR中的維修流程控制器具備虛擬維修、增強現實維修和實體維修等功能，內置的維修任務流程集成了包含全部維修輔助活動所需的信息和邏輯控制。通過監視用戶的維修步驟，包括當前狀態下的維修信息、模型、圖像、聲音、視頻等，適情提供與之對應的維修信息。在人-機交互界面中，用戶可以選擇需要進行的維修活動。對象跟蹤控制器用于跟蹤操作人員和維修對象。運動跟蹤軟件包括部件跟蹤和手勢跟蹤兩部分。部件跟蹤用于跟蹤工具、移除或重置修理單元。手勢跟蹤用于跟蹤用戶的手勢狀態，由一臺獨立的攝像機完成手勢跟蹤的數據處理。

ARMAR采用的人機交互技術是一種面向用戶操作的機會控制(opportunistic controls, OC)策略[19]，即操作人員自然觸摸維修場景中的被維修對象時，利用標識物識別、手勢匹配和手勢分析技術，得到被維修對象的虛擬觸摸區域，手指通過調整虛擬按鈕可得到實時的數據反饋，增加了操作人員的沉浸感。如圖6，在對變換器一個六角形螺母進行拆解的過程中，首先以螺母作為圖像識別及手勢識別的基準點，將虛擬信息菜單按鈕布置在遠離螺母區域的遮光柵格處；然后將手指移動至被維修對象處，激活維修菜單；當虛擬維修菜單出現后，手指在需要進行的維修項目列表中選擇相應的維修活動；當操作人員進行維修活動時，系統載入到第一個步驟并隱藏菜單；操作人員完成該項目的維修活動后可再次將手指移動至被維修對象處，激活維修菜單并進行下一步驟的維修工作。

圖6 ARMAR原型系統人-機交互技術

實驗結論：ARMAR原型系統采用的VSTHMD視場角為34°，其中用于實現雙目立體視覺的攝像機的圖像分辨率為800×600，具備30 f/s的處理速度。雖然存在觸摸感不夠逼真等問題，但ARMAR提出的OC策略一方面可消除“虛實結合”場景中冗余信息對操作人員的影響，另一方面可和虛擬信息進行交互反饋，提高了場景沉浸感[20]。和基于基線比較技術(baseline comparison, BL)的人-機交互策略相比，OC策略主觀評價的直觀度、滿意度和舒適度分別為4.67、3.87和4.00，而BL策略則只有3.97、3.40和3.43。

3 面向輔助維修的增強現實關鍵技術

3.1 維修對象數字建模與數據規范技術

增強現實維修誘導信息來自裝備的維修手冊、器材目錄和設計部門已有的樣機數據等，這些數據來源不同，類型多樣，如構建虛擬信息的三維造型文件就包括了Solidworks、Pro/E、CATIA、CAXA等，為正確理解和應用這些信息，必須要研究符合維修誘導系統要求的數據描述和存儲關系，開展裝備數字建模及文件格式轉換、維修過程建模及維修誘導信息檢索等方面的研究。為保證裝備模型能正確并快速地理解和應用，可將不同的三維造型文件轉換為增強現實維修誘導系統可利用的信息模型。另外，基于裝備已有的IETM手冊或其他維修信息，對維修過程建模進行研究，可將裝備維修手冊轉化為知識規則并構造規則庫，由規則庫和案例信息庫共同構成專家系統知識庫。在維修過程中，首先對裝備故障進行分析處理，通過基于規則推理，在規則范圍內查找，進行維修決策并將決策結果反饋給用戶；如在基于規則的推理中出現了難于決策的損傷狀況，可利用基于案例的推理尋找匹配的典型案例，利用相似案例作為輔助維修決策依據。

3.2 以用戶為核心的人機交互技術

AR系統的可用性并不僅僅體現在它的健壯性，還在于它與用戶的交互能力，AR系統發展方向應盡量采用手勢或人類行為的直接交互方式，而不是采用間接輸入設備，實現以用戶為核心的人機交互。與AR系統的交互一方面包括了虛擬提示信息的翻頁、選擇、拉伸、縮放，還包括手與被識別對象的碰撞等研究。目前，很多AR系統為提高識別率采用佩戴顏色標記或數據手套等輔助手段對手部動作進行識別，這種方法直接影響維修過程中人手的操作，不適用于裝備維修應用，因此，必須研究基于裸手動作識別實現維修狀態的感知和與AR系統的交互。裸手識別是一個復雜的模式識別問題，涉及指尖、腕部等不同部位的動作識別。單攝像頭識別方法通常用于通信型手勢交互，而以雙目立體視覺提取手部的三維特征對手部進行識別，可添加維修場景深度信息，同時也能部分解決遮擋問題。

3.3 無標識物的跟蹤注冊技術

標識物具有特定的幾何或光譜特征，易于在視頻流中被識別，如ARMAR系統就采用了基準標識物和傳感器相結合的混合跟蹤方法，另外采用ARToolKit、FLARToolKit、SLARToolKit、ARTag等開源平臺為支撐開發AR應用系統，可充分利用其封裝好的復雜標識物圖像處理和數字符號處理方法，快速實現虛實場景的注冊跟蹤。但基于標識物的注冊跟蹤技術在使用上存在局限性，因為標識物必須提前在真實場景中放置并記錄其與對象的對應關系，視角范圍內必須全程可見，某些場合無法放置或不允許放置，而基于自然特征的注冊跟蹤則大大擴展了AR的應用范圍。可利用傳感器輸出觀察者頭部三自由度姿態參數，計算觀察者視覺觀察方向，利用攝像機獲取真實場景信息并利用機器視覺提取場景特征，將傳感器與視覺跟蹤獲取的特征信息進行融合與濾波處理，進而得到攝像機姿態信息估計，然后調整虛擬攝像機空間坐標使之與攝像機獲取的真實場景的空間坐標相一致，最后把與觀察者視線方向一致的虛實結合的圖像輸出給顯示設備，實現增強現實效果。

3.4 AR系統評價技術

如何評價AR系統的性能優劣也是增強現實技術研究領域的重要組成部分。如ARMAR和ACARS原型系統都采用了直觀度、滿意度和舒適度作為衡量AR系統性能優劣的客觀評價指標。但AR評價方法目前尚不完善。在樣本選擇方面，應盡可能的考慮修復性維修、預防性維修等故障模式與故障排除的難易程度，體現評價過程的典型代表性；在參試人員選擇方面，人數不易過少，且最好能在年齡、職業、受教育程度上保持相對一致性，甚至還可能要求參試者性別有適當比例；在評價方法上，可采用比較測量方法，即待評價AR原型系統和傳統維修方法進行類比，且兩組評價實驗間隔一段時間，以消除參試者形成記憶殘留；在評價指標構建方面，除了直觀度、滿意度和舒適度外，還可增加故障排除時間、故障難易程度權重等評價指標。

4 結論

隨著計算機硬件性能的逐步提升和機器視覺技術的快速發展，滿足實時性要求，支持裸手交互策略與無標識物跟蹤注冊的AR系統成為可能，將增強現實技術用于復雜裝備輔助維修，應重點開展以下3個方面的研究：一是增強現實維修輔助系統是一個擁有龐大后端數據庫的系統，包括3D模型庫、特征描述庫、維修手冊、專家知識庫等，這些數據庫涉及到裝備及部組件的識別、維修誘導信息的產生及知識推理，這些數據庫之間存在耦合關系并且與維修狀態緊密關聯，對系統的實時性要求高，因此高效合理的數據庫架構和維修業務建模方法是實現面向復雜裝備維修的前提和基礎；二是增強現實維修輔助系統對機器視覺技術的依賴程度高，系統不但需要識別裝備及部組件的維修狀態，還要對人-機交互進行實時處理，并完成實時的注冊跟蹤計算，因此高性能的圖像處理算法和硬件的協調配合是實現高速、高精度增強現實輔助維修系統的重要手段；三是增強現實輔助維修系統人機交互的設計及表現形式需結合實際應用需求，確保人-機交互的自然性，避免各種維修場景對“虛實結合”維修活動產生影響。

[1]Nee A Y C, Ong S K, Chryssolouris G, Mourtzis D.Augmented reality applications in design and manufacturing [J].CIRP Annals-Manufacturing Technology, 2012, 61(2): 657-679.

[2]Xin Min, Sharlin E, Sousa M C.Napkin sketch:handheld mixed reality 3D sketching [C]//Proceedings of 15th ACM Symposium on Virtual Reality Software and Technology, 2008: 223-226.

[3]Hakkarainen M, Woodward C, Billinghurst M.Augmented assembly using a mobile phone [C]//Mixed and Augmented Reality, 2008.ISMAR 2008.7th IEEE/ACM International Symposium on, 2008: 167-168.

[4]Mistry P, Maes P.SixthSense: a wearable gestural interface [C]//Proceeding of ACM SIGGRAPH ASIA 2009 Sketches, 2009: 11.

[5]Gavaghan K A, Peterhans M, Oliveira-Santos T, Weber S.A portable image overlay projection device for computer-aided open liver surgery [J].IEEE Transactions on Biomedical Engineering, 2011, 58(6):1855-1864.

[6]White S, Lister L, Feiner S.Visual hints for tangible gestures in augmented reality [C]//Proceeding of the 2007 6th IEEE/ACM International Symposium on Mixed and Augmented Reality, 2007: 1-4.

[7]Tonn C, Petzold F, Donath D.Put on your glasses and press right mouse button AR-based user interaction using laser pointer tracking [C]//Proceeding of the 26th Conference on Education in Computer Aided Architectural Design in Europe, 2008: 201-208.

[8]Juang J R, Huang Weihan, Kang Shichung.Kinesthetic and stereoscopic vision for crane training systems [C]//Proceedings of 11th International Conference on Construction Applications of Virtual Reality (CONVR)Conference, 2011: 516-527.

[9]Ong S K, Wang Z B.Augmented assembly technologies based on 3D bare-hand interaction [J].CIRP Annals-Manufacturing Technology, 2011, 60(1): 1-4.

[10]Stein M.ARCADE: a system for augmenting Gesture-Based computer graphic presentations [C]//Proceeding of ACM SIGGRAPH 2012 Computer Animation Festival, 2012: 77-77.

[11]Chen Jiawen, Izadi S, Fitzgibbon A.Kinêtre: animating the world with the human body [C]//Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology.ACM, 2012: 435-444.

[12]Hammad A, Wang Hui, Mudur S P.Distributed augmented reality for visualizing collaborative construction tasks [J].Journal of Computing in Civil Engineering, 2009, 23(6): 418-427.

[13]Shahi A, Aryan A, West J S, Haas C T, Haas R C G.Deterioration of UWB positioning during construction [J].Automation in Construction, 2012, 24: 72-80.

[14]Valentini P P.Interactive virtual assembling in augmented reality [J].International Journal on Interactive Design and Manufacturing, 2009, 3(2):109-119.

[15]Chen C J, Ong S K, Nee A Y C, Zhou Y Q.Haptic-based interactive path planning for a virtual robot arm [J].International Journal on Interactive Design and Manufacturing, 2010, 4(2): 113-123.

[16]Benbelkacem S, Belhocine M, Bellarbi A, Zenati-Henda N, Tadjine M.Augmented reality for photovoltaic pumping systems maintenance tasks [J].Renewable Energy, 2013, 55: 428-437.

[17]Zhu J, Ong S K, Nee A Y C.An authorable context-aware augmented reality system to assist the maintenance technicians [J].The International Journal of Advanced Manufacturing Technology, 2013, 66(9-12):1699-1714.

[18]Henderson S J, Feiner S K.Augmented reality in the psychomotor phase of a procedural task [C]//Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium on, 2011: 191-200.

[19]Henderson S, Feiner S.Exploring the benefits of augmented reality documentation for maintenance and repair [J].Visualization and Computer Graphics, IEEE Transactions on, 2011, 17(10): 1355-1368.

[20]Henderson S, Feiner S.Opportunistic tangible user interfaces for augmented reality [J].Visualization and Computer Graphics, IEEE Transactions on, 2010, 16(1):4-16.