基于增強現實的線纜裝配引導系統研究

羅志勇 范志鵬 帥 昊

(重慶郵電大學自動化學院 重慶 400065)

0 引 言

近年來隨著主動測距傳感技術的發展，線纜作為能量傳遞和信號傳輸的介質，應用于航空航天、雷達、衛星等各類復雜機電產品中，線纜裝配周期長和出錯概率大等特點直接影響了產品總裝的裝配效率[1]。據國內航天研究院對航空航天產品質量問題的統計，在航空航天產品所有的故障中，線纜故障所占比例為20%[2]。近年來，隨著科學技術的高速發展，在航空航天線纜裝配過程中應用增強現實裝配輔助系統[3-5]，很大程度上為解決固定式工藝看板系統帶來的缺陷，提供了一個新途徑。采用AR線纜裝配引導技術，主要通過將計算機生成的線纜裝配引導虛擬信息，如：采用文本注釋和三維模型等形式，幫助線纜裝配操作人員更直觀地理解，線纜裝配過程虛擬引導信息和真實場景中的各種裝配關系，從而可以根據可視化、簡便的方式，簡化操作人員對工藝規程的研讀，提高工藝操作精度，以及節省線纜裝配的時間與成本[6]。在國外，波音公司于20世紀90年代初提出“增強現實”技術的概念[7]，采用AR技術實現了AR布線輔助系統。該系統主要是運用視頻透視式顯示器，實時提供虛擬裝配引導信息，如接線柱安裝位置和布線路徑引導信息，可以高效地完成布線作業。Pang和Nee等[8-9]采用基于立體視覺的AR技術，開發了應用于裝配設計和評價的增強現實系統，該系統將CAD環境中的虛擬零件對象和相對應的真實零件進行融合和裝配引導。該系統主要是運用碰撞檢測機制，對裝配過程進行仿真，更好地完成對零件的精確定位。德國的Fraunhofer實驗室對ARVIKA項目[10]和ARTESAS項目[11]進行了研究，更好地輔助操作人員在對產品進行裝配過程中，實時顯示輔助信息，從而使產品的裝配過程更加高效。在國內，劉佳順等[12]針對目前復雜機電產品中存在的布線效率低、故障率高、線纜裝配返工率高等問題，將線纜的各類信息建立模型，該信息模型主要應用于線纜自動布局設計與裝配規劃，但是在實際布線中未考慮對高溫、易燃和電磁等兼容性要求。王發麟等[13]針對傳統的線纜模擬裝配方法存在的裝配成本高和質量低等問題，提出一種線纜虛實融合的裝配方法，為線纜裝配的研究提供一種新的思路，但未對該方案設計進行實驗驗證。藍珊等[14]對人工裝配過程增強現實輔助技術進行了研究，主要采用多媒體的方式，將裝配工藝引導信息疊加到裝配現場，以及采用了AR技術給用戶提供了可視化的虛實融合視頻，以提升裝配效率。但是該增強裝配系統的輸入方式是手動輸入，如鼠標點擊，在實際的裝配過程中該輸入方式會降低裝配效率。

通過以上分析可以看出，國外較早開展了基于AR的產品布線技術的研究與應用，并取得了一定的成果。國內對增強現實技術應用于機械產品AR輔助裝配引導方面的研究仍處于起步階段，大部分主要對AR關鍵技術方面進行了探索和研究，而對于AR的實際應用的研究，還沒有成熟的商業化產品。因此，本文提出了基于增強現實的線纜裝配引導系統研究，根據可視化、簡便的方式，簡化操作人員對工藝規程的研讀，提高工藝操作精度的同時節省時間和成本。

1 系統總體框架

在基于AR的線纜裝配引導系統總體框架中主要包括線纜裝配工藝信息模型構建、工藝信息結構化表示、云服務、結構化工藝信息解析、線纜裝配體識別與跟蹤注冊方法、虛實融合顯示、AR設備人工裝配過程輔助、輸入模塊等8個部分，其工作流程如圖1所示。

圖1 基于AR的線纜裝配引導系統總體

1.1 線纜裝配工藝信息模型構建

線纜裝配引導工藝包含信息眾多，主要使用Dassault 3D Experience系統中的過程信息、產品信息和資源信息的信息組織形式，建立面向線纜裝配引導的工藝信息模型。根據不同信息源構建完整的線纜裝配引導工藝信息模型，其構建過程如圖2所示。從CAD系統中獲取線纜裝配體的幾何實體信息、位置姿態信息、層次結構信息和約束信息等。從裝配規劃與仿真系統數據庫中獲取裝配路徑信息、裝配序列信息、資源信息和作業動作信息，然后將上述信息填充到線纜裝配引導工藝信息模型中。從該產品設計和仿真文檔中獲取產品的管理信息等，豐富線纜裝配引導工藝信息模型。

圖2 線纜裝配引導工藝信息模型構建方法

1.2 工藝信息結構化表示

線纜裝配引導工藝信息中各工序間的工藝信息并不是簡單的堆砌，而是相互耦合的。為了表達出線纜裝配引導工藝間抽象的語義關系，將基于本體理論，構建線纜裝配引導工藝應用本體，運用XML對線纜裝配工藝本體進行結構化表示。

1.3 云服務與結構化工藝信息解析

該系統采用基于云服務的信息傳遞方式，只需將結構化的工藝信息和三維線纜裝配體的幾何模型上傳到云服務平臺，然后通過解析結構化的工藝信息，針對當前工序，動態加載幾何引導模型，從而實現線纜裝配體的人工裝配過程引導。根據線纜裝配規劃系統，將線纜裝配規劃的結果存入裝配XML文件中，以及將線纜裝配體的裝配引導信息進行存儲。該模塊主要對存儲在XML文件中的信息進行解析。

1.4 線纜裝配體識別與跟蹤注冊方法

通過相機對真實場景圖像進行采集，并對獲取到的場景圖像進行預處理以及提取圖像的特征?；贚INE-MOD模板匹配的方法，對處于復雜環境下的線纜裝配體進行識別，并獲得相機的粗略位姿。將該粗略位姿作為基于邊緣模型的線纜裝配體跟蹤注冊的初始化位姿，根據基于邊緣模型的跟蹤注冊方法可確定虛擬模型與現實線纜裝配體的位姿關系，計算出虛擬模型在現實線纜裝配體的位姿后，可實現虛擬模型與現實線纜裝配體的融合。

1.5 輸入模塊

基于AR的線纜裝配引導系統的輸入模塊主要包括條碼識讀、語音輸入和手動輸入。條碼識讀的主要用途是在設計線纜裝配體模型時，每根線纜的接頭與線纜裝配體的每個線孔都是一一對應的。通過解析可獲得線纜裝配的接線表。根據該接線表的信息，可制作條碼貼在相應的實物線纜上。在實際線纜裝配時，可通過條碼識讀對每根線纜進行掃碼，從而確定每根線纜接頭處于線纜裝配體哪個孔的位置。語音輸入旨在為了實現線纜裝配操作人員在裝配過程中方便地實現對裝配工藝信息瀏覽、查詢等交互操作，在用戶進行線纜裝配過程中使用語音輸入，實現語音對文本文件的關聯與轉換，指導用戶方便快捷地完成相應的裝配操作任務。手動輸入主要作用是當線纜上的條碼發生破損或者模糊看不清，裝配環境噪聲較大造成語音識別不準確等情況下即可使用手動輸入。

2 系統算法思想及工作流程

系統算法思想及工作流程示意圖如圖3所示。首先需要在離線階段時，將線纜裝配體模型處于CAD環境中進行離線訓練，并在多視角下獲取該模型的圖像以作為參考圖像，同時記錄相機的采集位置和姿態。然后將該參考圖像進行特征提取，如梯度方向描述符特征，并將所提取到的特征存儲到XML文件中。在在線階段時，提取在實際場景中線纜裝配體實時的圖像，并對每一幀圖像進行處理，如進行圖像預處理以及圖像梯度方向描述符提取，通過LINE-MOD模板匹配方法將在線提取的圖像梯度方向描述符與離線階段提取的梯度方向描述符進行匹配，旨在將處在雜亂背景圖像中的線纜裝配體識別出來，同時可獲取與當前輸入圖像最相似的關鍵幀和關鍵幀對應的相機位姿。

圖3 系統算法思想及工作流程示意圖

將關鍵幀對應的相機位姿作為基于邊緣的線纜裝配體跟蹤注冊的初始化位姿，通過該初始化位姿可將線纜裝配體的3D模型進行渲染，計算出該模型的模型投影圖像。獲取模型投影圖像之后，需要識別對象的可見邊緣并且沿著這些邊緣以規則間隔的方式來分配采樣點。對于模型上每一采樣點，需要沿著該采樣點搜索對應的圖像邊緣點。建立模型邊緣點和圖像邊緣點之間的對應關系后，可根據對應關系迭代求解運動位姿。根據計算出的運動位姿可計算其投影矩陣，并進行位姿優化。如果滿足迭代終止條件，則輸出位姿參數；否則，繼續位姿更新對模型進行投影。

2.1 基于LINE-MOD模板匹配的線纜裝配體識別方法

LINE-MOD模板匹配的方法主要以二進制方式的圖像梯度方向作為模板匹配的特征。易滿足系統實時性的要求，同時對輸入圖像的旋轉偏差或者微小移動具有魯棒性。

為了將在線與離線階段所提取到的圖像梯度方向進行匹配，采用式(1)完成對在線與離線階段所提取到的圖像梯度方向的相似性進行度量：

(1)

式中：ε表示目標物體與目標物體離線訓練模板之間的相似性；T=(O,p)表示目標物體的模板；ori(O,r)表示在參考圖像O位置r點處的梯度方向的弧度；ori(I,t)表示輸入圖像I位置t點處的梯度方向的弧度；p表示位置r的列表。

采用LINE-MOD模板匹配的方法將目標物體經過離線訓練，以獲取目標物體的模板，并將該目標物體模板的滑動窗口在輸入圖像上進行滑動，并對目標物體表面輪廓與離線階段訓練的模板圖像所對應的梯度方向進行相似性統計。

2.2 跟蹤注冊初始化

線纜裝配體跟蹤注冊初始化流程圖如圖4所示。首先需要在離線階段時，將線纜裝配體模型處于CAD環境中進行離線訓練，并在多視角下獲取該模型的圖像以作為參考圖像，同時記錄相機的采集位置和姿態。然后將該參考圖像進行特征提取，如梯度方向描述符特征，并將所提取到的特征存儲到XML文件中。在在線階段，提取在實際場景中線纜裝配體實時的圖像，并對每一幀圖像進行處理，如進行圖像預處理以及圖像梯度方向描述符提取，通過LINE-MOD模板匹配方法將在線與離線階段提取的梯度方向描述符進行匹配，同時可獲取與當前輸入圖像最相似的關鍵幀和關鍵幀對應的相機位姿，如相機采集位姿i。將該關鍵幀對應的相機位姿作為線纜裝配體跟蹤注冊初始化的位姿，旨在為基于邊緣模型的線纜裝配體跟蹤注冊方法的開展，提供了首幀圖像的線纜裝配體位姿初始化，避免了裝配坐標系初始化需要人為干預。

圖4 線纜裝配體跟蹤注冊初始化流程

2.3 基于邊緣模型的線纜裝配體跟蹤注冊方法

基于邊緣模型的線纜裝配體跟蹤注冊方法，其基本思想是：根據首幀圖像的線纜裝配體初始化位姿對模型進行投影，通過搜索圖像中的線纜裝配體邊緣建立線纜裝配體模型邊緣點和圖像的線纜裝配體邊緣點之間的對應關系，可根據模型邊緣點和圖像邊緣點的對應關系進行迭代求解出運動位姿，使得更新后的位姿所投影的線纜裝配體模型逐漸與圖像中的線纜裝配體的邊緣靠近，以達到最終重合。

采用法向距離迭代最小二乘(Normal Distance Iterative Least Squares，ND-ILS)位姿估計方法，當獲取到較多的采樣點及其法向距離時，目標物體的位姿改正量M′就可以通過最小二乘方法得到，式(2)為法向距離迭代最小二乘位姿估計方法的計算公式:

(2)

2.4 位姿優化

基于邊緣模型的線纜裝配體跟蹤注冊方法易受復雜背景的干擾，從而導致模型邊緣點和圖像邊緣點相對應的誤匹配。針對該問題，提出了一種位姿優化的方法，主要將位姿優化問題轉換成模型邊緣點和圖像邊緣點匹配的問題，以求解出最優位姿參數。

已知目標物體的3D模型和相機的初始位姿ζi，通過初始位姿將3D模型投影到圖像平面，并沿著投影邊緣進行控制點采樣，以獲取采樣點的像素點集合。根據反投影圖像平面中采樣點的像素點到3D模型表面，可計算出采樣點集C中每個采樣點在物體坐標系中的坐標。將每個模型邊緣上的采樣點xi∈C，其與圖像邊緣點的匹配誤差可視為到最近圖像邊緣點的距離，如式(3)所示。

(3)

由式(3)可以得出，整個采樣點集C與圖像邊緣的匹配誤差可視為一個目標能量函數：

(4)

假設給定相機的初始位姿ζi，可以通過L-M(Levenberg-Marquardt)優化算法迭代最小化式(4)求解得到相機的最優位姿ζ0：

(5)

3 原型系統開發與實現

3.1 原型系統軟硬件環境

原型系統的硬件配置為華為電腦，采用的處理器為Intel? CoreTMm5，主頻為3.1 GHz的CPU，8 GB的內存， HD Graphics 515的顯卡等。實驗配置為軟件系統采用Windows 10平臺，使用Visual Studio 2013進行相應的編程開發，采用“Unity3D”進行動畫演示，進行線纜裝配引導信息建模時，所采用的是3D Studio Max。

3.2 原型系統體系結構

該系統體系結構如圖5所示。應用層主要是原型系統界面，在進行實時線纜裝配操作時，可以直接根據原型系統界面的菜單進行操作。核心算法層主要是封裝了系統中的各功能模塊，并為應用層提供調用接口。其所封裝的算法主要包括：LINE-MOD模板匹配算法、跟蹤注冊初始化、ND-ILS位姿估計算法和位姿優化算法等。數據層主要是為核心算法層提供數據支持。

圖5 系統體系結構圖

3.3 算法執行效果分析

線纜裝配體位姿估計實物仿真實驗如圖6所示，該實物仿真實驗是在含有噪聲和復雜背景的環境下進行的，旨在驗證所提出的算法具有良好的魯棒性。分別采用LINE-MOD模板匹配算法、跟蹤注冊初始化、ND-ILS位姿估計算法和位姿優化算法進行實驗分析，將目標對象模型按照該位姿估計值投影到圖像中，通過觀察投影與圖像中目標對象的重合度，以考察算法的性能。初始化位姿效果圖如圖6(a)所示。在初始化位姿的基礎上，分別迭代50次，從圖6(b)中不難看出，在復雜背景下，采用ND-ILS算法時，由于干擾邊緣太多，投影模型與圖像中的目標對象重合度較差。在ND-ILS算法的基礎上進行位姿優化，從圖6(c)中可以看出線纜裝配體3D模型與圖像中的線纜裝配體具有很好的重合度，從而可以表明在進行位姿優化后可獲得很好的位姿估計結果。

(a) 初始化位姿

(b) ND-ILS位姿估計結果

(c) 位姿優化結果圖6 線纜裝配體位姿估計實物仿真實驗

3.4 原型系統應用實例

將本文提出的算法在該原型系統中進行實例驗證，并給出部分應用實例圖。注冊界面見圖7(a)，該界面顯示的引導信息為請保證相機視野內存在線纜裝配體，待虛擬模型穩定時，點擊注冊按鈕。當虛擬模型出現時，可通過右上角的提示箭頭調整虛擬模型與線纜裝配體融合的位置關系，旨在使得相機的位姿更精確。點擊注冊按鈕完成注冊后，會進入線纜信息輸入界面，見圖7(b)，該界面主要顯示重新輸入、確定、重新注冊、返回等按鈕。其中該系統輸入的方式主要分為掃描輸入、語音識別輸入、手動輸入。本文應用驗證實例中使用語音識別輸入，例如語音輸A8X1_A8，會進入線纜裝配引導信息顯示界面，見圖7(c)，操作人員可根據線纜裝配引導信息完成線纜裝配操作。圖7(d)所示為線纜裝配引導信息第一次顯示完成。繼續進行語音輸入線纜信息，后續線纜裝配過程依次進行完成。

(a) 注冊

(b) 線纜信息語音輸入

(c) 線纜裝配引導信息第一次顯示

(d) 線纜裝配第一次操作完成圖7 基于AR的線纜裝配引導原型系統應用實例

4 結 語

本文研究了基于AR的線纜裝配引導原型系統，主要包括三個方面，分別為對基于AR的線纜裝配引導系統總體框架進行詳細論述；對該系統算法思想與工作流程進行研究；開發了基于AR的線纜裝配引導原型系統，并通過應用實例驗證了該原型系統對線纜裝配的支持。