增強現實環境下的產品裝配引導技術

王峻峰， 徐 遲， 李世其

（華中科技大學機械科學與工程學院工業與制造系統工程系，湖北 武漢 430074）

增強現實環境下的產品裝配引導技術

王峻峰， 徐 遲， 李世其

（華中科技大學機械科學與工程學院工業與制造系統工程系，湖北 武漢 430074）

以增強現實環境下引導產品裝配為目標，建立了面向增強裝配過程的統一信息模型，管理文字、幾何和產品裝配特征等可視化引導信息。采用基于標志物的視覺跟蹤技術實現虛擬零件和視頻中真實零件的注冊定位，通過建立虛擬和真實裝配場景的深度圖處理增強裝配場景中虛實物體的遮擋關系。利用虛實零件的注冊位置把裝配引導信息疊加到裝配視頻場景中。并開發了演示系統，分析和說明了增強現實環境下引導產品進行裝配的過程。

計算機應用；增強現實；裝配引導；標志物注冊；信息疊加

現代機電產品具有系統組成復雜、技術復雜、制造過程復雜的特點。在進行實際生產裝配時，零件裝配規模大，蘊含大量復雜多樣、形式靈活的行業知識。另外，產品在研制、設計、生產、使用和保障工作中會產生許多技術信息數據，這是支持產品裝配、使用和維修保障的資源。但資料手冊繁多，管理和使用不便，大大降低了工作的效率。虛擬裝配技術[1]將人“沉浸”在計算機中去操作完全虛擬的產品模型，對開發前期的設計、裝配、驗證有重要作用，但對開發后期實際裝配過程的支持有限。增強現實技術 通過將計算機產生的圖形、文字注釋等虛擬信息有機的融合到使用者所看到的真實世界景象中，對人的視覺系統進行影像增強或擴張，達到支持人獲得豐富信息、輔助工作的目的。增強現實在產品裝配和維修方面的研究得到廣泛關注并有了成功的案例。

Pang等[3]借助增強現實技術研究集成產品裝配設計和規劃活動，將設計中的虛擬零件和已經存在的真實零件結合起來，融入增強裝配空間，對兩者進行比較、操作、修改，有效進行虛擬零件的裝配特征設計。增強現實環境下的裝配序列檢查和評價能夠協助裝配人員識別不可行的裝配序列，選擇最優的裝配序列[4-5]。90年代初期波音公司的電纜導線裝配是增強現實在工業裝配領域中的典型案例[6]。德國教育研究部資助的 ARVIKA項目主要針對飛機、汽車的裝配維修[7]。歐洲共同體發起的STARMATE項目的主要功能是幫助用戶完成復雜機械產品的組裝維修以及新用戶培訓[8]。芬蘭VTT技術研究中心增強裝配（Augmented Assembly）利用虛擬零件、虛擬裝配工具和增強裝配提示信息指導用戶實際裝配操作[9]。南京航空航天大學[10]以航空發動機外場典型維修工作為例，開發了一種以維修人員為中心的人性化、智能化的增強現實維修輔助系統。

實現增強現實環境下的裝配和維護，需要綜合利用計算機視覺、圖像分析、計算機輔助設計CAD和產品裝配等技術[11-12]。本文以產品裝配為對象，通過建立增強裝配的信息模型，對增強裝配引導信息進行統一管理；利用基于標志物的注冊方法進行虛實裝配零件定位，并對裝配引導信息進行疊加。

1 增強裝配信息建模

在增強現實環境下的裝配引導需要大量信息，如裝配步驟、裝配特征和裝配位置等。裝配操作的對象仍然是零件和裝配體，但零件包含虛擬和真實兩種。為有效引導用戶進行零件裝配，本文按照裝配引導信息的類別建立增強裝配信息模型，如圖1所示。

圖1 增強裝配信息分類

1.1 文字信息

文字信息是產品裝配過程中指導用戶裝配的重要媒介，包括各個零部件的名稱、代碼/號、裝配步驟說明、使用的裝配工具名稱等。傳統裝配過程中，用戶是通過裝配手冊來熟悉并掌握這些信息的。增強裝配過程中，這些信息需要實時顯示在用戶視野中，引導用戶進行正確的裝配工作。

1.2 幾何信息

對裝配位置的指示和真實、虛擬零件的外形進行增強需要幾何信息。增強裝配的虛實零件幾何模型都采用三角面片模型，對于虛實零件采用不同的渲染處理方式，因此兩種模型的組成元素不同。虛擬零件幾何模型包含點、邊、面、法向量、紋理5種信息。虛擬零件在現實中是不存在的，增強裝配系統將虛擬零件用計算機圖形學的方法繪制出來，并疊加到真實裝配場景圖像中。真實零件幾何模型只包含點、邊、面3種信息，用于線框模式的真實零件位置、幾何形狀信息的增強引導。

空間位姿信息記錄了零件相對于父節點坐標系的空間變換關系，由旋轉矩陣與平移矩陣組成。空間位姿矩陣是動態的，通過用戶操作板能實時改變零件的位姿矩陣；裝配路徑規劃系統能生成動態空間位姿信息，使零件沿預定路徑運動。

1.3 裝配特征信息

裝配特征是指有裝配關系的兩個零件的幾何特征，例如平面、柱面和軸線等，作為可視的裝配約束信息，用戶往往通過零件的裝配特征來判斷零件之間的裝配配合關系。用戶進行裝配操作過程中，系統將實時顯示這些裝配特征幫助用戶識別場景中的裝配約束，引導用戶將零件裝配到目標位置。本文主要考慮軸線和平面兩類裝配特征。

從裝配模型的構建層次角度來看，本文的增強裝配模型主要包括零件幾何模型、裝配約束模型和裝配層次模型。零件幾何模型由CAD軟件建模并輸出為增強裝配系統所需三角面片模型格式。裝配約束模型定義了零件間約束關系，通過約束關系得到裝配特征并確定零件在裝配體中的空間位姿矩陣。裝配層次模型以樹結構對裝配體中的虛實零件進行統一管理。

2 虛實裝配場景注冊定位

虛實裝配場景注冊定位是指通過計算機視覺系統實時檢測出攝像機的相對位置和方向，確定計算機產生的虛擬零件和增強信息在真實空間坐標中的映射位置，并把它們實時顯示在真實裝配視頻場景的正確位置中。

虛實注冊的實現依賴于攝像機坐標系、虛擬場景坐標系和真實場景坐標系以及2D成像平面坐標系的轉換，總體過程為3個方面[12]：首先計算真實場景到攝像機的坐標系變化，或者說是攝像機相對于真實場景的方位參數；然后結合攝像機內部參數（焦距和像元的高寬比等），根據攝像機針孔透視成像原理確定 3D 場景到 2D 成像平面的坐標系變換；最后確定虛擬物體在真實場景三維歐式空間里的位置和方向，完成虛擬零件到真實裝配場景圖像的坐標系變換。通過上述步驟，就可以得到各個坐標系之間的變換關系，實現虛擬零件在真實裝配視頻場景中的繪制和融合。

2.1 基于標志物的零件注冊

本文采用基于標志物的視覺跟蹤注冊方法，所使用的標志物長、寬分別為60mm，4個角點的坐標分別為(30，30，0)(-30，30，0)(-30，-30，0)(30，-30，0)，如圖2所示。系統從輸入的視頻中識別出二維的標志物，計算出相對于標志物的攝像頭位置、方向等外部參數信息。為了簡化場景的相對運動，以攝像頭坐標系為基準坐標系，當用戶對真實零件進行操作或移動攝像頭從不同角度觀察裝配場景時，裝配場景的變動可以統一為真實零件相對于攝像頭坐標系的運動。

圖2 標志物圖案

為實現標志物的識別，本文采用基于子圖像均值的統計式適應性閾值算法進行備選區域檢測；為提取可能的連接區域的邊緣，簡化邊緣曲線，使用 Douglas-Peucker算法曲線簡化算法。得到標志物備選區域后，要判斷這些區域是否是標志物在圖像坐標系中對應的成像區域，本文使用最小二乘法對四邊形的4條邊重新定位，并把4條邊的交點重新賦值給四邊形輪廓的 4個頂點。

裝配空間中真實零件（取裝配基礎件）與相應的標志物是固聯的，通過識別視頻中的標志物來確定當前真實零件的位置。虛擬零件與真實零件間具有一定的裝配約束關系，因此虛擬零件的空間位置可以通過真實零件的空間位置確定。設真實零件A與虛擬零件B之間存在裝配約束關系，則可以得到一個變換關系其中BAR表示A到B的旋轉矩陣，t表示平移矩陣。如果知道零件A在攝像頭坐標系中的空間位置CAT，則可通過變換矩陣ABT計算零件B的空間位置為：完成虛擬零件B的注冊定位工作。

2.2 虛實遮擋處理

在虛實融合的增強裝配場景中既包含虛擬零件也包含真實零件，傳統的虛實疊加方法中，虛擬零件影像總是疊加在真實零件影像之上，對圖像進行融合時會出現虛實遮擋問題。本文采用基于深度圖（即Z buffer）的疊加方法，通過提取真實零件與虛擬零件在攝像頭空間內的空間位置信息來判斷它們的前后疊加關系。

1） 虛擬裝配場景的深度圖

虛擬裝配場景的深度圖記錄了渲染區域內與可見的虛擬零件表面經柵格化后對應像素的深度值，該深度圖很容易從渲染引擎獲得。當渲染模塊對虛擬場景中零件進行繪制時，也同步生成了相應的虛擬場景深度圖。該深度圖記錄了虛擬場景中每個像素點對應的虛擬零件的表面到觀察點的距離。

2） 真實裝配場景的深度圖

真實裝配場景的深度圖記錄了攝像頭拍攝到的真實場景原始視頻中每個像素點相對觀察點的深度信息，該深度圖可通過多種方法獲得。針對裝配應用，事先可以獲取真實裝配場景中包含的零件幾何模型，因此本文選擇了基于真實零件幾何模型的深度圖獲取方法。該方法運算量小，實時性強，能精確反映真實場景深度值。

為獲得真實場景深度圖，首先將真實場景中的零件注冊到攝像頭成像坐標系中。系統從CAD接口提取真實零件相關幾何模型，通過旋轉平移變換到攝像頭坐標系中，然后透視投影變換到成像平面，使該模型表面面片的投影區域與攝像頭原始視頻中相應真實零件影像區域重合。渲染引擎對注冊后的真實零件幾何模型進行渲染，提取深度信息。對于模型表面上任一點Pm(xm, ym, zm)投影成像并柵格化后的像素點為Pn(U, V)，該模型表面點 Pm在攝像頭原始視頻中相應像素 P'n(U, V )，Pn與P'n是重合的。因此可以用真實零件幾何模型渲染場景的Z buffer中Pn點的深度值代替攝像頭原始視頻中對應像素 P'n的深度值，構造真實場景深度圖，作為增強場景虛實疊加的深度判別索引。

需要指出的是基于模型深度圖的方法并非完全重構了真實裝配場景。實際上大部分背景區域是處于默認疊加狀態的，系統僅為真實場景中關鍵零件建立深度索引。之所以不為真實場景背景區域建立深度索引，主要出于兩個原因：一方面，裝配場景的背景往往非常復雜，為其精確建模將消耗大量系統資源；另一方面，這一區域是背景區域，深度較大，不會與虛擬零件間發生遮擋關系。系統對無深度索引區域采取默認疊加處理方式：逐點處理該區域內真實場景與虛擬場景的每個像素，如果虛擬場景中相應像素被渲染，則虛擬場景覆蓋真實場景；如果虛擬場景相應像素未被渲染，則保持真實場景。基于深度圖的虛實疊加流程如圖3所示。

本文采用產品設計階段產生的CAD裝配模型作為提取深度圖的來源。即無論真實零件還是虛擬零件，都有對應的CAD模型，真實零件的CAD幾何模型與場景中的真實零件疊加并隨真實場景位置、方向的變化而變化。深度圖信息在增強裝配過程中隨著場景變化進行實時提取。深度圖方法的優點在于對于復雜的裝配場景，零件數量較多而渲染處理的時間基本保持不變，在處理過程中，渲染時間取決于融合視頻的分辨率。

圖3 基于深度圖的虛實疊加流程

3 裝配引導信息疊加

3.1 零件幾何模型疊加

虛擬零件幾何模型疊加需要虛擬零件三角面片模型和零件注冊信息，通過零件注冊信息將零件三角面片模型投影變換到二維的攝像頭成像平面中，使虛擬零件融合到真實場景中。

虛擬零件幾何模型疊加有線框和投影兩種風格。線框風格主要用于增強裝配中的目標位置指示，將虛擬零件的線框渲染結構疊加在零件待裝配位置，使用戶明白裝配步驟及零件安裝完成后的狀態。線框風格有很好的透視效果，為用戶提供虛擬零件增強顯示的同時不會遮擋真實場景中的其他重要信息。投影風格主要用于繪制虛擬裝配場景，通過對虛擬場景的注冊將虛擬物體疊加到真實場景中，得到虛實融合的裝配效果。

虛實融合的增強裝配場景中真實零件影像直接從攝像頭的視頻中獲得，不需要進行額外渲染繪制，但在增強裝配中有時需要對虛擬零件進行渲染達到增強效果。比如真實裝配環境復雜或者環境昏暗，使用真實零件疊加可以幫助裝配人員快速發現裝配目標。

真實零件幾何模型以線框風格疊加，不包含投影風格。真實零件幾何模型的線框渲染有很好的透視性，將零件的線框圖疊加到真實場景中，用戶在獲得攝像頭拍攝到的真實零件影像的同時還獲得了零件線框輪廓信息，增強了真實場景的信息量。如果使用投影風格則會因為遮擋了真實零件影像而干擾用戶對場景的感知，影響系統的使用安全。

3.2 文字信息疊加

在疊加過程中，文字信息被轉換為位圖，逐點覆蓋到虛實混合場景中。

文字信息在虛實疊加的混合三維場景中的位置是由與其相關的三維坐標點確定的，當零件位置發生變換，文字信息將跟隨零件同步運動。例如，文字信息“注冊真實零件Box”與Box零件的幾何模型某個棱邊中點MidPoint固聯。當零件運動時，MidPoint在三維世界坐標系中的位置(X, Y, Z)改變為(X', Y', Z' )，投影到圖像坐標系中二維坐標由(U, V)改變為(U', V' )。文字標簽的位置也隨MidPoint發生相應變化。每當零件的位置發生變換，系統將實時確定并更新文字信息在圖像坐標系中新的位置。

本文的文字信息疊加風格分為普通標簽風格和背景透明風格。普通標簽風格直接將包含信息的位圖逐點拷貝到場景圖像中實現信息疊加。背景透明風格中，文字含透明背景區域，不直接覆蓋場景圖像，透明區域由信息圖像的alpha通道確定。

3.3 裝配特征信息疊加

在增強裝配系統中適當顯示零件的裝配特征將對用戶的裝配活動起到有效的指導作用。裝配特征信息與零件幾何模型固聯，使用相同的模型局部坐標系，當零件幾何模型發生改變，裝配特征模型也隨之改變。本文主要考慮線特征和面特征。線裝配特征主要用于表示軸線、孔等零件裝配特征。繪制方法與虛擬零件的線框風格相似。按照裝配特征的邊索引列表在場景中依次繪制裝配特征定義的每一條邊來得到疊加效果。面裝配特征主要用于表示面匹配等零件裝配特征。繪制方法與虛擬零件的面片風格相似。按照裝配特征的面索引列表在場景中依次繪制特征模型的每一個面片來得到疊加效果。面裝配特征采用半透明狀態，透過裝配特征仍然可以看到真實零件或虛擬零件的幾何影像，不會產生遮擋現象。

4 初步實驗

本文初步開發一個裝配引導演示系統。零件幾何模型從ProE導出，以標準wrl文件格式保存。使用OpenInventor對裝配場景進行管理、渲染操作。采用一個普通桌面USB攝像頭TOPSPEED USB PC Camera (ZC0301PLH)，分辨率為320*240與640*480兩種，基于Directshow采集攝像頭視頻，基本圖像處理工作使用OpenCV函數庫完成，以便今后注冊方法有更大的擴展性。計算機處理器為Intel Pentium 4 CPU 2.4G；顯卡GeForce MX 440 with AGP8x 64MB；內存500MB；普通桌面顯示器，分辨率 1024*768；Microsoft Windows XP操作系統。系統流程如圖4所示。首先從CAD接口讀入虛實零件的幾何模型，并人工輸入相關文字信息構建增強裝配引導信息模型；然后從 USB接口捕捉攝像頭拍攝到的真實裝配場景視頻輸入虛實注冊模塊（裝配基礎件事先和標志物固聯），利用視頻中的標志物信息將虛擬零件和真實零件幾何模型注冊到增強裝配空間；最后渲染生成虛擬場景視頻，以深度圖為線索與原始視頻進行疊加，獲得虛實融合的增強裝配視頻并輸出到顯示設備。

圖4 系統流程

4.1 真實零件的裝配

首先顯示與真實零件相映射的幾何模型，并用文本標簽指示該零件的名稱（圖5(a)）。用戶通過零件幾何模型和名稱可以知道當前裝配步驟是對哪個零件進行操作，并從桌面上找到相應的真實零件。系統按照預先設定的裝配路徑、同時顯示裝配特征（圖5(b)），將真實零件幾何模型裝配到目標位置。零件幾何模型裝配到位后，渲染風格變成線框風格，系統提示用戶將真實零件裝配到線框指示的目標位置（圖5(c)）。用戶對真實零件進行實際裝配操作并裝配到位（圖5(d)）。

圖5 引導用戶裝配真實零件

4.2 基于深度圖的虛實裝配場景融合

系統可以選擇開啟深度檢測、關閉深度檢測、顯示深度圖和隱藏深度圖。圖6中，裝配基礎件上離鏡頭近的圓柱和螺釘為真實零件，離鏡頭遠的圓柱和螺釘為虛擬零件。如果關閉深度檢測功能，系統以傳統虛實疊加方式進行融合，存在虛實遮擋關系不正確問題（圖6(a)）；開啟深度檢測，以深度圖為索引進行虛實疊加，顯示了正確的虛實遮擋關系（圖6(b)）。

圖6 虛實遮擋處理與融合

增強裝配系統的虛實融合過程中，計算量較大的函數模塊分別是視頻圖像采集處理、標志物識別注冊、虛實場景疊加。其中虛實場景疊加過程消耗大量處理時間，不同分辨率下系統執行效率統計數據如表1所示。

表1 增強裝配系統處理時間統計表

5 結 論

本文以產品裝配工作為對象，研究增強現實環境下的產品裝配引導技術。針對裝配過程中需要的信息，建立了面向增強裝配過程的信息模型，統一管理文字、幾何和產品裝配特征等可視化引導信息。采用基于標志物的視覺跟蹤技術實現虛擬零件和視頻中真實零件的注冊定位。通過獲取虛擬和真實裝配場景幾何模型的深度圖來處理增強裝配場景中的虛實零件遮擋關系。利用虛實零件的注冊位置把裝配引導信息疊加到裝配視頻場景中，為輔助用戶裝配工作提供支持。使用開發的原型系統驗證了技術路線的可行性，并分析了系統的性能。

在實際裝配工作中，標志物的制作和使用將限制該項技術的應用，而基于裝配體自然特征的注冊跟蹤方法能夠為大范圍和大規模的產品裝配引導提供支持，這將是今后的主要工作之一；另外，誤差作為增強現實系統的主要指標，如何從衡量視覺效果到確定誤差范圍從而得到系統性能和系統精度的平衡也是采用增強現實技術引導產品裝配的研究重點，這也是另一個今后的主要工作。

[1] Jayaram S, Lyons K W. VADE: a virtual assembly design environment [J]. IEEE Computer Graphics and Applications, 1999, 19(6): 44-50.

[2] Azuma R, Baillot Y, Behringer R, et al. Recent advances in augmented reality [J]. IEEE Computer Graphics and Applications, 2001, 21(6): 34-47.

[3] Pang Yan, Andrew Y C, Soh K O. Assembly feature design in an augmented reality environment [J]. Assembly Automation, 2006, 26(1): 34-43.

[4] Liverani A, Amat G, Caligiana G. A CAD-augmented reality integrated environment for assembly sequence check and interactive validation [J]. Concurrent Engineering: Research and Applications, 2004, 12(1): 67-77.

[5] Raghavan V, Molineros J, Sharma R. Interactive evaluation of assembly sequences using augmented reality [J]. IEEE Transactions on Robotics and Automation, 1999, 15(3): 435-449.

[6] Caudell T P, Mizell D W. Augmented reality: an application of head-ups display technology to manual manufacturing processes [C]//Proceedings of International Conference on System Sciences, Hawaii, 1992: 659-669.

[7] Friedrich W, Siemens A G. ARVIKA-augmented reality for development, production and service [C]// Proceedings of International Symposium on Mixed and Augmented Reality, 2002: 3-4.

[8] Schwald B, Laval B. An augmented reality system for training and assistance to maintenance in the industrial context [J]. Journal of WSCG , 2001, 11(3): 425-432.

[9] Salonen T, S??ski J, Hakkarainen M, et al. Demonstration of assembly work using augmented reality [C]//Proceedings of the ACM International Conference on Image and Video Retrieval, Amsterdam, 2007: 124-126.

[10] 趙新燦, 左洪福, 徐興民. 增強現實維修誘導系統關鍵技術研究[J]. 中國機械工程, 2008, 19(6): 678-682.

[11] 施 琦, 王涌天, 陳 靖. 一種基于視覺的增強現實三維注冊算法[J]. 中國圖象圖形學報, 2002, 7(7): 679-683.

[12] 朱淼良, 姚 遠, 蔣云良. 增強現實綜述[J]. 中國圖象圖形學報, 2004, 9(7): 767-774.

Product assembly guidance based on augmented reality

Wang Junfeng, Xu Chi, Li Shiqi
( Department of Industrial and Manufacturing System Engineering, School of Mechanical Science and Engineering, Huazhong University of Science and Technology, Wuhan Hubei 430074, China )

Aiming at the assembly guidance in augmented reality environment, an uniform augmented-assembly-oriented information model is build to manage visual text, geometric and feature information during assembly process in augmented reality environment. A marker-based tracking is adopted to realize the registration and localization of virtual and physical product part. The depth images of both virtual and physical scenes are used to handle occlusion between virtual and real objects in assembly process. The assembly guidance information is superimposed on the real time assembly video by using registration information of parts. A demonstration system is developed and the assembly guidance process is analyzed and described in augmented reality environment.

computer application; augmented reality; assembly guidance; marker based registration; information superimposition

TP 391

A

2095-302X (2012)04-0114-07

2010-12-22

“十二五”基礎科研資助項目

王峻峰（1970-），男，河南汝州人，副教授，博士，主要研究方向為產品裝配設計、系統建模與仿真等。