基于增強現實的電子產品輔助裝配系統設計與實現

曾 靜

（南京電子技術研究所，江蘇 南京 210039）

電子產品的集成化、模塊化發展在提升其性能的同時也增大了裝配的難度[1]，使得操作人員培訓周期長、裝配質量不穩定、效率低下[2-3]，基于增強現實（Augmented Reality，AR）的輔助裝配系統是提高員工裝配效率和質量的有效手段[4]。從20世紀90年代起，增強現實技術在飛機機艙輔助布線、員工培訓等方面得到廣泛應用[5-6]。

針對具有大基體、小零部件特征的電子產品裝配，利用增強現實技術構建一套輔助裝配系統。通過分析電子產品的裝配工藝，對其裝配工藝信息進行建模，實現了信息管理、裝配引導等功能。在裝配過程中，通過將虛擬的工藝信息疊加到真實裝配環境中，實時對裝配員工進行引導和培訓，縮短了培訓周期，提高了裝配效率。

1 方案設計

面向電子產品的增強現實輔助裝配系統由便攜式可拆卸裝配平臺和軟件系統組成。軟件系統部署在一臺主機上，系統主要包括信息管理模塊、裝配引導模塊和零部件識別模塊。其中，信息管理模塊主要對各部分信息包括工藝、文字、圖像等信息進行分類、轉換、組織與關聯，并在裝配過程中實時調用相應的信息進行虛實融合；裝配引導模塊主要對待裝配體零部件的裝配位置進行引導；零部件識別模塊主要在待裝配區域識別出所需裝配的零部件，防止裝配順序出錯。圖1為系統總體結構圖。

圖1 系統總體結構

1.1 增強現實硬件系統設計

以頭盔顯示器、google眼鏡等貨架增強現實設備機動性好但價格昂貴、周邊視野有限，長時間使用甚至會引起操作人員的不適[7-8]。本設計的基于便攜式可拆卸裝配平臺的增強現實硬件系統，便攜式可拆卸裝配平臺被分為裝配區與待裝配區，采用鋁合金桁架搭建的龍門結構。系統使用兩個普通的RGB攝像機從不同的視角捕捉工作區域的幀數據，一個攝像機為AR攝像頭，固定在三角架上，主要從裝配者視角捕捉裝配區的視頻幀并傳輸到客戶端進行引導信息與真實裝配場景的虛實融合并在顯示器上呈現。另一個攝像機為識別攝像頭，固定在龍門結構的支架正上方，自上而下地捕捉待裝配區域的視頻幀并識別出下一步所需裝配的零部件，作為自動觸發裝配引導信息的響應條件。平臺左側為顯示增強現實引導指令或信息的顯示器。增強現實硬件系統如圖2所示。

圖2 增強現實硬件系統示意圖

1.2 軟件系統的設計

基于增強現實的輔助裝配軟件系統采用模塊化設計，由信息管理模塊、裝配引導模塊及零部件識別等模塊組成。

1.2.1 信息管理模塊

信息管理是根據對裝配作業的認知，對裝配工藝等信息進行獲取、維護和管理，常用的方法是進行信息建模。信息模型能夠增強數據之間的聯系，是建立數據管理的基礎。典型的電子產品具有大基體小接插件的特點，對此創建的信息模型結構如圖3所示。

圖3 信息模型結構圖

在信息模型中，將裝配的對象具體分為三個層次，分別為零件層、部件層和裝配體層。將相關的裝配工藝信息分為兩類，分別為工藝對象信息和工藝方法信息。工藝對象信息包括零部件的模型信息和引導位姿信息，而工藝方法信息主要是在裝配時顯示的指導信息，包括文本、圖片、動畫等信息。在每一個層次中，存在若干個節點，每個節點代表一個裝配的過程，在進行裝配時需要調用裝配對象的各個工藝信息來引導裝配，最后對裝配過程進行視頻錄制，輸出并保存裝配的視頻，方便新員工反復進行觀看學習。

信息模型是將各種實體以及關系的抽象化，并不能直接以此構建相關的數據庫，下面將信息模型的結構圖轉化成數據庫能處理和構建的邏輯設計圖。具體的數據庫邏輯設計圖如4所示。

圖4 數據庫邏輯關系E-R圖

裝配工藝信息按照信息模型進行分解，通過信息管理界面進行信息錄入、編輯和修改，以構建的數據庫進行存儲和調用，可以適用于不同的裝配任務。

1.2.2 裝配引導模塊

裝配引導是保證正確裝配的基礎。通過在真實環境中渲染正確裝配的虛擬零部件及裝配動畫、圖片、文本等其他信息來實現裝配引導。其中獲取待裝配零件裝配的正確位姿是渲染引導模型的關鍵。

依托Assimp（Open Asset Import Library）進行不同格式模型的預處理及加載，并使用開源圖形庫OpenGL進行圖像渲染。為了將待裝配的零件模型以正確的姿態投影到圖像的正確位置上，其過程需要找到3D點與其2D投影之間的對應關系或是通過使用合成或基準標記作為世界坐標系的原點再進行人工標定位姿，而使用aruco模塊進行模型注冊是近幾年比較成熟的解決方案[9]。

位姿標定流程具體分為4個步驟：

（1）通過aruco模塊自動生成aruco方形標記，并固定在裝配區中電子產品的大基體上。由AR攝像頭對采集的裝配區域視頻幀進行標記識別，把識別出的標記中心作為世界坐標的中心。

（2）對AR攝像頭進行標定。使用張正友相機標定法[10]對AR攝像頭進行標定，獲取相機的內置參數，為虛擬模型的注冊奠定基礎。

（3）調整渲染模型至正確的裝配位姿。初次加載并渲染待裝配零件的虛擬模型時，模型默認初始位置在世界坐標系的中心而不是渲染注冊在正確的裝配位置上。對此，對于每一個待裝配的零件的裝配位置需要進行手工調整標定。通過在裝配引導的位姿調整及標定界面，調整模型的6個自由度及縮放系數來確定正確的裝配位姿，如圖5所示。

圖5 裝配引導的位姿調整及標定界面

（4）將標定的位姿進行記錄。在標定界面對調整后的6自由度數據及縮放系數保存到數據庫中，以便在裝配過程中實時調用，渲染裝配正確的零部件模型來引導新員工進行裝配。通過標定正確的裝配位姿并實時渲染不同的零部件模型，可以使系統適應不同的裝配引導任務。

1.2.3 零部件識別模塊

零部件識別是進行裝配引導的關鍵。通過對真實裝配環境中的不同零部件進行三維識別，獲取各零件對應的裝配引導信息，實現對目標產品的裝配引導。

采用Vuforia中基于模型的方法進行零部件三維識別，其基于模型的目標識別依賴于目標物的三維模型數據集[11]。基于Vuforia的目標識別可分為離線階段和在線階段，離線階段主要是獲取目標模型的數據集，在線階段主要是進行目標識別。

離線階段，借助ModelTarget可以生成相應零件模型的數據集[12]，其中ModelTarget是與Vuforia插件配套使用的數據集采集軟件，數據集采集過程是：首先將零件模型導入到ModelTarget軟件中；然后設置模型真實物理尺寸，設定場景中零部件的識別角度，最后生成零部件數據集。在線階段，利用離線階段采集的數據集進行零部件識別，并將根據識別結果進行零部件的裝配引導，圖6為在線階段零部件識別流程。

圖6 在線零部件識別流程

2 裝配實例

以某型號電子產品的主機機箱為對象，對增強現實輔助裝配系統進行了功能驗證，并選定“安裝散熱風扇”作為演示裝配任務。為增強現實裝配場景布置，裝配平臺上擺放了裝配對象以及裝配工具，如圖7所示。

圖7 裝配場景布置

首先將散熱風扇放在零件識別區域進行目標識別，當散熱風扇被識別時，零件識別界面左上角顯示“TRACKED”字樣，提示操作人員散熱風扇已經識別到了，如圖8所示。

圖8 識別到散熱風扇

然后將識別信息傳輸到裝配引導界面，裝配引導模塊根據識別信息加載相應的裝配引導信息到裝配場景中，根據虛擬模型動畫、工藝文字提示，將散熱風扇安放在機箱中相應的位置，如圖9所示。最后根據箭頭和螺釘安裝位置虛線等信息，使用M2螺釘將散熱風扇固定在主板上。經驗證，滿足設計要求。

圖9 根據提示信息進行裝配

3 結語

從硬件和軟件兩方面設計并實現了面向電子產品的增強現實輔助裝配系統，在硬件方面設計了基于便攜式可拆卸裝配平臺的增強現實硬件系統，其中AR攝像頭和識別攝像頭均可進行調節，適用于不同型號的電子產品裝配需求；在軟件方面，分三個模塊設計并實現了輔助裝配系統，通過將虛擬模型信息、工藝文本信息、二維圖片信息作為裝配提示信息，實現了對某型號電子產品主機散熱風扇的裝配引導。該系統實現了裝配信息的統一編輯和管理，能夠根據裝配需要在線進行引導信息的修改；此外該系統還實現了裝配引導功能和零件識別功能的分離，進一步提高了系統的靈活性和拓展性。該系統基本實現了對大基體，小零部件特征的電子產品輔助裝配需求，為解決增強現實在特定工業領域的應用提供了一定的思路。該系統提高了企業操作工人的裝配效率，縮短人員培訓成本，具有一定的經濟價值。