基于多觸點定位和狀態校驗的虛擬裝配技術

吳學毅，文德志

基于多觸點定位和狀態校驗的虛擬裝配技術

吳學毅，文德志

（西安理工大學 印刷包裝與數字媒體學院，西安 710048）

提供一種具有通用性的虛擬裝配零部件設計方法，能夠實現多位置、多旋轉狀態判定的裝配方式與靈活的裝配序列規劃。首先使用多個定位觸點進行碰撞檢測來確定零件的位置和旋轉狀態，然后使用二進制整數作為零件狀態碼表達零件間的裝配依賴關系，最后通過二進制運算表達式的校驗算法限制零件狀態碼的取值決定零件是否可以裝配，從而達到裝配序列的約束規劃。在裝配方式上使得所有零件具有通用的設計方案，針對特殊零件只需要設置特殊定位觸點，在裝配序列規劃上實現了多種靈活的裝配順序設計，裝配邏輯關系表達更加清晰。通過多觸點定位和狀態校驗可以實現具有很好通用性和擴展性的虛擬裝配技術。

多觸點定位；狀態校驗；碰撞檢測；虛擬裝配

隨著虛擬現實技術的誕生，虛擬裝配技術逐漸成為工業制造領域一個不可或缺的部分。

有研究表明，虛擬訓練和真實訓練沒有太大的顯著差異，可以減少對教學資源的嚴重依賴，最終降低實際裝配過程中由于經驗不足而造成的安全隱患[1]。虛擬裝配是將現實裝配過程在計算機中進行模擬仿真，利用計算機仿真和虛擬現實技術，通過建模仿真來實現裝配過程[2],是虛擬設計與制造的一個組成部分[3]。迄今為止，虛擬裝配技術已經發展得相當成熟，以VRP為基礎的許多虛擬裝配仿真系統[4—5]都實現了通過鼠標、鍵盤操作在虛擬場景中漫游及控制裝配流程動畫的播放[6—7]，通過與CAD等專業機械建模軟件結合[8—11]制作高精度的零件模型，最終在計算機上演示裝配過程，也可以結合不同的虛擬現實設備實現半沉浸式的虛擬裝配系統[12]，但大多數在交互方式上沉浸感較低。隨著虛擬現實設備的發展，交互方式也更為逼真、多樣。以Kinect體感交互為基礎的虛擬裝配系統[13—16]通過手勢識別進行零部件的裝配操作，而以HTC Vive設備為基礎的虛擬裝配系統[17—18]則通過手柄交互方式對零、部件進行抓取實現裝配操作，具有較高的沉浸感。對于零件定位都采用簡單的碰撞檢測方式，在裝配序列規劃上都采用類似邏輯表的結構進行存儲，不具有良好的擴展性和對裝配約束關系描述的靈活性，對于復雜的虛擬裝配系統不適用。

文中提出一種具有高擴展性和靈活裝配約束關系描述的虛擬裝配技術，在實現高度沉浸感的虛擬裝配系統過程中可以通過該技術設計所有零部件特有的裝配方式，并且在復雜的虛擬裝配系統中占用資源較少，可以實現非常復雜的裝配序列描述，對于批量生產的零件（如齒輪）和對稱特征的零件也都具有特殊的處理方式。

1 基于多點定位和狀態校驗的虛擬裝配技術設計

文種采用插頭和插孔的抽象方式來表達零件的裝配關系，通過多觸點進行零件定位，并用狀態碼來實現裝配邏輯的過程表達。

1.1 裝配插頭和裝配插孔

在虛擬裝配過程中，許多零件與其對應的裝配位置間存在平移和旋轉關系，因此可借鑒日常生活中插頭和插孔的安裝關系，將零件抽象為插頭，而將裝配位置抽象為插孔，見圖1。觸點存儲安裝定位的局部坐標點，每個插頭可以存在多個觸點，通過多個定位觸點在空間上相對位置的組合可以表達零件所具有的特殊裝配關系信息，如對稱軸、對稱面等。裝配位置是插頭的復制，在裝配過程中只需要判斷零件的所有觸點是否與裝配位置的觸點發生碰撞。而具有對稱特性的零件也可以使用對稱特性的觸點，這樣在零件進行裝配操作時，旋轉狀態的判斷也更加靈活。

1.2 零件與裝配位置的配合

在虛擬裝配過程中需要確定一個零件是否裝配在正確的位置上，對于具有對稱特性的零件，旋轉狀態唯一，判斷過程會十分復雜。文中提出一種多觸點定位的裝配約束關系描述方法，使用多個定位觸點用于確定零件的三維空間位置和旋轉狀態描述。定位觸點是零件局部坐標系下的一個固定點，會跟隨零件移動和旋轉而發生位置改變。裝配位置具有與零件一一對應的定位觸點信息（觸點數量和局部坐標系的坐標值），還具有零件裝配后的位移和旋轉信息，通過這些信息可以確定裝配位置的定位觸點的世界坐標。在裝配過程中，只需要確定零件所有定位觸點與裝配位置定位觸點是否發生碰撞，即可確定零件是否到達了正確的裝配位置上。零件與裝配位置之間的聯系見圖2。

圖1 裝配插頭與裝配插孔

圖2 零件與裝配位置的聯系

在圖2中零件具有2個原點對稱的定位觸點，表示零件是一個軸對稱類型的零件，此時零件在對稱軸方向上任意角度旋轉都不會改變定位觸點的位置，不會影響最終的定位判斷。并且在與裝配位置的定位觸點配合時，定位觸點的對應方式可以有2種情況（實線、虛線2種箭頭），此時零件在對稱軸方向上還具有對稱特性，齒輪和圓軸類型零件就具有這種形狀特征。

在裝配過程中，可以使用碰撞檢測判斷零件定位觸點是否與裝配位置定位觸點的世界坐標位置在一定差值范圍內。當零件所有定位觸點與同一裝配位置的定位觸點發生碰撞且其差值均在指定范圍內時，表示該零件放置在指定的裝配位置上。為了表達更為復雜的零件形狀，定位觸點的數量會不斷增加，而每個點都需要進行碰撞檢測，對系統性能的需求也會提高，因此可以為定位觸點添加一個用于區分對應裝配關系的信息，即顏色信息，減少匹配定位觸點的數量。在零件與裝配位置進行配合時，只允許相同顏色的定位觸點發生碰撞檢測。

1.3 零件數據結構與裝配位置狀態碼

零件需要記錄定位觸點的信息以及裝配位置的信息，在現實裝配過程中，會有許多的批量生產的零件（如齒輪、螺絲、螺母等），這些零件在虛擬裝配系統中可以裝配在多個位置上，因此對于同類型零件可以使用相同的定位觸點信息和一個裝配位置表（該表記錄了該零件所有允許的裝配位置）。在裝配過程中只考慮零件的所有定位觸點在碰撞檢測時（為了提高系統性能，碰撞檢測只會在該零件移動過程中計算）是否與裝配位置表中的任意一個裝配位置所有的定位觸點發生碰撞，零件便可以裝配在裝配位置表中的任意一個位置。該方法有效地減少了對系統計算資源的需求。

在裝配位置表中，每個節點記錄了一個裝配位置，存儲該裝配位置的坐標和旋轉值。同時使用裝配動作表存儲在該裝配位置進行裝配操作需要完成的裝配動作。虛擬裝配系統中對于裝配先后順序的規劃通常采用預先設定的裝配順序表來控制零件的裝配順序，但在復雜的裝配情況下會導致數據量過于龐大。文中提出一種基于狀態校驗的算法來表達裝配邏輯關系，使用一個整數作為零件的狀態碼表示此時零件的狀態，通過特定的校驗算法判斷該裝配位置是否可以裝配零件，可以則激活該裝配位置，否則禁用該裝配位置。零件與裝配位置的裝配關系描述數據結構見圖3。

在圖4中裝配位置的校驗模塊實現了零件間裝配先后順序的邏輯關系表達。一個裝配位置在判斷是否可以裝配零件時，需要先根據其他裝配位置是否裝配了零件來確定。文中用1和0表示一個裝配位置是否裝配了零件，而對于多個裝配位置是否裝配了零件可以使用1和0的組合（即二進制整數，表達了if-else的組合關系）表示，因此裝配位置的狀態碼表示的是當前裝配位置需要進行的邏輯判斷條件中存在關聯的其他裝配位置的裝配狀態（是否裝配零件）的組合，通過對該值進行判斷可以計算出該裝配位置是否符合可以裝配零件的條件，從而激活或禁用該裝配位置。

圖3 零件與裝配位置的裝配關系描述數據結構

圖4 裝配位置狀態碼校驗過程

在圖4中，裝配位置P需要在裝配位置A，B，C都已經匹配了零件觸點情況才可以進行零件的裝配。將裝配位置P的狀態碼的3位分別與裝配位置A，B，C一一對應，當A，B，C分別裝配了零件時，P的狀態碼都會發生一次變化，通過校驗算法與P狀態碼的值判斷裝配位置P是否可以進行零件的裝配。

1.4 校驗算法與狀態碼位綁定

在圖4中校驗算法可以是直接對狀態碼的值進行判斷，當值等于7（即111，表示ABC都裝配了零件）時，裝配位置P即可裝配零件。當出現更為復雜的情況時，裝配位置P符合條件的狀態碼的值可能不唯一，文中使用表達式來限制狀態碼的取值，該表達式稱為校驗表達式，由5部分組成，見圖5。

圖5 校驗表達式的組成

1）狀態碼。代入表達式的裝配位置的狀態碼值。

2）運算符。表達式的運算符號，可以是位與（&），位或（|）等。

3）運算數。用于表達式計算的二進制數。

4）判斷符。表達式左邊與右邊的判斷方式，可以是等于（=）和不等于（!=）。

5）運算結果。表達式的運算結果。

當裝配位置狀態碼的值代入表達式中使得表達式成立，則表示該裝配位置的狀態碼滿足零件裝配的條件，可以裝配零件，可激活該裝配位置，反之亦然。例如，校驗表達式為：X|100=111（X為狀態碼），當裝配位置的狀態碼值是 011（3）或111（7）時，則激活該裝配位置，否則禁用。

裝配位置狀態碼的每位允許綁定一個或多個裝配位置，在程序中無法實時對狀態碼進行校驗，則可利用事件委托機制（或設計模式中的觀察者模式）實現裝配位置在裝配零件狀態發生改變后自動通知對其綁定的狀態位置更新。首先裝配位置需要存儲狀態碼每一位所綁定的裝配位置（存儲在圖4中裝配位置的校驗模塊中），使用字典嵌套的數據結構便可以表示，也可以方便快速查詢。

在該字典嵌套結構中，零件對象指向圖4的零件數據存儲結構，而索引表示綁定的裝配位置在零件對象的裝配位置表中的索引值，而位所代表的是該裝配位置需要與當前裝配位置的狀態碼的哪一位進行綁定，見圖6。當該裝配位置裝配零件時，當前裝配位置的狀態碼的對應位會變成1，狀態碼的值也會發生改變，再進行狀態碼的校驗運算去激活或禁用當前裝配位置。裝配位置裝配零件時，會調用委托函數，通知它所綁定的所有裝配位置，收到通知的裝配位置會在狀態碼位的綁定表中查找需要改變的位，最終改變狀態碼的值并進行校驗，具體過程見圖7。

當裝配位置A進行零件裝配時，可以獲取欲裝配的零件對象，并且得到欲裝配零件裝配位置在該零件的裝配位置表中的索引值，再調用該裝配位置的委托列表中的所有函數（即所有狀態碼某一位與該裝配位置存在綁定關系的裝配位置），在函數中會查詢裝配位置B的狀態碼位的綁定表，將該位的值修改為1，狀態碼發生改變，校驗狀態碼隨后啟用或禁用裝配位置B。

通過以上方法，克服了其他裝配方法需要設計復雜的或特殊的數據存儲結構描述復雜、特殊、多樣的裝配邏輯和裝配關系的需求，可以實現通用、多樣、復雜的裝配序列規劃設計，從而減少了對系統資源的占用，在性能上也無需太大的計算量，在虛擬裝配過程中可以實現更為真實的裝配流程設計。

圖6 狀態碼位的綁定

圖7 裝配事件委托調用過程

2 虛擬現實平臺的多點定位和狀態校驗實現

文中在Unity3D平臺結合C#語言、HTC Vive設備以及SteamVR插件，以印刷機收紙子系統為對象，設計并實現了印刷機收紙子系統的虛擬裝配過程。該系統使用手柄抓取零件進行裝配，利用球形碰撞器實現定位觸點的碰撞檢測，所實現的虛擬裝配過程見圖8—9。

圖8 齒輪裝配過程

圖9 擋板軸裝配過程

在零件裝配方式上，一個齒輪可以裝配在任意一個裝配位置，軸類型零件也可以任意翻轉；在裝配序列規劃上可以實現動態的裝配順序檢測，可以裝配的裝配位置都會以綠色模型顯示在場景中，每個零件裝配完成后都會發生狀態改變。

在該系統上完整實現了多點定位和狀態校驗的虛擬裝配技術，并對該技術的數據結構和算法進行了封裝，系統所占用的資源不多，代碼可以移植到任意虛擬裝配系統項目中，對于印刷機的其他子系統可以套用該方法進行裝配過程設計，而不用修改數據結構和算法。

3 結語

虛擬裝配技術可以為工業生產中的裝配培訓提供低成本且高效的教學方案，使用多觸點定位和狀態校驗技術設計虛擬裝配系統可以實現復雜的裝配操作設計，如螺絲可以裝配在任意一個螺母孔上。并且在裝配序列規劃上可以實現更為復雜的裝配順序，只需設計裝配位置間的邏輯判斷方式，在大型機械裝配系統設計過程中具有很強的拓展能力，可以劃分模塊設計，修改也十分方便。所有的零件具有相同的數據結構，代碼也無需重新設計，開發也將變得更為簡單便捷，具有良好的通用性。

[1] STEVEN H, ARNO C, HENDRIK V L, et al. The Evaluation of an Elementary Virtual Training System for Manual Assembly[J]. Taylor & Francis, 2017, 55(24): 7496-7508.

[2] 張海云, 楊振宇, 趙國勇, 等. 基于VR的機床虛擬裝配實驗平臺開發[J]. 智庫時代, 2018(47): 295-296.

ZHANG Hai-yun, YANG Zhen-yu, ZHAO Guo-yong, et al. Development of Virtual Assembly Experiment Platform for Machine Tools based on VR[J]. Think Tank Era, 2018(47): 295-296.

[3] ZHAO Jun-hua. Study on the Application of the Virtual Technology in the Mechanical Assembly Process[C]// Proceedings of 2015 3rd International Conference on Mechanical Engineering and Intelligent Systems(ICMEIS 2015), 2015: 37-40.

[4] 何榮華, 薛繁旺, 陳冠峰. 基于VRP的客車在線模擬系統設計與應用[J]. 實驗室科學, 2016, 19(4): 75-77.

HE Rong-hua, XUE Fan-wang, CHEN Guan-feng. Design and Application of a Passenger Car Online Simulation System based on VRP[J]. Laboratory Science, 2016, 19(4): 75-77

[5] 張潞, 司占軍. J2205膠印機印刷結構虛擬裝配平臺設計與實現[J]. 包裝工程, 2015, 36(21): 142-146.

ZHANG Lu, SI Zhan-jun. Design and Implementation of Virtual Assembly Platform for Printing Structure of J2205 Offset Press[J]. Packaging Engineering, 2015, 36(21): 142-146.

[6] 虞臣超. 虛擬現實技術在船體裝配中的應用研究[D]. 廈門: 集美大學, 2014: 7-15.

YU Chen-chao. Research on the Application of Virtual Reality Technology in Ship Hull Assembly[D]. Xiamen: JiMei University, 2014: 7-15.

[7] 劉陽. 船舶管路虛擬裝配及漫游系統研發[D]. 廈門: 集美大學, 2014: 17-23.

LIU Yang. Research and Development of Ship Pipeline Virtual Assembly and Roaming System[D]. Xiamen: JiMei University, 2014: 17-23.

[8] 李煜, 司占軍. 基于VR-Platform的數碼印刷機虛擬裝配系統的設計與實現[J]. 電腦知識與技術, 2013, 9(33): 7599-7603.

LI Yu, SI Zhan-jun. Design and Implementation of Virtual Assembly System of Digital Printing Press based on VR-Platform[J]. Computer Knowledge and Technology, 2013, 9(33): 7599-7603.

[9] 杜棋東, 林楚燕. 機車車輛轉向架虛擬仿真系統關鍵技術及實現[J]. 南方職業教育學刊, 2013, 3(6): 1-4.

DU Qi-dong, LIN Chu-yan. Key Technologies and Realization of Virtual Simulation System for Locomotive and Rolling Stock Bogies[J]. Journal of Southern Vocational Education, 2013, 3(6): 1-4.

[10] 袁云東. XPS板材生產線虛擬裝配平臺的研發[D]. 邯鄲: 河北工程大學, 2014: 8-17.

YUAN Yun-dong. Research and Development of Virtual Assembly Platform for XPS Sheet Production Line[D]. Handan: Hebei University of Engineering, 2014: 8-17.

[11] 李煜. 數碼印刷機仿真系統的設計與實現[D]. 天津: 天津科技大學, 2014: 15-27.

LI Yu. Design and implementation of Digital Printing Press Simulation System[D]. Tianjin: Tianjin University of Science and Technology, 2014: 15-27.

[12] ALI A, AL-AHMARI ABDULRAHMAN M, MUHAMMAD U A. Virtual Assembly of an Airplane Turbine Engine[J]. IFAC Papers On Line, 2015, 48(3): 1726-1731.

[13] 謝振清. 基于Unity3D的虛擬裝配技術研究與實現[D]. 哈爾濱: 哈爾濱工業大學, 2018: 13-39.

XIE Zhen-qing. Research and Implementation of Virtual Assembly Technology Based on Unity3D[D]. Harbin: Harbin Institute of Technology, 2018: 13-39.

[14] 李亞東, 孫會來. 基于Unity3D的沉浸式機械手表虛擬仿真系統研究[J]. 佳木斯職業學院學報, 2020, 36(3): 177-179.

LI Ya-dong, SUN Hui-lai. Research on the Virtual Simulation System of Immersive Mechanical Watch Based on Unity3D[J]. Journal of Jiamusi Vocational College, 2020, 36(3): 177-179.

[15] 徐敏, 姚年春. 基于Kinect的裝配仿真系統設計與開發[J]. 無線互聯科技, 2017(18): 67-68.

XU Min, YAO Nian-chun. Design and Development of Assembly Simulation System Based on Kinect[J]. Wireless Internet Technology, 2017(18): 67-68.

[16] 張青, 徐宇杰, 郭慶, 等. 體感交互技術在航空發動機虛擬裝配實驗中的應用[J]. 實驗技術與管理, 2016, 33(2): 100-105.

ZHANG Qing, XU Yu-jie, GUO Qing, et al. Application of Somatosensory Interaction Technology in Aero-Engine Virtual Assembly Experiment[J]. Experimental Technology and Management, 2016, 33(2): 100-105.

[17] 孔偉晶, 王鴻偉, 王榮海. 基于Unity的模型虛擬裝配系統研究[J]. 軟件工程, 2018, 21(8): 26-29.

KONG Wei-jing, WANG Hong-wei, WANG Rong-hai. Research on Model Virtual Assembly System Based on Unity[J]. Software Engineering, 2018, 21(8): 26-29.

[18] 董浩文. 基于Unity3D引擎秦始皇帝陵出土青銅馬車虛擬裝配系統的設計與實現[D]. 天津: 天津大學, 2018: 23-28.

DONG Hao-wen. Design and Implementation of a Virtual Assembly System for the Bronze Carriage Unearthed from the Mausoleum of Emperor Qin Shihuang based on Unity3D Engine[D]. Tianjin: Tianjin University, 2018: 23-28.

Virtual Assembly Technology Based on Multi-Point Positioning and Status Verification

WU Xue-yi, WEN De-zhi

(Faculty of Printing, Packaging Engineering and Digital Media Technology, Xi'an University of Technology, Xi'an 710048, China)

The work aims to provide a general design method for virtual assembly parts, so as to realize the assembly method of multi-position and multi-rotation state determination and flexible assembly sequence planning. Firstly, multiple positioning points were used for collision detection to determine the position and rotation status of the part, then the binary integer was adopted as the part status code to express the assembly dependency between the parts, and finally the verification algorithm of the binary operation expression was applied to limit the value of the part status code to determine whether the parts could be assembled, thus achieving the planning of assembly sequence. The assembly method made all parts have a general design scheme. For special parts, only special positioning points were required to be set. In the assembly sequence planning, a variety of flexible assembly sequence designs were achieved, and the assembly logic relationship was more clearly expressed. Through multi-point positioning and status verification, a highly versatile and extensible virtual assembly technology can be realized.

multi-point positioning; status verification; collision detection; virtual assembly

TP39

A

1001-3563(2022)01-0253-06

10.19554/j.cnki.1001-3563.2022.01.032

2021-05-18

吳學毅（1966—），男，碩士，西安理工大學副教授，主要研究方向為圖形智能化處理與XR。