基于復雜部件虛擬裝配的智能決策行為*

吳烽云 張坡 鄒湘軍 李承恩 李慧 曾澤欽

基于復雜部件虛擬裝配的智能決策行為*

吳烽云1張坡2鄒湘軍3李承恩3李慧3曾澤欽3

（1.中國科學院廣州能源研究所 2.廣東工貿職業技術學院計算機與信息工程學院 3.華南農業大學工程學院）

以拖拉機變速箱為例，通過對復雜部件的裝配建模與行為仿真的描述分析，提出虛擬多智能體建模。將變速箱裝配系統定義為主智能體與子智能體的上下層及網絡關系，構建主智能體網絡關系；設計裝配工藝作為行為規則的主要準則；設置智能實體碰撞作為裝配的約束條件，構造多智能體系統框架。應用結果表明：該系統可用于人機交互、裝配行為決策，為設計與制造評估提供理論依據。

復雜農機部件；虛擬裝配；決策行為；人工智能；建模

0 引言

虛擬設計與制造是人工智能在機械領域的應用。在虛擬環境中，復雜系統的智能決策是模擬人類思維、智能與經驗的關鍵技術[1]。如何使虛擬環境下的復雜系統具有自主決策能力是人工智能、虛擬設計與制造的重要研究內容[2-5]。為實時獲得目標模型，國內外學者利用人工智能、立體視覺[6]對目標進行跟蹤、三維重構建模和三維反求建模[7-9]，這些建模理論為虛擬系統的行為決策提供了決策知識、模型與數據。

目前，我國大型農機裝備關鍵設備的設計方法與理論比較落后。部分農機企業為了保證機器優化，仍采用傳統的方法進行停產維護，降低了農機企業產品的更新效率。大型農機裝備企業希望可在虛擬環境下通過人工智能、專家系統實現自主決策。

國內外學者利用人工智能對部件的虛擬裝配與仿真進行大量研究[10-15]。德國Bader A , Gebert K[16]提出一種使用決策矩陣設計產品的方法，解決了裝配過程中產品設計的問題。郝建豹[17]介紹一種利用RobotStudio構建機器人碼垛工作站的虛擬仿真方案，可實現機器人碼垛仿真。劉洪新[18]提出一種適用于物元標識的人機交互平臺，可實現對裝配語義集的提取與分析，智能引導完成虛擬裝配。鄒湘軍[19-20]提出一種多Agent的建模方法用于復雜產品與虛擬實體的智能行為決策。大型農機裝備虛擬設計與仿真是一個復雜系統[22]，其中虛擬布局[23]與裝配設計屬于離散性事件，在裝配設計中，多智能體決策[24]是其系統推理設計方法的一個重要領域，尤其是應用在系統的行為決策與仿真方面，但由于其自身基于對象的方法有限，導致其應用范圍減小。

本文采用基于多智能體的農機變速箱建模方法和虛擬現實技術模擬變速箱裝配仿真，以此判斷裝配過程是否存在漏裝與錯裝等。本文構建農機變速箱虛擬裝配系統多智能體建模總體構架；并利用Unity 3D平臺開發農機變速箱虛擬裝配系統，為企業農機設計與評估提供有效工具。

1 多智能體裝配系統總體構架

多智能體系統是多個智能實體Agent的集成，可協調一組自治的Agent行為，并以共同目標或動作來求解問題[19]。每個智能體可以有同一個目標，也可以交叉作用于不同目標。

多智能體系統的建模思路是將一個大系統分解成多個智能體及子智能體，這樣可簡化系統結構，提高系統管理效率。

多智能體裝配系統包括1個主智能體和8個子智能體，構架如圖1所示。

1）總控智能體：控制整個多智能體裝配系統，并通過數據通信向子智能體傳遞執行指令。

2）零件智能體：包括軸智能體、齒輪智能體、軸承智能體和撥叉智能體等；每個零件智能體都包含零件名稱、幾何特征和裝配行為規則等信息。

圖1　多智能體裝配系統構架

3）組件智能體：零件的父智能體；當組件內的零件都已完成裝配行為，零件智能體將轉換為組件智能體。

4）部件智能體：組件的父智能體；當部件內的組件都已完成裝配行為，組件智能體將轉換為部件智能體。

5）通訊智能體：整個裝配系統智能體之間進行交流通訊的介質。

6）裝配檢測智能體：檢測零件、組件是否處于裝配狀態。

7）碰撞檢測智能體：裝配時，檢測零件間是否引起碰撞干涉；是否按照裝配工藝規則進行裝配。

8）虛擬場景智能體：用戶可在裝配界面自主選擇裝配場景，如燈光、布局、天空和地形等。

9）知識庫：存儲裝配工藝知識、零部件信息和幾何約束信息等。

2 主要智能體結構

2.1 通訊智能體

通訊智能體可以將一個智能體的執行指令傳遞到目標智能體。如零件接收到裝配指令時，將觸發開始裝配命令函數：

if(message==gameObject.SendMessage(“StartAss-emble”))

gameObject.StartAssemble;

當零件完成裝配后，可根據系統需要移去或刪除該命令函數：

Destroy(gameObject)。

2.2 零件智能體

多智能體裝配系統的每個待裝配對象均為一個單獨的智能體，可進行自主決策，并與其他智能體傳遞命令。在知識庫中，零件智能體以多屬性參數的形式存儲。執行裝配命令時，系統讀取所有待裝配零件的每一條屬性，零件屬性信息可表示為

Part={Name，Trigger，Collider，Material，Message，Behavior，Knowledge}；

其中，Name為零件名稱；Trigger為觸發器，碰撞檢測的開關；Collider為碰撞體模型；Material為零件材質；Message為零件消息系統，負責消息的發出與接收；Behavior為零件狀態，主要有未裝配、裝配中和已裝配3種狀態；Knowledge為該零件與其他零件之間的裝配行為信息，是零件裝配的行為規則。

2.3 碰撞體智能體

拖拉機變速箱是一個復雜的農機部件，裝配時需精確地安裝每一個配合面。本文拖拉機以變速箱的零件撥叉和嚙合套為例，采用MeshCollider組件構建的碰撞體模型如圖2、圖3所示。

圖2　撥叉三維模型及碰撞體網格模型

圖3　嚙合套三維模型及碰撞體網格模型

嚙合套分為外側圓環組、內齒組和內側圓環組。撥叉分為上圓環組、半圓環組和肋板組。將零件的碰撞智能體用多個碰撞子智能體表示

Collider={Rings, Tooth, Cubes}；

其中，Rings為圓環組碰撞體，內含圓環碰撞體的內直徑、外直徑、寬度和圓環碰撞體數量；Tooth為齒碰撞體，內含外齒碰撞體和內齒碰撞體，包括齒數、模數、齒寬和齒碰撞體數量；Cubes為四邊體碰撞體，內含長、寬、高等屬性。

在Unity 3D中，碰撞體以網格形式存在，其最小單元為三角面片。裝配過程中，碰撞檢測是對三角面片的位置檢測。

矢量判別型的Devillers算法[21]是通過一系列計算值符號來判定2個三角形的位置關系，繼而判別其相交情況的一類算法，其核心思想為：

設空間中4個點坐標分別為(a,a,a), (b, b,b),(c,c,c), (d,d,d)，則有行列式

行列式的值表示點與，，組成平面的位置關系：等于0表示在，，組成的平面上；大于0表示在，，組成的平面上方；小于0表示在，，組成的平面下方。通過該公式，可對三角形的位置關系進行判定，從而判斷碰撞體之間是否存在干涉。

3 復雜部件的虛擬裝配系統實現

3.1　變速箱模型構建

本文以大型拖拉機1204型變速箱復雜部件為實驗對象。1204型變速箱為24級變速，變速結構為4×3×2，共有8快擋、8慢擋和8倒擋，換擋方式為嚙合套換擋。

虛擬裝配系統模型采用Solidworks 2016進行三維建模，模型格式為stl。采用自主開發的CAD格式轉換軟件將stl格式模型轉換為Unity 3D可識別的obj格式。變速箱內副變速中間軸、輸入軸、撥叉及撥叉擋、二擋主動齒輪等部分模型如圖4所示。

圖4　變速箱模型

3.2　裝配系統的設計與實現

大型拖拉機1204型變速箱的裝配系統樹狀圖如圖5所示，其中根節點為變速箱部件裝配體；中間節點包括輸入軸組件、副變速中間軸組件、中間軸組件、輸出軸組件和變速箱體組件；葉節點為每個組件所包含的零件。

圖5　大型拖拉機1204型變速箱的裝配系統樹狀圖

大型拖拉機1204型變速箱虛擬裝配系統的執行流程如圖6所示。

圖6　虛擬裝配流程圖

本系統基于Unity 3D開發，具有人機交互與裝配功能。以裝配工藝為行為規則判斷是否裝配正確。通過碰撞檢測算法，自動檢測零件裝配是否合格。如果被裝配零件配合尺寸過大或者選錯零件引起碰撞干涉，系統將預警。

以撥叉及撥叉軸的裝配為例，介紹虛擬裝配系統的具體操作。

選擇撥叉基準面和撥叉軸裝配基準面，使撥叉移動到撥叉軸對應裝配基準面上，如圖7所示；完成裝配，如圖8所示。

圖7　撥叉及撥叉軸待裝配界面

圖8　撥叉及撥叉軸裝配完成界面

4　結論

本文以多智能體理論為基礎，提出基于多智能體的虛擬裝配系統建模方法，將變速箱中每個零件命名為一個智能體，與虛擬仿真軟件Unity 3D結合，開發一套具有智能決策能力的虛擬裝配系統，可實現虛擬裝配、碰撞檢測和智能決策等。應用結果表明：此系統具有實用性、可操作性，為企業培訓提供了良好的操作平臺。為提高裝配真實度，本系統還添加了車間工作環境場景，給用戶提供沉浸度更高的操作體驗。

[1] 鄒湘軍,孫健,何漢武,等.虛擬現實技術的演變發展與展望[J].系統仿真學報,2004,16(9):1905-1909.

[2] Zou Xiangjun, Zou Haixin, Lu Jun. Virtual manipulator-based binocular stereo vision positioning system and errors modelling[J]. Machine Vision and Applications, 2012, 23(1):43-63.

[3] 鄒湘軍,羅錫文,盧俊,等.虛擬環境下農業移動機器人行為及其仿真建模[J].系統仿真學報,2006.18(S2):551-553,562.

[4] Zou Xiangjun, Ye Min, Luo Chengyu, et al. Fault-tolerant design of a limited universal fruit-picking end-effector based on visoin positioning error[J]. Applied Engineering in Agriculture,2016, 32(1):5-18.

[5] 羅陸鋒,鄒湘軍,盧清華,等.采摘機器人作業行為虛擬仿真與樣機試驗[J].農業機械學報,2018,49(5):34-42.

[6] 程佳兵,鄒湘軍,林桂潮,等.基于AdaBoost算法的級聯分類器對綠色荔枝的快速檢測方法[J].自動化與信息工程,2018, 39(5):38-44.

[7] Chen Mingyou, Tang Yunchao, Zou Xiangjun, et al. High-accuracy multi-camera reconstruction enhanced by adaptive point cloud correction algorithm[J].Optics and Lasers in Engineering, 2019(122)170-183.

[8] Tang Yunchao, Li Lijuan, Wang Chenglin, et al. Real-time detection of surface deformation and strain in recycled aggregate concrete-filled steel tubular columns via four-ocular vision[J]. Robotics and Computer-Integrated Manufacturing, 2019,59: 36-46.

[9] Tang Yunchao, Li Lijuan, Feng Wenxian, et al. Binocular vision measurement and its application in deformation and strain measurement of concrete-filled steel tubular columns[J]. Measurement, 2018,30: 372-383.

[10] 陳燕,曾澤欽,王杰,等.收獲機虛擬環境模型與仿真平臺構建[J].農業機械學報,2019,50(7):159-166.

[11] 張清華,閆清東,姚壽文,等.傳動裝置裝配關系動態建立方法研究[J].系統仿真學報,2016,28(9):2109-2117.

[12] 宋晨,劉惠義.一種多Agent的情境裝配模型[J].計算機集成制造系統, 2016,22(5):1205-1210.

[13] 劉宏新,賈儒,郭麗峰,等.數字模型全息標識體系與輔助標識方法研究[J].農業機械學報,2018,49(9):414-426.

[14] 鮑勁松,李志強,項前,等.半實物虛擬裝配的建模、演化與應用[J].機械工程學報,2018,54(11):61-69.

[15] 馮志全,梁麗偉,徐濤,等.虛擬裝配交互界面中的隱式交互算法研究[J].計算機輔助設計與圖形學學報,2017,29(10): 1952-1962.

[16] Bader A, Gebert K, Hogreve S, et al. Derivativeproductssupporting product development and design for assembly[J]. Procedia Manufacturing, 2018, 19:143-147.

[17] 郝建豹,許煥彬,林炯南.基于RobotStudio的機器人碼垛工作站虛擬仿真設計[J].自動化與信息工程,2017,38(2):26-29.

[18] 劉宏新,賈儒,周興宇,等.基于物元標識的人機交互式機械排種器虛擬裝配[J].農業工程學報,2016,32(1):38-45.

[19] 鄒湘軍,孫健,何漢武.灌裝生產線虛擬環境的多Agent建模研究[J].系統仿真學報,2004,16(4):757-759,774.

[20] 鄒湘軍,孫健,何漢武,等.虛擬環境中多Agent決策的沖突證據合成研究[J].系統仿真學報,2006,18(4):1010-1014.

[21] 鄧峻生,毛世峰,劉旭峰,等.基于AABB樹的聚變堆形變部件碰撞檢測算法[J].計算機系統應用,2018,27(11):161-167.

[22] 劉宏新,王登宇,郭麗峰,等.先進設計技術在農業裝備研究中的應用分析[J].農業機械學報,2019,50(7):1-18.

[23] 王志斌,劉檢華,劉佳順,等.電纜虛擬布線中的物理特性分析與布局設計技術[J].計算機輔助設計與圖形學學報,2014,26(7):1193-1202.

[24] Ye Yingjun, Zhang Xiaohui, Sun Jian. Automated vehicle's behavior decision making using deep reinforcement learning and high-fidelity simulation environment[J]. Transportation Research Part C,2019,107(10): 155-170.

Intelligent Decision Behavior Based on Virtual Assembly of Complex Components

Wu Fengyun1Zhang Po2Zou Xiangjun3Li Chengen3Li Hui3Zeng Zeqin3

(1. Guangzhou Institute of Energy Conversion, Chinese Academy of Sciences 2. College of Computer and Information Engineering, Guangdong Polytechnic of Industry and Commerce 3. College of Engineering, South China Agricultural University)

Artificial intelligence is an important theory of intelligent decision making in virtual design. Based on the description of the assembly modeling and behavioral simulation of complex components, the virtual multi-agent modeling is proposed by taking the agricultural gearbox as an example. The gearbox assembly system is defined as the upper and lower layers of the main agent and the sub-agent and its network relationship, the main agent network relationship is constructed, the assembly process is designed as the main criterion of the behavior rule, and the collision of the intelligent entity is set as the assembly constraint. This paper constructs a multi-agent system framework. The results show that the intelligent decision of the system can be used in human-computer interaction and assembly behavior decision-making, which provides a theoretical basis for design and manufacturing evaluation.

Complex Agricultural Machinery Components; Virtual Assembly; Decision-Making Behavior; Artificial Intelligence; Modeling

國家重點研發計劃（2017YFD0700103）；廣東省科技項目（2017A030222005）。

吳烽云，女，1988年生，碩士研究生，主要研究方向：人工智能及智能決策。

張坡（通信作者），男，1992年生，講師，主要研究方向：虛擬現實、智能化設計。E-mail:1101700433@qq.com

鄒湘軍（通信作者），女，1957年生，教授，博士生導師，主要研究方向：虛擬現實、農業機器人與機器視覺。E-mail: xjzou1@163.com

李承恩，男，1996年生，碩士研究生，主要研究方向：虛擬現實、虛擬裝配。

李慧，女，1995年生，碩士研究生，主要研究方向：虛擬現實、智能化設計。

曾澤欽，男，1994年生，碩士研究生，主要研究方向：虛擬現實。