虛擬人維修動作混合驅動技術研究

陳帝江，張紅旗，張祥祥，程五四

(中國電子科技集團公司第三十八研究所，安徽 合肥 230088)

>Research on Hybrid Drive of Maintenance Action for Virtual Human

CHEN Dijiang，ZHANG Hongqi，ZHANG Xiangxiang，CHENG Wusi

(No.38 Research Institute of CETC，Hefei 230088，China)

?

虛擬人維修動作混合驅動技術研究

陳帝江，張紅旗，張祥祥，程五四

(中國電子科技集團公司第三十八研究所，安徽 合肥 230088)

>Research on Hybrid Drive of Maintenance Action for Virtual Human

CHEN Dijiang，ZHANG Hongqi，ZHANG Xiangxiang，CHENG Wusi

(No.38 Research Institute of CETC，Hefei 230088，China)

摘要：針對現有虛擬維修系統中維修指令人機工效評估效率低下、準確度不高，不能滿足復雜裝備維修性并行設計的需求，研究了基于全局可接近性錐GAC的維修工具最優匹配方法、基于遺傳算法的虛擬人運動精度優化控制技術、基于功能約束的精細維修動作建模技術和基于實時捕捉數據與模型混合驅動的虛擬人運動控制機制。開發了虛擬人維修系統，驗證了方法的有效性。

關鍵詞：虛擬人；維修動作；混合驅動

0引言

維修性問題是復雜裝備的基礎共性問題，貫穿裝備的全生命周期。維修性已經成為評價裝備性能的重要指標，較差的維修性設計不僅增加維護成本，而且降低裝備利用率。復雜裝備如飛機、雷達、大噸位履帶吊等對維修性要求很高，必須保證其在規定的時間內能恢復到規定功能狀態，因此在復雜裝備設計階段，就需要制定詳細的維修指令描述拆卸、檢測、更換/修復、安裝及調試等過程，以確保維修操作能夠迅速、安全和準確。維修性設計過程中，設計人員需要考慮維修相關的所有因素，制定維修指令，并通過維修性分析，確定維修性設計措施和評定維修性設計目標的實現程度。由于裝備維修活動大部分是手工拆裝，并且很少具有生產裝配現場所具有的拆裝環境如工具與工裝，因此改善維修工作條件，便于維修人員手工拆裝操作；減少維修的潛在風險，是復雜裝備維修性設計亟待解決的問題。針對具體維修作業的特點，在裝備的維修性設計過程中，需著重考慮維修作業中人的因素，從適應人的人機工效特性、便于維修人員操作入手，使維修作業環境適宜于人的工作，從而安全、高效地完成維修任務。

為了實現以“人為中心”的裝備維修性設計，需要在裝備設計階段對制定的維修指令進行人機工效評估，傳統的基于維修性設計核對表，采用手工方法進行評估的方法存在維修姿勢難以準確定義、花費時間長的問題。虛擬維修技術是上世紀90 年代末發展起來的進行產品維修性并行設計與分析的有效工具，其在產品設計早期，具有數字樣機的研制階段就將維修性設計同產品性能設計并行開展，重點對加入維修人員(3D 虛擬人)后涉及的可達、可視、舒適性及操作空間等維修性問題進行分析。以美國CREW CHIEF 模型、DEPTH 系統為代表的虛擬維修系統在B-1B、F-22 等軍用飛機的維修性分析上取得了良好的軍事與經濟效益。

包含機電液子系統的復雜裝備故障具有多樣性、復雜性、隨機性和環境敏感性等特點，其組成的各分系統都可能出現故障，且同一故障源會出現不同類型的故障。根據裝備可靠性原理，在研制與設計階段需要分析與評估的維修指令數量非常龐大。隨著裝備的復雜化、高技術化，現有虛擬維修技術與評估手段很難滿足并行維修性設計的要求，其突出問題在于維修指令人機工效評估效率低下、準確度不高，因此限制了虛擬維修技術的工程應用。

在現有技術成果的基礎上，開展虛擬人維修動作混合驅動方法研究，充分利用虛擬人維修動作實時捕捉數據驅動與模型算法驅動的優點，提高維修指令人機工效分析的效率，對促進虛擬維修技術在維修性設計領域的普及與工程化，提高裝備維修性設計水平，具有重要的理論意義與應用價值。

1總體思路

為了提高維修指令人機工效評估的效率，滿足復雜裝備并行維修性設計的需求，虛擬人驅動的自動化與智能化是關鍵。本項目研究將在及時了解掌握國內外研究工作進展動態，充分利用課題組現有研究工作基礎上，采用理論研究與應用開發、實驗驗證相結合的方法展開研究。其總體思路如圖1所示。

圖 1　總體思路

總體技術方案上，虛擬人動作由實時運動捕捉數據與模型算法混合驅動，局部維修動作與過渡維修動作由實時運動捕捉數據驅動，當虛擬手或者維修工具進行精細維修動作約束識別與匹配時，自動轉換為模型算法驅動，并由拆裝環境約束，身體結構約束、人體運動機能約束以及生理機能約束構建姿態約束機，提高虛擬人動作驅動的效率與精度。同時通過自動提取維修過程關鍵幀的人機工效信息，采用自定義的量化準則進行評估，并設計實驗對量化結果進行可信性評價。

2實現過程

2.1　基于功能約束的精細維修動作建模技術

維修指令蘊含的操作動作信息挖掘需要處理大量的維修指令數據，采用智能挖掘方法提煉典型維修指令動作元素，建立標準拆裝動作的結構化表達和解析方法；為了便于計算機的識別與處理，對維修指令動作進行層次編碼；同時把每條指令當成一個族，通過數據矩陣表述的維修動作集合，采用曼哈坦距離公式計算族間距離，對動作集合進行聚類分析，獲得標準的精細維修動作。建立精細維修拆裝動作信息描述模型，包含零件間、零件與工具間的約束類型和個數，約束順序以及工程約束(零件或部件)等信息，同時建立拆卸裝配規則、拆卸裝配動作集、工具約束匹配規則等。

在這些研究的基礎上，建立基于功能約束的虛擬人動作驅動的層次約束模型：由拆裝環境約束，身體結構約束、人體運動機能約束以及生理機能約束構成的多層次的姿態約束機。針對標準的精細維修動作，一方面基于運動學反解的方法生成各關節、軀干和頭部的目標位置，另外一方面基于實證統計建模的方法構建運動學及動力學的約束模型。采用NDI Polaris紅外線跟蹤設備，已測量與擬合了旋入、旋出等基本維修動作。以螺釘旋入為例，擬建立的虛擬人精細維修動作自動推理過程建模如下：首先根據虛擬人站姿近身作業空間范圍和人體視野范圍劃分若干維修空間，根據虛擬人上肢反求算法、干涉檢測算法及舒適度評估方法，逐次建立各個維修空間虛擬人維修姿態的推理法則，進而計算維修動作中的若干關鍵姿態；關鍵姿態之間虛擬人關節運動采用球面四元素SLERP算法進行驅動，最終生成完整的維修動作序列。例如擰緊螺釘動作驅動模型可表達為：

MList=TightenScrew(Operator，VH&T，Object，RA，TP，AS，v)

Operator為操作者；VH&T表示虛擬手抓取或采用擰緊工具；Object為擰緊對象，此處為螺釘；RA為每次擰緊操作的角度；TP為螺距；AS為螺釘與其配合螺紋孔的軸線；v為維修環境的仿真速率；MList為生成的維修動作關鍵幀。

以此類推，螺栓、螺母、銷釘等其他緊固件的旋入、旋出、擰松、敲打等精細維修動作的驅動模型亦可建立。根據精細動作模型參數計算每次操作零件、工具的位姿矩陣：以擰緊螺釘操作為例，根據擰過的角度RA、螺距TP和配合軸線AS，可計算出每次操作螺釘和擰緊工具位置；再根據虛擬手與工具之間的固聯關系，通過虛擬人維修姿態推理模型求解當前最適合的維修操作姿態。

2.2　基于遺傳算法的虛擬人運動精度優化控制技術

影響虛擬人實時驅動精度主要包括2個環節：運動數據的輸入環節和處理環節。前者跟硬件本身性能相關，將這類由于硬件本身性能導致驅動精度下降的因素稱之為硬件因素；后者與虛擬人的實時驅動模型相關，將其歸類為軟件因素。

常見的硬件因素主要包括連續性噪聲和突發性噪聲2大類。第1類主要指設備的跟蹤誤差，其影響主要表現在驅動過程中虛擬人持續“顫抖”，跟蹤誤差累積會加劇“顫抖”的劇烈程度以至嚴重失真。第2類指運動跟蹤過程的魯棒性，運動捕捉系統在實時驅動過程中受到外界干擾會產生噪聲數據，導致關節運動信息突然缺失或者位姿狀態突變，使得虛擬人動作突然失真。針對硬件噪聲，首先對采集到的旋轉數據建立對應的過濾準則；對實時驅動過程中產生的噪聲，按照人體關節極限角度和前后關鍵幀關節角度變化幅度進行濾波；對于合理的跟蹤數據，采用遞推平均濾波法，對跟蹤數據進行光滑處理，以消除虛擬人驅動過程中的“顫抖”現象；對于過濾掉的突發性噪聲，采用灰色系統理論進行在線的位姿補償，以防止維修操作過程中虛擬人動作的突然變形。精度控制流程如圖2所示。

圖2　虛擬人實時驅動精度控制

軟件因素主要包括虛擬人模型簡化和人體部件匹配精度。目前虛擬人建模廣泛采用Hanavan人體骨架結構具有良好的運動學和動力學計算精度，因此操作者與虛擬人骨骼部件尺寸的匹配精度是影響虛擬人實時驅動精度的主要因素。本研究擬提出相應的虛擬人實時驅動精度的優化方法：首先在獲取虛擬環境中各關節空間位姿的基礎上，提出虛擬人實時驅動誤差的量化方法，根據誤差量化函數建立驅動誤差模型；其次通過采集拆裝過程頻繁操作域的空間點，計算若干采樣點的累計誤差，以該累計誤差最小為優化目標，建立優化模型；然后以操作者身高對應的虛擬人部件尺寸作為初始參數，引入部件尺寸收縮系數來擴大尋優范圍；最后采用遺傳算法對優化模型進行求解，計算操作者與虛擬人的最佳匹配尺寸。

2.3　基于全局可接近性錐GAC 的維修工具最優匹配方法

維修工具的種類繁多，不同的維修工具在幾何外形、應用場合和使用方法等存在很大的差異，為提高維修指令評估的效率，需要自動、準確選擇合適的維修工具。由于拆卸與安裝緊固件是維修工作最為常見的指令。考慮虛擬人手持工具進行維修操作，增加工具重量、虛擬人抓取位置、旋轉操作位置等參數，建立維修工具信息描述模型。對維修工具進分類，并采用關系數據庫，建立緊固件拆裝工具庫，包含多種類型的手動工具與半自動工具，同時建立其與可以拆卸緊固件的約束映射關系。

采用分層優化的方法進行拆卸工具的初始匹配，流程如圖3所示，首先進行工具幾何參數的匹配，約束關系的匹配，滿足拆裝操作需求；然后采用全局可接近性錐GAC(global accessibility cone)方法對工具在拆裝空間內進行接近性評估；最后以虛擬人操作舒適性為優化目標，對篩選出的工具進行最優化匹配。

圖3　維修工具最優匹配流程

全局可接近錐GAC是用來進行可接近性分析的有效工具，其優于VMap方法，在數控加工、CMM測量規劃中獲得廣泛應用。本發明基于全局可接近性錐GAC方法，同時考慮緊固件的可視性與工具的可接近性，擬提出帶有深度信息的GAC，以緊固件的初始位置作為全局可接近性錐的中心，擰出/擰緊方向為全局可接近性錐的Y軸，構造可接近性自由錐，并通過遮擋篩選的方法判斷工具的掃略體是否在處于自由錐內，從而快速判斷工具的可接近性。

2.4　基于實時運動捕捉數據與模型混合驅動的虛擬人運動控制機制

一條維修指令通常蘊含系列維修動作，本研究將維修動作分為局部動作、過渡動作與精細動作，其中精細動作是指依賴于操作者的實際感知才能夠正確完成的維修動作，例如擰緊、擰出、旋入、旋出等。過渡動作是指虛擬人在維修位置A局部區域內的維修操作結束后，到維修位置B局部區域內進行新的維修操作時所需要的人體輔助動作，主要包含：步行、搬運、轉身、彎腰、下蹲、扭轉軀干、扭轉頭部等。虛擬人維修操作體系如圖4所示。

圖4　虛擬人維修操作體系

提出實時捕捉數據和模型驅動相結合的虛擬人的運動生成與控制方法，技術路線如下：針對局部動作與過渡動作，可以通過虛擬現實外設實時捕捉數據驅動，通過基于拆裝幾何約束的交互式確認，可以高效的生成逼真的虛擬人維修動作序列，而且可以避免復雜的路徑規劃問題；針對精細動作，可以采用上述的基于功能約束的方法，由精細維修拆裝動作模型算法自動生成維修動作序列。驅動轉換通過工具/虛擬手導航過程中，工具、零件以及虛擬手之間的約束識別來實現。根據真人交互過程中對約束的確認結果，自動對驅動模式進行轉換，并通過約束導航和實時碰撞檢測方法生成姿態約束機的拆裝環境約束。

3開發實例

以VC++8.0為開發工具，使用OPEGL/PERFOMER圖形引擎、mysql、applet技術和硬件接口開發等技術，結合空間定位器(IS-900)、數據手杖(R-GAMEPAD)等交互式硬件，開發了虛擬人維修系統，系統的界面如圖5所示。

圖5　虛擬人維修系統界面

該系統能夠利用虛擬人針對維修模型進行典型的維修操作，能夠加載預定義的典型姿態，支持加載從交互式操作模塊提取的典型動作序列；虛擬人姿態控制模塊能夠加載虛擬人姿態庫中預定義的數據，可以將新定義的典型姿態通過數據采集模塊存入虛擬人姿態數據庫；數據采集模塊能夠將虛擬人在操作維修對象過程中的操作范圍、視野范圍、當前動作的靈便性、疲勞度等信息采集并記錄下來，存入虛擬人姿態庫相應的數據字段；虛擬人模塊可記錄自然人交互式操作的不規則、不標準的自然人交互式操作的動作序列分解成多個標準動作，形成標準動作序列，存儲到虛擬人姿態庫中，加載給虛擬人模型，驅動虛擬人按照標準動作序列完成自然人交互式操作的過程。

4結束語

針對維修指令人機工效評估的效率與準確性問題，提出了虛擬維修環境下虛擬人維修動作混合驅動及人機工效自動量化評估方法，將在復雜裝備設計階段從人機工程領域評估維修指令、有效避免裝備由于維修性設計問題而造成的維修困難、維修方案不合理等問題，實現以人為中心的維修性設計，降低裝備研制與維護成本。對促進虛擬維修技術在維修性設計領域的普及與工程化具有重要的意義。可以應用到裝配指令的人機工效評估，三維裝配/維修電子手冊的生成、維修操作訓練等方面，全面提升裝備維修性設計的水平。

參考文獻：

[1]國防科學技術工業委員會. GJB/Z 91-97 維修性設計技術手冊.

[2]于永利，郝建平，楊東曉. 維修性可視化設計分析技術現狀與發展趨勢. 中國機械工程，1998，9(12)：41-44.

[3]Glor P J. Design evaluation for personnel，training and human factors(DEPTH) ∥ Reliability and Maintainability Symposium. Atlanta，1993.

[4]Abshire，K J.Virtual maintenance real-world applications within virtual environments∥ Reliability and Maintainability Symposium.Anaheim，1998.

[5]Shozo Takata，Yuu Inoue. Maintenance data management system.Annals of the CIRP，1999，48 (1) : 389-392.

[6]Wani M F，Gandhi O P. Development of maintain-ability index for mechanical systems . Reliability Engineering & System Safety，1999，65 (3): 259-270.

[7]Vujosevic R，Raskar R. Simulation，Animation and analysis of design disassembly for maintainability analysis. Production Research，1995，33 (11) : 2999-3022.

Abstract:The current virtual maintenance system is inefficient and inaccurate, which cannot meet the requirements of the maintenance of complex equipment. This paper studies the information modeling of maintenance tools oriented to the virtual simulation after analyzing typical maintenance order, then develops a hybrid drive model of maintenance action of virtual human combining the real-time interactive control method and Parameterized Action Representation method, to realize the simulation driven from maintenance instruction written by natural language to maintenance simulation, so as to improve the manual simulation setting mode. At the same time, the study develops the automatic quantitative evaluation technology for human factors based on the real-time virtual maintenance simulation process. Finally, this method is validated successfully by a virtual human maintenance system.

Key words:virtual human；maintenance action；hybrid drive

作者簡介：陳帝江(1983 -)，男，安徽廬江人，碩士，高級工程師，研究方向為智能CAD和數字樣機技術；張紅旗(1975 -)，男，安徽合肥人，碩士，研究員級高級工程師，碩士研究生導師；研究方向為智能CAD和數字樣機技術。

基金項目：國防技術基礎計劃資助項目(JSZL2014210B001)；國防技術基礎計劃資助項目(JSBZ2014210A005)；國防技術基礎計劃資助項目(JSBZ2014210B007)；國防基礎科研計劃資助項目(A1120110003)

收稿日期：2015-09-25

文章編號：1001-2257(2015)12-0006-04

文獻標識碼：A

中圖分類號：TP391