虛擬裝配手勢庫設計及人機工效評估優化

郭加偉， 許志杰， 何其昌

(上海交通大學 機械與動力工程學院， 上海 200240)

隨著我國機器人技術、智能制造技術的不斷提高，裝配自動化技術得到了快速發展，但是在精細裝配工藝環節，如手機通訊元件裝配、線纜裝配等，仍需要手工來操作.人機虛擬裝配作為虛擬現實技術在產品全生命周期領域中的仿真驗證工具，以提高設計質量為目標，綜合利用計算機圖形學技術、建模仿真、人機交互技術等，構建虛擬仿真環境，使操作者可以在虛擬環境中交互式裝配、拆卸零件等，對裝配作業進行人機工效評估[1-3].

國內外學者對虛擬裝配仿真做了大量的研究，法國Dassault公司[4]推出了數字化裝配仿真平臺DELMIA，可以將產品模型與工藝模型進行協同設計，在虛擬環境中完成仿真分析.文獻[5]建立了虛擬裝配系統VDVAS，操作者可以在系統內選擇零部件并進行拆卸規劃，靜、動態干涉分析.文獻[6]研究了基于約束的虛擬裝配，實現了虛擬環境下使用擰緊工具的交互式裝配操作.文獻[7]虛擬現實設備的出現，改變了需要穿戴外設的限制，其通過圖像處理技術，自動捕捉人體及手部的運動軌跡，提高虛擬裝配人機交互的友好性.文獻[8]利用基于Leap Motion的虛擬手交互方法，根據任務訓練需求設計虛擬手抓取方式等，構建了航天員虛擬裝配訓練系統.

裝配作業舒適度與裝配件重量、工作姿勢及時長等因素相關，如上述條件不當，不僅會降低裝配效率，還會造成操作者肌肉骨骼損傷，影響生理健康，進一步對裝配質量產生影響，存在極大安全隱患[9].快速上肢評估(RULA)[10-11]作為一種有效的人機工效評估方法被廣泛使用，而RULA方法對手部，尤其手指關節工作時長、操作速度等因素沒有考慮，并且當人體關節角度處于評價標準的臨界值時，RULA評估分值會發生突變、跳躍現象[12]，影響評估的準確性.勞損指數(SI)[13]是一種用來評估工作中手部、手腕、前臂和肘部傷害風險水平的評估方法，其將工作速度、手/手腕姿勢、每天工作時間等任務變量作為評價標準，能夠充分對手工作業人機工效進行評估.目前，在采用RULA和SI進行人機工效評估時，現有軟件工具只能對裝配姿勢逐個進行評估，操作繁瑣、手勢姿勢精確設置時間較長，造成虛擬裝配仿真效率低下，影響虛擬裝配技術的推廣使用.

針對以上問題，通過定義手部關節結構、手臂及手部尺寸，建立參數化裝配手勢庫；使用模糊算法優化RULA評估方法，避免因關節角度處于臨界值時RULA分值的跳躍現象；考慮工作速度、手/手腕姿勢、每天工作時間等評價因素，綜合模糊RULA與SI方法進行人機工效評估；集成開發基于Dassault公司的3D Experience平臺的人機工效評估工具，實現裝配仿真過程的連續人機工效評估，避免遺漏裝配作業期間的風險姿勢，提高仿真效率與精度.最后，采用手機通訊元件的裝配作業評估進行應用驗證.

1 虛擬手關節模型及手勢定義

虛擬人是真實操作者在虛擬環境中的映射，其尺寸與裝配過程位姿是人機工效評估的重要參數.為了保證評估的準確性，需要對虛擬人手進行個性化尺寸標定.所建立的虛擬手模型如圖1(a)所示，包含18個關節、27個自由度(DOF)，其中上臂與肩部之間關節具有3個自由度，其余關節各有1～2個自由度.以圖1(b)關節3(手腕關節)為例，在關節處定義空間直角坐標系，以骨骼朝向指尖方向為z軸，記繞y軸為DOF1，繞x軸為DOF2.通過設定虛擬手模型的長度尺寸以及27個自由度的角度值，可以定義特定裝配動作的手勢.

圖1 虛擬人手部關節及自由度Fig.1 Virtual human hand joints and degree of freedom

手工裝配作業手勢種類較多，在裝配作業中需要不斷切換手勢，傳統虛擬裝配仿真過程中需要在虛擬裝配軟件中手動調整手臂、手部的27個關節自由度參數，設置操作較為繁瑣.通過外置傳感器設置、保存特定裝配動作的手勢關節角度、構建參數化裝配手勢庫，可提高虛擬裝配仿真設置效率.Ultraleap公司的Leap Motion傳感器能夠實時獲取手部關節的坐標、方向矢量等信息，且具有良好的精度[14].Leap Motion采用紅外成像技術來捕捉手勢數據，將手部放置在Leap Motion上方，獲取手部方向矢量，如圖2(a)所示.通過計算空間矢量夾角公式將手部方向矢量轉換為關節角度值，從而獲得當前手勢的27個關節自由度參數值，如圖2(b)所示.獲取手操作工具的手勢信息時，操作工具會遮擋手指，影響關節角度識別精度，需對部分手指關節角度進行調整，形成裝配手勢庫的手勢，如圖2(c)所示.

圖2 Leap Motion手勢獲取Fig.2 Leap Motion gesture acquisition

2 模糊RULA與SI人機工效綜合評估

2.1 模糊RULA評估方法

當人體關節角度處于評價標準的臨界值時，RULA評估分值會發生突變、跳躍現象，影響人機工效評估的準確性.采用模糊邏輯對RULA評估方法進行改進，實現評估分值的連續化.模糊邏輯是建立在多值邏輯的基礎上，運用模糊集合的方法來研究模糊性思維、語言形式及其規律的科學，借助于隸屬函數的概念，區分模糊集合，處理模糊關系[15-16].RULA方法將身體分為A部分：上臂、前臂、手腕以及B部分：頸部、軀干、腿部.對裝配作業進行RULA評價時，首先根據作業姿勢獲取關節角度值，由關節角度評價標準得出關節角度得分；其次, 根據關節角度得分在RULA得分規則表A和B[17]中獲取A部分以及B部分得分，考慮上肢、頸部等部位的肌肉使用、負荷情況并由評價標準獲取相應得分，將其得分與A部分、B部分得分匯總；最后由匯總后的得分在規則表C[17]中獲取RULA評估分數[11, 17].建立的模糊RULA評估方法包括27個關節角度輸入(X1～X27)、2個中間變量(模糊RULA的A、B部分得分SA,SB)、1個輸出(模糊RULA得分S)、40個隸屬函數(f1～f40)以及281個if-then規則[12,15]，其模型結構如圖3所示.

圖3 模糊RULA模型結構Fig.3 Structure diagram of fuzzy RULA model

使用隸屬函數對27個關節角度進行模糊化，采用最大隸屬度法進行去模糊化[18]，選取規則表A[17]、規則表B[17]中隸屬度最大的分值作為A部分、B部分得分，通過規則表C[17]獲取RULA得分，模糊RULA評估方法計算流程如算法1所示.

算法1模糊RULA

(1) 獲得影響RULA得分的各關節自由度DOF的角度值θ.

(2) 設置梯形函數為隸屬函數對關節角度進行模糊化.

(3) 根據角度值θ與隸屬函數，計算各關節角度得分的隸屬度.

(4) 由計算得出的上臂、前臂、手腕、手腕扭轉得分及對應隸屬度，在表A中求出A部分得分隸屬度的最大分值.

(5) 由計算得出的頸部、軀干、腿部得分及對應隸屬度，在表B中求出B部分得分隸屬度的最大分值.

(6) 由A部分、B部分得分在表C中求出最終模糊RULA得分.

梯形函數能夠有效地對關節角度進行模糊化并且簡化計算過程，故選取梯形函數作為隸屬函數，對關節角度進行模糊化，相鄰隸屬函數交點的隸屬度為0.5，梯形隸屬函數表達式如下式所示：

(1)

式中：h為自變量；a為下底與左腰交點的橫坐標；b為上底與左腰交點的橫坐標；c為上底與右腰交點的橫坐標；d為下底與右腰交點的橫坐標.通過各關節的對應隸屬函數計算關節角度得分及其隸屬度，分別計算出規則表A[17]、規則表B[17]中隸屬度最大的分值作為A部分、B部分的最終得分.

以A部分(上肢部分)得分為例，有3個關節角度：上臂DOF1角度、上臂DOF2角度、鎖骨DOF2角度影響上臂得分，根據RULA關節角度評分標準建立上臂的7個隸屬函數，如圖4～6所示，其中：δ為隸屬度.由以上3個關節角度及其對應的隸屬函數可得出一對相鄰關節角度得分及其各自隸屬度.同理，計算出前臂、手腕、手腕扭轉部分的3對相鄰分值及對應隸屬度，在規則表A[17]中選取最大隸屬度分數作為A部分得分.

圖4 上臂DOF1隸屬函數Fig.4 Membership function of upper arm DOF1

圖5 上臂DOF2隸屬函數Fig.5 Membership function of upper arm DOF2

圖6 鎖骨DOF2隸屬函數Fig.6 Membership function of clavicular DOF2

基于模糊邏輯的RULA評估方法針對得分發生跳躍的問題，引入了隸屬函數，關節角度分值的變化呈穩定變化趨勢，避免最終得分因關節角度處于臨界值時而發生突變的現象.

2.2 人機工效綜合評估

針對RULA方法對手部，尤其是手指關節工作時長、操作速度等因素考慮不全的問題，采用模糊RULA與SI方法綜合進行人機功效評估.SI將工作強度、工作持續時間、每分鐘工作次數、手/手腕姿勢、工作速度、每天工作時間作為評價因素，對每個因素的風險進行評估并各劃分為5個等級，為各等級分配乘數，乘數越大代表風險系數越高，乘數的乘積為SI的最終得分[13].SI對連續手工作業進行評估，能夠彌補RULA方法缺乏對手指動作進行評估的缺陷.RULA與SI的評分標準都將7分評定為高風險工作，故設定權重因子為0.5，并將模糊RULA與SI得分加權求出最終評估結果，如下式所示：

(2)

式中：SF為人機功效評估得分；n為仿真動作時長；Si為第i幀時的RULA評估得分；I為工作強度乘數；D為工作持續時間乘數；M為每分鐘工作次數乘數；P為手/手腕姿勢乘數；v為工作速度乘數；t為每天工作時間乘數；w1與w2為權重因子，設為0.5.

該評估方法能夠對連續的裝配動作進行人機工效評估，且最終評估結果用分數表示，分數越高則代表著肌肉骨骼損傷風險的等級越高.

3 3D Experience集成開發

通過對操作人員的手部長度信息、手工裝配姿勢進行采集，擬在3D Experience平臺中建立裝配手勢庫.3D Experience是法國Dassault公司推出的一套面向產品全生命周期的協同管理、分析、設計和仿真平臺.基于3D Experience提供的開發接口，利用組件應用架構(CAA)二次開發技術，開發裝配手勢庫及人機工效評估工具，包括4個模塊：手部標定、手勢管理、手勢應用、人機工效評估，并集成到3D Experience軟件的工具條中.

(1) 手部標定模塊：設置人體模型的國家、比例、性別等信息，獲取標準虛擬人模型；采集、管理員工個性化手部長度信息，賦值到虛擬人體模型以姓名或序號命名保存.手部標定模塊窗口如圖7所示.

圖7 手勢標定模塊界面Fig.7 Module interface of gesture calibration

(2) 手勢管理模塊：定義個性化手勢，集成Leap Motion傳感器采集手部關節角度，對27個手部關節自由度賦值，提供三維人機界面手工對關節角度進行調整，形成精確手勢，按照不同裝配工作定義手勢分區，在不同分區下保存對應手勢.

(3) 手勢應用模塊：虛擬裝配仿真過程中，將手勢庫中的手勢參數自動賦予虛擬環境中的虛擬手模型.

(4) 人機工效評估工具：針對3D Experience平臺中的裝配運動仿真，設置進行人機工效評估的幀數范圍，以分值圖的形式展示評估結果，并通過顏色顯示評估預警.

4 案例分析

為驗證該人機工效評估工具的可行性，選取手機通訊線裝配案例進行應用驗證.在通訊線裝配作業中，操作人員先將線纜放置在線槽上，兩端扣緊卡扣固定，然后用理線筆將線纜壓緊到線槽里.裝配操作動作由上肢完成，負載小于20 N.安裝一根手機通訊線平均耗時73 s，每天工作8 h，屬于長時間勞作，容易造成操作人員肌肉骨骼損傷.在3D Experience平臺中進行手機通訊線裝配作業仿真，采用傳統制作仿真方式進行操作，對上肢動作，尤其是手部精細動作調整時花費時間較多，仿真效率低下.通過制作5組手機通訊線裝配仿真并計時，計算得出該案例平均耗時63 min.

利用構建的裝配手勢庫，讀取裝配過程中的操作理線筆姿勢、拿線姿勢、按壓姿勢等，建立參數化裝配手勢庫，如圖8所示.

圖8 裝配手勢Fig.8 Assembly gestures

結合裝配手勢庫制作虛擬裝配仿真，從手勢庫中調用手勢設置仿真的關鍵姿勢，減少手勢姿態調整時間，制作與相同的5組手機通訊線裝配仿真，在相同的手勢精度下，平均仿真時間為17 min，仿真效率提高370%.圖9為線纜裝配作業仿真.

圖9 線纜裝配作業仿真Fig.9 Simulation of cable assembly job

根據上述手機通訊線裝配工作情況，設定RULA肌肉使用、負荷分數以及SI各評估因素的風險等級.其中，A部分肌肉使用分值加1；工作強度評級為1級，乘數為1.0；工作持續時間評級為5級，乘數為3.0；每分鐘工作次數評級為5級，乘數為3.0；手/手腕姿勢評級為3級，乘數為1.5；工作速度評級為3級，乘數為1.0；每天工作時間評級為4，乘數為1.0.對裝配作業仿真進行人機工效評估，在3D Experience中使用人機工效評估工具讀取該仿真，設定進行人因評估的幀數區間，生成逐幀的綜合人機工效評估分值圖，如圖10所示.其中：分值線框圖中紅線為原始RULA分值；藍線為模糊RULA分值；橫軸為裝配仿真的幀數.

圖10 評估結果Fig.10 Evaluation results

根據分值線以及裝配仿真運動可以觀察到，第2、3幀裝配作業姿勢關節角度差距較小并且處于RULA關節角度評分標準的邊界范圍，原始RULA分值發生了跳躍，而模糊RULA由于對關節角度進行了模糊化處理修正了這一突變現象.圖11為原始RULA分值發生跳躍的兩個臨界姿勢.由圖11可知，僅手臂、手腕、脖頸關節角度有微小差別，最終分值卻相差2分.根據式(2)計算出該裝配仿真的模糊RULA評估得分的平均值，與SI進行加權計算得到最終人機工效綜合評估為9.1分.因此，從安全隱患以及員工健康角度考慮，長時間的流水線作業會提高肌肉骨骼損傷風險，減少員工的工作時間以及工作頻率是有必要的.

圖11 RULA分值突變臨界姿勢Fig.11 Mutation critical position of RULA score

傳統的人因評估方法只針對預測有風險的單個姿勢進行評估，從上述手機通訊線裝配案例可發現該人機工效評估工具能夠大大提高裝配仿真制作的效率；并且實現了對裝配仿真進行連續的評估，能夠及時捕捉到裝配作業中的風險姿勢，提高了評估精度.

5 結語

通過定義手部關節結構、手臂及手部尺寸，建立了參數化的手勢裝配庫，改善了傳統虛擬裝配手勢仿真設置效率低下的問題.針對RULA在關節角度處于評價標準臨界范圍時得分發生跳躍的現象，使用模糊算法進行了優化.綜合模糊RULA與SI方法，考慮了工作速度、手/手腕姿勢、每天工作時間等評價因素.開發基于3D Experience平臺的人機工效評估工具，實現了裝配仿真過程的連續人機工效評估，對裝配作業姿勢進行風險監控，極大地提高了評估的效率與精度.最后，通過對裝配手機通訊線案例的分析，進一步驗證了該方法的可行性.