基于完整可達域分析的虛擬人作業姿態生成方法

朱文敏， 駱曉萌， 范秀敏,3， 張 磊， 蔡俊祺

(1. 上海交通大學 機械與動力工程學院， 上海 200240； 2. 上海船舶工藝研究所，上海 200032；3. 上海市網絡化制造與企業信息化重點實驗室，上海 200230)

近年來，計算機仿真與虛擬現實等技術在機械裝備的各項設計環節中有著廣泛應用，例如在裝備研制初期，設計人員可以在虛擬環境中對裝備的裝配、維修維護等環節進行充分設計和仿真，從而提前發現設計缺陷，并及時采取相應措施進行優化改進[1-2].其中，虛擬人模型是真實操作人員在虛擬環境中的映射，是完成裝配、維修操作仿真與分析評價工作的基礎，設計人員通過驅動虛擬人完成仿真，進而開展人機工程學分析評價工作[3-4].

虛擬人作業姿態的快速、準確生成是進行操作仿真的關鍵，在確保虛擬人能夠完成操作工作的前提下，應盡量使虛擬人具有更好的可達性、可視性和舒適性[5].目前，許多學者對虛擬人作業姿態生成方法進行了研究，主要包括手工驅動、數據驅動和模型驅動3種方法[6-7]，同時，也有部分學者通過將上述驅動方法進行結合，提高了虛擬人作業姿態的生成效率[8].但是，由于人體結構非常復雜，簡化后的虛擬人模型依然有至少30個自由度，在現有技術條件下，虛擬人作業姿態的生成效率仍然較低.因此，現有虛擬人操作仿真仍然需要耗費大量時間和人工干預，在裝備研發周期的約束下，通常只能對裝備的部分零部件進行操作仿真和分析評價，無法對裝備設計方案的可行性進行充分地仿真驗證[9].總的來看，虛擬人作業姿態生成的主要難點在于找到虛擬人生成精度和效率之間的平衡.

針對上述問題，部分學者構建了虛擬人作業姿態庫，通過直接調用姿態庫中的虛擬人動作參數快速生成虛擬人作業姿態.例如，陶松橋[10]構建了虛擬人裝配姿態庫，焦慶龍等[11]構建了虛擬人維修姿態庫，伍朝暉等[12]構建了虛擬人焊接姿態庫.但在仿真過程中，上述方法仍需通過人工干預方式從姿態庫中選擇采用何種動作，存在自動化程度不足的問題.

實際作業中，操作人員都自然地傾向于選擇合適的姿態完成操作任務，以確保作業過程具有良好的可達性和可視性，從而盡可能地降低作業難度和復雜性.但是，在通過仿真方法分析操作人員的可達性和可視性時，現有研究很少考慮到人體作業姿態的變化，大多數研究只是針對靜態的作業姿態進行分析.例如，在虛擬環境中，主要通過構建虛擬人靜止姿態的可視性錐、可達性包絡球進行可視性和可達性分析[5].而實際上，操作人員可以通過調整作業姿態來擴大作業范圍和視野范圍，即操作人員真實的可達域和可視域范圍會比現有方法的分析結果更大.對于設計人員而言，僅僅分析并了解當前人體作業姿態下的可達性和可視性水平并不足夠，更重要的是如何得到可以提高可達性和可視性水平的作業姿態.

基于上述分析，本文以裝配仿真為研究對象，考慮作業姿態變化這一因素，采用幾何方法計算不同虛擬人作業姿態的可達域范圍，構建虛擬人的完整可達域，并根據虛擬人與操作對象的位置關系，自動確定合適的虛擬人作業姿態.首先，根據人體結構與運動特點，建立虛擬人裝配動作模板；然后，通過理論分析和計算，推導出不同動作模板對應操作可達域的計算公式；在此基礎上，結合虛擬人的完整可達域及作業姿態多目標優化模型，實現虛擬人作業姿態的自動生成；最后，通過案例對提出的方法進行了驗證.

1 虛擬人裝配動作模板構建

1.1 虛擬人裝配動作類型

本文采用機械工程領域常用的Hanavan多剛體人體模型構建虛擬人，它的優點在于建模簡單且便于進行運動學和動力學計算，能夠有效支持復雜的人體運動仿真與分析[7].

如圖1所示，Hanavan多剛體模型將人體分為15個剛體部件，包括：下軀干、上軀干、頭部、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左足、右大腿、右小腿和右足.上述剛體通過關節連在一起，Hanavan多剛體模型包含15個關節，即：根關節1個(J0)、腰關節1個(J1)、頸關節1個(J2)、肩關節2個(J3/J6)、肘關節2個(J4/J7)、腕關節2個(J5/J8)、髖關節2個(J9/J12)、膝關節2個(J10/J13)和踝關節2個(J11/J14).

人體軀干部分的裝配動作可分為10個基本類型，包括：直立、彎腰、側彎、轉腰、下蹲、雙膝跪、單膝跪、俯臥、仰臥和側臥[10-11]，各基本裝配動作的代號和含義如表1所示.其中，每個基本動作類型都可引申出一系列具體的裝配動作，例如在彎腰時，人體腰部彎曲程度的不同會形成不同的具體動作，它們都被稱為彎腰動作，只是腰部關節的轉動角度不一樣.實際作業中，裝配人員的操作動作都屬于這些基本類型或它們之間的組合，例如人體既可僅通過彎腰動作完成裝配操作，也可以通過同時彎腰、側彎和轉腰完成裝配操作.

表1 裝配動作基本類型Tab.1 Basic types of assembly actions

1.2 虛擬人裝配動作模板

本文基于虛擬人模型并結合人體各關節的轉動范圍[13]，對每種基本動作類型構建若干人體裝配動作模板.通常，每個裝配動作的形成都直接與一個或多個人體關節有關，如彎腰動作是通過人體上軀干繞根關節坐標系的x軸轉動形成；而下蹲動作是通過踝關節、膝關節、髖關節和腰關節繞相應關節坐標系的x軸轉動形成.對于主要受單個關節影響而形成的動作，如彎腰、側彎和轉腰，若影響動作形成的關節轉角范圍是[a1,a2]，則基于最小轉角a1，以c=(a2-a1)/n為轉角增量可建立n個人體裝配動作模板.以彎腰動作為例，上軀干在向前彎曲時的轉角范圍是[0°, 45°]，故以11.25° 為增量時，可構建出4個不同的彎腰動作，如圖2所示.

對于受多個關節影響而形成的動作，如下蹲、雙膝跪、單膝跪、俯臥、仰臥和側臥，各關節的不同轉角組合會形成大量形態各異的動作，故不能采用上述轉角增量生成方法，否則會產生大量無效的裝配動作.實際上，為了完成上述特定的裝配動作(指下蹲、雙膝跪、單膝跪、俯臥、仰臥和側臥動作)，各關節的轉角之間應符合一定的約束關系，而且這些動作之間有的差異并不顯著.因此，本文基于影響上述動作的關節活動范圍，有針對性的確定具有代表性的關節轉角組合，從而構建虛擬人裝配動作模板.

以下蹲為例，下蹲動作的實現主要與人體足部、小腿、大腿和上軀干有關，對應著4個關節轉角范圍，在進行下蹲時，這4個部位的關節轉角必須滿足一定約束關系而不是任意組合.為了確保動作模板的準確性，本文由實驗人員做出各種下蹲動作，然后通過運動捕捉設備采集人體動作數據，并利用采集的數據驅動虛擬人生成具有代表性的下蹲姿勢，如完全下蹲和半蹲動作等，如圖3所示.此外，對于直立動作，只構建一個虛擬人裝配動作模板.

基于以上方法，本文構建了82個人體裝配動作模板，包括：直立1個、彎腰9個、側彎10個、轉腰10個、下蹲8個、雙膝跪8個、單膝跪12個、俯臥6個、仰臥6個和側臥12個.在實際應用中，可根據需求構建更多人體裝配動作模板，以滿足對虛擬人作業姿態精度的更高要求.表2中為本文構建的部分動作模板，其中，每個模板的命名規則為：動作代號-模板在該動作中的序號，例如Stand-1，Flexion-2，Squat-1，Squat-2和OneKneel-1.

表2 人體裝配動作模板Tab.2 Templates of assembly actions

2 虛擬人裝配動作完整可達域

2.1 完整可達域概念

如圖4所示，以虛擬人的右側上肢為例，在不走動的情況下，虛擬人在固定操作位置上從直立到彎腰、側彎、轉腰和下蹲等動作變化的過程中，肩部位置發生了變化，人體的操作范圍也隨之發生著變化.因此，基于人體幾何尺寸并結合各關節的轉角范圍，將所有虛擬人動作對應的操作范圍進行疊加，可以構建出虛擬人完整的可達域范圍.

Ws=S1∪S2∪S3∪S4∪S5∪S6∪

S7∪S8∪S9∪S10

(1)

2.2 完整可達域計算

本文構建虛擬人操作范圍的構造函數F，根據虛擬人裝配動作的相關描述參數，可以實現對虛擬人裝配操作范圍的計算與生成：

Si=F(α,β,γ,δ,λ1,λ2,λ3,λ4,λ5)

(2)

中：α、β和γ表示虛擬人上軀干繞其根關節坐標系的x軸、y軸和z軸轉動的角度，分別對應于虛擬人的彎腰、側彎和轉腰動作；δ表示虛擬人雙腿的下蹲系數，當δ=0時表示虛擬人雙腿為直立狀態，δ=1時表示虛擬人雙腿為完全下蹲狀態，當δ在0和1之間時表示虛擬人雙腿為直立和完全下蹲間的一系列中間姿態.此外，δ=-1時表示虛擬人雙腿既非直立也非下蹲動作，如可能是單膝跪等動作.相似地，λ1、λ2、λ3、λ4和λ5分別表示虛擬人的雙膝跪系數、單膝跪系數、俯臥系數、仰臥系數和側臥系數，當它們為-1時，分別表示虛擬人處于非雙膝跪、非單膝跪、非俯臥、非仰臥、非側臥狀態，而當它們在[0, 1]之間時，則表明虛擬人處于雙膝跪、單膝跪、俯臥、仰臥、側臥狀態.例如，λ1表示虛擬人的雙膝跪系數，在λ1∈[0, 1]時，λ1=0表示虛擬人雙膝跪于支撐面的同時，大腿和軀干為直立狀態，λ1=1表示虛擬人雙膝跪于支撐面的同時，大腿與小腿為完全貼合狀態，當λ1在0和1之間時表示虛擬人處于以上兩個姿態間的一系列中間姿態.裝配動作描述參數與子空間Si的對應關系如表3所示.

Si=

(3)

(4)

(5)

(6)

(7)

采用類似的分析方法，可對其他虛擬人裝配動作的肩關節中心和方向向量進行計算，由于篇幅有限，不再對其計算過程一一詳述.最后，結合表3中動作描述參數的取值范圍，將肩關節中心位置與方向向量代入式(3)中計算，可以得到各類虛擬人裝配動作對應的操作范圍以及虛擬人完整的可達域.

在第1.2節中構建了82個虛擬人裝配動作模板，采用上述方法可構建出各個動作模板對應的操作范圍，記為Si,j.其中，i表示動作類型代號，j表示模板在該動作類型中的序號.為了減少虛擬人完整可達域的計算量，用以上82個虛擬人動作模板對應的操作范圍來描述虛擬人完整的可達域，即用離散空間代替連續空間.

3 基于完整可達域的仿真姿態生成

3.1 作業姿態多目標優化模型構建

實際裝配過程中，裝配人員與其周圍作業環境之間的交互存在以下特點：首先，裝配人員會避免與作業環境發生干涉碰撞或減少發生碰撞的次數；其次，裝配人員會盡可能地接近裝配對象，以確保裝配操作過程具有良好的可達性和可視性；此外，裝配人員會自然地以當前作業環境下最舒適的姿態完成裝配操作.相應地，根據裝配人員與作業環境交互的上述特點，本文提出虛擬人模型與作業環境模型交互的4個啟發性原則，即：① 虛擬人與作業環境間的碰撞要盡可能少；② 虛擬人與裝配對象之間的距離要盡可能小；③ 虛擬人視野要盡可能地落在裝配對象的可視范圍內；④ 虛擬人姿態要盡可能舒適.

因此，本文中虛擬人作業姿態的生成問題可以被定義為：在給定的裝配作業環境下，確定出能夠滿足上述4個啟發性原則的虛擬人位姿，包括虛擬人位置和動作.由于可以利用人體裝配動作模板作為虛擬人動作的已知量，所以該問題可被進一步轉化為：在給定的裝配作業環境下，從人體裝配動作模板集合中，尋找能夠滿足上述4個啟發性原則的虛擬人裝配動作及相應的虛擬人位姿.該問題實際上是一個多目標優化問題，可用數學表達式將其描述為

minf(Pn,An)=

[f1(Pn,An)f2(Pn,An)f3(Pn,An)f4(An)]

(8)

3.2 作業姿態多目標優化模型求解

在裝配仿真中，當給定虛擬人和操作對象的位置后，基于虛擬人直立時肩關節中心與操作對象中心之間的相對位置，在裝配動作模板對應的操作范圍Si,j中進行搜索，可以初步確定虛擬人能夠采用哪些裝配動作進行操作.通過這種方式，可以快速篩選出可能的虛擬人作業姿態，從而避免了繁瑣的虛擬人姿態調整過程.在此基礎上，基于虛擬人作業姿態的多目標優化模型并結合NSGA-II 算法，可以確定最終的虛擬人作業姿態.

NSGA-II 是采用帶精英策略的快速非支配排序遺傳算法(Non-Dominated Sorting Genetic Algorithm with Elitist Strategy)，是目前求解多目標優化問題時最常使用的算法，它是在第一代非支配排序遺傳算法NSGA的基礎上經改進后提出的.相比于NSGA，NSGA-II 降低了算法的計算復雜度，提高了非支配排序計算的效率.此外，通過將父代種群和子帶種群進行組合以共同產生下一代種群，確保了優良個體的延續.本文構建的作業姿態多目標優化模型是典型的多目標優化問題，同時，多目標優化模型中變量為位置向量Pn以及虛擬人動作向量An，屬于較低維度的優化問題，因此，非常適合采用NSGA-II 算法進行求解.

本方法的輸入為裝配仿真環境的三維模型、操作對象的位置坐標，輸出為虛擬人的位置坐標與動作信息，算法的主要流程和原理如圖7和圖8所示.首先，基于操作對象的位置，結合虛擬人的完整可達域，篩選出可采用的裝配動作模板集合AnSet.然后，以虛擬人位置參數與動作參數為變量，利用NSGA-II 算法對多目標優化模型進行求解.其中，動作參數采用已篩選出的裝配動作模板，從而可提高求解過程的效率.同時，動作模板的最佳匹配變換搜索按照一定順序進行，分為動作間順序(Order Among action Types, OAT)和動作內順序(Order Within action Type, OWT).動作間順序指按照直立、彎腰、側彎、轉腰、下蹲、雙膝跪、單膝跪、俯臥、仰臥和側臥的動作類順序進行匹配變換搜索.動作內順序則指在同一動作類型中優先采用舒適性高的動作進行匹配變換搜索，如果舒適性高的動作匹配成功，則不再對該類型中的其余動作進行匹配并轉入下一動作類型，否則需要對舒適性低一級的動作進行匹配變換搜索，直到匹配成功為止；若該類型動作匹配都不成功，則直接轉入下一動作類型進行匹配.最后，對所有匹配成功的虛擬人位置和動作進行分析比較，確定虛擬人的最佳作業姿態.

針對姿態因素，本文利用快速全身評估(Rapid Entire Body Assessment, REBA)方法對各人體裝配動作模板進行評價，在評價時假設虛擬人負載相同，因而評價結果只與虛擬人的姿態有關.以彎腰動作為例，上軀干轉動的角度越大則舒適性越差，反之則舒適性越好.因而在同等條件下優先采用轉動角度小的彎腰動作，只有當其無法滿足要求時，如轉動角度小時會產生較多干涉碰撞，才考慮采用轉動角度大的彎腰動作，即通過降低舒適性來避免發生碰撞.

利用NSGA-II 算法求解多目標優化問題時，得到的結果一般是非支配解集(又稱非劣解集或Pareto解集)，即解之間無法確定優劣關系，而且也沒有比它們更好的解.本文稱其為非支配動作解集，即解是不同動作類型中匹配成功且舒適性較高的虛擬人動作及其位置信息，其中同一個虛擬人動作可能存在多個對應的操作位置.為了從這些非支配解中確定最終解，必須再給定相應的權重來判斷它們的優劣性，本文的權重選擇參考層次分析法，即根據指標的相對重要性來確定指標間的標度值以及它們的權重.如A指標和B指標同等重要，則標度值為1，兩個指標的權重都為0.5；如A指標比B指標稍微重要，則標度值為3，兩個指標的權重分別為0.75和0.25；其余情況依此類推.因此，本文在優先保證舒適性的同時，采用對距離因素和視野因素賦權并綜合排序的方式確定最佳的非支配動作解.由于距離因素比視野因素相對更重要，故權重分別設為0.75和0.25，根據這一原則，選擇上述非支配動作解中0.75f2(Pn,An)+0.25f3(Pn,An)最小的虛擬人動作與位置為最佳作業姿態.此外，對于某些作業環境，若只存在一個虛擬人動作模板與其匹配成功且只有一個匹配位置，則直接以該虛擬人動作及其對應的操作位置為最佳作業姿態.

4 應用實例

在本課題組自主研發的虛擬仿真軟件VESP基礎上對本文方法進行功能開發，并結合兩個案例進行應用驗證.

如圖9(a)所示，當虛擬人和操作對象分別處于位置Pos1和Pos2時，通過在操作范圍Si,j中搜索，確定可能的裝配動作為彎腰并將其推送給虛擬人.而當虛擬人為直立或其他動作時，操作對象都超出了虛擬人的最大操作范圍，因而不能采用這些動作，如圖9(b)所示.

同時，并不是所有的彎腰動作都是可行的，當虛擬人上軀干轉動的角度較小時，依然存在操作對象在虛擬人操作范圍之外的情況，故只推送滿足要求的彎腰動作，如圖9(c)所示.同樣地，圖9(d)～9(l)中都只是各可能裝配動作中的一種情況.當操作對象處于位置Pos3時，可能的裝配動作包括直立、側彎、彎腰、下蹲和仰臥等，如圖9(d)～9(i)所示.當操作對象處于位置Pos4時，可能的裝配動作包括下蹲、側臥和單膝跪等，如圖9(j)～9(l)所示，由于此時操作對象的位置較低，虛擬人無法通過直立或彎腰等動作接觸到操作對象.

需要注意的是，圖9(g)、9(h)和9(i)中并沒有考慮碰撞和可視性等問題，只是初步確定了若干可能采用的虛擬人裝配動作，而最終裝配動作需要結合多目標優化模型的建立與求解才能夠確定.以Pos4為例，按照圖7中所示流程進行求解，得到滿足要求的虛擬人裝配動作為Squat-7、BothKneel-6和OneKneel-8，它們分別有18、14和11個非支配動作解.其中，裝配動作Squat-7對應的求解過程如圖10所示，橫坐標為進化代數(T)，縱坐標為每一代種群中全體個體適應度函數值的平均值(M).可見在迭代約40次后，評價結果接近穩定， 所得到的各非支配解及相應的子目標函數值如表4所示.

表4 Squat-7的非支配動作解Tab.4 Non-dominated action solutions of Squat-7

最后，分析各裝配動作對應的非支配動作解(共43個)，以距離因素和視野因素指標為依據，確定虛擬人的最佳作業姿態為：虛擬人裝配動作Squat-7和操作位置(-188.055, 296.017, -357, 0, 0, 0.200) mm，即Squat-7對應的第10個非支配動作解，結果如圖11所示.

如圖12(a)所示，在對某型船舶機艙中的管道閥門進行裝配時，由于作業環境很狹小，虛擬人極易與周圍設備發生碰撞，所以虛擬人作業姿態的確定非常繁瑣.采用本文方法在輸入管道閥門的位置信息后，可以先篩選出可行的裝配動作包括下蹲、側臥和俯臥等，具體的虛擬人作業姿態如圖12(b)～12(d) 所示.在此基礎上，在多目標優化模型中考慮碰撞和可視性等因素后，確定的最終作業姿態為下蹲動作(Squat-7)，如圖13所示.

5 結語

本文以裝配操作為對象，構建了虛擬人裝配動作模板，并采用幾何方法推導了虛擬人的完整可達域.在此基礎上，結合虛擬人作業姿態的多目標求解模型，實現了虛擬人作業位姿的自動生成.通過以上研究，減少了人工的參與，提高了虛擬人作業姿態生成的效率和自動化程度.

本文主要依據常見的裝配動作構建了10種類型的裝配動作模板，且每種類型是通過設置關節轉角間隔來生成不同的標準姿態.然而，由于作業環境的復雜性和差異性，很多裝配操作的完成需要一些特殊的裝配動作，所以如果僅僅利用本文建立的裝配動作模板，可能無法求解出符合要求的作業姿態.在以后研究中，將以擴大本文方法的應用范圍為目的，并根據實際作業環境特點，結合人體動作捕捉設備對裝配動作模板進行擴充與完善.