基于MS-CNN算法的虛擬運動場景人機協同仿真

王 博，甘淋玲，沙 川

(重慶醫科大學，重慶 400016)

1 引言

目前的產品生產出現了多種制造模式，在全新的工廠生產模式下，設備在滿足柔性制造的同時，還需要提高靈活的人機協同分工和組織調配以保證工作效率[1-2]。而為了模擬在不同分工下和組織下的人工協同工作效率，運用計算機仿真的方法，對相關數據進行模擬仿真，實現組織調配。在早期的人機協同模擬中，通常采用數學模型來進行實現，但實際工作中，往往會出現大量的動態要素，需要在協作中保證自治靈活，因此運用單純的數學模型難以實現表達。而后相關學者選擇使用計算機仿真技術來進行，利用仿真軟件模擬在人機協同工作中，人機的運動模式和運動因素，以及協同工作模式。文獻[3]提出提出一種面向遙操作手眼協調的虛擬仿真場景交互控制。通過遙操作將指令映射到遙操作系統中，當觀察角度發生變化時，控制交互裝置與遙操作對象在虛擬顯示場景中的運動協調一致。文獻[4]提出基于虛擬現實人機協作的焊接系統運動控制策略。遠程協同焊接過程可以將空間六自由度控制器的輸入信號轉換為目標焊槍的位置和姿態變化、速度變化或加速度變化。并設置靜態位置型、動態位置型、速度型和加速度型四種控制策略。文獻[5]提出復雜零件人機協同裝配系統，分別設計快速更換夾持器、柔性氣囊夾持器和真空吸附夾持器，結合高精度調整技術和合理的檢測技術，設計了復雜零件的高精度人機協同裝配系統。

但在目前對人機協同的計算機仿真中，對人機工作中的運動場景模擬不足，確定的運動參數不夠準確，影響仿真結果的準確性。為此提出基于MS-CNN算法的虛擬運動場景人機協同仿真。

2 基于MS-CNN算法的虛擬運動場景人機協同仿真方法設計

2.1 虛擬運動場景模型

(1)

而坐標系內向量方向通過方向角α，β，γ給出，并在向量上，和坐標軸之間形成角，并使方向角為正，得出的角度計算為

(2)

可以將式(2)中的cosα、cosβ、cosγ作為坐標系向量的方向余弦，其關系為cos2α+cos2β+cos2γ=1，而向量之間的夾角則可以通過計算向量的標量積來得出

V1·V2=|V1||V2|cosθ，0≤θ≤π

(3)

其中，θ代表著向量夾角，而兩個向量之間的向量叉積則為

V1×V2=u|V1||V2|sinθ

(4)

在式(4)中，u代表和V1以及V2垂直的單位向量。u的方向通過右手定則來進行確定，在本文建立的虛擬運動場景模型中，運用向量來表達運動方向特征、運動力的大小等運動數據。在本文中，在模型中建立剛體動力學關系，來體現運動相關數據[11]。而當剛體的力不經過質心時，產生的力矩使剛體加速轉動。同時剛體的慣量和質量均作為描述運動剛體關系的量值。而在運動中，剛體的轉動需要的力矩和剛體的轉動慣量有關。而轉動慣量是對剛體轉動慣性的度量，如下公式所示

(5)

在式(5)中，mi代表體內的各質點，ri代表轉軸距離。對機械運動來說，當質量分離越大時，剛體中產生的慣量也就越大，連續分布的剛體可以通過上式來變為下公式

(6)

其中M，代表剛體的外力距之和，a代表轉動的加速度。而在剛體的轉動中，定軸轉動為單一自由度，即M=Iza，通過運動場景模型中的運動參數，來作為仿真中的對運動場景的描述。

2.2 MS-CNN算法運動識別

本文在進行運動場景特征識別中，采用MS-CNN算法來進行學習和識別。MS-CNN算法可以通過卷積核將輸入至圖像中的特征信息進行學習，同時為了降低數據量，采取局部連接以及權值共享，并通過對非線性激活函數，獲取到新的特征映射值[12]。并使用卷積核參數作為權重，同時假設輸入的圖像X的大小為m×n，權重W的大小為u×v，利用上述參數可以得出

(7)

Z(l)=W(l)?X(l-1)+b(l)

(8)

同時通過在公式中應用非線性函數，并將其應用在卷積神經網中，利用式(6)進行非線性化操作，其卷積過程如圖1所示。

圖1 卷積示意圖

為了得到更豐富的特征，采用多個卷積核進行卷積，生成卷積和個數相同的特征圖組。并在算法的第l層第k組上進行特征映射，如下所示

(9)

在式(7)中，S代表在算法l-1層的特征映射個數，W(l，k，s)則代表第l-1層中的第s組特征下的卷積運算權值。b(l，k)代表在第l層中第k組的卷積操作所對應的偏置項。同時需要對獲取的運動圖像進行池化，通過運算操作，獲取到采樣的卷積和所對應位置下的最大值以及平均值。通過卷積特征圖上的某一位置像素點值，在卷積中上一層內的三個連續幀位置，以及其局部感受得到像素值，并進行池化，獲取到圖像在算法第l層內的第k特征映射位置(x，y，Ξ)，計算如下所示

(10)

2.3 人機協同因素單元

在進行仿真前，需要確定人機協同下相關因素。人接協同影響因素如表1所示。

表1 人機協同影響因素

在進行仿真時，需要將上述因素進行一定的數據化或作為潛在因素進行預測。

2.4 人機協同仿真構建

在確定影響因素，并建立運動場景模型后，本文通過考慮各軟件的優缺點后，選用Flexsim、Matlab和VC集成軟件來進行仿真的開發。通過使用C++進行編程，并將主體作為描述類，并對其定義為函數結構，并將上述中設計的模型和因素等作為動態鏈接庫DLL來進行封裝，以供仿真進行的調用，調用過程如圖2所示。

圖2 仿真調用DLL智能主體過程

在仿真中，首先將仿真運行到調用主體上，并生成人機協同動作的作業任務，而后將程序暫停，在主體上加載DLL，然后在執行運動作業任務，并得出相關數據。而在仿真中，需要考慮到仿真隨機性的實現，并且模擬在人機協同過程中產生的不確定時間，計算其中的機器維修度分布M(t)以及可靠度分布R(t)，并使用偏度分度來進行檢驗，兩種分布的計算如下

(11)

(12)

其中t代表潛在的不確定性系數。在確定信息后即可利用本文方法進行仿真。

3 仿真分析

為了驗證設計的虛擬運動場景的人機協同仿真方法的使用性和可靠性。以某廠的人機協同工作車間的歷史數據以及工作時的換線過程數據導入至本文方法中進行驗證。并使用文獻[3]、文獻[4]、文獻[5]中的仿真方法進行對比實驗。

3.1 仿真搭載環境

為了對相關數據進行計算并搭載仿真軟件，在本文實驗中，使用PC主機進行仿真。使用的PC主機硬件如下：Intel i5-10400，接口為intel LGA 1200，主頻為2.9GHz。內存選擇兩個型號為BLS8G4D240FSC型號的內存條，單一內存條的容量為8GB，內存赫茲為3000MHz，傳輸類型為DDR4。顯卡選用GTX 1050 Ti 4GV1型號的顯卡，顯存容量為4GB，顯存位寬為128bit，類型為GDDR5。硬盤型號為HDWD120AZSTA，硬盤容量為2TB，接口類型為SATA，硬盤轉速為7200轉，緩存容量為64MB。主板型號為B360M MORTAR。PC機搭載 Windows 7操作系統，以及Flexsim、Matlab和VC軟件，同時仿真程序采用C++機器語言進行編寫。

3.2 換線總時間仿真結果

選擇了2個月的13個訂單作為數據周期，以歷史的數據為作為訓練數據，從而獲得到該人機協同車間中換線總時間并與歷史實際數據對比的結果如表2所示。

表2 換線總時間仿真結果

根據歷史實際記錄和四種仿真方法仿真結果對比，所提方法的結果更接近歷史實際數據，說明所提方法的換線總時間與真實值相仿，虛擬運動場景人機協同的效率較高。

3.3 訂單準時率仿真結果

在對上述中數據進行訂單準時率仿真，獲得的仿真結果如歷史實際結果的對比如表3。

表3 訂單準時率仿真結果

在表3數據中，所提方法的仿真數據仍然更接近實際數據，說明應用所提方法進行虛擬運動場景人機協同仿真，得到的訂單準時率較高，人機協同仿真的準確度較好。

3.4 換線技能指數

換線技能指數代表人機協作的換線過程中的工作評價指標，該指數越接近1，代表人機協同效果越好。而對其指數的仿真結果如表4。

表4 換線技能指數仿真結果

觀察表4中的仿真結果可知，不同方法之間差異值不大，這是由于換線技能指數數據不受運動場景的影響。但四種仿真結果對實際的換線技能指數仿真結果誤差均較小，證明對換線技能指數的仿真結果的可靠性。同時結合表2和表3結果，可以證明本文設計的虛擬運動場景人機協同仿真方法的準確率和效率更好，具有一定的可行性。

4 結束語

本文通過運用選用Flexsim、Matlab和VC集成軟件來進行仿真的開發，同時在其中建立了虛擬運動場景模型，提高了人機協同仿真的準確性。但在本文設計的人機協同仿真中。在當前技術下，僅能實現單機下的多人仿真，容易出現時差性限制，以此在未來研究中，將會考慮通過其它技術來實現多人多機仿真，降低時差性限制帶來的誤差。