基于本體手勢-觸覺感知的機器手抓取

張曉鵬，張陽陽，李莉萍，趙 吉，張東彥

(安徽大學 互聯網學院，安徽 合肥 230039)

0 引言

近年來，面向主從協(xié)同操作的主從映射式遙操作機器人技術成為研究熱點之一[1-5]，主從協(xié)同作業(yè)、操作信息雙向傳遞及協(xié)同以及在機器人遙操作系統(tǒng)中的力反饋是操作者感知被抓物體物理特性及掌握主從式遙操作的關鍵點。基于計算機視覺、數據手套及反饋裝置的主從手映射技術的研究已經取得了較大的進展[6-10],可穿戴傳感器引起了學者們的研究興趣[11-15],同時，基于觸覺反饋技術的遙操作機器人技術也已經取得了較大的成果[16-20]。Nicolis D等人[21]研究了遙操作機器人中的視覺伺服，為操作者提供有關遠程位置的信息并協(xié)助執(zhí)行任務，提出了一個由兩個機器人手臂組成的遠程操作系統(tǒng)，并且配備了一個手持式攝像機傳感器。通過對攝像機的自主調節(jié)來實現無遮擋任務的執(zhí)行，進一步將遮擋避免作為一個約束進行遙操作優(yōu)化。Qiu S等人[22]提出了一種基于視覺反饋的外骨骼機器人遙操作控制方法，視覺反饋鏈接由攝像機捕獲的視頻實現，將壓縮后的圖像作為反饋信息。Yang C等人[23]利用表面肌電信號提取操作者的肌肉激活信息，通過觸覺和視覺反饋來感知對外部環(huán)境的變化，人類操作者自然會對各種肌肉活動做出反應；同時通過肌肉活動信息來調節(jié)機器人手臂的剛度，期望機器人能夠以更高的智能水平完成重復或不確定的任務。毛磊東等人[24]針對智能抓取機器人在軟抓取過程中對三軸力感知和滑移識別的要求，提出了一種由碳、石墨烯納米片和硅橡膠制造的柔性三軸觸覺傳感器。

本研究在前期基于柔性可拉伸傳感器的數據手套的主從手遙操作研究基礎上[25]，進一步基于觸覺感知-視觸雙模態(tài)反饋信息，研究主從手映射式遙操作機器人穩(wěn)定抓取系統(tǒng)，本文設計的反饋系統(tǒng)由視覺反饋和力觸覺反饋兩部分組成。視覺反饋采用計算機顯示技術，實時反饋機器人靈巧手抓取物體的力的大小。基于電刺激的力反饋模塊用于反饋機器人靈巧手抓取物體的作業(yè)狀態(tài)。機器人靈巧手的抓取狀態(tài)由觸覺感知裝置捕捉，為已有的研究基礎；構建了實驗平臺，驗證基于觸覺感知及視-觸雙模態(tài)反饋系統(tǒng)反饋機器人靈巧手抓取的作業(yè)狀態(tài)、抓取力度的有效性。同時增強了操作者對于主從手映射式機器人遙操作的本體感及臨場感，實現了對目標物體的穩(wěn)定抓取。

1 系統(tǒng)平臺構建

1.1 觸覺感知裝置構建

本文采用的數據手套為已有的研究基礎[26]。另外將5個可拉伸傳感器布置于機器人靈巧手的關節(jié)處，捕捉靈巧手抓取過程中的關節(jié)角度特征，如圖1(a)所示。文中選用的壓力傳感器在已有研究基礎之上進一步陣列化，如圖1(b)所示，感知機器人靈巧手在抓取物體過程中的觸覺感知信息。

(b) 穩(wěn)定

(a) 手滑動

(a) 可拉伸傳感器陣列

(b) 壓力傳感器陣列

1.2 遙操作方法論述

主從手手勢映射流程如圖2所示，首先對特征信息進行歸一化預處理：

圖2 主從手手勢映射流程Fig.2 Master slave hand gesture mapping process

(1)

式中x，y分別為轉換前后的值，maxSensor、minSensor分別為采集數據的最大值和最小值。傳感器的歸一化輸出與關節(jié)角度之間存在一一對應的關系，為此，對傳感器的電學輸出信號及關節(jié)角度進行標定。

(2)

(3)

(4)

(5)

(6)

(7)

機器人靈巧手的近端指關節(jié)的角速度ωi是遙操作過程中的一個關鍵參數。自適應角速度控制的目的是實現精確的姿態(tài)映射和安全的抓取，防止因抓取速度過快而破壞目標。本文使用的靈巧手由直流刷伺服電機驅動，電機的速度可以由驅動信號的占空比控制。

2 基于觸覺感知及反饋的靈巧手抓取

2.1 抓取狀態(tài)識別

本文利用長短期記憶網絡(Long Short-Term Memory)算法結合動態(tài)時間規(guī)整(Dynamic Time Warping)的模型。與前向神經網絡類似，LSTM網絡訓練采用誤差反向傳播算法(Back Propagation)，但由于LSTM處理序列數據，在使用BP算法時需要將誤差在整個時間序列中傳播回來[27-28]。采用基于LSTM及DTW結合的方法訓練和測試數據進行標記。對于圖3所示的LSTM，每個輸入向量由61個1步采樣的動態(tài)窗口構成，隱藏層由20個節(jié)點組成，輸出由9個節(jié)點組成。為了訓練LSTM，分類代表LSTM觀測結果，抓取狀態(tài)標簽代表LSTM真實狀態(tài)。同一類別抓取狀態(tài)包含不一致的信息序列，因此采集的樣本的時間序列特征不一致。DTW算法建立一種科學的時間序列比對方法，使測試模式的特征與參考模式之間的路徑相匹配。

即使同一人重復相同的行為，也不可能再現完全一致的時間序列。在這種復雜情況下，傳統(tǒng)的歐氏距離法在計算兩個時間序列之間的距離時并不十分有效。假設有兩個實驗時間序列Ri和Rj:Ri=(r1,r2,…，ri)是測試模式特征向量序列。Rj=(r1,r2,…，rj)是參考模式特征向量序列。其中i，j代表時間序列號。

P(RT)=[P1(R1)，P1(R2)，…，P1(RT)，…，PN(R1)，

PN(R2)，…，PN(RT)]。

(8)

時間特征空間是在時間T統(tǒng)一時間線程P下，將輸出與時間窗口拼接而成，N是傳感器的序列號，如式(8)所示。路徑W用于定義Ri和Rj之間的映射。W=(w1,w2,…,wk,…，wK),max(i,j)≤K≤i+j-1。變量K代表最終的翹曲路徑，wk=(i，j)，K是第i個試驗模式特征向量和第j個參考模式特征向量之間的第K個映射增益。因此，最小翹曲函數可以描述：

(9)

利用動態(tài)規(guī)劃方法求出路徑的遞推，該遞推定義了累積距離L(Ri，Rj)和當前核距離N(Ri，Rj)。

L(Ri,Rj)=N(Ri,Rj)+min{L(Ri-1,Rj-1),

(10)

圖3給出了單元結構，展示出門操作和所提出混合模型的整體結構。

圖3 基于DTW/LSTM/BPTT的抓取狀態(tài)識別混合模型的工作流程Fig.3 Work flow of DTW/LSTM/BPTT-based grasping state recognition hybrid model

其基本單元定義為式(11)～式(16)：

ft=σ(Wf·[ht-1,xt]+bf),

(11)

it=σ(Wi·[ht-1,xt]+bi),

(12)

(13)

(14)

ot=σ(W0·[ht-1,xt]+b0),

(15)

ht=ottanh(Ct)，

(16)

(17)

(18)

LSTM遺忘門描述:

(19)

(20)

LSTM單元及描述:

(21)

(22)

LSTM輸出門描述為:

(23)

(24)

單元輸出:

(25)

基于BPTT反向傳播更新過程描述:

(26)

(27)

反向傳播LSTM單元輸出描述:

(28)

反向傳播更新過程中LSTM輸出門描述:

(29)

(30)

計算單元、遺忘門及輸入門:

(31)

(32)

(33)

式中，wij表示神經元i到j的連接權，用a、b分別表示輸入和輸出，l、φ、w表示輸入門、遺忘門、輸出門。wcl、wcφ、wcω分別表示從單元到輸入門、遺忘門、輸出門權重。sc表示神經元c的狀態(tài)，f表示控制門激活函數，g和h分別表示輸入和輸出激活函數。I表示輸入層的神經元，K表示輸出層的神經元，H表示隱藏層的神經元。

2.2 視-觸雙模態(tài)反饋系統(tǒng)

本文提出了基于觸覺感知-視觸雙模態(tài)反饋的遙操作機器人抓取系統(tǒng)，如圖4所示。靈巧手作業(yè)狀態(tài)為手指滑動 (FD)、手指穩(wěn)定 (FS)、手指晃動 (FW)、手掌滑動 (PD)、手掌穩(wěn)定 (PS)、手掌晃動 (PW)、手滑動 (HD)、手穩(wěn)定 (HS)、手晃動 (HW)9種作業(yè)狀態(tài)，電刺激反饋裝置采用3個電刺激點布置在人手小臂處。

圖4 遙操作機器人抓取策略Fig.4 Grasping strategies for teleoperated robots

3 實驗

機械手角速度和驅動信號占空比標定曲線如圖5所示，壓力傳感器相對阻力隨壓力變化曲線如圖6所示。

圖5 角速度和驅動信號標定曲線Fig.5 Relationship of angular velocity and driving signals

圖6 壓力傳感器相對阻力隨壓力變化曲線Fig.6 Relative resistance change under increasing pressure

手勢映射處于第一階段，手勢映射增益系數k1=1(式(5))。占空比T=10，機器人關節(jié)角速度為2.5 °/s。 機器人手接觸目標物體，進入第二階段，手勢映射系數k2=0.25。占空比T=5，靈巧手關節(jié)角速度為1 °/s。食指指尖觸覺傳感器的響應曲線如圖7所示。因此，當機器人指尖接觸到目標物體時，關節(jié)的角速度開始減小如圖8所示。實驗對象被機械手成功穩(wěn)定地抓取。主從手指關節(jié)角最大測量誤差值小于2°，如圖9所示，橫坐標為時間序列，縱坐標為靈巧手角度相應。

圖7 機器人指尖壓力傳感器響應Fig.7 Pressure sensor response of the robotic index fingertip

圖8 食指關節(jié)自適應角速度控制Fig.8 Adaptive angular velocity control of index finger joint

圖9 關節(jié)測量誤差Fig.9 Error measurements of index joints angles

如圖10所示，在連續(xù)事件之間仍有未標記的樣本[29]，圖中x軸、y軸、z軸分別表示感知序列、傳感器序列和傳感器輸出。觀測值可用于評價LSTM的躍遷和發(fā)射概率。訓練的LSTM模型的轉移和發(fā)射概率矩陣的示例如圖11和圖12所示。不同抓取狀態(tài)下，對觸覺序列進行處理和分析。每個樣本組限定500個樣本，得到900個觸覺序列樣本，500個樣本。對每種抓取狀態(tài)的50組樣本，隨機抽取30組樣本作為訓練集，其余20組作為測試集。

(c) 擺動

(d) 手指滑動

(e) 穩(wěn)定和

(f) 擺動

(g) 手掌滑動

(h) 穩(wěn)定

圖11 LSTM模型轉移概率矩陣Fig.11 Transition probability matrix of LSTM model

圖12 LSTM模型發(fā)射概率矩陣Fig.12 Emission probability matrix of LSTM model

因此，共有480組訓練集樣本和420組測試集樣本。采用準確性、敏感性和特異性3個性能指標并取平均值以評估整體性能。性能結果可以通過實驗事件和預測事件之間的±n個樣本的時間公差來計算。當采樣率為100 Hz時，±1個樣本的誤差等于10 ms內的定時誤差。在估計過程中，采用留一個交叉驗證的方法[30]來估計LSTM模型的泛化能力。除一名參與者外，其余參與者的數據全部用于培訓，其余參與者的數據作為測試數據。與N倍交叉驗證相比，在驗證過程中，主體間變異的混合效應最大化。每個參與者的每次試驗都重復驗證過程，以便最終使每個數據集便于使用。

如表1所示，實現抓取狀態(tài)的編號及反饋，其中標簽1、2、3為人手上的3個電刺激反饋點標簽。表2展示了不同反饋方式下靈巧手抓取不同物體的遙操作性能及指尖平均壓力大小，實驗次數為20次。可以看出，基于視-觸雙模態(tài)反饋系統(tǒng)具有更好的遙操作抓取性能。表3展示不同用戶使用此遙操作系統(tǒng)，同樣具有較好的性能。

表1 電刺激反饋對應抓取狀態(tài)表Tab.1 Corresponding grabbing states of electrical stimulation feedback

表2 遙操作抓取對比實驗Tab.2 Comparative experiments of teleoperation grab

表3 系統(tǒng)性能Tab.3 System performance values %

4 結論

本文采用數據手套及壓力傳感器陣列作為機器人靈巧手作業(yè)信息的獲取手段，結合視-觸雙模態(tài)反饋，采用上位機實時顯示的方式解析機器人作業(yè)狀態(tài)，同時構建了基于電刺激的力觸覺臨場感反饋模型，實現對機器人靈巧手的精準控制及抓握作業(yè)情況和握力的再現，增加操作者的本體感。針對不同的用戶使用情況進行了實驗。結果表明，基于視-觸雙模態(tài)反饋及觸覺感知能夠實現對觸覺力的大小及遙操作機器人作業(yè)狀態(tài)更優(yōu)的反饋性能，普遍提高了主從手遙操作機器人盲抓取作業(yè)的成功率，實現了操作者在視覺受阻礙狀況下對機器人靈巧手進行遙操作并完成穩(wěn)定抓取的任務。