基于強化學習算法的串聯液壓機械臂運動優化控制研究

張娟榮，王宇璐

（咸陽職業技術學院 機電（技師）學院，咸陽 712000）

引言

機械臂是一種現代工業效率提升的重要裝置，隨著工業制造技術的不斷變革，對機械臂的要求也越來越高，逐步走向標準化、集成化、規范化以及智能化[1]。由此，機械臂不再是簡單的機械特征，其是機電液耦合在一起的綜合裝置，在配置智能裝置后還可以形成智能制造的關鍵設備。

由于串聯機械臂經常運行在復雜多變的工業場景中，需要面對不同的驅動環境，其運動控制的穩定性能下降[2]。大量的科學研究投入到針對機械臂運動穩定性提升方面，其中，文獻[3]針對機械臂運動位置控制方法存在機械臂關節節點位置的跟蹤效果差和機械臂運動位置控制能力差的問題，提出基于非線性微分方程的機械臂運動位置控制方法，并在實驗中證明其控制方法的可行性；文獻[4]針對機械臂運動控制，借助D-H 方法,分析和建立了機械臂模型，并結合滑模變結構和BP 神經網絡算法，提出了一種機械臂運動控制算法，該算法結合了非奇異滑模面和飽和函數法，考慮了模型誤差與外界擾動并且取得了很好的運動控制效果；文獻[5]面對動力學耦合效應是導致多軸工業機器人軌跡跟蹤誤差的問題，,提出一種考慮關節非線性的串聯雙連桿機械臂模型的工業機器人運動控制方法，將連桿的非線性剛度和摩擦力直接辨識為關節非線性,從而進行參數化建模，進而實現了雙連桿機械臂的運動控制。本文的研究對象是重型采掘機串聯機械臂，針對其在復雜工況下的運動控制性能下降問題，對運動控制系統控制拓撲結構進行了重構，采用強化學習算法優化其控制性能，并在變工況模擬實驗環境中驗證其可行性和穩定性。

1 運動動力學模型構建

串聯機械臂在復雜可變工況下的實際運動穩定性能和高精度跟隨性能極易受到制造工藝、裝配誤差、外部環境干擾[6]等影響，通過構建適配的運動控制系統來優化機械臂運動穩定性能，其運動控制系統主要由執行器件、傳感器以及采集電路、電控單元等構成，其中串聯機械臂末端執行器作為主要的運動執行機構，電控單元可以將運動控制算法進行嵌入式執行，傳感器以及信號采集電路負責多向信號的采集和反饋。

運動學描述的是串聯機械臂多向部件在運動空間的姿態行為，而串聯機械臂是多部件耦合在一起的機電液綜合部件，為了提升串聯機械臂運動控制的穩定性和高精度，對機械臂運動動力學進行分析，構建的動力學模型[7]如式（1）所示：

式中：

dni—剛體在設定坐標的空間旋轉矩陣；

H m,H n,Hs—機械臂末端執行器旋轉方向縱向位移；

—機械臂旋轉正交矩陣。

圖1 串聯機械臂運動學模型

2 運動控制拓撲結構重構

引起串聯機械臂運動失穩以及位姿誤差的原因復雜多樣，在進入運動控制系統中后，其運動控制結構設計的是否合理也是其重要影響因素，針對傳統的固定時序運動控制拓撲結構進行重構，對部件進行解耦后，制定輸入信號、中間變量以及輸出信號的時序。在θi,Ti,pi旋轉角、力矩以及輸出功率輸入信號經過可標定周期濾波后f(θi),f(Ti)，輸出其信號的濾波后數值以及概要有效性，對電液需求功率Kip進行加權處理后，輸入到強化學習控制模塊中進行運動控制優化，形成中間可控變量F(ti),T(ti)，在強化學習對中間可控變量進行周期性的強化后Z(t i),D(ti)，輸出整個運動控制周期[ti,tp]內串聯機械臂末端執行器的運動狀態K s,Kp，對運動狀態在可標定時間內進行輪詢后強化學習，如圖2 所示。

圖2 串聯機械臂運動時序

圖3 串聯機械臂運動控制拓撲結構

圖4 串聯機械臂運動控制

通過優化串聯機械臂運動時序，建立了基于強化學習的機械臂運動控制拓撲結構，首先，對傳感器或采集電路采集的相關信號進行采樣優化處理，主要是將采樣信號進行濾波和有效性判斷，隨后對信號進行運動特征識別，進入運動特征集群處理，通過強化學習可以強化運動特征，從而獲取真實的運動狀態和運動特征性能評價值；在進入仲裁模塊后，會結合故障信息、運動狀態以及狀態反饋進行仲裁，輸出機械臂末端執行器驅動信號，運動偏置管理模塊會根據仲裁模塊和運動控制強化學習模塊的輸出進行運動偏置誤差校正，進一步優化機械臂運動穩定性能。

3 串聯機械臂運動控制

通過設定的串聯機械臂運動控制拓撲結構中可以看出，在有序的進行運動控制執行時，利用對運動特征進行信號強化學習，構建強化學習算法的運動控制系統能夠輸出較為理想的末端執行器運動指令。

強化學習是一種智能體在與環境交互過程中不斷試錯學習的智能算法，其智能體會選擇一個動作用于環境，環境接受該動作后狀態發生變化，同時產生一個強化信號（獎或懲）反饋給智能體，然后根據強化信號和環境當前狀態再選擇下一個動作，選擇的原則是使受到正強化（獎）的概率增大[8,9]。選擇的動作不僅影響立即強化值，而且影響環境下一時刻的狀態及最終的強化值。因此在構建機械臂運動控制系統過程中，將運動特征進行集群化處理，在與不斷更新的運動狀態中不斷地學習更新，尤其是串聯機械臂末端執行器的驅動信號，當反饋的跟隨位移、驅動功率以及力矩出現偏差時，將正向強化的概率增大，在下一次強化學習循環過程中，調整相應的運動參數，抑制驅動信號的突變和震蕩，從而實現機械臂運動穩定性。

將運動控制強化學習結合運動學分析，構建機械臂末端執行器位移軌跡函數，在強化學習的約束時間段內，對末端執行器求解任一時刻的旋轉角度和位移狀態，整個運動控制強化學習過程如下數學描述[10]：

式中：

t i,tp—強化學習運動控制約束時間；

Ps,Pt—約束時間段的位移狀態函數；

L p,Lq—末端執行器旋轉分位相對位移；

α,β—分位調節系數；

θ i,θp—約束時刻旋轉角度。

4 實驗分析

利用串聯機械臂設備和可控電子負載操作平臺，構建了基于強化學習的串聯機械臂運動控制硬件在環實驗環境，其中，運動檢測裝置由光電傳感器和位移傳感器構成的智能檢測裝置，整個運動控制系統可以實現在線標定參數和反饋真實運動狀態，如圖5 所示。通過操作可控電子負載可以設定不同的工況來驗證所設計的運動控制方法是否能夠實現設計目標。

圖5 串聯機械臂運動控制試驗臺架

對串聯機械臂運動控制進行了整個運動周期的控制算法驗證，利用可控電子負載觸發串聯機械臂進行運動，圖6 反映的是串聯機械臂在變工況下左右向位移的跟隨試驗結果，從圖中可以看出，在負載負荷施加的初期，位移跟隨沒有出現大幅度的震蕩，隨著中間時段加大負荷，需求功率也大幅度的增加，機械臂左右向的位移跟隨出現小范圍的波動，整體上具有較好的跟隨效果，后期隨著強化學習的加強，位移跟隨誤差更小，實現了機械臂的穩定運動；圖7 反映了在負載變工況下，末端執行器輸出的力矩，負載工況1 通過將高負荷迅速下降，其力矩的響應也能夠快速的進行響應，負載工況2 模擬了負荷由低到高到低的波峰型變化，其末端執行器件依然能夠響應其變化，穩定的輸出力矩，從而確保整個機械臂穩定的運行。

圖6 串聯機械臂位移實驗結果

圖7 串聯機械臂末端執行器變工況力矩

5 總結

串聯機械臂運動控制穩定性是確保其高效穩定工作的關鍵，在高負荷強耦合狀態下其穩定性能下降的現象頻發，針對這一關鍵問題，在串聯機械臂運動控制系統結構和運動學分析基礎上，重構其運動控制拓撲結構，采用強化學習進行運動控制優化，在真實模擬的試驗環境中驗證了算法的可行性。