基于模糊迭代Q
--學習的冶金工業機器人軌跡跟蹤控制研究

張 卉，朱永飛，劉雪飛，徐向榮

（1.安徽工業大學機械工程學院，安徽馬鞍山 243032；2.安徽工業大學冶金工程學院，安徽馬鞍山 243032）

在現代工業中，冶金工業機器人扮演著十分重要的角色。其中，雙臂機器人具有良好的協調互助操作優勢，彌補了單臂機器人負載較低、可操作性較差以及無法形成閉合機構等缺陷，其目前已成為冶金工業機器人領域的研究熱點之一[1-3]?？刂萍夹g會影響雙臂機器人的系統性能，要提高其位置控制精度，就必須保證控制系統的穩定性。因此，采用穩定的控制方法實現高精度的運動控制具有非常重要的意義[4-5]。

傳統的控制方法主要有基于精確數學模型的PID（proportional integral derivative，比例積分微分）控制。但是，多自由度雙臂機器人是一種多輸入、多輸出且具有強耦合作用的復雜系統，具有非線性、時變不確定等特點[6-7]，難以建立精確的數學模型。為實現雙臂機器人高精度的軌跡跟蹤控制效果，朱永飛等[8]基 于 ADAMS（automatic dynamic analysis of mechanical systems，機械系統動力學自動分析）和MATLAB軟件對6-DOF（six degree-of-freedom，六自由度）雙臂機器人進行了聯合仿真，采用B樣條曲線插值方法完成了其軌跡規劃任務，但該研究僅從運動軌跡規劃方面展開，缺乏對機械臂控制器的設計和搭建。劉雪飛等[9]實現了機械臂末端執行器在避障條件下的高精度位置跟蹤，解決了非結構環境下機械臂的安全運動軌跡規劃問題。然而，上述學者僅從運動學角度對雙臂機器人的軌跡跟蹤進行了研究，為進一步提高機器人軌跡跟蹤的控制精度，不少學者從控制算法角度出發展開相關研究。對于數學模型不精確的復雜系統，在其控制策略中引入模糊控制[10-11]，即利用模糊控制對動力學模型中未知部分和擾動部分的非線性逼近特性，取得了良好的控制效果。例如：李德昀等[12]將自適應模糊控制策略應用于雙臂機器人的協同搬運作業，實現了平穩的力矩輸出控制及精準的接觸力控制，具有較強的魯棒性和自適應性。另外，現階段的機器人大多是按設定好的程序進行大量重復性操作，比如搬運物體、激光切割和定點抓取等，在外界環境干擾和本體磨損等因素的影響下，機器人的重復性操作準確性勢必會下降[13-15]。而迭代學習控制方法[16-17]非常適用于做重復性操作任務的機器人控制系統，且該控制方法所需的控制對象數學模型可以是不準確的，其是一種易于實現、魯棒性強、軌跡跟蹤效果較好的智能控制方法。

鑒于機器人的動力學模型受各種復雜外界干擾的影響，為了更好地補償其動力學模型中未知部分和外界擾動所產生的影響，以及提高其軌跡跟蹤精度，筆者提出了一種基于模糊迭代Q-學習的控制算法，即將模糊迭代控制方法與Q-學習方法相結合。其中：模糊控制的萬向逼近特性可對動力學模型中的未知慣性參數進行估計，而模糊控制的調節因子可由Q-學習控制器得到。最后，將所提出的控制算法應用于6-DOF雙臂機器人，并聯合ADAMS和MATLAB軟件開展機器人軸孔裝配仿真實驗。

1 模糊Q-學習控制器

1.1 模糊控制器介紹

模糊控制器包括模糊化、知識庫（含數據庫和規則庫）、模糊推理和清晰化等4個部分[18-19]，其結構框圖如圖1所示。

圖1 模糊控制器結構框圖Fig.1 Structure block diagram of fuzzy controller

在整個模糊控制系統中，模糊控制器是最核心的部分，其最主要的任務是通過編寫模糊規則和近似推理來得到最終的輸出結果。這一過程本質上就是對模糊集合進行數學計算的過程，起始輸入量x到最后輸出量u在模糊控制器中會經歷先從清晰到模糊，再從模糊到清晰的雙向變化過程，以便得到更加符合實際需要的控制效果。

1.2 模糊Q-學習控制器結構設計

在大多數情況下，經過模糊處理的輸出結果U可表示為：

式中：e、分別表示控制系統的誤差和誤差變化率；β表示模糊控制的調節因子，當系統誤差較大時，可提高模糊規則中的誤差權重，以有效地控制誤差范圍，當系統誤差較小時，系統正趨向穩定狀態，可提高模糊規則中誤差變化率的權重。

Q-學習算法是一種新穎的無模型強化學習方法，可以和模糊控制方法相結合，用于獲取模糊控制中的調節因子β。將誤差e作為Q-學習算法輸入的狀態空間集合，根據e的變化來調整調節因子β的大小，實現對模糊規則的進一步優化。

模糊Q-學習控制器的結構如圖2所示。圖中：yd表示輸入值，y表示輸出值，KP、KD分別表示誤差和誤差變化率的增益矩陣，KU為比例因子。由于模糊控制器受到2個輸入變量的影響，圖2所示為二維模糊控制器，其是目前模糊控制系統中應用最多的一類模糊控制器。

圖2 模糊Q-學習控制器結構Fig.2 Structure of fuzzy Q-learning controller

在本文所設計的模糊Q-學習控制器中，獎勵函數R?。?/p>

式中：e＊表示e的目標值，在本文中取0。

式（2）所示的獎勵函數滿足：當e偏離0越大時，得到的獎勵越?。划攅偏離0越小時，得到的獎勵越大。

2 模糊迭代Q--學習控制器設計

2.1 迭代學習控制基本原理

通常情況下，機械臂的軌跡跟蹤誤差ek(t)可以表示為：

式中：k表示迭代次數。

為實現機械臂的高精度軌跡跟蹤，引入閉環迭代學習控制算法，使得誤差ek(t)不斷減小。

式中：L表示非線性算子；uk(t)、uk+1(t)表示第k、k+1次迭代的輸入變量。

則PD迭代學習控制律可表示為：

在整個控制系統的運行過程中，增益矩陣KP和KD保持不變，即不能根據系統狀態的變化自適應地調整矩陣中各元素的值，故需要通過對控制律中的增益矩陣進行實時調整來獲取最優參數。采用模糊控制器和迭代學習相結合的方式，完成對PD控制參數的調整選取，以改善整個控制系統的動態性能。

2.2 模糊迭代Q--學習控制器結構設計

基于上述原理，設計模糊迭代Q-學習控制器，其結構如圖3所示。將基于迭代學習控制產生的誤差ek以及誤差變化率作為模糊控制器的輸入變量，經模糊化、近似推理和清晰化處理后輸出的變量是修正后的PD補償參數ΔKP和ΔKD，將其與經驗PD控制參數相加后得到最終的最優KP和KD，從而實現機械臂關節角度的跟蹤誤差最小化。

圖3 模糊迭代Q-學習控制器結構Fig.3 Structure of fuzzy iterative Q-learning controller

根據圖3，模糊迭代Q-學習控制器可表示為：

式中：KPI、KDI表示經驗PD控制參數。

2.3 模糊迭代Q--學習控制器收斂性驗證

3 雙臂機器人的聯合仿真實驗

3.1 基于ADAMS和MATLAB的聯合仿真平臺搭建

為了驗證本文所提出的模糊迭代Q-學習控制算法的有效性與優越性，在ADAMS和MATLAB軟件中進行聯合仿真實驗。以6-DOF雙臂機器人為研究對象，先在SolidWorks軟件中繪制其三維模型。該機器人的左右機械臂各有6個自由度，且左右機械臂構型對稱。采用改進的D-H法建立連桿坐標系（以左機械臂為例），從基座到末端執行器的關節分別定義為1～6，具體參數如表1所示。其中：θi、αi-1、di、ai-1分別表示關節轉角、連桿扭角、連桿偏距和連桿桿長。

表1 左機械臂的D-H參數Table 1 D-H parameters of left mechanical arm

然后，將構建好的6-DOF雙臂機器人三維模型文件另保存為Parasolid格式，然后導入ADAMS軟件以構建其仿真模型，如圖4所示。

圖4 6-DOF雙臂機器人仿真模型Fig.4 Simulation model of 6-DOF dual-arm robot

在ADAMS軟件中對6-DOF雙臂機器人仿真模型進行設置，并通過信息選項獲取機器人每個零部件的質心坐標及慣性參數。以左機械臂為例，其各個關節的動力學參數如表2所示。

表2 左機械臂的動力學參數Table 2 Dynamic parameters of left mechanical arm

接著，點擊ADAMS軟件中的單元建立狀態變量，對6-DOF雙臂機器人左右機械臂的狀態變量進行設置，依次為各關節的角度、角速度以及力矩。

最后，利用ADAMS軟件中的controls插件對機械臂控制系統的輸入、輸出進行設置：輸入變量為力矩，輸出變量為角度和角速度；目標軟件設為MATLAB；ADAMS solver選項為非線性，求解器設為FORTRAN。

圖5所示為機械臂控制子系統模塊，需要對ADAMS_sub中的ADAMS Plant模塊進行Simulink和ADAMS同步仿真參數設置，如圖6所示，并在Interprocess option選項中選擇 PIPE（DDE），在Animation mode中選擇interactive。完成設定后，可在運行Simulink時使ADAMS同步仿真。

圖5 機械臂控制子系統模塊Fig.5 Mechanical arm control subsystem module

圖6 機械臂控制子系統模塊輸入和輸出變量設置Fig.6 Input and output variable setting of mechanical arm control subsystem module

3.2 雙臂機器人軌跡跟蹤控制仿真實驗

設置6-DOF雙臂機器人軌跡跟蹤控制仿真總時長為3 s，迭代次數為20。以左機械臂為例，設期望軌跡為正弦曲線，其6個關節的軌跡跟蹤結果如圖7所示。由圖可以看到，各個關節的實際軌跡跟蹤效果較好，跟蹤精度較高，驗證了所提出模糊迭代Q-學習控制算法的有效性和優越性。

圖7 左機械臂各關節的軌跡跟蹤結果Fig.7 Trajectory tracking results of each joint of left mechanical arm

3.3 雙臂機器人軸孔裝配仿真實驗

在控制6-DOF雙臂機器人進行軸孔裝配之前，假定其左右機械臂的末端執行器已經分別夾持了軸和孔，故只需考慮雙臂末端的軸孔裝配路徑。鑒于在軸孔裝配實驗中左右機械臂作對稱運動，僅分析單機械臂的關節運動即可。圖8所示為6-DOF雙臂機器人的軸孔裝配過程。

圖8 6-DOF雙臂機器人的軸孔裝配過程Fig.8 Shaft hole assembly process of 6-DOF dual-arm robot

由圖8可知，6-DOF雙臂機器人的軸孔裝配成功，驗證了所提出控制算法的正確性。利用MATLAB軟件的仿真數據以及與ADAMS軟件聯合仿真得到的數據，對左機械臂各關節的角度和角速度等進行分析，結果如圖9所示。

圖9 軸孔裝配過程中左機械臂各關節的動力學特性Fig.9 Dynamic characteristics of each joint of left mechanical arm during shaft hole assembly

觀察圖9（a）和圖9（c）可知，左機械臂各關節的角度變化平緩且無突然波動的情況，關節角度的最大誤差約為0.004 rad，關節角速度的最大誤差約為0.001 5 rad/s。此外，由于軸孔裝配過程分為2個階段，2個階段之間稍有停頓，故在t=8 s附近，關節角度和角速度出現了短暫為零的情況。圖9（e）所示的左機械臂輸入力矩變化曲線整體較為平滑，未出現力矩抖振現象，說明該機械臂的整體運動效果較好，進一步驗證了所提出的模糊迭代Q-學習控制算法的有效性和穩定性。

4 結 論

1）針對冶金工業機器人控制不穩定、軌跡跟蹤精度較低和自適應性較差的問題，提出了一種模糊迭代Q-學習控制算法。

2）聯合ADAMS和MATLAB軟件搭建6-DOF雙臂機器人仿真模型，并以正弦曲線作為期望軌跡進行軌跡跟蹤仿真分析。結果表明，該機器人各關節的軌跡跟蹤效果較好，實現了關節空間內的低誤差軌跡跟蹤。

3）6-DOF雙臂機器人的軸孔裝配仿真結果表明，各關節角度的誤差不超過0.004 rad，角速度誤差不超過0.001 5 rad/s，且各關節的角度變化曲線和輸入力矩變化曲線平穩光滑，無劇烈抖振和突變現象，驗證了所提出模糊迭代Q-學習控制算法在冶金工業機器人軌跡跟蹤控制中的有效性和優越性。