終態神經計算：有限時間收斂性與相關應用

孫明軒，余軒峰，孔　穎

(浙江工業大學 信息工程學院，浙江 杭州 310023)

終態神經計算：有限時間收斂性與相關應用

孫明軒，余軒峰，孔穎

(浙江工業大學 信息工程學院，浙江 杭州 310023)

摘要：為了改進動態神經網絡的收斂性能，引入終態吸引概念，提出終態神經網絡及終態計算方法.對矩陣微分方程的終態吸引性進行分析，結果表明：該方法可保證網絡有限時間收斂于零.終態神經網絡可應用于求解時變矩陣求逆以及冗余機械臂的軌跡規劃，仿真算例針對一平面機械臂，末端執行器完成一個封閉軌跡后，關節角回到初始位置，實現可重復運動.仿真結果驗證了終態神經網絡方法的有效性.

關鍵詞：有限時間收斂；神經網絡；時變矩陣；冗余機械臂；軌跡規劃

Terminal neural computing：finite-time convergence

and the related applications

SUN Mingxuan, YU Xuanfeng, KONG Ying

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:This paper suggests the use of terminal neural networks for computing, in order to improve the convergence performance of asymptotically convergent ones. The terminal attraction of the matrix differential equations are analyzed, and the results show that the method can ensure the networks converge to zero in finite time. The terminal neural networks can be applied to solving the time-varying matrix inversion and the trajectory planning of redundant manipulators. A simulation example for a planar manipulator, where the end-effector completes a closed path and the joint variables can return to their initial values, makes the motion repeatable. The simulation results verify the validity of the terminal neural network method.

Keywords:finite time convergence; neural networks; time-varying matrices; redundant manipulators; trajectory planning

矩陣方程求解是一類重要的矩陣分析與計算問題[1]，有著非常廣泛的應用背景.因其串行處理的本質，目前已經提出的大量數值算法并非十分有效(特別當求解時變矩陣時).動態神經計算具有高速并行處理能力，能夠實現實時計算[2-4]，特別是在處理時變矩陣問題時能達到較好的效果[5].機械臂的運動規劃是機器人學中一個重要的課題[6-7].實際中，機械臂末端執行器除完成規定的任務,還需躲避障礙、回避關節極限等，冗余機械臂具有更多的自由度，其運動規劃容易滿足更多作業要求，可采用遞歸神經網絡方法解決這樣的冗余度解析問題[8-9].近年來，Zhang等[10]巧妙地提出了有效的動態神經網絡方法，處理冗余機械臂的重復軌跡規劃任務.

目前提出的動態神經網絡方法多采用漸近動態特性，在時間趨于無窮時，其網絡變量收斂于零.相比于漸近動態特性，終態收斂動態特性具有有限時間收斂性[11]，不僅能夠改進收斂速度，而且可以提高收斂精度.Zak等[12]將終態吸引特性用作激活函數，提出了有限收斂神經網絡，并用于解決時變矩陣計算問題[13].我們知道，通常的激活函數具有更廣的應用背景.因此，筆者提出一種終態神經網絡，其動態特性具有終態收斂性質，它的激活函數可以是通常的激活函數；并將其應用解決時變矩陣求逆與冗余機械臂的重復運動規劃.主要工作包括：提出終態神經網絡以及其加速形式；將終態神經網絡方法應用于矩陣求逆；將終態神經網絡方法應用于冗余機械臂重復運動規劃.

1動態神經網絡

首先，引入如下記法：對于時變矩陣A(t)=(Aij(t))∈Rn×n，Aij(·):R+→R為矩陣A(t)的第i行第j列的元素，1≤i,j≤n，記；為矩陣A(t)的導數，可表示為；為矩陣A(t)在區間[a,b]上的積分，并定義t.

考慮由下述矩陣微分方程描述的神經網絡

(1)

其中：γ>0為可調整參數；E(t)∈Rn×n為時變矩陣；S(·):Rn×n→Rn×n為激活函數，定義為S(E(t))=S(Eij(t)).

-γEij(t)S(Eij(t))

其中⊙表示Hadamard積.因此，為了保證E(t)收斂性，須E(t)⊙S(E(t))是正定的[5].這樣，任何嚴格單調增奇函數可作為激活函數，滿足S(-·)=-S(·).應該指出的是，激活函數的不同選擇會導致不同的收斂速率.

進一步地，考慮下述矩陣微分方程描述的神經網絡

(2)

式中α>0.當α=1時，式(2)退化為式(1)所表示的動態系統；Li等[11-12]將(·)α作為一類激活函數，筆者則是將式(2)作為一類動態系統(實際上，它是終態吸引動態系統)，它的激活函數可以是通常的形式，且該形式下的激活函數具有更廣的應用范圍.

為了保證E(t)收斂性，須E(t)⊙S(Eα(t))是正定的.因此，激活函數S(·)仍可取嚴格單調遞增奇函數，而冪次α的選擇需按照以下取法：

1) 當E(t)≥Λ時，取α=q1/p1，q1和p1為正奇數，且滿足q1≥p1.

2) 當E(t)<Λ時，取α=q2/p2，q2和p2為正奇數，且滿足q2

這里，Λ為每個元素均取值1的矩陣.

下面給出更為一般形式的終態神經網絡，即

(3)

式中：γ,α1,α2>0，q1和p1，q2和p2均為正奇數，滿足q1≥p1，q2

為表述簡潔起見，以下簡單地將激活函數取作線性函數形式，即，S(E)=E；且僅考慮q1=p1，q2=q，p2=p的情形.關于通常形式激活函數的研究結果將另文發表.

2有限時間收斂性

取線性激活函數S(E)=E，式(1)所示神經網絡的動態響應可表達為

E(t)=E(0)e-γt

(4)

由式(4)知：當t→∞，若E(0)≠0，則E(t)漸近收斂于0.因此，式(1)為漸近收斂的神經網絡，稱為漸近神經網絡(簡寫為ANN).顯然，ANN網絡收斂至平衡態E(t)=0(即原點)需要無限長時間.

為了改進收斂速率，筆者通過引入終態吸引子，提出終態神經網絡(簡寫為TNN)，能夠實現有限時間收斂性能，下面給出具體的分析結果.考慮下述矩陣微分方程

(5)

其中：q和p為正奇數，且滿足q

由式(5)知：

對上式進行積分

從而任意初始狀態E(0)(>0)收斂于平衡態E(t)=0的時間為

(6)

由于引入了冪次q/p<1，右端函數在原點的導數為無窮大，越接近原點，E(t)的收斂速度越快.由式(6)知：終端時刻不但與所選取的參數有關，也與初值E(0)有關，E(0)越遠離原點，終端時刻越長，然而，也因為冪次q/p<1，由式(5)描述的TNN，在遠離原點時，其收斂速度甚至比ANN的收斂速度慢.為此，采用如下改進形式的TNN網絡，即

(7)

其中：β1=γα1；β2=γα2.易知，β1>0，β2>0，這是式(3)的一種簡單形式.

式(7)又可寫成

(8)

記Y(t)=E1-q/p(t)，則

將式(8)代入，可得

(9)

求解一階線性矩陣微分方程式(9),得

在時刻tf，令Y(tf)=0，則

這樣，從任意初始狀態E(0)(>0)到達平衡態E(t)=0所需的時間為

(10)

與式(6)相比較，適當設定β1，β2，p，q，可使網絡在更短時間到達平衡態.當E(t)遠離平衡點時，β1E(t)是決定收斂時間的主要影響因素，當E(t)接近平衡狀態E(t)=0時，則β2Eq/p(t)變為主要影響因素.因此，TNN網絡式(6)能夠加速收斂，使得E(t)更快收斂.

3時變矩陣求逆

給定滿秩的時變矩陣A(t)∈Rn×n，X*(t)∈Rn×n是A(t)的逆矩陣，即X*(t)=A-1(t)，t∈[0,+∞).由逆矩陣定義為

A(t)X*(t)=In

(11)

其中In為n×n單位矩陣.考慮矩陣求逆問題，X*(t)=A-1(t)為未知矩陣，對于每個固定的時刻t，可通過直接求解式(11)獲得.

與梯度法不同，Zhang[5]提出動態神經網絡方法，巧妙地解決了時變矩陣求逆問題，其中，動態網絡如式(1)所描述.容易證明，當時間趨于無窮時，其網絡狀態收斂于零，進而，X(t)收斂于逆矩陣X*(t).利用前節所述終態神經網絡解決時變矩陣求逆問題，經過有限時間，使得X(t)收斂于X*(t).

定義矩陣誤差函數為

E(t)=A(t)X(t)-In

(12)

求取已知矩陣的逆矩陣的目的可表述為，選取適當的誤差動態方程，使得誤差E(t)收斂于0.特別地，采用終態神經網絡方法，取式(5)所示的誤差動態方程，它可進一步寫成

(13)

同理，采用加速終態神經網絡方法，取式(7)所示的誤差動態方程，它又可寫成

-γ(β1(A(t)X(t)-In)+β2(A(t)X(t)-In)q/p)

(14)

考慮如下時變矩陣

(15)

容易給出其逆矩陣

(16)

初始誤差X(0)可任意選取，這里取作

應用兩種終態神經網絡方法，均能使X(t)收斂到逆矩陣的理論值，即A-1(t).同時，加速因子γ可加快收斂速度.為了便于與ANN方法進行比較，兩種終態神經網絡方法均采用相同的仿真數據.

1) 終態神經網絡式(5)

采用終態神經網絡式(5)，以式(13)構建如圖1所示仿真模型.仿真中，取q=3，p=5.γ=1時，仿真結果如圖2所示.從圖2中可以看出：由給定的初態出發，X(t)均收斂于逆矩陣A-1(t)，圖中顯示了X(t)的四種狀態X11，X12，X21和X22對應的實際值與期望值的對比曲線，且后文圖中出現四種狀態的地方代表的含義相同.圖3所示為γ=10時的狀態X(t)，顯然，其收斂速率明顯比γ=1時快.對于漸近神經網絡在相同初態下進行仿真，獲得的結果見圖4，可以看出：由給定的初態出發，X(t)漸近收斂于逆矩陣A-1(t).

圖1　以式(13)神經網絡模型求解逆矩陣的框圖Fig.1　The diagram of neural network module (13) for matrix inversion

圖2　γ取1時的終態神經網絡式(5)Fig.2　Terminal neural network (5) with γ=1

圖3　γ取10時的終態神經網絡式(5)Fig.3　Terminal neural network (5) with γ=10

圖5　γ取不同值TNN和ANN的誤差比較Fig.5　Comparison of error by using ANN and TNN (5) with different γ

2) 終態神經網絡

圖6　γ取1時的終態神經網絡式(7)Fig.6　Terminal neural network (7) with γ=1

4冗余機械臂的重復運動規劃

考慮笛卡爾空間機械臂終端軌跡m維向量r(t)和機械臂關節空間n維向量θ(t)，其關系可表示為

r(t)=f(θ(t))

(17)

映射關系式(17)是非線性的，且具有復雜的表達形式(特別是對于高自由度的機械臂).式(17)通常要轉換成速度模式進行求解，轉換后的關系可表示為

(18)

圖7　γ取不同值時，三種神經網絡誤差比較Fig.7　Comparison of error by the three neural networks with different γ

針對冗余機械臂而言，對于給定的末端執行器的工作路徑，實時計算所對應的關節向量可行路徑的問題稱為冗余機械臂的逆解運動學問題，由于其存在多余的自由度，因而該逆解問題存在無窮多組解，且能實現躲避障礙、躲避奇異點以及避免關節超限等.

充分考慮機械臂的冗余特性，已經提出了眾多方案來求解該逆解運動學問題.其中，偽逆型方法是求解該問題的一種常用方法，該方法在求解過程中會考慮不同的最優標準，例如關節速度范數最小化和目標任務最優控制等.然而，該方法存在一些不足，例如，矩陣偽逆的高計算負荷會導致高計算復雜度，且偽逆型方法并不能實現機械臂的可重復運動.

對于冗余機械臂，式(18)可能存在多解或無窮多解.且由于偽逆方法求解式(18)存在的不足，使得末端執行器沿封閉路徑運行并不能保證關節最終沿封閉路徑運行，對于重復運動控制而言，這種形式的關節角初始偏移是不可接受的.

一般地，存在許多因素影響冗余機械臂的運動規劃，例如末端執行器的運動需求，關節的物理限制等，這些因素使得當選取偽逆型方法求解機械臂逆解運動學問題時，并不能實現該運動學控制可重復(當末端執行器執行一個特殊任務時，不能使得機械臂的初始配置與最終配置相一致).

與常用的偽逆型求解方案不同，本小節引用了一種冗余機械臂的在線重復運動規劃最優方案，該方案充分考慮偽逆型方法存在的缺陷，可以有效的解決一個運行周期結束關節角發生偏移的問題(關節角偏移是指當末端執行器跟蹤一個閉環路徑以后，關節變量并不能回到初始設定的值)，實現冗余機械臂的可重復運動.

為了使得關節能夠重復運動，應使得關節的初態位置和當前位置之間的差最小，可利用的性能指標[9]為

(19)

其中：c=θ(t)-θ(0)，θ(0)為關節角的初始值；參數μ>0，用來引入當前關節角和初始關節角的差值的影響，且在硬件條件允許的前提下設計的越大越好(或者為了實現較理想的仿真效果應設計適當大小).這樣，冗余機械臂運動規劃任務可以表達為下述二次規劃

(20)

W(t)y(t)=v(t)

(21)

其中

(22)

這里，I為具有相應維數單位矩陣，且

(23)

(24)

可以看出：應用拉格朗日乘子法，二次規劃問題的求解變為式(21)的求解.所以采用同樣的性能指標式(18)，是為了比較終態神經網絡與漸近神經網絡在同時應用于所述規劃問題時的求解效果.

下面分別利用ANN和TNN神經網絡進行三連桿平面機械臂的運動規劃.雅可比矩陣為

其中

B=2πcos(0.5πt/T)cos(0.5πt/T)

圖8　三連桿平面機械臂的沿圓路徑軌跡Fig.8　Trajectories of the three-link planar robot arm when its end-effector tracking an circular path

運行結果見圖8~11所示.圖8為三連桿平面機械臂在二維平面中的運動軌跡，它按照逆時針方向運動，且起始位置正好是該圓軌跡的最右端.這里只給出了TNN模型下的關節和終端軌跡.由仿真結果知：實際軌跡與期望軌跡的誤差為10-3數量級.圖9，10所示的是TNN模型下機械臂關節角和關節角速度在一個周期內的變化情況.ANN模型下的三個關節角度和速度歸零的精度分別為10-3和10-4數量級，而TNN模型下為10-4和10-5數量級.圖11為ANN和TNN模型下E(t)在一個周期內的變化，從圖11中可以看出：使用終態神經網絡方法，E(t)的收斂速度明顯變快了，同時收斂精度也較高，可達10-7，而使用ANN方法收斂精度則為10-6.仿真結果表明了所提TNN方法是有效的.

圖9　使用終態神經網絡時關節角在一個周期內的變化Fig.9　Joint angles during a period when using the terminal neural network model

圖10　使用終態神經網絡方法時關節角速度在一個周期內的變化Fig.10　Joint velocities during a period when using the terminal neural network model

圖11　使用兩種不同的神經網絡時E(t)在一個周期內的變化Fig.11　The E(t) during a period when using both ANN and TNN (5) neural networks models

5結論

依照動態神經網絡方法，引入終態吸引概念，筆者提出了終態神經網絡方法，它可使得網絡變量有限時間收斂于零.在終端動態方程中增加一附加項，使得網絡收斂速度得到進一步提高.與漸近網絡相比，收斂速度和精度兩方面均得到改善.終態神經網絡方法可應用于矩陣求逆和二次規劃問題，并給出了具體仿真算例.數值結果驗證了終態神經網絡求解矩陣求逆和二次規劃問題的有效性.

參考文獻：

[1]HORN R A, JOHNSON C R. Topics in matrix analysis[M].

England：Cambridge University Press,1991.

[2]WANG Jun. Electronic realisation of recurrent neural work for solving simultaneous linear equations[J]. Electronics Letters,1992,28(5)：493-495.

[3]WANG Jun. Analysis and design of a recurrent neural networks for linear programming[J]. IEEE Transactions on Circuits and Systems,1993,40(9)：613-618.

[4]WANG Jun. Recurrent neural networks for computing pseudoinverses of rank-deficient matrices[J]. SIAM Journal on Scientific Computing,1997,18(5)：1479-1493.

[5]ZHANG Yunong, GE Shuzhi. Design and analysis of a general recurrent neural network model for time-varying matrix inversion[J]. IEEE Transactions on Neural Networks,2005,16(6)：1477-1490.

[6]WHITNEY D E. Resolved motion rate control of manipulators and human prostheses[J]. IEEE Transactions on Man Machine Systems,1969,10(2)：467-53.

[7]徐建明,張健,吳世民,等.基于ARM的機械手運動控制系統設計[J].浙江工業大學學報,2014,42(3)：243-248.

[8]WANG Jun, HU Qingni, JIANG Danchi. Lagrangian network for kinematic control of redundant robot manipulators[J]. IEEE Transactions on Neural Networks,1999,10(5)：1123-1132.

[9]XIA Youshen, WANG Jun. A dual neural network for kinematic control of redundant robot manipulators[J]. IEEE Transactions on Systems, Man, and Cybernetics,2001,31(1)：147-154.

[10]ZHANG Yunong, ZHANG Zhijun. Repetitive motion planning and control of redundant robot manipulators[M]. Germany：Springer Berlin Heidelberg,2013.

[11]LI Shuai, LI Yangming, WANG Zheng. A class of finite-time dual neural networks for solving quadratic programming problems and its k-winners-take-all application[J]. Neural Networks,2013(39)：27-39.

[12]ZAK M. Terminal attractors for addressable memory in neural networks[J]. Physics Letters A,1988,133(1)：18-22.

[13]LI Shuai, CHEN Sanfang, LIU Bo. Accelerating a recurrent neural network to finite-time convergence for solving time-varying Sylvester equation by using a sign-bi-power activation function[J]. Neural Processing Letters,2013,37(2)：189-205.

(責任編輯：劉巖)

中圖分類號：TP13

文獻標志碼：A

文章編號：1006-4303(2015)03-0311-07

作者簡介：孫明軒(1962—)，男，安徽固鎮人，教授，博士，研究方向為學習控制，E-mail：mxsun@zjut.edu.cn.

基金項目：國家自然科學基金資助項目(60874041,61174034)

收稿日期：2014-12-23