基于Rayleigh 商的次子空間準則跟蹤函數

徐中英，高迎彬，孔祥玉，杜伯陽

（火箭軍工程大學控制工程系，陜西 西安 710025）

1 引言

在現代信號處理和數據分析領域，次成分分析是一種常用的分析方法。次成分代表了信號或數據具有最小偏差的方向，由多個次成分張成的空間稱為次子空間。次成分分析是指利用次成分或次子空間進行信號處理的方法[1]。次成分分析方法可以應用在很多領域，如濾波器設計[2]、Pisarenko 頻率估計[3]、陣列天線設計[4]、總體最小二乘估計[5]、波達方向（DoA,direction of arrival）估計[6]等。

早期的次成分分析是通過特征值分解（EVD,eigenvalue decomposition）或者奇異值分解（SVD,singular value decomposition）來實現的，這類算法本質上是采用批處理方式，存在計算量大和無法實時運算的問題[7]。因此，有研究者提出基于神經網絡的算法，該類算法的優點有：1)避免了自相關矩陣的直接計算，2)能夠實現非平穩信號的跟蹤，3)能夠處理高維數據[7]。基于神經網絡的算法自提出以來迅速成為國內外研究的熱點。

目前，學者們提出了許多次成分分析算法，如M?ller 算法[8]、SDPM（stable data projection method）[9]、PAST（projection approximation subspace tracking）算法[10]、Douglas 算法[11]等，這些算法都是基于啟發式推理得到的，缺乏對應的準則函數。信息準則規定了次成分分析方法的搜索方式，利用準則函數可以快速確定算法的全局收斂域，因此發展準則函數具有十分重要的意義。目前，已經提出的準則函數有AMEX（adaptive minor component extraction）函數[12]、Hasan 函數[13]、OJAm 函數[3]等。相比豐富的次成分分析算法而言，準則函數并不多見，需要進一步豐富和發展。

本文的主要工作是，通過對Rayleigh 商函數添加適當的懲罰項，提出了一個新型的次子空間準則函數；通過對所提準則函數的平穩點進行分析，證明了準則函數的最優解是次子空間的一組基，構建了準則函數與次子空間之間的聯系；通過梯度上升法導出了一個次子空間跟蹤算法；通過李雅普諾夫函數法確定了導出算法的全局收斂域。

2 新型準則函數的提出

2.1 預備知識

將矩陣R的特征值按照從小到大的順序排列，即

特征值對應的特征向量也相應排列，可以得到R的另外一種特征值分解表示，如式(3)所示。

其中，U1是由最小的r個特征值對應的特征向量構成的矩陣，U2則是由剩余的n-r個特征值對應的特征向量構成的矩陣。根據信號處理理論[14]可知，自相關矩陣R的最小的r個特征值對應的特征向量張成的空間等于信號的次子空間。

2.2 新型準則函數

其中，W是神經網絡的權矩陣，tr(·)是矩陣的跡。J(W)是一個無約束優化函數，它由兩部分構成，第一部分是Rayleigh 商函數，作用是使算法能夠收斂到需要的次子空間；第二部分是一個懲罰函數，作用是對權矩陣模值施加一個隱形約束，保證算法迭代過程中模值的收斂性。

3 準則函數的平穩點分析

對于準則函數式(4)而言，是否存在全局極大值、是否可以建立與次子空間的聯系、是否存在其他局部極值是3個非常重要的問題，本文以定理1和定理2對上述問題進行回答。

定理1在域內，當且僅當時，W是準則函數J(W)的平穩點，其中Q∈?r×r是一個正交矩陣。

證明由于WTRW＞0和WTW≠0均是對稱正定矩陣，因此都是可逆矩陣。由式(4)可得，J(W)對矩陣W的一階微分存在，且有

反之，由平穩點定義可得，在J(W)的平穩點有?J(W)=0，即

式(7)同時左乘WT并化簡得

證畢。

定理2在域內，當且僅當時，準則函數J(W)達到全局極大值。在全局極大值處，其他所有的平穩點都是J(W)的鞍點，其中任意一個正交矩陣。

證明根據定理1可知，任意的均是準則函數J(W)的平穩點，其中Ur是由R的任意r個特征向量構成的矩陣。令Ur中特征向量的位置序號構成的集合為S1，即S1={i1,i2,…,ir}。同理，S2={1,2,…,r}為U1中特征向量的位置序號構成的集合。

對于任意的S1(S1≠S2)而言，該集合中必定存在某一個元素j，滿足

將矩陣Ur中的第j列向量替換為vj+εvk（k∈S2且k?S1），則形成新矩陣。顯然，有λj＞λk。令M1=[0,…,0,vk,0,…,0]，即矩陣M1中只有第j列為vk，而其他列都是0，則

進一步有

將式(13)和式(14)代入式(15)有

由于λj＞λk，則根據式(15)可得，在平穩點處，沿著向量vk的方向，J(W)是遞增的。此外，將矩陣Ur中的vj替換為vj+εvj，則可以獲得新的矩陣。令，即矩陣M2中只有第j列為vj，而其他列都是0，則

其中，D1=diag(0,…,0,1,0,…,0)是一個對角矩陣。

進一步有

根據式(14)和式(19)可得

證畢。

定理1和定理2表明，J(W)存在全局極大值，在全局極大值時，W是次子空間的一組基，且WTRW=I可以被唯一確定。由于J(W)只有全局極大值而沒有其他局部極值，因此通過迭代法（如梯度法）導出的算法可以保證收斂到需要的次子空間。

4 次子空間跟蹤算法及其收斂域分析

4.1 子空間跟蹤算法

通過定理1可得，式(5)是J(W)的一階微分。假設在第k次迭代時，神經網絡的權矩陣為Wk，則通過利用梯度上升法可以給出下一時刻的權矩陣更新式，如式(22)所示。

其中，μ是算法的學習因子，滿足0＜μ＜1。經過多次迭代運算后，神經網絡權矩陣將最終收斂到次子空間的一組基。

4.2 算法的收斂域

本節對導出算法式(22)的收斂性進行討論。當學習因子μ足夠小時，離散差分式(22)可以近似為與之相對應的連續微分方程[15]。

其中，t=kμ。由此，算法的全局收斂性可以通過對該連續微分方程對應的動態系統分析來完成。根據李雅普諾夫第二定律，動態系統的收斂性分析主要涉及以下兩方面：1)動態系統是否能夠全局收斂到次子空間；2)動態系統可以吸引的范圍是多少，即什么樣的初始化條件能夠保證系統的全局收斂性。

定理3將給出上述2個問題的答案。

定理3給定常微分方程式(23)，假如初始化全矩陣滿足W(0)∈Ω，則當t→∞時，W(t)必將全局漸進收斂到集合中的一個點，其中Q∈?r×r任意一個正交矩陣。

證明令L(W)=-J(W)。根據定理1和定理2，L(W)與J(W)有相同的平穩點，且在處，L(W)取得全局極小值。利用求導鏈式法，則

將式(5)和式(23)代入式(24)，則很容易得到，對于任意的W∈Ω，均有。因此L(W)構成了式(23)的李雅普諾夫函數。根據李雅普諾夫第二定律，從任意初始化權矩陣出發的動態系統都收斂到相同的不變集由于是不穩定的鞍點，因此W(t)必將全局漸進收斂到中的一個點。

證畢。

5 仿真實驗

本節通過3個仿真實驗來驗證所提準則函數和導出算法的正確性。第一個實驗提供了一種特殊情況下的準則函數曲線，第二個實驗展示了導出算法在次成分分析方面的優越性，第三個實驗是算法在DoA 估計中的應用。

5.1 準則函數曲線

令準則函數J(W)中R=diag(2,1)。當提取子空間維數為1，即r=1時。如果W=[W11,W12]T，則通過適當簡化有

圖1是利用Matlab 繪出上述情況下的J(W)曲線。從圖1中可以看出，J(W)存在全局極大值，而沒有局部極值，這與定理2的分析結果相一致。當權矩陣W=[0,±1]T時，準則函數J(W)取得全局極大值，此時W=[0,±1]T正好是R=diag(2,1)的次成分，從而證明了所提準則函數的正確性。

圖1 準則函數的3D 曲線

5.2 次成分分析實驗

5.1 節實驗主要通過一個特例來證明所提信息準則的正確性，本節實驗將考察準則函數導出算法進行次成分分析的能力。首先，利用文獻[10]的方法隨機生成一個5×5對稱正定矩陣，如式(26)所示。

該矩陣的最小特征值為λ1=0.8348，其對應的次成分特征向量為

然后，分別利用導出算法、OJAm 算法[3]和Douglas 算法[11]對該矩陣的次成分進行提取。為了定量描述算法的性能，這里引入2個評價函數[10]。

1)方向余弦

方向余弦（DC,direction cosine）實際上是權矩陣與次成分方向之間的夾角，如式(28)所示。如果DC=1，則表示Wk與1v方向重合。

2)權矩陣過程模值

對于OJAm 算法和Douglas 算法，已經證明算法收斂時WTW=I，因此過程模值取；對于導出算法而言，根據式(8)有WTRW=I，因此取

在迭代過程中，為了保證算法公平比較，3個算法采用相同的初始化權矩陣和學習因子。本實驗中，初始化權矩陣是隨機產生的（矩陣的每個元素均是高斯白噪聲），學習因子μ=0.01。3種算法的仿真結果如圖2和圖3所示，該結果曲線是100次獨立仿真結果的平均值。

從圖2中可以看出，所提算法的方向余弦曲線最終收斂到了單位1，即所提算法能夠收斂到次成分的方向。從圖3中可以看出，迭代過程中，權矩陣模值是有界的且最終也收斂到了1，與定理1的分析結果相吻合。因此，綜合圖2與圖3結果可知，所提算法具備次成分分析的能力。對比圖2和圖3中3種算法的表現可知，相比OJAm 算法和Douglas算法，本文所提算法在方向余弦和權矩陣模值方面具有較快的收斂速度。

圖2 方向余弦曲線

圖3 權矩陣模值曲線

5.3 DoA 估計

假設一個具有8個陣子的線性等距天線陣列，陣子的間距為半個波長。3個遠場信號的入射角（即DoA 角）分別為12°、19°和27°。信號中的噪聲為加性高斯白噪聲，且信噪比為20 dB。分別利用所提算法、OJAm 算法[3]和Douglas 算法[11]對信號的次子空間進行估計，通過MUSIC 法計算DoA 角。本節實驗中，3種算法的初始化方法與實驗2相同，初始化權矩陣是隨機產生的，學習因子μ=0.1。為了評價算法對子空間的估計結果，算法迭代過程中分別計算3個算法估計子空間與單位矩陣之間的正交誤差，如式(29)所示。

其中，對于 Douglas 算法和 OJAm 算法有A=WTW；對于所提算法有A=WTRW。圖4是3個算法的正交誤差曲線，圖5是利用導出算法得到的譜密度曲線。

圖4 正交誤差曲線

圖5 所提算法的DoA 估計曲線

從圖4中可以看出，經過大約100次迭代運算后，所提算法的正交誤差已經趨于0，即權矩陣已經收斂到了信號的次子空間。通過與其他2個算法對比可以發現，所提算法的收斂速度要快于其他2種算法。從圖5中可以看出，譜密度曲線分別在3個DoA 角處取得極值。因此可以得出結論，所提算法能夠有效地解決DoA 估計問題，而且收斂速度優于同類型其他算法。

6 結束語

次成分分析是信號處理和數據分析領域一門重要的工具，而尋找準則函數在次成分分析算法中具有十分重要的地位。本文首先提出了一個新型的次子空間跟蹤準則函數，并通過分析準則函數平穩點建立起了準則函數與次子空間之間的關系；基于此信息準則構建了一個新的次子空間跟蹤算法，并證明了算法的全局收斂性。仿真實驗表明，與一些現有算法相比，本文提出的算法具有較快的收斂速度。