牛頓法與最速下降法在自適應信號處理中的應用

操童

摘 要：在自適應信號處理的系統(tǒng)中，我們對性能表面十分感興趣。微電子技術的飛速發(fā)展，容量大、體積小、性能可靠的信號處理器已經(jīng)出現(xiàn)，包括自適應信號處理在內(nèi)的各種類的信號處理技術，得到越來越廣泛的應用。牛頓法和最速下降法是我們熟知的兩種性能表面搜索法，最速下降法不同于牛頓法，沒一步權的調(diào)整都是在梯度的方向上。在工程應用中，牛頓法很難實現(xiàn)，但其數(shù)學意義十分重要，在工程中已經(jīng)實現(xiàn)了最速下降法，且這種方法已被證實具有廣泛的實際應用價值。該文重點介紹了應用牛頓法和最速下降法在自適應信號的性能表面尋找最小點，并對兩種方法的收斂性進行比較。

關鍵詞：性能表面 牛頓法 最速下降法 收斂性

中圖分類號：G64 文獻標識碼：A 文章編號：1674-098X（2015）01（c）-0084-02

1 自適應系統(tǒng)

自適應系統(tǒng)是近年來一個蓬勃發(fā)展的研究領域，先已研究出一大類受制于某種條件的，近似有生物適應過程和生命系統(tǒng)的自適應自動機。現(xiàn)如今，由于微電子技術的飛速發(fā)展，已經(jīng)可以設計并制造出容量大、體積小、性能可靠的信號處理器，包括自適應信號處理在內(nèi)的各種類的信號處理技術，得到越來越廣泛的應用。

自適應系統(tǒng)最基本、最主要的性質(zhì)是它的時變，自調(diào)整性能。自適應系統(tǒng)必須是時變、非線性系統(tǒng)，特別是其特性與其輸入信號有關。如果輸入加在自適應系統(tǒng)上，自適應系統(tǒng)將適應于這個輸入并產(chǎn)生相應的輸出。如果再加上另一個輸入信號，系統(tǒng)又將去適應第二個信號并再產(chǎn)生一個輸出。一般來說，這個自適應系統(tǒng)針對兩個不同的輸入的形態(tài)或結構的調(diào)整時不同的。如果兩個輸入的和加在自適應系統(tǒng)上，系統(tǒng)將適應這個新的輸入，而且產(chǎn)生一個新的輸出，這個輸出一般不同于+，輸出的和取決于輸入值和。對于線性系統(tǒng)所滿足的疊加原理一般不再成立。

自適應系統(tǒng)在非線性系統(tǒng)中沒有明確的歸類。不過，其兩個方面的特征，可以將它與別的形式的非線性系統(tǒng)有所區(qū)分。其一，自適應系統(tǒng)能進行調(diào)整，且有限長度信號的時間平均特性通常與它們的調(diào)整相關，因此不是由信號或者是內(nèi)部系統(tǒng)狀態(tài)的瞬時值決定的。其二，自適應系統(tǒng)是進行有目的的調(diào)整的，通常是對某個確定的性能測度進行優(yōu)化。

當結束適應過程，不在進行自適應調(diào)整時，其中有一類自適應系統(tǒng)變成線性系統(tǒng)，被稱為“線性自適應系統(tǒng)”。這一類的自適應系統(tǒng)方便數(shù)學處理，也很有用，而且與其他形式的自適應系統(tǒng)相比，其設計比較容易。

在自適應信號處理中，性能表面的一個重要特征是，如果信號時平穩(wěn)的，并具有不變的統(tǒng)計特性，則性能表面額形狀將保持不變，并在它的坐標系統(tǒng)只保持固定。在這種情況下，自適應過程由下列步驟所組成：從性能表面上的某個點很出發(fā)，向下運動至最小點附近，最后停在那兒。

另一方面，若信號時非平穩(wěn)的并且具有緩慢變化的統(tǒng)計特性，這種情況下，我們可以認為性能表面是“模糊”的或“起伏”的，或在其所處坐標系統(tǒng)中移動。這樣，自適應進行過程中，不但要向下運動到最小點，還要在性能表面發(fā)生移動時，對其最小點進行跟蹤。

2 牛頓法

牛頓法和最速下降法是我們熟知的兩種性能表面搜索法。這些方法都需要用梯度估值，以指明性能表面最小值所在的方向。這類方法特別適用于二次型性能表面。該章將著重介紹牛頓法。

盡管在實際應用中很難用到牛頓法，不過其數(shù)學意義卻非常重要，它是一種梯度搜索法。該方法在搜索過程中使權向量的所有分量每一步都在改變。并且，只要是二次型的性能表面，則總是在指向性能表面最小點的方向上發(fā)生改變。

尋找是問題關鍵，也就是說要使均方誤差最小則需要調(diào)整權。由于對性能表面不是很清楚，所以能從任意初值出發(fā)。同時對曲線在此點的斜率進行測量，選出新值，使其等于初值加上一個正比于斜率負值的增量。同樣，通過測量在的斜率再用同樣的方法導出下一個新值。重復此過程，直至找到最佳權。在離散間隔，，…，對性能曲線的斜率進行測量得到的值叫“梯度估值”。

時，單變量梯度搜索過程是臨界阻尼的。（為梯度搜索算法收斂率）在這種情況下，對二次型性能函數(shù)僅一步就收斂。由于它在初等微積分學中求多項式根的方法有關，故稱為牛頓法。現(xiàn)討論這種方法對單權函數(shù)的應用。

當性能表面為二次型，并對所有的值都已知的單變量情況，牛頓法使用起來時簡單的。

3 最速下降法

與牛頓法不同的是，最速下降法每一步權都是在梯度的方向上來調(diào)整的。對于一個想通過最少的迭代次數(shù)來實現(xiàn)性能表面搜索的數(shù)值分析者而言，收斂一步完成則是令人滿意的事情。不過，對自適應系統(tǒng)設計者來說，這有點太快了。分析數(shù)值時，一般是給定了所要搜索的函數(shù)，然而許多自適應系統(tǒng)在實際應用時，性能表面是不可知的，必須對數(shù)據(jù)進行隨機輸入來估計或者測量。因此，最速下降法有了廣泛的應用。

4 結語

在工程應用中，牛頓法很難實現(xiàn)，但其數(shù)學意義十分重要。目前，在工程中已實現(xiàn)最速下降法，而且這種方法被證實是具有廣泛實際應用價值的。此方法權向量總是在性能表面的負梯度方向上改變。原因是，只有在權向量坐標位于性能表面的主軸上時，梯度的負方向才指向最小點。

參考文獻

[1] Bernard Widrow，Samuel D.Stearns 著；王永德，龍憲惠 譯.自適應信號處理[M].北京：機械工業(yè)出版社，2008.

[2] 袁亞湘，孫文瑜.最優(yōu)化理論與方法[M].北京：科學出版社，1997.

[3] 最優(yōu)化方法講義.