基于有理非線性函數的Fast-ICA算法

何安玲，何選森

HEAnling,HE Xuansen

湖南大學 信息科學與工程學院，長沙 410082

College of Computer Science and Electronic Engineering,Hunan University,Changsha 410082,China

1 引言

盲源分離（Blind Source Separation，BSS）[1]是指僅從若干觀測到的混合信號中提取、恢復（分離）出無法直接觀測的各個原始信號的過程。目前解決盲源分離問題最常用和最基本的方法是獨立分量分析（Independent Component Analysis，ICA），并且已經在語音和圖像信號處理方面得到廣泛的應用。

早在1986年Jutten和Herault就提出了一種類神經的盲源分離方法[2]；隨后，于1991年，Jutten、Herault以及Common和Sorouchyari等在雜志Signal Processing上發表了關于盲源分離的三篇經典文獻[3-5]，提出了ICA的概念，使得盲源分離研究得到重大發展。與此同時，Tong等分析了盲源分離問題的可分離性和不確定性[6]。1994年，Common系統地分析了瞬時混合信號的盲源分離問題，為獨立分量分析提供了一個更精確的解釋[7]。而Hyvarinen基于源信號的非高斯性，給出一類固定點訓練算法（fixed-point），并于1997年首次提出了基于峭度的Fast-ICA算法[8]，后來又提出了基于負熵的Fast-ICA算法[9]。近些年，對Fast-ICA算法中非線性函數選取的研究取得了一定的進展[10-11]。

本文利用切比雪夫-帕德（Tchebyshev-Pade）逼近的方式，分別對tanh和gauss函數進行有理逼近，并將其應用于Fast-ICA算法中。通過仿真實驗，驗證了本文所提出的改進的Fast-ICA算法在收斂速度和分離性能上具有明顯的優勢。

2 獨立分量分析

ICA問題可以用如下數學模型來描述：

其中s是未知源信號向量，Am×n為未知混合系統，x=[x1,x2,…,xm]T是m維的觀測信號矢量，n=[n1,n2,…,nm]T是加性噪聲矢量。通常做出如下假設：在任意一時刻t，源信號s(t)中各分量之間相互統計獨立；所有的源信號中最多只允許有一個信號分量服從高斯分布；混合矩陣A是滿秩的，其偽逆矩陣A+存在；觀測信號數目大于或等于源信號數目，即m≥n；噪聲很小，可忽略不計。

ICA的任務是在源信號s和混合系統A未知的情況下，僅由觀測數據向量x通過調整分離系統W，使得系統輸出y是源信號s的估計，即y=Wx=s～。

ICA方法通常可以分為兩步，第一步利用概率統計學理論和信息論的知識來描述各分量間的統計獨立性，并根據某種獨立性準則得出一個以分離矩陣為因變量的目標函數，該目標函數的值反映了各輸出分量的獨立程度。第二步通過優化算法迭代更新分離矩陣W，使目標函數的值達到最優，各分量獨立性最大。即：

ICA方法=目標函數+優化算法

用于度量各分量獨立性程度的準則通常有四種：非高斯性最大化準則、最小互信息準則、最大信息熵準則和極大似然準則。而Fast-ICA算法是基于非高斯性最大化準則，通過固定點不斷迭代理論尋找WTx非高斯性最大值，采用牛頓迭代算法對觀測信號x的大量采樣點進行批處理，以最大化負熵作為目標函數，每次從觀測信號中分離出一個獨立成分。Fast-ICA算法具有收斂速度快，分離精度高的特點。

3 非線性函數

在Fast-ICA算法中，可利用負熵或峭度來度量非高斯性。因為峭度可能對野值極其敏感，不是非高斯性的一個魯棒性度量。而負熵與峭度相比，具有良好的魯棒性。但是負熵的計算復雜，因此需要尋求對負熵的有效合理近似作為非高斯性的度量。一種有效的近似方法是使用一般形式的非二次函數的期望。當僅使用一個非二次函數（對比函數）G時，相應的近似變為：

式中變量y的均值為0，方差為1且分布對稱，變量v服從高斯分布，J表示y的負熵。上式便是Fast-ICA算法的目標函數。在實際應用中，經常考慮的是如何選取非線性函數g，它是非二次函數G的一階導函數。最經典三個的非線性函數如下[9]：

其中，常數a1取在1≤a1≤2比較合適，通常取1。本文分離的語音信號屬于超高斯信號，因此可以利用非線性函數g1和g2來計算近似負熵。

4 有理化非線性函數

由于有理函數相比于tanh和gauss函數的計算效率高，本文的目的是尋求有效、合適的有理非線性函數來代替tanh和gauss函數，使得經過有理化改造后的Fast-ICA算法加快收斂速度并且提高盲分離的性能指標。

為了提高Fast-ICA算法的收斂性能，文獻[12]利用Pade逼近技術尋求合適的有理函數代替傳統的非線性tanh和gauss以分離超高斯信源，取得了較好的效果。Pade逼近是由泰勒級數發展而來的，而切比雪夫-帕德（Tchebyshev-Pade）逼近是由切比雪夫級數發展而來的，因為切比雪夫級數是對泰勒級數的修正，因此具有比泰勒級數更快的收斂速度。本文采用切比雪夫-帕德逼近來有理化Fast-ICA算法中的非線性函數。

4.1 有理函數的推導

設[－1，1]上的連續函數f(x)可以展成Tchebyshev級數：

在此基礎上，首先對gauss函數進行有理化逼近。因為gauss函數是奇函數，為了方便計算，可以先求exp(-x22)的Tchebyshev-Pade逼近r0,2(x)，然后以x·r0,2(x)作為gauss函數的有理逼近，這里m=0,n=2。利用式（11）～（13）可以得到：

由于exp(-x22)是偶函數，所以ck中的奇數項等于0。因此上式方程組可表示為：

不難指出未知量b1等于0，因此上式方程組可表示為：

取定b0=1，解上述方程便可求得：

所以：

因此，對函數進行Tchebyshev-Pade逼近得到的有理函數為：

同理，對tanh函數進行有理逼近，從而得到對應的有理函數：

4種非線性函數波形如圖1所示，顯然，在x坐標軸上的[－1，1]區間內有理函數與gauss和tanh具有非常相似的波形。

4.2 非線性函數的計算效率

用于仿真的PC機的操作系統是Windows XP，CPU主頻為2.70 GHz，內存為2 GB。所有的仿真語言為MATLAB 7.10.0（R2010a）。隨機選取100萬個服從標準正態分布的數據進行測試，即x=randn(1 ,1 000 000)。執行tanh(x)命令所用時間為0.050 6 s，執行3.188 9×x)./(3.195 8+x.2)命令為 0.014 0 s，執行x.×exp(- (x.2)2)命令為0.031 0 s，執行(1.569 8×x).(1.546 6+x.2)命令為0.008 9 s。由此可知，使用相同的測試數據計算tanh和gauss函數所使用的時間均遠大于TPT和TPG函數所使用的時間。

4.3 TPT和TPG函數的魯棒性分析

從統計的觀點來看，如果希望獲得具有魯棒性的估計量，非二次函數G(·)增長速度應該小于函數|x|的增長速度[14]。

當G(x)具有以下形式時，估計量的漸進方差的跡最小[9，14]：

式中，fi是一個獨立分量si的概率密度函數，c1、c2、c3是任意常數。為了簡單起見，選擇

通常，以下這一簇密度函數可以用作不同非高斯性的例子：

式中，α是一個正常量，C1、C2是歸一化常數，以保證fα(x)是單位方差的概率密度。對α的不同值，密度函數呈現不同的形狀。對于0＜α＜2，將得到一個稀疏的超高斯的密度；對于α=2，將得到高斯分布；對于α＞2，將得到次高斯分布。將式（20）帶入式（19）中，并忽略常數，則得到最優非二次函數具有以下形式：

圖1 非線性函數的對比

圖2 目標函數的對比

這粗略地說明了對于超高斯（次高斯）密度，最優函數的增長速度應該慢于（相對應地，快于）二次。因為本文分離的語音信號屬于超高斯信號，因此所使用的非二次函數的增長速度應小于二次函數。

對于TPT和TPG函數，因為它們具有相同的函數表示形式，可以用以下通用式子來表示：

其中，對a、b取相應的值即可獲得對應的TPT和TPG函數。將上式對x求積分，將得到TPT和TPG函數的原函數的一般表示形式：

令a=3.188 9，b=3.195 8，將得到TPT的原函數GTPT；令a=1.569 8，b=1.546 6，將得到TPG的原函數GTPG。圖2給出了4種對比函數的波形，因為GTPT和GTPG函數的增長速度均小于函數|x|2的增長速度，因此有理對比函數滿足魯棒性的條件。

5 仿真結果及分析

盲源分離的性能主要由串音誤差PI來描述，PI值越接近0說明分離性能越好[15-16]。PI的定義如下：

其中，M是源信號的數量，cij為C=W·A的元素，而A為混合矩陣，W為Fast-ICA算法分離得到的分離矩陣。

仿真實驗中使用了5組不同的語音信號作為源信號，分別對每組信號進行取樣（取樣的點數為N=216=65 536），形成5個一維向量，將這5個一維向量組成一個源信號矩陣，其波形如圖3所示。

圖3 源信號

將源信號矩陣乘以一個5×5的隨機混合矩陣A得到混合后的語音信號，分別選取tanh、gauss、TPT和TPG作為非線性函數應用在FastICA算法中，對混合信號進行分離。為了保證仿真實驗的準確性，各種Fast-ICA算法分別進行1 000次實驗。圖4顯示了利用4個非線性函數分別進行1 000次分離的實驗結果；表1和表2顯示了相應統計結果。

圖4 四個非線性函數分別進行1000次盲源分離

表1 4種非線性函數的分離效果

表2 4種非線性函數的分離時間 s

從圖4可以看出：

（1）采用tanh和TPT函數具有相近的分離結果。

（2）相比gauss，TPG函數具有更好的分離效果。

（3）相比tanh和TPT函數，gauss和TPG函數具有更好的分離性能。因為tanh是一個通用性的非線性函數，但獨立分量是超高斯信號時，gauss具有更好的分離效果；而TPG是gauss函數的有理逼近，TPT是tanh函數的有理逼近，因此相比TPT，TPG函數的分離性能更佳。

從表1可以看出，雖然TPT函數的分離效果不如tanh函數，二者之間的平均PI值相差0.000 8；而從表2可以看出，利用tanh函數進行一次分離所使用的時間幾乎是利用TPT函數分離所使用時間的1.5倍。相比tanh函數，當進行100 000次分離時，TPT函數大約能節省98 min。因此，如果對分離效率要求比較高，且對分離精度要求不是非常苛刻時，可以利用TPT函數來代替tanh函數。

同樣地，從表1可以看出TPG函數的分離效果好于gauss函數；而且從表2看出，TPT函數進行一次分離所使用的時間也少于gauss函數所使用的時間。綜合表1和表2的結果，TPG函數的各項指標均優于gauss函數。因此，當分離超高斯信號時，可以利用TPG函數來代替gauss函數，不僅能提高分離精度，而且分離效率上也具有明顯的優勢。

如圖5是利用TPT和TPG函數進行盲源分離的結果，其中兩者的PI值分別為0.005 8和0.004 1。由于盲源分離結果具有次序不確定性，因此圖5的結果是人為排序后的結果，使之與圖3對應，從而方便比較。

6 結論

本文提出兩個可提高Fast-ICA算法性能的有理函數：TPT和TPG。通過仿真實驗表明，TPT和TPG函數不僅具有良好的魯棒性，而且還克服了原有tanh和gauss函數計算速度慢的缺點。其中相比tanh，TPT函數雖然犧牲了一定分離精度，但大大縮短了分離時間；而相比gauss，TPG函數不僅在縮短了分離時間，而且還提高了分離精度。

圖5 利用TPT和TPG函數進行盲源分離的結果

[1]Belouchrani A，Abed-Meraim K，Cardoso J F，et al.A blind source separation technique using second-order statistics[J].IEEE Transactions on Signal Processing，1997，45（2）：434-444.

[2]Herault J，Jutten C.Space or time adaptive signal processing by neural network models[J].Neural networks for Computing，1986，151（1）：206-211.

[3]Jutten C，Herault J.Blind separation of sources，part I：An adaptive algorithm based on neuromimetic architecture[J].Signal Processing，1991，24（1）：1-10.

[4]Comon P，Jutten C，Herault J.Blind separation of sources，part II：Problems statement[J].Signal Processing，1991，24（1）：11-20.

[5]Sorouchyari E.Blind separation of sources，part III：Stability analysis[J].Signal Processing，1991，24（1）：21-29.

[6]Tong L，Liu R W，Soon V C，et al.Indeterminacy and identifiability of blind identification[J].IEEE Transactions on Circuits and Systems，1991，38（5）：499-509.

[7]Comon P.Independent component analysis，a new concept?[J].Signal Processing，1994，36（3）：287-314.

[8]Hyv?rinen A，Oja E.A fast fixed-point algorithm for independent component analysis[J].Neural Computation，1997，9（7）：1483-1492.

[9]Hyv?rinen A.Fast and robust fixed-point algorithms for independent component analysis[J].IEEE Transactions on Neural Networks，1999，10（3）：626-634.

[10]Dermoune A，Wei T.FastICA algorithm：Five criteria for the optimal choice of the nonlinearity function[J].IEEE Transactions on Signal Processing，2013，61（8）：2078-2087.

[11]Miettinen J，Nordhausen K，Oja H，et al.Deflation-based FastICA with adaptive choices of nonlinearities[J].IEEE Transactions on Signal Processing，2014，62（21）：5716-5724.

[12]He X，Zhu T.ICA of noisy music audio mixtures based on iterative shrinkage denoising and FastICA using rational nonlinearities[J].Circuits，Systems，and Signal Processing，2014，33（6）：1917-1956.

[13]王仁宏，朱功勤.有理函數逼近及其應用[M].北京：科學出版社，2004：200-206.

[14]Hyv?rinen A，Karhunen J，Oja E.Independent component analysis[M].[S.l.]：John Wiley&Sons，2004：276-280.

[15]Paraschiv-Ionescu A，Jutten C，Aminian K，et al.Source separation in strong noisy mixtures：A study of wavelet de-noising pre-processing[C]//Proceedings of ICASSP 2002，2002：1681-1684.

[16]Rivet B，Vigneron V，Paraschiv-Ionescu A，et al.Wavelet de-noising for blind source separation in noisy mixtures[C]//Proceedings of International Conference on Independent Component Analysis and Signal Separation，2004：263-270.