獨立分量分析及其應用研究

摘 要：獨立分量分析是近年來興起的一種高效的信號處理方法，主要解決的問題是從觀測到的混合信號中分離或提取各個源信號。簡要介紹了獨立分量分析的模型、數學原理等基本問題，詳細分析了解決獨立分量分析問題的優化準則及對應的算法，最后介紹了獨立分離分析的主要應用領域，并對獨立分量分析問題的研究方向進行了展望。

關鍵詞：盲源分離；獨立分量分析；優化準則;高階統計；信息論

中圖分類號：TN911 文獻標識碼：A

文章編號：1004373X(2008)0301704

Research on Independent Component Analysis and Its Application

LIANG Duandan，HAN Zheng，HAO Jiajia

(Xi′an Communication Institute，Xi′an，710106，China)

Abstract：Independent Component Analysis(ICA) is an efficient technology developed in resent years in signal processing field.This method can separate or extract unknown sources from their mixtures.In this paper，the fundamental model and mathematical principle are introduced，the optimized criteria and related algorithms for ICA are analyzed.Finally，the paper presents the application and future development of ICA.

Keywords：blind source separation;independent component analysis;optimized criteria;higher order statistics;information theoretic

1 引 言

盲源分離(Blind Source Separation，BSS)是在源信號和傳輸通道參數未知的情況下，根據輸入源信號的統計特性，僅由觀測信號恢復出源信號的過程。當源信號各個成分具有獨立性時，此過程又稱為獨立分量分析(Inependent Component Analysis，ICA)。所謂的“盲”，是指源信號的特性及傳輸通道的特性都是未知的。

盲信號分離的概念最早提出20世紀80年代，隨后從90年代開始，盲信號分離技術廣泛的應用于無線通信、雷達、聲納、圖像、語音、醫學等領域，迅速成為國內外信號處理研究的熱點。

2 ICA的基本理論概述

2.1 BSS與ICA的關系

BSS是指僅從觀測的混合信號中分離出各個原始信號，而ICA技術主要利用了源信號統計獨立等容易滿足的先驗條件，為了解決BSS問題而發展起來的。在源信號相互獨立時，BSS和ICA具有相同的模型，但實際情況下，兩者目標上稍有不同。BSS的目標是分離出源信號，即使他們并不完全互相獨立；而ICA的目標則是尋找某種變換，使輸出的各信號之間盡可能的獨立。

ICA是BSS的一種方法，但是解決BSS問題還有其他的理論方法，如非線性主分量分析、稀疏分量分析(SCA)等，不局限于ICA。

2.2 ICA的數學描述及模型

ICA的原理框圖如圖1所示。

基本的線性瞬時混合ICA模型可以描述為：

2.3 ICA的前提假設

由于源信號和混合矩陣的先驗知識未知，只有觀測信號的信息可以利用，若無任何前提條件，盲分離問題就會多解，故需要對源信號和混合矩陣附加一些基本的假設和約束條件[1]：

(1) 觀測信號數目M不小于源信號數目N，為了方便起見，取M=N，即混合矩陣A為滿秩。

(2) 源信號S的各個分量之間相互統計獨立。

(3) 源信號的各分量最多只允許有一個是高斯分布的，這是由于多個高斯信號的線性混合仍然服從高斯分布，不可分離。

2.4 ICA的不確定性

根據ICA的模型實現原理，若要源信號精確恢復，應當W=A－1，但在“盲”的范疇里，混合矩陣A不是完全辨識的，ICA算法求解的過程尋找的解混矩陣不是A的求逆過程，Y只是S的近似值，存在著一些不確定性，在文獻[2]中得到證明：

(1) 幅度：分離后的信號在幅度上與源信號存在一定的比例關系。

(2) 次序：分離信號與源信號的順序可能不一致。

在許多應用背景下，信號的大多數信息都是包含在信號的波形上而不是信號的幅度和次序中。另外，雖然事先對源信號了解不多，但在有些情況下，分離出獨立的源信號之后可根據實際進行判別，故ICA分離中這兩個不確定性是可以接受的。

3 ICA的基本算法

3.1 ICA算法的基本原理

從數學角度來分析隨機矢量的獨立性定義為假設原始信號是獨立同分布的非高斯信號，滿足下式：

即其聯合密度函數是各個分量概率密度函數之積，也可以采用他們的互信息量I(x)來表達：

當且僅當各個分量相互獨立時為零。

ICA算法的基木原理就是依據等獨立性度量的準則來建立目標函數，使分離出的獨立分量最大程度的逼近各個源信號。不同ICA的算法研究主要體現在獨立性度量準則的選取和對目標函數的優化準則的不同上。可把ICA算法表述為：

ICA算法=分離準則+優化算法

這兩方面構成了ICA理論的核心，目標函數決定算法的統計性質，如漸進方差、魯棒性和一致性；優化算法決定算法的收斂速度和計算的穩定性。

3.2 ICA的獨立性測度準則及優化算法

3.2.1 基于非高斯性的測度方法

由統計理論中的中心極限定律可知，多個獨立隨機變量的混合信號趨近于高斯分布。故在ICA模型中若干個獨立源信號的混合信號比任何一個源信號都應該更接近高斯分布。當所有分離出來的信號的非高斯性都達到最大時，每個分離出的信號也就越接近不同的單個源信號。

通常利用峰度和負熵作為非高斯性測度。

(1) 峰度(Kurtosis)

峰度是隨機變量的四階累積量，其定義如下：

對于一個高斯變量y，其四階累積量等于3E2[y2]，峰度為零。絕大多數非高斯信號的峰度為一個非零值，峰度的絕對值越大，說明非高斯性越強。

對應的目標函數簡化定義為：

對應的優化算法一般采用隨機梯度算法，對目標函數最大化(對正峰度源)或者最小化(負峰度源)可求得分離矩陣W[WTBZ]。

(2) 負熵(Negentropy)

由信息論知識得：在方差相同的情況下，高斯變量具有最大熵。而負熵的定義為：

其中yGuass為與y具有相同的協方差矩陣的高斯隨機變量。負熵的值總是非負的，負熵越大，其非高斯性越強，當且僅當y為高斯變量時，其值為零。故可通過最大化負熵的方法尋找一種變換，使變換后y的各分量盡可能獨立。負熵的計算比較困難，在實際應用中通常利用非線性函數G(#8226;)對負熵進行近似，得到對應的目標函數為：

FastICA算法[3]就是一種基于負熵最大化的快速定點ICA算法，他具有計算簡單、收斂速度快等優點，在實際中得到成功應用。

3.2.2 基于信息論的測度

(1) 信息最大化

用信息最大化原理進行盲源分離就是最大化輸出熵，又稱最大熵(Maximum Entropy，ME)。

在信息論中，隨機變量熵就是給定觀察變量的信息度。對具有概率密度為p(y)的隨機向量y，他的微分熵定為：

當y的各個分量之間相互獨立時，H(y)達到最大，故可以用輸出熵H(y)來衡量恢復信號y各分量之間的獨立性。為避免簡單的最大化使H(y)發散至無窮，實際的Infomax算法中，通常是最大化分離信號y經過非線性結點輸出r的熵。因此，目標函數定義為：

對應的優化算法為Infomax算法[4]。

(2)互信息最小(Minimum Mutual Information，MMI)

隨機向量各分量之間的互信息定義為其邊緣熵之和與聯合熵之差，等價于聯合概率密度和各分量邊緣概率密度乘積之間的Kullback—Leibler散度。

當恢復源信號y的各分量相互獨立時，有p(y)=py1(y1)py2(y2)…pyn(yn)，其中p(y)為y的聯合概率密度函數，pyi(yi)為yi分量的邊緣概率密度函數。Kullback—Leibler散度定義如下：

可得：

H(yi)，H(y)分別為邊緣熵和聯合熵。當且僅當y的各分量統計獨立的時候互信息I(y)為零。即互信息越小，各分量之間的獨立性越強。基于最小輸出互信息的目標函數為：

對應的優化算法為MMI算法。

(3) 最大似然估計準則(Maximum Likelihood Estimation，MLE)

MLE是用己獲得的觀測樣本x來估計樣本真實概率密度p(x)。給定參數向量θ，通過某種準則獲得估計密度度(x，θ)充分逼近真實密度p(x)。以Kullback—Leibler散度作為優化準則來測度估計的概率密度(x，θ)與真實概率密度p(x)之間的距離。這一準則可用對數形式的似然函數表示：

其中pi為未知獨立分量si的概率密度。

對應的優化算法MLE的目標函數與Infomax算法有類似的形式，不同之處是MLE的目標函數出發點是已知觀測樣本，他要求pi必須估計準確。

上述的Infomax(ME)，MMI，MLE三種算法在本質上沒有區別，Pearlmutter和Parra，Cardoso[5]己經指出Infomax和MLE算法是等價的。

3.2.3 基于高階統計的方法

對于高斯信號，不相關和獨立是等價的，可在二階統計的基礎上進行分析，但是對于非高斯信號來說，獨立是比不相關更強的條件，要求在包含二階統計在內的所有更高階統計上相互獨立，故本文試圖尋求高階統計的解決方案。基于高階統計的ICA算法，按照準則函數或優化算法中是否明確含有高階累積量，又可以分為顯累積量法和隱累積量法。

(1) 隱累積量算法[6]

較典型的是由Herault和Jutten較早提出的神經網絡算法，通常稱為H—J算法。H—J算法沒有明確的誤差函數，使該誤差函數全局最小化就可以得到問題的解。

(2) 顯累積量算法[6]

以簡單的高階統計峰度作為代價函數，利用隨機梯度算法來得到分離陣W[WTBZ]的自適應訓練算法。

JADE[7]是一種顯累積量高階統計算法，他是一種數值穩定的矩陣代數特征分解ICA方法。

4 ICA技術的應用

ICA作為信息處理領域熱門課題之一，已經在移動通信、語音圖像處理、陣列處理、地震勘探、生物醫學工程等領域得到廣泛應用。粗略的列舉幾方面如下[8]：

(1) 生物醫學信號處理領域

在生物醫學領域，ICA可以應用于心電圖(ECG)腦電圖(EEG)信號分離、聽覺信號分析、功能磁共振圖像(FMRI)分析等。如利用ICA算法抽取腦電信號和線性分解腦電信號的人為因素如噪聲、眨眼、心電噪聲等成分；研究FMRI數據的任務相關的人腦活動；處理孕婦身上測到的心電信號，分別得到孕婦自己和胎兒的心電信號等。

(2) 陣列信號處理領域

在陣列傳感器中，各傳感器接收到混合信號，源信號和混合特性未知，是典型的盲分離應用問題。在移動通信陣列天線處理、海洋聲納探測等方面的作用越來越重要。如軍事通信中，傳統的主動雷達為探測目標需發出電波信號，很容易暴露自己，而利用ICA的原理發展被動“雷達”，只接收信號不發出任何信號即可探測到目標，此應用已得到各國的廣泛重視。

(3) 聲信號處理領域

聲信號盲分離是ICA的一個應用的重要領域，對語音增強、語音識別等具有重要的意義。如在移動通信中，ICA技術能夠有效地消除噪聲、抑制干擾、增強語音，提高通信質量；通過ICA方法對車輛行駛時產生的聲音信號進行分離，對車輛個數與行車方向進行估計，實現車輛的簡單分類；在工業領域，根據機械運動時發出一種固有的信號，攜帶機械本身的結構信息和運動狀態信息，通過對此機械信號進行分析，對設備的運動狀態及故障進行在線監測和預報等。

(4) 圖像處理領域

ICA可以用于二維數據，如圖像濾波、圖像特征提取、圖像增強、人臉監測和識別、衛星遙感圖像的恢復重建分類等。主要任務是從被污染的圖像中恢復出圖像原面目，有效地消除獲取圖片時由相機抖動傳輸噪聲疊加等原因造成的圖像質量問題。

5 ICA技術的發展趨勢

雖然ICA技術及近年來已獲得極大發展，但仍有許多問題有待進一步的研究和解決[8，9]。

(1) 帶噪混合信號ICA問題。實際環境中，混合聲信號不僅包括多個聲源的聲音，還要考慮環境噪聲的影響，盡管目前有一些算法在含噪情況下有良好的性能，但由于噪聲的種類繁多，包括非高斯、有色、乘性、脈沖等，在此情形下實現混合信號的分離，提取各源聲信號是困難的。

(2) 欠定(Under—Complete)ICA問題。大多數的BSS，ICA研究都是假設傳感器數大于源信號數目的情況。而如何求解傳感器數目小于源信號數目的欠定問題是比較困難的。在EEG處理中就存在此情況，且在工程實際中，源信號個數可能會隨時間動態變化，此時如何確定源信號個數及如何估計源信號都是亟待解決的問題。

(3) 全局收斂性問題。由于聲信號分離是一個時空域上的問題，因此存在著空間上的盲分離和時域上的反卷積雙重任務，使得算法在回響環境中很容易陷入局部最小值，導致算法性能下降。

(4) 混合系統是時變的。當信源是運動狀態時，信號混合系統就是一個時變系統。而目前的算法是針對非時變系統設計，要得到實用的盲分離算法，必須設計出能夠跟蹤時變的自適應算法。

6 結語

獨立分量分析在信息處理諸多領域都顯示出獨特的優勢，展現出誘人的發展前景，值得我們對其理論和算法進一步研究和完善。將理論上的突破與實際應用相結合，會對信息處理以及神經網絡的發展起到積極的促進作用。

參考文獻

[1]Hyvarinen A，Karhunen J，Oja E.Independent Component Analysis[M].John Wiley Sons，Inc.，2001.

[2]Comom P.Independent Component Analysis:A New Concept[J].Signal Processing，1994，36(3):287—314.

[3]Hyvarinen A.A Fast Fixed—point Algorithm for Independent Component Analysis[J].Neural Computation，1997，7(9):1 482—1 483.

[4]Bell A J，Sejnowski T J.An Information —maximization Approach to Blind Separation and Blind Deconvolution [J].Neural Computation，1995，7(6):1 129—1 159.

[5]Cardoso J F.Infomax and Maximum Likelihood for Blind Source Separation[J].IEEE Signal Processing Letters，1997，4(4):112—114.

[6]Hyvarinen A，Oja E.Independent Component Analysis by General Nonlinear Hebbian—like Learning Rules[J].Signal Processing，1998，14(3):301—313.

[7]Cardoso J F，Souloumiac A.Blind Beamforming for Non—Gaussian Signals [J].IEE Proc.—F，1993，140(6):362—370.

[8]張賢達，保錚.盲信號分離[J].電子學報，2001.29(12A):1 766—1 771.

[9]馬建倉，牛奕龍，陳海洋.盲信號處理[M].北京:國防工業出版社，2006.

作者簡介 梁端丹 女，1982年出生，湖北大悟人，碩士研究生。主要研究方向為智能信息處理。

韓政男，1965年出生，河南安陽人，副教授，研究生導師。主要研究方向為通信與信息系統、智能信息處理。

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。