基于負熵最大化判據(jù)的ICA算法研究與應用*

（中國人民解放軍92785部隊 葫蘆島 125208）

1 引言

在傳統(tǒng)的信號處理中，通常認為隨機變量具有高斯分布特性。但在實際處理過程中，信號卻具有非高斯分布特性，例如自然景物圖像，聲音，腦電信號等，滿足高斯分布特性的信號少之又少，通過獨立分量分析方法對信號進行處理不需要其滿足高斯分布，是一種新的盲源分離（Blind Source Separation，BSS）技術(shù)［1～2］，在一定條件下，其可以通過多通道信號觀測有效分離出源信號，因此獨立分量分析方法的研究具有廣泛的應用前景。核心是以獨立統(tǒng)計為依據(jù)，通過建立目標函數(shù)實現(xiàn)對信號源的分解、優(yōu)化，進而實現(xiàn)對觀測信號的分析。在獨立分量分析過程中，一般建立不同的目標函數(shù)對信號的非高斯特征進行分析，為使其非高斯性達到最大，還需通過不同的優(yōu)化算法對函數(shù)進行處理，最終達到ICA各分量盡可能相互統(tǒng)計獨立的效果。本文簡要介紹了獨立分量分析問題的描述和預處理方法，分析了基于負熵最大化判據(jù)的FastICA算法，并將其應用于人臉特征提取，在人臉識別中得到了滿意的結(jié)果。

2 基于負熵最大化判據(jù)的獨立分量分析算法

2.1 ICA問題的描述和處理方法［3］

ICA問題可以描述為假設在m個通道中獲取到m個信號xi=(i=1，2，…，m)，則每個觀測信號即是由n個獨立源信號si=(i=1，2，…，n)的線性混合而成。即

其中，觀測信號矢量矩陣為X=[x1，x2，…，xm]T，源信號矢量矩陣為S=[s1，s2，…，sn]T；A是尺寸為m×n的未知混合矩陣，也是ICA問題需要解決的方面。ICA解決的基本問題就是僅通過觀測數(shù)據(jù)xi估計未知獨立源si，或估計混合矩陣A。對于具有非高斯分布特證的信號而言，具體方法是尋找一個矩陣WI，使得

要求輸出信號yi相互獨立，則Y=[y1，y2，…，yn]T就是S的估計量。

首先對原始數(shù)據(jù)一般先進行預處理，可使ICA的工作量大大減少。在數(shù)據(jù)預處理中，數(shù)據(jù)的“白化”過程在其中起到至關(guān)重要的作用，實質(zhì)上是利用線性變換得到各分量互不相關(guān)的新向量Z，并使Z的各個分量間互不相關(guān)，且必須滿足E(ZZT)=I。利用奇異值分解（AVD）方法對X施加線性變換，假設一白化矩陣WP，可使Z=WPX。由矩陣分析理論知，Cx的協(xié)方差矩陣Cx=E(XXT)可分解為

其中WI=WWP，由E(YYT)=WE(zzT)WT=WWT=I可知，ICA的變換矩陣W是一個正交陣。由此可見，白化過程對ICA并不產(chǎn)生影響，且分離矩陣對原先估計矩陣而言，自由度大大減少，使得計算的復雜度有了顯著降低。

2.2 基于負熵最大化判據(jù)的目標函數(shù)

熵往往用來衡量信息的不確定性。在所有等方差隨機變量中，高斯分布的隨機變量熵最大。基于這一特點需要引入負熵概念（Negentropy），區(qū)別非高特性的信號，建立函數(shù)實現(xiàn)對其度量。對任一隨機變量x，其負熵［4～5］定義為

其中xG是具有和x相同方差的高斯變量，H(·)為隨機變量的信息熵：

根據(jù)公式可知，當且僅當x滿足高斯分布特征時，負熵值為零，當x服從其它非高斯分布特征時，由公式可知負熵的值始終大于零。當滿足可逆的線性變換時，負熵的值保持不變因而，負熵可以用來對非高斯信號進行分析處理。但在負熵的計算中需估計隨機變量的概率密度，計算量較大，為方便計算，對負熵進行合理有效近似，其中一種較好的負熵近似［6］：

其中，E(·)為均值計算，G(·)是一種非線性、非二次的函數(shù)，通常選擇如下形式的G(·)函數(shù)：

由中心極限定理可得，隨機信號在度量中可以通過非高斯性實現(xiàn)相互依賴，x的非高斯性越強，J(x)值越大，可以得知最大化負熵即為最大化非高斯特性。

2.3 基于負熵最大化判據(jù)的FastICA算法

FastICA算法分如下兩步實現(xiàn)［7］：1）白化處理觀測信號；2）提取獨立分量。其中，步驟1）在上面已經(jīng)分析過，下面著重分析獨立分量的提取。白化過程解決了信號之間的相關(guān)性問題，將信號分解成為互相獨立的信號，但并沒有實現(xiàn)對圖像的分離。需要尋找一個分離矩陣W實現(xiàn)對白化信號Z中的獨立分量的提取。（注：此處提及的W是針對白化以后的信號Z而言的），分離矩陣W由迭代法不斷逼近，假設變量n表示迭代步數(shù)，si為S中的某一分量，wi(n)為分離矩陣W(n)中，與si對應的某一行向量，即

利用定義目標函數(shù)度量si的非高斯性，每一次迭代過程對wi(n)進行優(yōu)化，使其不斷逼近分離矩陣。FastICA算法的調(diào)整公式為［8］

當相鄰兩次的wi(n)變化值較小或無變化時，可認為找到si，迭代完成。通過對時間平均獲得式（12）中的均值。在迭代過程時要注意每次迭代后都要對wi(n)進行歸一化處理(wi(n)=wi(n)/||wi(n)||)。對于多獨立分量也可以采用此方法，需要注意的是需要在觀測信號中減去提取出的獨立分量，以此得到混合矩陣A和分離矩陣W。

3 FastICA算法在人臉特征提取中的應用

人臉特征提取及識別目前是國內(nèi)外研究的一個重要方向，研究過程中發(fā)現(xiàn)，人臉的圖像細節(jié)與高階統(tǒng)計特征密切相關(guān)。ICA方法便是基于高階統(tǒng)計特征，實現(xiàn)對多通道數(shù)據(jù)信息的處理分析，提取出圖像內(nèi)部的獨立特征。

3.1 獨立分量處理的人臉圖像描述方法

本文對ICA標準人臉庫進行分析，以此得到人臉識別統(tǒng)計的基本圖像。如圖1所示，源圖像S經(jīng)過線性混合后得到X，其中A為未知混合矩陣，滿足X=AS。根據(jù)前文所述的方法，利用ICA方法估計分離矩陣WI，將原圖像用分離矩陣從觀測圖像中分離，得到滿足統(tǒng)計獨立的輸出矩陣Y。

圖1 基本ICA模型

輸出矩陣Y=WIX的行向量是分離后的人臉基圖像。

如圖2所示，人臉圖像是由獨立基圖像經(jīng)過線性組合構(gòu)成的，混合矩陣A由每張圖人臉線性組合的系數(shù)構(gòu)成，A同樣可通過計算分離矩陣WI得到，。設xm為待識別人臉，在人臉空間中有

圖2 ICA獨立基圖像描述

其中，(a1，a2，…，an)即為投影系數(shù)。

3.2 實驗與分析

本實驗采用CAS-PEAL標準人臉數(shù)據(jù)庫［9］進行ICA識別測試。本文從該數(shù)據(jù)庫中挑出400幅人臉圖像，包括40個不同的測試者，每人10幅在不同姿態(tài)、表情、裝飾和光照條件下的人臉圖片。其中圖片內(nèi)容包括了不同時期、光照和表情變化，所有圖像均為黑色背景。

圖3 ORL人臉庫中的部分人臉圖像

首先將圖像進行標準化處理，得到65×65像素的臉圖，保證實驗時人臉尺度的一致性；通過低通濾波手段，降低光照等對圖片影響，將人臉特征突出。具體方法是，將每一幅65×65人臉按行展開為1×4225行向量，n幅人臉構(gòu)成n×4225輸入矩陣X。

按照3：2的要求組成訓練集和測試集，其中訓練集隨機選擇了70個測試者的照片。每人前6幅65×65圖像構(gòu)成，得到420×4225的原始矩陣X，后4幅圖像構(gòu)成測試集。將首先運用PCA方法［10～12］降低原始矩陣X維度。在該實驗中，我們對數(shù)據(jù)進行降維50%，保留了96%的原始數(shù)據(jù)，將降維后的矩陣進行ICA處理，輸出矩陣Y的每一行向量便是每份訓練集人臉的基圖像。由于每行向量之間互不相關(guān)，故其人臉圖像的投影系數(shù)唯一代表著該圖像，得到的系數(shù)構(gòu)成混合矩陣A。此時，識別問題變成了系數(shù)的識別問題，可以利用分類器實現(xiàn)對人臉圖像的識別。

4 結(jié)語

本文分析了基于負熵最大化判據(jù)的獨立分量分析算法，并將其應用于人臉特征提取，在人臉識別中得到了滿意的結(jié)果。由于ICA理論、算法仍不斷在優(yōu)化，后續(xù)許多問題的分析、處理方法都可以隨之進行完善，包括對大量數(shù)據(jù)的人臉識別也成為后續(xù)該方法的研究重點。