流形學(xué)習(xí)中非線性維數(shù)約簡方法概述

摘要：較為詳細(xì)地回顧了流形學(xué)習(xí)中非線性維數(shù)約簡方法，分析了它們各自的優(yōu)勢和不足。與傳統(tǒng)的線性維數(shù)約簡方法相比較，可以發(fā)現(xiàn)非線性高維數(shù)據(jù)的本質(zhì)維數(shù)，有利于進(jìn)行維數(shù)約簡和數(shù)據(jù)分析。最后展望了流形學(xué)習(xí)中非線性維數(shù)方法的未來研究方向，期望進(jìn)一步拓展流形學(xué)習(xí)的應(yīng)用領(lǐng)域。

關(guān)鍵詞：維數(shù)約簡； 流形學(xué)習(xí)； 多維尺度； 等距映射； 拉普拉斯特征映射； 局部線性嵌入； 局部切空間排列

中圖分類號：TP391文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695(2007)11-0019-07

維數(shù)約簡方法的基本原理是將樣本從輸入空間通過線性或非線性映射到一個低維空間，從而獲得一個關(guān)于原數(shù)據(jù)集緊致的低維表示。傳統(tǒng)的線性維數(shù)約簡方法具有簡單、易解釋和可延展等優(yōu)點，使其在高維數(shù)據(jù)處理中成為一個主要研究方向。已有的線性維數(shù)約簡方法主要包括主成分分析（principal component analysis，PCA）[1]、獨立成分分析（independent component analysis，ICA）[2]、Fisher判別分析（Fisher discriminant ana￣lysis，F(xiàn)DA）[3]、主曲線（principal curves）[4]、投影尋蹤（projection pursuit，PP）[5]、局部線性投影（local linear projection，LLP）[6]以及基于神經(jīng)網(wǎng)絡(luò)的自組織映射

（self－organizing map，SOM）[7]等。這些方法實際是在不同優(yōu)化準(zhǔn)則之下，尋求最佳線性模型的方法，這也是線性維數(shù)約簡方法的共性。

然而，隨著信息時代的到來，不可避免地出現(xiàn)大量的高維非線性數(shù)據(jù)。傳統(tǒng)的線性維數(shù)約簡方法難以直接用于分析來源于真實世界的高維和非線性數(shù)據(jù)。其主要原因有膨脹的維數(shù)導(dǎo)致計算量迅速上升；高維導(dǎo)致樣本數(shù)相對較少，使得某些統(tǒng)計上的漸近性質(zhì)受到破壞；傳統(tǒng)方法在處理高維數(shù)據(jù)時不滿足穩(wěn)健性要求等。因此，研究高維非線性數(shù)據(jù)面臨諸多困難[8]。這主要是高維帶來了數(shù)據(jù)的稀疏和維數(shù)災(zāi)難，而非線性使得現(xiàn)有的快速成熟的線性模型不再適用。目前主要存在兩類非線性維數(shù)約簡方法，即基于核的方法和基于流形的方法。前者利用Mercer核及其對應(yīng)的再生核希爾伯特空間（reproduction kernel Hilbert space，RKHS），不用創(chuàng)建復(fù)雜的假設(shè)空間，通過定義Mercer核隱式地定義特征空間。因此大部分線性維數(shù)約簡方法都有其對應(yīng)的基于核的非線性維數(shù)約簡方法，如KPCA[9]、KICA[10]、KFDA[11]、KSOM [12]、核特征映射[13]等。然而，基于核的方法其難點在于如何選擇一個合適的核函數(shù)。一個好的核函數(shù)可以使數(shù)據(jù)在特征空間上線性可分或者近似線性可分，但并不是每個核函數(shù)對于每一種數(shù)據(jù)集都適用。核函數(shù)的選擇反映了人們對問題的先驗，在實際的應(yīng)用中往往是憑經(jīng)驗選擇某種核函數(shù)，如徑向基函數(shù)(radial basis function，RBF)。同時，在使用核函數(shù)時不必知道具體的特征空間，使得核函數(shù)方法缺乏物理直觀，這也是核函數(shù)方法的一個缺點。后者就是近年發(fā)展起來的基于流形學(xué)習(xí)的非線性維數(shù)約簡方法，主要包括多維尺度方法[14]、等距映射方法[15]、局部線性嵌入方法[16] 、拉普拉斯特征映射法[17]、局部切空間排列方法[18]等。

流形學(xué)習(xí)中非線性維數(shù)約簡方法與線性維數(shù)約簡方法相比的一個顯著特點是分析中的局部性。對數(shù)據(jù)集的內(nèi)蘊結(jié)構(gòu)而言有如下特性：由泰勒定理，任何可微函數(shù)在一點的充分小的鄰域內(nèi)滿足線性條件，形象地說，認(rèn)為曲面流形由大小不一的局部線性塊拼接而成；數(shù)據(jù)流形經(jīng)常是由許多可分割的子流形所組成；數(shù)據(jù)流形的本征維數(shù)沿著流形不斷地發(fā)生變化，只有局部性才能抓住其根本特性。

1流形定義和流形學(xué)習(xí)

流形是現(xiàn)代數(shù)學(xué)的概念，可以將流形簡單地理解為由f(x)=0，x∈Rd確定的RN(d<

Belkin等人提出了Laplacian eigenmaps[17]，并成功地將其應(yīng)用于半監(jiān)督的Riemannian流形學(xué)習(xí)[27]、流形規(guī)則化[28]和部分標(biāo)記分類[29]等方面。Zhu等人將半監(jiān)督思想與Gaussian random field結(jié)合[30]，顯示了半監(jiān)督流形學(xué)習(xí)的巨大發(fā)展前景。Roweis等人意識到以isomap、LEE、Laplacian eigenmaps為代表的維數(shù)約簡方法只是對訓(xùn)練集中的樣本給出嵌套空間中的位置，缺少從高維空間到低維空間的映射，并且依賴于點集之間的關(guān)系，對噪聲非常敏感，特征值分解又加劇了這種不穩(wěn)定性。因此，提出了在局部空間學(xué)習(xí)一個線性映射，并使用EM算法解決優(yōu)化問題[31]。Brand[32]繼續(xù)發(fā)展了這一思想，對流形上的鄰域用Gaussian分布建模，并給出了閉合解的形式，避免了效率低下的爬山方法。這一領(lǐng)域的巨大發(fā)展不僅引起了計算機科學(xué)研究人員的注意，同時也引起了數(shù)學(xué)家和物理學(xué)家的興趣。普林斯頓大學(xué)的Chigirev等人將數(shù)據(jù)的維數(shù)約簡看做為數(shù)據(jù)壓縮的過程，應(yīng)用率失真定理將信息理論引入流形學(xué)習(xí)框架，提出了對流形的最優(yōu)描述，不僅完成了維數(shù)約簡過程，同時揭示了流形的內(nèi)部結(jié)構(gòu)[33]。由于已有的流形學(xué)習(xí)方法對噪聲和參數(shù)都比較敏感，詹德川等人[34]針對isomap方法，通過引入集成學(xué)習(xí)技術(shù)擴(kuò)大了可以產(chǎn)生有效可視化結(jié)果的輸入?yún)?shù)范圍，并且降低了對噪聲的敏感性。另外，趙連偉等人[35]完善了isomap的理論基礎(chǔ)，給出了連續(xù)流形與其低維參數(shù)空間等距映射的存在性證明，并區(qū)分了嵌入空間維數(shù)、高維數(shù)據(jù)的固有維數(shù)與流形維數(shù)這些容易混淆的概念；證明如果高維數(shù)據(jù)空間存在環(huán)狀流形，流形維數(shù)要小于嵌入空間維數(shù)；同時，還給出了一種有效的環(huán)狀流形發(fā)現(xiàn)方法，以得到正確的低維參數(shù)空間。何力等人[36]提出了一種從方法因子和延伸方向兩方面顯示出觀測空間的高維數(shù)據(jù)與維數(shù)約簡后的低維數(shù)據(jù)之間的聯(lián)系方法，并且比較了isomap和LLE方法的性能。Zhang等人提出了一種局部切空間排列方法[18]，通過逼近每一樣本點的切空間來構(gòu)建低維流形的局部幾何，然后利用局部切空間排列求出整體低維嵌入坐標(biāo)。由于用于特征值分解的矩陣階數(shù)等于樣本數(shù)，樣本集較大時將無法處理；此外，該方法不能有效處理新來的樣本點。一種基于劃分的局部切空間排列方法[37]被提出以改善這些缺點。它建立在向量量化主成分分析算法和LTSA方法的基礎(chǔ)上，解決了向量量化主成分分析算法不能求出整體低維坐標(biāo)和LTSA中大規(guī)模矩陣的特征值分解問題，且實驗證明能夠有效處理新來的樣本點。

2流形學(xué)習(xí)中非線性維數(shù)約簡方法

在流形學(xué)習(xí)中，許多非線性維數(shù)約簡方法屬于譜方法（spectral method）。譜方法主要利用流形的二階特征來描述流形的內(nèi)在結(jié)構(gòu)，主要包括MDS、isomap、LLE、Hessian LLE、Laplacian eigenmaps、LSTA等。譜方法將流形結(jié)構(gòu)信息存放在一個鄰接矩陣中，并通過對矩陣的譜分解得到高維數(shù)據(jù)的低維嵌入。譜方法的缺點在于通過已知數(shù)據(jù)集推廣到未知數(shù)據(jù)（out－of－sample）非常困難。另外，這一類方法大多需要手動選擇鄰域大小和內(nèi)在維數(shù)，這兩個參數(shù)往往關(guān)系到流形結(jié)構(gòu)是否能被真實恢復(fù)。

2．1MDS

MDS[14]是一種傳統(tǒng)的尋求保持?jǐn)?shù)據(jù)點之間差異性（或相似性）的維數(shù)約簡方法，它使得在原數(shù)據(jù)集中點經(jīng)過變換后，仍舊保留數(shù)據(jù)點之間的距離。通過適當(dāng)定義準(zhǔn)則函數(shù)來體現(xiàn)在低維空間中對高維距離的重建誤差，對準(zhǔn)則函數(shù)用梯度下降法求解，對于某些特殊的距離可以推導(dǎo)出解析解法。

經(jīng)典MDS方法的主要步驟如下：

4最新進(jìn)展和發(fā)展方向

4．1非線性維數(shù)約簡新方法

1)局部判別嵌入方法

Isomap方法與LLE方法仍有其限制之處，其主要通過維數(shù)約簡對數(shù)據(jù)集的可視化進(jìn)行處理，著重于訓(xùn)練數(shù)據(jù)集的表示而不是分類，且有樣本外問題，即當(dāng)有新的樣本數(shù)據(jù)時，需要重新學(xué)習(xí)。Chen 等人[63]提出一種監(jiān)督式的局部判別嵌入（local discriminant embedding，LDE）方法，主要針對有標(biāo)記的數(shù)據(jù)集，以分類為目標(biāo)的最優(yōu)處理。LDE的特點是構(gòu)建兩個數(shù)據(jù)樣本鄰近關(guān)系圖，分別用于記錄樣本間的類別關(guān)系以及與鄰近幾何關(guān)系，并可將最優(yōu)問題變成特征值求解問題。因此最佳維數(shù)約簡空間可用簡單的特征值和特征向量的計算獲得。此外，LDE沒有樣本外問題，可直接處理新的測試樣本。

2）局部規(guī)則嵌入

目前的非線性維數(shù)約簡方法都是基于數(shù)據(jù)集中點與點之間的局部關(guān)聯(lián)。由于在維數(shù)約簡過程中沒有考慮非同性數(shù)據(jù)集合所具有的自然的類結(jié)構(gòu)，使得對非同性數(shù)據(jù)集效果不佳，即在恢復(fù)數(shù)據(jù)流形的同時，不能很好地進(jìn)行數(shù)據(jù)分類。譚璐等人[64]引入拓?fù)溧徲?、拓?fù)浣Y(jié)構(gòu)以及規(guī)則的概念，構(gòu)造了相應(yīng)的結(jié)構(gòu)規(guī)則性度量，提出了一種局部規(guī)則嵌入方法（locally regular embedding，LRE）。該方法由于較好地保留了數(shù)據(jù)集拓?fù)浣Y(jié)構(gòu)，使得維數(shù)約簡后能較好地保留數(shù)據(jù)集的類特性，更好地揭示了數(shù)據(jù)集的本征結(jié)構(gòu)。

3）局部不變投影

結(jié)合近年來提出的LLE方法和Laplacian eigenmap，譚璐等人[65]提出了局部不變投影方法。該方法在高維數(shù)據(jù)的維數(shù)約簡處理中具有保持?jǐn)?shù)據(jù)集幾何結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)不變的性質(zhì)，而且繼承了線性方法計算方便、快捷的優(yōu)點。通過分析可以看出，非線性和線性維數(shù)約簡方法，兩者并不矛盾，而是相互關(guān)聯(lián)的，它們之間存在結(jié)合的可能性，并且通過兩者的綜合可將非線性方法的特性有效地移植到線性方法中。He等人[66]也提出了一種Laplacian eigenmap的線性化版本的局部不變投影（local preserving projection，LPP）方法。LPP可以看做一種子空間方法與流形學(xué)習(xí)的結(jié)合。

4）其他方法

Kouropteva 等人[60]和Ridder等人[67]提出的監(jiān)督局部線性嵌入方法（supervised locally linear embedding，SLLE）以及Pang等人[68]提出的鄰域保留投影方法（neighborhood preserving projections，NPP）等非線性維數(shù)約簡方法。

4．2穩(wěn)健性研究 

LLE方法在求解模型過程中可能出現(xiàn)矩陣病態(tài)，導(dǎo)致求解過程對于數(shù)據(jù)點噪聲十分敏感，使結(jié)果受噪聲影響較大。針對LLE方法的不足，從分析噪聲對數(shù)據(jù)集局部特性的影響入手，提出了穩(wěn)健局部線性嵌入方法[69]，不僅較好地解決了噪聲對數(shù)據(jù)集的影響，而且對鄰域的選擇也有較好的適應(yīng)性，可更好地挖掘數(shù)據(jù)的本征特性，具有更強的數(shù)據(jù)可視化能力。

現(xiàn)有的非線性維數(shù)約簡方法很大部分是基于譜分解的。由于譜分解固有的穩(wěn)定性問題，使得已有的方法對噪聲和參數(shù)都比較敏感，噪聲的存在使得輸入?yún)?shù)更加難以選擇，參數(shù)較小的變化會導(dǎo)致差異顯著的學(xué)習(xí)結(jié)果。因此，提高非線性維數(shù)約簡方法的抗噪性成為亟待解決的問題。通過將非線性維數(shù)約簡方法與已有的成熟機器學(xué)習(xí)方法（如核技術(shù)[70]）相結(jié)合，研究各種噪聲模型對非線性維數(shù)約簡方法的影響方式和影響度。楊建宏等人[56]也認(rèn)為，帶噪的時間序列在高維的相空間中其本質(zhì)特征隱含在一個低維的主流形中，利用LTSA方法提取其主流形，再根據(jù)主流形對時間序列進(jìn)行重構(gòu)，就可以達(dá)到去除噪聲的目的。與現(xiàn)有的非線性時間序列噪聲去除方法不同，基于流形的方法更強調(diào)時間序列的整體結(jié)構(gòu)。

4．3核技術(shù)應(yīng)用

主流的流形學(xué)習(xí)方法都可以看做是在數(shù)據(jù)相關(guān)的核函數(shù)下的KPCA。其核函數(shù)從數(shù)據(jù)中學(xué)習(xí)獲得，而不是事先給定。因此，很多研究者希望將流形學(xué)習(xí)的方法統(tǒng)一到對核函數(shù)的研究框架下來。Choi等人[70]針對isomap提出了核isomap方法。Yan等人[71]提出了graph embedding框架，子空間與流形學(xué)習(xí)都被統(tǒng)一到此框架下。Weinberger等人[72]給出了KPCA和流形方法之間的聯(lián)系，即采用半定規(guī)劃，可以獲得一個具有最大的跡（如特征空間變量等）的半正定核矩陣Ψ。其中：Ψ滿足約束條件|Ψ(xi)-Ψ(xj)|2=|xi-xj|2；xi，xj為鄰域。Ham等人[73]對核技術(shù)用于流形學(xué)習(xí)中的維數(shù)約簡方法進(jìn)行了綜述。

4．4可視化度量研究

非線性維數(shù)約簡方法作為一種可視化手段，自然需要某種可視化效果的度量，如坐標(biāo)相關(guān)性[34]。坐標(biāo)相關(guān)性不僅關(guān)注投影后樣本間的距離信息，同時考慮了樣本投影后的位置信息。但它的作用對象一般集中在本真結(jié)構(gòu)已知的數(shù)據(jù)集，研究開發(fā)更廣泛意義上的度量可視化效果的方法也可以成為一個努力的方向。

4．5約簡效果度量研究

N維高維空間的樣本數(shù)據(jù)，一般不可能彌漫于整個RN空間，否則就不會有什么信息。數(shù)據(jù)實際上處于一個高維空間的低維流形上，即一個維數(shù)約簡后的曲面上。該流形的維數(shù)即為數(shù)據(jù)的本征維數(shù)（intrinsic dimensionality），而N只是數(shù)據(jù)的表象維數(shù)。

因此，可以考慮形成一整套的非線性維數(shù)約簡機制。對給定的非線性高維數(shù)據(jù)集，首先有效判斷其是否存在流形；然后估計固有維數(shù)和潛在空間維數(shù)，確定約簡后的維數(shù)提供有效的參數(shù)，避免為了得到殘差與維數(shù)的關(guān)系進(jìn)行多次實驗造成不必要的開銷以及綜合判斷時的主觀誤差。在流形學(xué)習(xí)的主要處理完成后，制訂指標(biāo)衡量觀測空間的高維數(shù)據(jù)與維數(shù)約簡后低維數(shù)據(jù)間的定量關(guān)系。這樣有利于對數(shù)據(jù)規(guī)律的深入探索，可直觀比較不同流形方法的維數(shù)約簡效果。何力等人[36]提出的放大因子和延伸方向已被證明是兩個有效的指標(biāo)。

4．6交叉流形問題

Souvenir等人[51]提出了流形學(xué)習(xí)應(yīng)用范圍擴(kuò)展的新問題，即多個交叉流形分類和參數(shù)化。當(dāng)流形出現(xiàn)重疊現(xiàn)象時，先前的非線性維數(shù)約簡方法會失效。針對這一問題，提出了兩種解決方案，即節(jié)點加權(quán)的MDS和對低階矩陣近似的快速方法，并且通過一個混合拓?fù)浣Y(jié)構(gòu)和維數(shù)的交叉流形以及人體運動捕捉數(shù)據(jù)的實例展示了該方法的應(yīng)用。

4．7互逆問題

能否在得到同胚映射的前提下進(jìn)行流形學(xué)習(xí)的互逆過程[75]，在本真維數(shù)空間生成有效數(shù)據(jù)后，向高維空間投影合成新的訓(xùn)練數(shù)據(jù)，或者利用同胚映射關(guān)系判斷高維空間合成數(shù)據(jù)的有效性和完備性，解決訓(xùn)練樣本稀疏的問題。另外，對已經(jīng)獲得本真維數(shù)的數(shù)據(jù)集，如何確定各個獨立自由度的具體意義，便于對應(yīng)用的實踐指導(dǎo)，同樣需要思考。

4．8其他問題

現(xiàn)有的非線性維數(shù)約簡方法多數(shù)是無監(jiān)督的，如何將其推廣到半監(jiān)督[27，76]以及有監(jiān)督[48]的情況下，著眼提高方法的泛化能力，也是一個有價值的研究課題。

現(xiàn)有非線性維數(shù)約簡方法大多基于小的鄰域?qū)W習(xí)，期望通過在小鄰域上的學(xué)習(xí)得到一個全局的坐標(biāo)，這往往是不現(xiàn)實的。如何將全局與局部數(shù)據(jù)學(xué)習(xí)結(jié)合起來[77]是一個非常有意義的話題。

此外，非線性維數(shù)約簡方法在空時擴(kuò)展[78]、快速算法[79]、局部線性光滑性問題[80]等方面也值得關(guān)注。

5結(jié)束語

盡管非線性維數(shù)約簡方法及其應(yīng)用在過去幾年中已經(jīng)取得了豐碩的成果，但由于其數(shù)學(xué)理論基礎(chǔ)較為復(fù)雜，以及多學(xué)科間的交叉、融合，對高維數(shù)據(jù)中有意義的低維結(jié)構(gòu)的研究依然有很多值得進(jìn)一步探討的問題。本文比較系統(tǒng)地回顧了流形學(xué)習(xí)中非線性維數(shù)約簡方法的基本原理、算法流程、應(yīng)用及發(fā)展方向等問題，尤其對國內(nèi)研究者在這一領(lǐng)域的研究、發(fā)展和應(yīng)用等工作用了很大篇幅進(jìn)行闡述分析。目前非線性維數(shù)約簡方法還有很多問題處于研究中，如現(xiàn)有的方法能在多大程度上逼近流形的內(nèi)在結(jié)構(gòu)、流形學(xué)習(xí)與核函數(shù)關(guān)系、流形學(xué)習(xí)的泛化能力等。這些問題也是機器學(xué)習(xí)領(lǐng)域中非?；A(chǔ)且非常具有挑戰(zhàn)性的問題，一旦在理論上取得突破性的進(jìn)展，有可能會引發(fā)整個機器學(xué)習(xí)領(lǐng)域的一次革命。

參考文獻(xiàn)：

［1］JOLLIFFE I T. Principal component analysis［M］. New York: Springer－Verlag， 1986.

［2］HYVARINEN A， OJA E， KARHUNEN J. Independent component analysis［M］. New York: Wiley， 2001.

［3］GORDON A D. Classification: methods for the exploratory analysis of multivariate data［M］. New York: Wiley， 1977.

［4］ KGL B， KRZYZAK A， LINDER T， et al. Learning and design of principal curves［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000，22(3):281-297.

［5］HUBER P J. Projection pursuit［J］. Annals of Statistics， 1985，13(2):435-475.

［6］HUO Xiao－ming， CHEN Ji－h(huán)ong. Local linear projection (LLP)［C］//Proc of the Workshop on Genomic Signal Processing and Statistics.2002:1183－1186.

［7］KOHNONE T. Self－organizing maps［M］. 3rd ed. Berlin: Springer－Verlag， 2001.

［8］HASTIE T， TIBSHIRANI R， FRIEDMAN J. The element of statistical learning: data mining， inference， and predication［M］. New York: Springer， 2001.

［9］SCHLKOPF B， SMOLA A J， MLLER K R. Nonlinear component analysis as a kernel eigenvalue problem［J］. Neural Computation， 1998，10(5):1299－1319.

［10］BACH F R， JORDAN M I. Kernel independent component analysis［J］.Journal of Machine Learning Research，2002，3:1-48.

［11］MIKA S， RATSCH G， WESTON J， et al. Fisher discriminant analysis with kernels[C]//Proc of Neural Networks for Signal Processing Workshop.Madison:[s.n.]， 1999:41-48.

［12］MacDONALD D， FYFE C. The kernel self－organising map［EB/OL］. [2006－12－16].http://cis.paisley.ac.uk/fyfe－ci0/ kernelkmeans.ps.

［13］BRAND M. Continuous nonlinear dimensionality reduction by kernel eigenmaps［C］//CHAPELLE O， SCHLKOPF B， ZIEN A. Semi－supervised learning. Acapulco: MIT Press，2006:547-554.

［14］BORG I， GROENEN P. Modern multidimensional scaling: theory and application［M］. New York: Springer－Verlag，1997.

［15］TENEBAUM J B， SILVAM V D， LANGFORD J C. A global geome￣tric framework for nonlinear dimensionality reduction［J］. Science， 2000，290(12):2319-2323.

［16］ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linear embedding［J］. Science， 2000，290(5500):2323-2326.

［17］BELKIN M， NIYOGI P. Laplacian eigenmaps for dimensionality reduction and data representation［J］. Neural Computations， 2003，15(6):1373－1396.

［18］ZHANG Zhen－ye， ZHA Hong－yuan. Principal manifolds and nonli￣near dimension reduction via local tangent space alignment［J］.SIAM Journal of Scientific Computing， 2004，26(1):313-338.

［19］BALASUBRAMANIAN M， SCHWARTZ E L， TENENBAUM J B. The isomap algorithm and topological stability［J］. Science，2002，295(5552):7.

［20］NAYAR S K， NENE S A， MURASE H. Subspace methods for robot vision［J］.IEEE Transactions on Robotics and Automation，1996，12(5):750-758.

［21］SEBASTIAN H S， LEE D D. The manifold ways of perception［J］.Science，2000，290(12):2268-2269.

［22］DONOHO D L， GRIMES C. Hessian eigenmaps: new locally linear embedding techniques for high－dimensional data［J］. Proceedings of the National Academy of Sciences of the United States of American，2003，100(10):5591-5596.

［23］ZHANG Chang－shui， WANG Jun， ZHAO Nan－yuan， et al. Reconstruction and analysis of multi－pose face images based on nonlinear dimensionality reduction［J］. Pattern Recognition，2004，37(1):325-336.

［24］WEINBERGER K Q， PACKER B， SAUL L K. Nonlinear dimensio￣nality reduction by semidefinite programming and kernel matrix facto￣rization［C］//COWELL R G，GHAHRAMANI Z.Proc of the 10th International Workshop on Artificial Intelligence and Statistics. Barbados: Society for Artificial Intelligence and Statistics，2005:381-388.

［25］WEINBERGER K Q， SAUL L K. Unsupervised learning of image manifolds by semidefinite programming[C]//Proc of the IEEE Conference on Computer Vision and Pattern Recognition.2004:988-995.

［26］WEINBERGER K Q， SAUL L K. An introduction to nonlinear dimensionality reduction by maximum variance unfolding［EB/OL］. [2006－12－16].http://www.seas.upenn.edu /~kilianw/publications/PDFs/AAAI0620WeinbergerK.pdf.

［27］BELKIN M， NIYOGI P. Semi－supervised learning on riemannian manifolds［J］. Machine Learning， 2004，56(1):209-239.

［28］BELKIN M， NIYOGI P， SINDHWANI V. On manifold regularization[C]//Proc of the 10th International Workshop on Artificial Intelligence and Statistics.2005:17-24.

［29］BELKIN M， NIYOGI P. Using manifold structure for partially labelled classification[C]//Proc of Advances in Neural Information Processing Systems.2003:929-936.

［30］ZHU Xiao－jin， GHAHRAMANI Z， LAFFERTY J. Semi－supervised learning using gaussian fields and harmonic functions[C]//Proc of the 20th International Conference on Machine Learning.Washington，DC:[s.n.]，2003:58-65.

［31］ROWEIS S， SAUL L， HINTON G. Global coordination of local linear models[C]//Proc of Advances in Neural Information Processing Systems.2002:889-896.

［32］BRAND M. Minimax embeddings[C]//Proc of Advances in Neural Information Processing Systems.Cambridge:MIT Press， 2004:505-512.

［33］CHIGIREV D， BIALEK W. Optimal manifold representation of data: an information theoretic approach［EB/OL］. [2006－12－16].http://books.nips.cc/papers/files /nips16/NIPS2003_AA21.ps.gz.

［34］詹德川，周志華.基于集成的流形學(xué)習(xí)可視化［J］.計算機研究與發(fā)展，2005，42(9):1533－1537.

［35］趙連偉，羅四維，趙艷敞.高維數(shù)據(jù)的低維嵌入及嵌入維數(shù)研究［J］.軟件學(xué)報，2005，16(8):1423－1430.

［36］何力，張軍平，周志平.基于放大因子和延伸方向研究流形學(xué)習(xí)算法［J］.計算機學(xué)報，2005，28(12):2000-2009.

［37］楊劍，李伏欣，王玨.一種改進(jìn)的局部切空排列算法［J］.軟件學(xué)報，2005，16(9):1584－1589.

［38］MIN Wan－li， LU Ke， HE Xiao－fei. Locality pursuit embedding［J］.Pattern Recognition，2004，37(4):781-788.

［39］NILSSON J. Nonlinear dimensionality reduction of gene expression data[D]. Lund， Sweden: Lund University， 2006.

［40］徐志節(jié)，楊杰，王猛. 利用非線性降維方法預(yù)測膜蛋白類型［J］. 上海交通大學(xué)學(xué)報， 2005，39(2):279-293.

［41］翁時鋒，張長水，張學(xué)工.非線性降維在高維醫(yī)學(xué)數(shù)據(jù)處理中的應(yīng)用［J］.清華大學(xué)學(xué)報:自然科學(xué)版， 2004，44(4):485-488.

［42］SHEN Xi－lin， MEYER F G. Nonlinear dimension reduction and activation detection for fMRI dataset[C]//Proc of Computer Vision and Pattern Recognition Workshop.2006:144－151.

［43］DAWSON K， RODRIGUEZ， MALYJ W. Sample phenotype clusters in high－density oligonucleotide microarray data sets are revealed using isomap， a nonlinear algorithm［J］. BMC Bioinformatics， 2005，6(1):195.

［44］KHURD P， VERMA R， DAVATZIKOS C. On characterizing and ana￣lyzing diffusion tensor images by learning their underlying manifold structure[C]//Proc of Computer Vision and Pattern Recognition Workshop.2006:61-68.

［45］LASKARIS N A， IOANNIDES A A. Semantic geodesic maps: a uni￣fying geometrical approach for studying the structure and dynamics of single trial evoked responses［J］. Clinical Neurophysiology， 2002，113(8):1209－1226.

［46］HI C， CHANG Y， FERIS R， et al. Manifold based analysis of facial expression［J］. Image and Vision Computing，2006，24(6):605-614.

［47］SAUL L， ROWEIS S. Think globally， fit locally: unsupervised lear￣ning of nonlinear manifolds[J]. Journal of Machine Learning Research， 2003，4:119－155.

［48］GENG Xin， ZHAN De－chuan， ZHOU Zhi－h(huán)ua. Supervised nonlinear dimensio￣nality reduction for visualization and classification［J］. IEEE Transactions on Systems， Man， and Cybernetics: Part B，2005，35(6):1098－1107.

［49］LIU C B， LIN R S， NARENDRA A， et al. Dynamic textures synthesis as nonlinear manifold learning and traversing[C]//Proc of the 17th British Machine Vision Conference.2006:859-868.

［50］CHANG H， YEUNG D Y. Locally linear metric adaptation with application to semi－supervised clustering and image retrieval［J］. Pattern Recognition，2006，39(7):1253－1264.

［51］SOUVENIR R， PLESS R. Manifold clustering[C]//Proc of IEEE International Conference on Computer Vision.Beijing:[s.n.]，2005:648-653.

［52］MORARIU V I， OCTAVIA I O I. Modeling correspondences for multi－camera tracking using nonlinear manifold learning and target dynamics[C]//Proc of the IEEE Conference on Computer Vision and Pattern Recognition.2006:545－ 552.

［53］BACHMANN C M， AINSWORTH T L， FUSINA R A. Exploiting manifold geometry in hyperspectral imagery［J］.IEEE Transactions Geoscience Remote Sensing， 2005，43(3):441-454.

［54］SEWARD A E， BODENHEIMER B. Using nonlinear dimensionality reduction in 3D figure animation[C]//Proc of the 43th ACM SE Regional Conference.2005:388-392.

［55］NISKANEN M， SILVN O. Comparison of dimensionality reduction methods for wood surface inspection[C]//Proc of the 6th Internatio￣nal Conference on Quality Control by Artificial Vision.Gatlinburg:[s.n.]，2003:178－188.

［56］楊建宏，徐金梧，楊德斌，等. 基于相重構(gòu)和主流形識別的非線性時間序列降噪方法［J］. 北京科技大學(xué)學(xué)報，2005，27(5):631-634.

［57］JAIN V， SAUL L K.Exploratory analysis and visualization of speech and music by locally linear embedding[C]//Proc of the International Conference of Speech， Acoustics， and Signal Processing.2004:984-987.

［58］HE Xiao－fei， CAI Deng， LIU Hai－feng， et al. Locality preserving indexing for document representation[C]//Proc of the 27th Annual ACM SIGIR Conference.Shelfield:[s.n.]，2004:96－103.

［59］BELKIN M， NIYOGI P. Laplacian eigenmaps and spectral techniques for embedding and clustering[C]//Proc of Neural Information Processing Systems. Cambridge:[s.n.]，2003:1373－1396.

［60］KOUROPTEVA O， OKUN O， PIETIKINEN M. Classification of handwritten digits using supervised locally linear embedding algorithm and support vector machine[C]//Proc of the 11th European Symposium on Artificial Neural Networks.Belgium:[s.n.]，2003:229-234.

［61］許馨， 吳福朝，胡占義，等. 一種基于非線性降維求正常星系紅移的新方法［J］.光譜學(xué)與光譜分析，2006，26(1):182－186.

［62］LIOU C Y， KUO Y T. Economic states on neuronic maps[C]//Proc of the 9th International Conference on Neural Information Processing.2002:787-791.

［63］CHEN H T， CHANG Huang－wei， LIU T L. Local discriminant embedding and its variants[C]//Proc of Conference on Computer Vision and Pattern Recognition.San Diego:IEEE Computer Society，2005:846-853.

［64］譚璐，吳翊. 局部規(guī)則嵌入［J］. 計算機應(yīng)用， 2005，25(4):817-819.

［65］譚璐，易東云，馮國柱，等. 局部不變投影［J］. 自然科學(xué)進(jìn)展，2004，14(3):282-287.

［66］HE Xiao－fei， NIYOGI P. Locality preserving projections［C］//Proc of Advances in Neural Information Processing Systems.Cambridge:MIT Press，2004:153－160.

［67］De RIDDER D， KOUROPTEVA O， OKUN O， et al. Supervised locally linear embedding［C］//Lecture Notes in Computer Science.[S.l.]:Springer，2003:333-341.

［68］PANG Yan－wei，ZHANG Lei， LIU Zheng－kai. Neighborhood preserving projections (NPP): a novel linear dimension reduction method［C］//Lecture Notes in Computer Science.2005:117－125.

［69］CHOI H， CHOI S. Kernel isomap on noisy manifold[C]//Proc ofIEEE International Conference on Development and Learning.2005:208-213.

［70］CHOI H， CHOI S. Kernel isomap［J］. Electronics Letters，2004，40(25):1612－1613.

［71］YAN Shui－cheng， XU Dong， ZHANG Hong－jiang， et al. Graph embedding: a general framework for dimensionality reduction[C]//Proc of Conference on Computer Vision and Pattern Recognition.2005:830-837.

［72］WEINBERGER K Q， SHA F， SAUL L K. Learning a kernel matrix for nonlinear dimensionality reduction[C]//Proc of the 21st International Conference on Machine Learning.Banff:[s.n.]，2004:839-846.

［73］HAM J， LEE D D， MIKA S， et al. A kernel view of the dimensiona￣lity reduction of manifolds[C]//Proc of the 21st International Conference on Machine Learning.Banff:[s.n.]，2004:369-376.

［74］譚璐，吳翊，易東云. 穩(wěn)健局部線性嵌入方法［J］. 國防科技大學(xué)學(xué)報，2004，26(4):91-95.

［75］ 譚璐.高維數(shù)據(jù)的降維理論及應(yīng)用［D］.長沙：國防科學(xué)技術(shù)大學(xué)，2005.

［76］YANG Xin， FU Hao－ying， ZHA Hong－yuan， et al. Semi－supervised nonlinear dimensionality reduction[C]//Proc of the 23th Internatio￣nal Conference on Machine Learning.2006:1065－1072.

［77］BENGIO Y， MONPERRUS M. Non－local manifold tangent learning［J］.Advances in Neural Information Processing Systems，2005，17:129－136.

［78］JENKINS O， MATARIC M. A spatio－temporal extension to isomap nonlinear dimension reduction[C]//Proc of the 21st International Conference on Machine Learning.2004:56-64.

［79］ZHANG Zhen－yue，ZHA Hong－yuan.A domain decomposition method for fast manifold learning[C]//Advances in Neural Information Processing Systems.2006:1625－1632.

［80］ZHANG Zhen－yue， ZHA Hong－yuan. Local linear smoothing for nonlinear manifold learning， CSE-03-003[R]. Pennsylvania: Penn State University，2003.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文”