基于改進非負矩陣分解的腫瘤基因表達譜特征提取

黃經緯 楊國亮* 王艷芳 胡政偉

1(江西理工大學電氣工程與自動化學院 江西 贛州 341000) 2(贛州市立醫院信息技術科 江西 贛州 341000)

?

基于改進非負矩陣分解的腫瘤基因表達譜特征提取

黃經緯1楊國亮1*王艷芳2胡政偉1

1(江西理工大學電氣工程與自動化學院 江西 贛州 341000)2(贛州市立醫院信息技術科 江西 贛州 341000)

針對腫瘤基因表達譜的特點，提出基于低秩圖正則非負矩陣分解(LGNMF)的特征提取方法，解決了NMF算法中缺少數據的全局信息，提升特征提取的有效性。該算法在NMF算法的基礎上引入低秩圖約束，提高了對數據局部和全局結構的描述，使得經過特征提取后的特征空間具有更強的分類能力。通過LGNMF算法對腫瘤基因表達譜數據集進行降維，獲得低維特征空間，再使用KNN分類器對低維特征空間進行分類。通過與NMF、GNMF和RGNMF算法在四組標準腫瘤基因表達譜數據集進行對比，實驗結果表明LGNMF算法能夠有效提升分類效果。

低秩圖 特征空間 腫瘤基因表達譜 特征提取

0 引 言

迄今為止，腫瘤仍然是人類難以完全攻克的病癥。為此，人們迫切希望找到預防和治療的方法。隨著生物學及計算機的結合，醫學疾病的診治過程出現了依賴于微陣列技術而導出的大量腫瘤基因表達譜的新技術。

1999年，Golub等[1]率先發表了利用S2N作為指標對急性白血病亞型(Leukemia)進行分類，從此越來越多的人開始采用腫瘤基因表達譜進行分析和研究。受限于獲取途徑，其通常具有維數遠遠大于樣本數量且具有冗余信息大的特點。由于實驗是針對組織細胞進行，所有可檢測的基因都被一一進行表示，但是實際上真實起決定性作用的基因只占其中小部分，從而導致腫瘤基因表達譜數據集過度冗余，造成“維數災難”和“過擬合”[2]。為了解決前面所述的問題，維數約簡[3]成為最行之有效的方法之一，受到了廣大學者們的關注。維數約簡是通過特征提取或者特征選擇的方法來降低原始數據空間的維數。特征選擇方法是指通過剔除原始數據空間中相關度低、冗余度高的特征，選取更具分類性能的特征子空間，以達到大幅度降低原始數據空間維數的目的，使得選取的特征子空間和分類目標含有高相關性，進而提升樣本分類的準確率；而特征提取是對原始數據空間進行數學變換使其投影到新的低維特征空間，以獲取盡可能少且分類能力強的特征空間，這樣的特征空間可更好地描述基因數據[4-9]。

典型的特征提取方法主要有主成分分析(PCA)[6]、線性判別分析(LDA)[7]、非負矩陣分解(NMF)[8]等。NMF算法由于其特殊的非負特性，使得其被大量采用于處理各個范疇的問題。文獻[10]中作者利用NMF算法對DNA微陣列進行分解達到降維的目的，但是NMF算法只考慮到數據的局部特性，忽略了數據的內在幾何結構特性，從而影響特征提取的效果；文獻[11]的作者為了使數據降維后仍可以保持原有數據點之間的相似性，在NMF的基礎上添加了圖正則約束，提高了特征提取的有效性。Kim[12]等對NMF算法進行改進，提出了稀疏NMF算法并且利用交替最小二乘法對其進行求解。文獻[13]在NMF算法模型上同時添加了稀疏約束和圖正則約束,從數據全局的角度來揭示數據點間的關系，大大提高了特征提取的能力。本文主要研究的是將NMF算法應用于腫瘤基因表達譜的特征提取，對NMF算法進行改進，添加了低秩圖[12]約束，提出了基于低秩圖正則非負矩陣分解算法。經實驗驗證，該算法在腫瘤基因表達譜分類問題上具有明顯的優勢。

1 非負矩陣分解模型

1.1 典型的NMF算法模型

NMF算法是對非負矩陣的一種線性的、非負的近似數據描述，對于給定的大小為m×n的原待分解矩陣X，其中m代表數據特征，n代表樣本數目。通過NMF算法，將矩陣X分解成大小為m×r和r×n的矩陣H和W，它們都不含負元素，得到：

X≈HW

(1)

其中，H為基矩陣，W為系數矩陣，即W為原始矩陣X在基空間H上的投影，同時r的取值一般比m或n小，滿足不等式r≤min(m,n)，使得矩陣H和W維數均低于原始矩陣X的維數。

利用X和HW之間的歐氏距離的平方構造代價函數，得到

(2)

使用迭代的方法獲得最小化‖X-HW‖2來得到W和H的解：

(3)

NMF算法由于其具備的非負特性，使得降維后的結果可以部分地表示向量空間的數據，具有局部性，然而卻忽略了空間數據的內在幾何結構特性，而空間數據的內在幾何結構對聚類和分類問題卻至關重要。文獻[10]在NMF算法模型的基礎上引入了圖正則約束，提出了圖正則非負矩陣分解算法，該算法克服NMF算法的局限性，獲得了較好的分類效果。

1.2 圖正則非負矩陣分解模型(GNMF)

GNMF[11]算法在NMF的基礎上增加了圖正則約束，這樣即保留了NMF算法的局部稀疏性表示的優勢，又使數據降維后仍可以保持原有數據點之間的相似性。其算法模型如下式所示：

(4)

矩陣K定義如下：

(5)

其中Nk(xj)表示第j個樣本k近鄰；K表示對稱矩陣。H和W的迭代更新公式如下式所示：

(6)

1.3 稀疏正則化NMF算法模型(RGNMF)

文獻[13]分析了在圖正則NMF模型的基礎上添加稀疏正則項：

(7)

式中，hi表示H的行向量，e為單位列向量。文獻[13]中對矩陣H的列和矩陣W的行加稀疏性正則，得到的目標函數如下式所示：

(8)

其中，L=D-K，通過對式(8)構造增廣拉格朗日函數然后再分別對H和WT求導，最后由KKT條件得到乘法迭代公式如下：

(9)

添加了稀疏正則項的RGNMF算法與傳統NMF算法相比，它能更好地發現穩定且直觀的局部特征，并且能夠按需求地調整分解后的矩陣的稀疏度大小。

2 低秩圖正則非負矩陣分解(LGNMF)

2.1LGNMF模型

基于稀疏表示的RGNMF算法是從全局的角度來揭示數據點間的關系，揭示數據的全局結構信息。但是由于稀疏性約束條件，通常只有很少的一部分全局信息能夠被表示出來，不僅如此，當數據集存在一定噪聲[9]干擾時，稀疏圖表示數據信息的能力就會受到影響。

低秩圖[14-15]是揭示數據全局信息的一種結構圖，具有更好的數據局部和全局描述能力，基于低秩圖的維數約簡方法是一種更為有效的特征提取方法。非負矩陣分解模型沒有考慮分解后數據特征空間的低秩特性，這種低秩特性在一定程度上反映了數據空間的全局結構特征，有利于進行基因特征提取[16]。為此，本文在普通NMF基礎上，引入低秩圖正則約束，構建模型如式(10)所示：

(10)

其中，X為腫瘤基因表達譜數據集，H為投影空間一組基向量，W為投影坐標矩陣(或回歸系數矩陣)，由于同類樣本在特征空間的投影坐標相似，故具有低秩特性，‖W‖*項為低秩約束項，tr(WLWT)為圖正則項，L為圖拉普拉斯矩陣，α、β為平衡參數。

2.2LGNMF模型求解

令W=J，對式(10)構建增廣拉格朗日函數如下：

tr(Y2HT)+tr(Y3WT)=

βtr(WLWT)+tr((Y1)T(W-J))+

tr(Y2HT)+tr(Y3WT)

(11)

其中，Y1、Y2和Y3表示拉格朗日算子，μ>0為常數。利用迭代方法求解最優的(H，W，J)，由于目標函數式(11)中待求解的參數較多，我們無法一次性得出所有參數的最優解，通過采用交替求解策略，固定其他參數，分別對每個參數進行獨立的更新。

更新H，固定W和J，目標函數(11)可以簡化成下式：

(12)

式(12)可通過求極小值的方法進行求解，首先對式(12)進行求導得：

(13)

更新W，固定H和J，目標函數式(11)可簡化為

Compared with the sham group,the femoral BMD in the OVX group was significantly decreased.Compared with the OVX group,the esculetin group had significantly greater femoral BMD.However,the esculetin group still had a lower femoral BMD than the sham group(Table 1).

(14)

同理，式(14)可通過求極小值的方法進行求解，首先對式(14)進行求導得：

(15)

由KKT條件得到H和W的乘法迭代公式如下：

(16)

更新J，固定H和W，目標函數式(11)可簡化為

(17)

式(17)的求解采用奇異值閾值算法獲取最佳目標值。其解為：

(18)

S(∑)=max(∑ii,0)

(19)

拉格朗日算子Y1的迭代公式為Y1=Y1+μ[W-J]。

3 LGNMF算法描述

結合第2節對算法模型的求解，下面給出基于LGNMF的分類算法描述。

算法名稱：基于LGNMF的腫瘤基因表達譜分類輸入：腫瘤基因表達普數據矩陣X，參數λ和β，子空間維數k初始化：H=abs(rand(m，k))；W=abs(rand(k，n))；J=abs(rand(k，n))；Y1=abs(rand(k，n))；max＿mu=106；mu=10-1；rh0=1．21．根據式(16)更新H和W矩陣；2．根據式(18)迭代更新J；3．更新拉格朗日算子Y1=Y1+μW-J[]；4．mu=min(max＿mu，mu?rh0)；5．iter=iter+1，當iter

4 實驗結果及分析

4.1 實驗數據與實驗環境

本實驗采用四個公共的數據集，如表1所示。

表1 實驗數據集的描述

(1) DLBCL數據集包含了77個樣本，5 469個基因，分為DLBCL和FL兩個子集，其中DLBCL樣本數為58，FL樣本數為19；

(2) Prostate數據集由52個癌癥樣本和50個正常基因樣本，共10 509個基因；

(4) NCI數據集包含了66個樣本，2 308個基因，分為四類：第一類有23個樣本，第二類有8個樣本，第三類有15個樣本，第四類有20個樣本。

本實驗采用的實驗環境配置為：計算機的配置為3.2 GHz的Intel Core i5-3470 CPU，4 GB RAM，運行Matlab R2013a。

4.2 實驗結果分析

通過對比NMF、GNMF、RGNMF、LGNMF算法在DLBCL、Prostate、Leukemia、NCI四個不同的表達譜數據集上的分類情況來驗證LGNMF算法的可行性和有效性。實驗過程中，我們將原始數據集根據1∶1的比例分為訓練集和測試集。用分類準確率 (Accurate)來精確區分算法的優劣性，可定義如式(20)所示，實驗在每種目標特征維數下進行15次，取Accurate值[17]的平均值作為實驗結果。

(20)

其中，Tright為測試集中被正確分類的樣本數，T為測試集當中總的樣本數。

4.2.1 DLBCL數據集實驗結果分析

DLBCL數據集由兩類總計77個樣本組成，有5 469個基因。本實驗通過NMF、GNMF、RGNMF和本文提出的低秩圖正則非負矩陣分解(LGNMF)算法對DLBCL數據集進行特征提取，使其維度依次降到如圖1所示維數，再利用KNN分類器對其進行分類，通過對比實驗來驗證LGNMF算法的有效性。

特征提取的主要目的是為了有效地減少數據的維數，促使某些算法在低維數據上能夠更加快速有效的進行，同時又不影響數據內在屬性的表達能力。為了驗證本文提出的特征提取算法的性能，圖1中列出了包括本文算法在內四種算法在不同維數下的分類表現結果。

圖1 不同算法在DLBCL上分類表現

如圖1所示的曲線圖，橫坐標為腫瘤基因表達譜經特征提取降維后的特征維數，縱坐標為分類準確率，通過對比四種算法的分類結果可以看出：(1) 隨著特征維數的不斷上升，四種算法表現出分類準確率不斷攀升的現象。圖中維數達到20時，四中算法都獲得了不錯的效果，準確率均能保持在90%以上，其中LCNMF算法獲得了98.45%的準確率，為四種算法最高；(2) LGNMF算法在20、10、5、3特征維數下的分類效果均優于其他三種算法，并且隨著特征維數的減少，其優勢越發的明顯，當特征維數降到3維時，其分類準確率仍能達到80%以上。通過DLBCL數據集實驗證明，低秩圖正則非負矩陣分解(LGNMF)算法在腫瘤基因表達譜數據集分類中相比于其他算法更具有優勢。

4.2.2 Prostate數據集實驗結果分析

Prostate數據集有52個癌癥樣本和50個正常樣本，共10 509個基因。本實驗同樣通過NMF、GNMF、RGNMF和LGNMF算法對Prostate數據集進行特征提取，使其維度依次降到如圖2所示維數，再利用KNN分類器對其進行分類，四種算法對應的準確率如圖2所示。

圖2 不同算法在Prostate上分類表現

從圖2中可以看出：(1) 對于Prostate數據集，四種算法對分類的影響在維數范圍處于10到20之間的效果比較接近，在維數為20時，效果最好，除了NMF算法的分類準確率稍低，其余算法的分類準確率均達到了96%；(2) 低秩圖正則非負矩陣分解(LGNMF)算法在大多數特征維數下的分類效果均優于其他三種算法，并且隨著特征維數的減少，其優勢越發的明顯，當特征維數降到3維時，其分類準確率仍能達到80%。通過DLBCL數據集實驗證明，低秩圖正則非負矩陣分解(LGNMF)算法在腫瘤基因表達譜數據集分類中相比于其他算法更具有優勢。

4.2.3 Leukemia數據集實驗結果分析

Leukemia數據集分為三類，由72個樣本組成，每個樣本具有5 327個基因。本實驗分別以NMF、GNMF、RGNMF和LGNMF算法作為特征提取方法，將NCI數據集降維到圖3所示，再利用KNN分類器對其進行分類，通過對比實驗來驗證LGNMF算法的有效性。

圖3 不同算法在Leukemia上分類表現

從圖3中可以看出：(1) 相較于Prostate和DLBCL，LGNMF算法在Leukemia數據集上的Accurate值最高，達到98%。當特征維數降到10時，其他三種算法的Accurate值都有所下降，但LGNMF的分類準確率仍然能夠保持95%左右，說明經LGNMF算法處理的數據具有更高的分類能力；(2) LGNMF算法在20、10、5、3特征維數下的分類效果均優于其他三種算法，并且隨著特征維數的減少，其優勢越發的明顯，當特征維數降到3維時，其分類準確率仍能達到82%。通過DLBCL數據集實驗證明，低秩圖正則非負矩陣分解(LGNMF)算法在腫瘤基因表達普數據集分類中相比于其他算法更具有優勢。

4.2.4 NCI數據集實驗結果分析

NCI數據集有4個種類，共含66個樣本，2 308個基因。本實驗分別以NMF、GNMF、RGNMF和LGNMF算法作為特征提取方法，對NCI數據集進行降維，使其維度依次降到如圖4所示，再利用KNN對其進行分類檢測，再通過對比檢驗LGNMF算法的有效性。圖4為NMF、GNMF、RGNMF和LGNMF算法在Prostate數據集上的分類結果。

圖4 不同算法在NCI上分類表現

從圖4中可以明顯地發現添加了圖正則約束的NMF算法比普通的NMF算法分類效果好，添加了稀疏約束的圖正則的NMF算法比圖正則非負矩陣分解分類準確率更高，而本文提出的低秩圖正則非負矩陣分解(LGNMF)算法明顯優于其他三種特征提取方法。且對于抗特征維數的降低帶來的分類準確性下降的能力相對更強，在維數為20時，各算法往往能夠取得最好的分類效果，此時，LGNMF的效果處于領先位置。

綜合以上四個實驗結果可以得出：在四個腫瘤基因表達譜數據集上，LGNMF的分類準確率均比NMF、GNMF和RGNMF方法高，特別在Prostate數據集上，其分類準確率高達98%。當特征維數降到8后，NMF、GNMF和RGNMF算法的效果出現率明顯下滑，但是LGNMF算法的分類準確率仍然能夠達到80%以上，說明本文提出的基于低秩圖正則非負矩陣分解(LGNMF)的基因表達譜數據特征提取算法是有效且穩定的。

5 結 語

本文提出了一種基于低秩圖正則非負矩陣分解(LGNMF)的基因表達譜數據特征提取算法。該算法在NMF的基礎上引入低秩圖的概念，低秩圖具有更好的數據局部和全局描述能力，基于低秩圖的維數約簡的思路是一種更為有效地特征提取方法。考慮到分解后腫瘤基因表達譜數據特征空間的低秩特性，這種低秩特性在一定程度上反映了數據空間的全局結構特征，有利于特征提取。同NMF、GNMF和RGNMF算法相比較，LGNMF在腫瘤基因表達譜數據集的分類任務中表現出更大優勢。尤其在特征維數越低的情況下，優勢更加明顯，體現了LGNMF特征提取算法能夠更加有效地提升模式識別中分類算法的性能。

[1] Golub T R, Slonin D K, Golub T R, et al. Molecular classification of cancer [J]. Journal of Clinical Microbiology, 1999, 93(5):1210-1220.

[2] Brock G N, Shaffer J R, Blakesley R E, et al. Which missing value imputation method to use in expression profiles: a comparative study and two selection schemes [J]. Bmc Bioinformatics, 2008, 9(2):1-12.

[3] Espezua S, Villanueva E, Maciel C D, et al. A Projection Pursuit framework for supervised dimension reduction of high dimensional small sample datasets[J]. Neurocomputing, 2015, 149(PB):767-776.

[4] 蘇雅茹. 高維數據的維數約簡算法研究[D]. 合肥：中國科學技術大學, 2012.

[5] Gan B, Zheng C H, Zhang J, et al. Sparse representation for tumor classification based on feature extraction using latent low-rank representation.[J]. Biomed Research International, 2014, 2014(10):63-68.

[6] Bro R, Smilde A K. Principal component analysis[J]. Analytical Methods, 2014, 6(6):433-459.

[7] Valle D, Baiser B, Woodall C W, et al. Decomposing biodiversity data using the Latent Dirichlet Allocation model, a probabilistic multivariate statistical method[J]. Ecology Letters, 2014, 17(12):1591-1601.

[8] Tan C S, Ting W S, Mohamad M S, et al. A Review of Feature Extraction Software for Microarray Gene Expression Data[J]. Biomed Research International, 2014, 2014:213656-213656.

[9] 楊國亮, 魯海榮, 唐俊,等. 基于迭代對數閾值的加權 RPCA非局部圖像去噪[J]. 江西理工大學學報, 2016, 37(1):57-62.

[10] 張東波. 基于非負矩陣分解的基因數據子空間分類研究[D]. 西安電子科技大學, 2005.

[11] Cai D, He X, Wu X, et al. Non-negative Matrix Factorization on Manifold[C]//Eighth IEEE International Conference on Data Mining. IEEE Computer Society, 2008:63-72.

[12] Kim H, Park H. Sparse non-negative matrix factorizations via alternating non-negativity-constrained least squares for microarray data analysis.[J]. Bioinformatics, 2007, 23(12):1495-1502.

[13] 沈永康. 非負矩陣分解的稀疏性模型及初始化研究[D]. 浙江大學, 2011.

[14] Zhuang L, Gao H, Huang J, et al. Semisupervised classification via low rank graph[C]//Image and Graphics (ICIG), 2011 Sixth International Conference on. IEEE, 2011: 511-516.

[15] Zhang N, Yang J. Low-rank representation based discriminative projection for robust feature extraction[J]. Neurocomputing, 2013, 111(6):13-20.

[16] Cui Y, Zheng C H, Yang J. Identifying Subspace Gene Clusters from Microarray Data Using Low-Rank Representation [J]. Plos One, 2012, 8(3):e59377.

[17] 潘江山, 陳曉云, 董紅玉. 基于INCA的腫瘤基因表達譜分類模型[J]. 福州大學學報:自然科學版, 2014, 42(4):639-645.

FEATUREEXTRACTIONOFTUMORGENEEXPRESSIONPROFILESBASEDONIMPROVEDNON-NEGATIVEMATRIXFACTORIZATION

Huang Jingwei1Yang Guoliang1*Wang Yanfang2Hu Zhengwei1
1(SchoolofElectricalEngineeringandAutomation,JiangxiUniversityofScienceandTechnology,Ganzhou341000,Jiangxi,China)2(DepartmentofInformationEngineering,GanzhouMunicipalHospital,Ganzhou341000,Jiangxi,China)

According to the characteristics of the tumor gene expression profiles, we proposed a feature extraction algorithm, based on low-rank graph non-negative matrix factorization (LGNMF). It solved the lack of information on the global structure data of NMF algorithm and promoted the validity of feature extraction. The algorithm had improved the description of local and global data structures, based on NMF algorithm with low-rank graph constraints, which made feature space have stronger classification ability after feature extraction. The low-dimensional feature space was obtained by LGNMF algorithm, and it was classified by KNN classifier. We compared with the NMF, GNMF and RGNMF algorithm in four groups of standard tumor gene expression profile data sets. The experimental results show that LGNMF algorithm can improve the effect on classification.

Low-rank graph Feature space Tumor gene expression profile Feature extraction

2016-09-25。國家自然科學基金項目(51365017,61305019);江西省教育廳科技計劃項目(GJJ150680)。黃經緯，碩士生，主研領域：機器學習與模式識別。楊國亮，教授。王艷芳，碩士。胡政偉，碩士生。

TP391.41

A

10.3969/j.issn.1000-386x.2017.08.045