魯棒結(jié)構(gòu)正則化非負矩陣分解

摘 要：現(xiàn)有的非負矩陣分解方法既忽略數(shù)據(jù)的非局部結(jié)構(gòu)，又難以有效應(yīng)對噪聲和野值點。為了解決上述問題，提出一種新的用于聚類的魯棒結(jié)構(gòu)正則化非負矩陣分解算法。所提出的算法分別構(gòu)建一個近鄰圖和一個最大熵圖描述數(shù)據(jù)的局部結(jié)構(gòu)和非局部結(jié)構(gòu)，并使用L2，1范數(shù)代價函數(shù)嘗試解決噪聲問題，從而學(xué)習(xí)到魯棒具有判別力的表征。給出一個最優(yōu)的迭代算法求解兩個非負因子，該優(yōu)化算法的收斂性已被理論和實驗證明。在七個圖像數(shù)據(jù)集上的聚類實驗結(jié)果表明，所提出的算法在無噪聲和有噪聲情況下聚類均優(yōu)于其他主流方法。

關(guān)鍵詞：非負矩陣分解； 最大熵圖； L2，1范數(shù)； 聚類

中圖分類號：TP181 文獻標(biāo)志碼：A

文章編號：1001-3695（2023）03-024-0794-06

doi： 10.19734/j.issn.1001-3695.2022.07.0399

Robust structure regularized nonnegative matrix factorization

Dong Wenting， Yin Xuesong， Yu Jieyue， Wang Yigang

（Dept. of Digital Media Technology， Hangzhou Dianzi University， Hangzhou 310018， China）

Abstract：Most existing NMF methods not only ignore the non-local structure of data， but also are difficult to deal with noise and outliers effectively. To address these issues， this paper proposed a novel robust structure regularized nonnegative matrix factorization（RSNMF） algorithm for clustering. The proposed RSNMF constructed a nearest neighbor graph and a maximum entropy graph to respect local and non-local structures of the data， respectively. Moreover， the L2，1-norm-based cost function tries to address noise and outliers. Therefore， RSNMF could learn robust compact and discriminative representations. This paper presented an optimal iterative algorithm to solve two nonnegative factors. The convergence of such an optimization scheme has been proved theoretically and empirically. Experimental clustering results on seven image datasets show that the proposed algorithm is superior to the state-of-the-art methods in both noiseless and noisy situations.

Key words：nonnegative matrix factorization; maximum entropy graph; L2，1 norm; clustering

0 引言

一般說來，現(xiàn)代科技應(yīng)用所產(chǎn)生的數(shù)據(jù)通常都是高維的，如文本、圖像、聲音和視頻等。實際應(yīng)用中，這些高維特征容易造成維數(shù)災(zāi)難，妨礙后續(xù)工作。事實上，這些特征并非十分重要和必要，大多數(shù)特征是相互關(guān)聯(lián)、冗余或者嘈雜的。因此，降低這些數(shù)據(jù)的維數(shù)對于后續(xù)工作至關(guān)重要。在一些應(yīng)用中，如信號處理［1，2］、社團檢測［3］、人臉識別［4， 5］、高光譜解混［6～8］、聚類［9～11］等，負值元素往往是無意義的；其中聚類是特征學(xué)習(xí)和計算機視覺中一項重要的任務(wù)，廣泛應(yīng)用于電子信息、信息檢索、生物醫(yī)學(xué)和計算機視覺等領(lǐng)域中。例如聚類能分析用戶需求，實現(xiàn)精準營銷；能用于區(qū)分不同病癥，判斷疾病類型；也可以對文本圖像進行分類，以檢索信息；因此聚類具有很高的實用性和研究價值。對于聚類，找到原始數(shù)據(jù)的非負表示非常重要，Lee等人［12］提出非負矩陣分解方法（nonnegative matrix factorization，NMF）是一種有效的特征學(xué)習(xí)方式。NMF旨在找到基矩陣和系數(shù)矩陣，使其乘積盡可能地接近原始矩陣，且所有元素均為非負。因此，NMF具有較強的現(xiàn)實意義和應(yīng)用價值，基于非負矩陣分解的聚類方法越來越受到研究人員的關(guān)注。

當(dāng)前主流的非負矩陣分解方法可以分為非流形NMF和流形NMF兩類。非流形NMF方法只考慮降低數(shù)據(jù)的維度，不考慮數(shù)據(jù)的局部結(jié)構(gòu)，著重找到最不同的特征。例如，Ding等人［13］提出CNMF（convex nonnegative matrix factorization）。Hoyer［14］提出SNMF（non-negative matrix factorization with sparseness constraints）。Ding等人［15］提出ONMF（orthogonal nonnegative matrix tri-factorization）。Asteris等人［16］提出ONMFS（orthogonal NMF through subspace exploration）。文獻［13～16］從不同角度改進NMF的稀疏性，挖掘數(shù)據(jù)的主要特征。流形NMF是將流形學(xué)習(xí)和非負矩陣結(jié)合，利用流形學(xué)習(xí)的局部不變性尋找數(shù)據(jù)的潛在流形表示，提高NMF的判別能力。例如，Li等人［17］提出DOSNMF（discriminative and orthogonal subspace constraints-based nonnegative matrix factorization），構(gòu)造內(nèi)在圖和懲罰圖同時刻畫類內(nèi)結(jié)構(gòu)和類間差異，提高全局結(jié)構(gòu)判別能力。Wang等人［18］提出CPSNMF（semi-supervised NMF via constraint propagation），使用成對約束調(diào)整權(quán)重矩陣，增強判別能力。Zeng等人［19］開發(fā)了一種HNMF（hyper-graph regularized nonnegative matrix factorization），構(gòu)建一個超圖計算數(shù)據(jù)的高階關(guān)系。Li等人［20］將NMF合并到低秩分解框架中提出GNLMF（graph regularized nonnegative low-rank matrix factorization），恢復(fù)數(shù)據(jù)中的損壞信息并處理全局結(jié)構(gòu)，提高GNMF的魯棒性和判別能力。Yang等人［21］結(jié)合稀疏表示和圖正則化方法提出RSGNMF（robust non-negative matrix factorization via joint sparse and graph regularization），使用兩個L2，1范數(shù)，一個用來減輕噪聲影響，一個用來生成行稀疏性。He等人［22］提出LNMFS（low-rank nonnegative matrix factorization on Stiefel manifold），假設(shè)基矩陣位于Stiefel流形上，結(jié)合NMF得到非重疊基。Yi等人［23］提出NMF-LCAG（non-negative matrix factorization with locality constrained adaptive graph），將自適應(yīng)圖學(xué)習(xí)和非負矩陣分解集成到一個框架中并引入局部約束圖來發(fā)現(xiàn)數(shù)據(jù)的潛在流形結(jié)構(gòu)。

本文基于MNMFL21的代價函數(shù)保持數(shù)據(jù)的局部結(jié)構(gòu)和魯棒性。

2 魯棒結(jié)構(gòu)正則化非負矩陣分解RSNMF

NMF能夠?qū)W習(xí)數(shù)據(jù)的稀疏和基于部分的表征，流形學(xué)習(xí)和NMF結(jié)合很好地揭示數(shù)據(jù)的局部幾何結(jié)構(gòu)。然而構(gòu)建最近鄰圖得到的圖結(jié)構(gòu)忽略了子空間之間的連通性，不能發(fā)現(xiàn)數(shù)據(jù)的非局部結(jié)構(gòu)，這不利于學(xué)習(xí)到合適的表征。本文提出的RSNMF構(gòu)建最大熵圖編碼非局部結(jié)構(gòu)，并結(jié)合最近鄰圖學(xué)習(xí)更好的數(shù)據(jù)表征。文獻［28］已經(jīng)表明，在完全無約束狀態(tài)下，均勻分布等價于熵最大，同時最大熵的解是最符合樣本數(shù)據(jù)分布的解。利用最大熵構(gòu)圖可以靈活地選擇特征。此外原始數(shù)據(jù)往往伴隨著噪聲和野值點，使用L2，1范數(shù)衡量矩陣分解的質(zhì)量能夠很好地提高魯棒性和聚類性能［25］。

2.1 模型構(gòu)建

給定一個非負矩陣X，W是基矩陣，Y是系數(shù)矩陣。RSNMF目標(biāo)函數(shù)定義一個一般性的非負矩陣分解框架：

首先構(gòu)建最近鄰圖發(fā)現(xiàn)數(shù)據(jù)的局部結(jié)構(gòu)，R1（Y）定義如下：

其中：S是相似權(quán)重矩陣，其定義如式（8）所示；Sij度量兩點樣本點yi和yj的相似度；D是對角矩陣，它的對角元素是S對應(yīng)的列或行的元素和；LS=D-S是拉普拉斯矩陣。

然后構(gòu)建最大熵圖描述的數(shù)據(jù)的非局部結(jié)構(gòu)，定義相似度矩陣Z，Zij代表數(shù)據(jù)樣本yi和yj之間的相似度，Zij的值越高，樣本之間越相似。定義最大熵圖為

為表示數(shù)據(jù)的非局部結(jié)構(gòu)，對非負矩陣分解施加最大熵正則化，鼓勵對應(yīng)于同一子空間的元素均勻密集，加強子空間的連通性［29］，并獲得數(shù)據(jù)集的解析、非負和非線性表示。R2（Y）定義為

其中：第一項測量原始數(shù)據(jù)與預(yù)測的聚類空間的重建矩陣WYT間的近似誤差;第二項描述樣本之間局部幾何結(jié)構(gòu);第三項刻畫樣本的非局部結(jié)構(gòu);α和β是平衡參數(shù)。

通過式（14）可以得到如下觀察：

a）與其他流形NMF相似，RSNMF構(gòu)建最近鄰圖描述數(shù)據(jù)的局部幾何結(jié)構(gòu)，在保持稀疏解的前提下，找到一個緊湊的表征；

b）不同于其他流形方法，RSNMF構(gòu)建最大熵圖，旨在考慮數(shù)據(jù)的非局部結(jié)構(gòu)，從而找到的解是更符合樣本數(shù)據(jù)分布的解；

c）RSNMF使用L2，1范數(shù)代價函數(shù)代替最小二乘目標(biāo)函數(shù)，解決實際應(yīng)用中的噪聲和野值點問題。

2.2 算法優(yōu)化

綜上所述，目標(biāo)函數(shù)式（14）在更新規(guī)則式（22）下是單調(diào)遞減的，同理目標(biāo)函數(shù)式（14）在更新規(guī)則式（21）下也是單調(diào)遞減的。定理1得證。

3 實驗結(jié)果

本文將NMF應(yīng)用于七個圖像數(shù)據(jù)集進行聚類，比較基于RSNMF算法的聚類方法與其他六種主流NMF算法的聚類性能，分別是NMF、L2，1NMF、GNMF、GNLMF、MNMFL21、NMF-LCAG。然后為了驗證所提出算法的魯棒性，在其中四個數(shù)據(jù)集中加入不同強度的椒鹽噪聲，設(shè)置對照實驗，驗證相同噪聲密度下對算法的影響。最后驗證RSNMF算法的收斂性。

本文將分解得到的系數(shù)矩陣Y作為聚類的輸入矩陣，得到聚類偽標(biāo)簽；計算精確度（ACC）和歸一化互信息（NMI），評估聚類性能。輸入原始數(shù)據(jù)矩陣X作為baseline，結(jié)果表明，只采用低維系數(shù)矩陣Y具有較好的聚類效果，這表示RSNMF在降維的同時也保留了樣本的有效特征。

3.1 數(shù)據(jù)集

在實驗中，使用七個公開圖像數(shù)據(jù)集測試各算法聚類性能。這七個數(shù)據(jù)集的基本信息如表1所示。

ORL數(shù)據(jù)集包含不同情況下采集的40個人400張圖像，每人10張圖片。MnistData數(shù)據(jù)集是由250個人手寫的數(shù)字構(gòu)成一個手寫數(shù)據(jù)集，共6 996張圖片。 Umist28數(shù)據(jù)集包含不同角度、不同姿勢采集的20個人575張圖像。Glioma數(shù)據(jù)集包含4種腦膠質(zhì)瘤圖像，共50張。lung數(shù)據(jù)集包含5種類別203個肺部組織病理學(xué)圖像。COIL20數(shù)據(jù)集包含20個物體1 440張圖像，每個物體72張圖片。MSARA25包含12個人的1 799張人臉圖像。

3.2 評價指標(biāo)

本文使用兩種常用聚類性能評估指標(biāo)，即精確度（ACC）和歸一化互信息（NMI）。ACC用于計算獲得標(biāo)簽的準確性，NMI用來衡量兩種聚類結(jié)果之間的相似度。值越大，聚類性能越好。

精確度（ACC）定義為

其中：ki是樣本的真實標(biāo)簽；ci是算法求出的聚類標(biāo)簽；map（·）是用匈牙利算法（Hungarian algorithm）求解的最佳匹配函數(shù)；函數(shù)τ（x， y）是一個二值函數(shù)，標(biāo)簽相同為1，不同為0。

其中：C表示樣本的真實類別標(biāo)簽集；C表示聚類后的簇標(biāo)簽集；MI（C，C）表示C與C的互信息;p（ci）表示樣本屬于ci的概率;p（cj）表示樣本屬于cj的概率;p（ci， cj）表示某一樣本同時屬于ci和cj的概率;H（C）和H（C）分別表示C和C的信息熵。

3.3 實現(xiàn)方法

使用K均值聚類算法實現(xiàn)圖像聚類，將七種NMF分解得到的低維系數(shù)矩陣Y作為聚類的輸入矩陣，數(shù)據(jù)集的類別數(shù)作為聚類K值，得到聚類獲得的偽標(biāo)簽；計算聚類指標(biāo)，評估聚類性能。基于RSNMF的聚類算法如算法2所示。

算法2 基于RSNMF的聚類算法

輸入：低維系數(shù)矩陣Y∈R^ｋ×ｎ真實類別標(biāo)簽集C。

輸出：精確度（ACC）和歸一化互信息（NMI）。

a）計算集合C中標(biāo)簽類別數(shù)K值；

b）隨機選K個點作為初始的質(zhì)心；

c）按照最小距離原則將輸入樣本分配到最鄰近聚類；

d）使用每個聚類中的樣本均值作為新的聚類中心；

e） 重復(fù)步驟b）c）直到聚類中心不再變化；

f）聚類成K個類別，得到偽標(biāo)簽集合C；

g）計算精確度（ACC）和歸一化互信息（NMI）。

3.4 實驗分析

在七個公開圖像數(shù)據(jù)集執(zhí)行聚類實驗，比較了NMF、L2，1NMF、GNMF、GNLMF、MNMFL21、NMF-LCAG和RSNMF七種算法在數(shù)據(jù)集上的聚類性能，K-means的聚類結(jié)果作為baseline，結(jié)果如表2所示。

測試算法的抗干擾能力，本文對四個數(shù)據(jù)集添加強度分別為10%、20%、30%和40%（噪聲強度值表示噪聲占圖像總元素數(shù)比例）的白色椒鹽噪聲，聚類結(jié)果如圖1、2所示，橫軸表示噪聲強度，縱軸表示聚類指標(biāo)ACC（或NMI）值。從圖中可以看出，使用RSNMF聚類的ACC和NMI在同一噪聲強度下均高于其他算法，這表明所提RSNMF算法具有良好的魯棒性。

從實驗結(jié)果可以得到以下結(jié)論：

a）從圖中可以看出，流形學(xué)習(xí)和非負矩陣分解結(jié)合明顯具有更好的聚類性能。例如，在lung數(shù)據(jù)集GNMF的ACC比NMF提升了33%，NMI提升了28%，其他流形NMF算法的ACC和NMI也顯著提升。

b）在有噪聲的情況下，使用L2，1范數(shù)的非負矩陣分解算法優(yōu)于使用最小二乘目標(biāo)函數(shù)的非負矩陣分解算法。加入噪聲后NMF、GNMF、NMF-LCAG下降明顯，而使用L2，1范數(shù)代價函數(shù)的L2，1NMF、MNMFL21優(yōu)于同等情況下的NMF和GNMF。這說明使用L2，1范數(shù)嘗試解決噪聲問題是有效的。

c）傳統(tǒng)NMF著重于降維，忽略了數(shù)據(jù)的幾何結(jié)構(gòu)，GNMF和其他幾種算法將流形學(xué)習(xí)與NMF結(jié)合，在降維的同時保持數(shù)據(jù)的局部幾何結(jié)構(gòu)。而RSNMF引入拉普拉斯圖刻畫樣本點的局部幾何結(jié)構(gòu)，同時構(gòu)建最大熵圖，發(fā)現(xiàn)樣本點的非局部結(jié)構(gòu)。實驗結(jié)果表明，RSNMF明顯優(yōu)于其他幾種流形非負矩陣分解，這說明最大熵圖的構(gòu)建可以有效判別數(shù)據(jù)的內(nèi)在幾何結(jié)構(gòu)。

d）隨著噪聲強度的增加，聚類指標(biāo)精確度ACC下降明顯，這說明精確度更易受噪聲影響，偶有異常值的存在，但整體呈下降趨勢。

第二個實驗測試魯棒性。使用RSNMF的聚類結(jié)果均優(yōu)于其他非負矩陣分解算法，說明引入最大熵圖可以有效地改進非負矩陣分解性能，具有更強的判別能力。加入噪聲后，RSNMF聚類精確度明顯高于其他六種算法，說明RSNMF具有良好的魯棒性。例如lung數(shù)據(jù)集是一組肺部組織病理學(xué)圖片，在無噪聲情況下，基于RSNMF聚類的ACC比NMF、GNMF提高了39.4%和6.4%，ACC可達86%，這表示將RSNMF應(yīng)用于聚類能夠有效區(qū)分病變組織和正常組織，判斷疾病類型。從圖2中可以看出，即使受到噪聲污染，ACC和NMI也明顯高于其他算法，當(dāng)噪聲強度達30%時，其他算法的聚類性能顯著下降，ACC均低于50%，基于RSNMF聚類的ACC保持在60%以上；當(dāng)噪聲強度達40%，基于RSNMF聚類的ACC和NMI仍明顯優(yōu)于其他算法。這表明即使數(shù)據(jù)集中的切片圖像有損失或者受到污染，RSNMF算法也具有較強的判別能力。這表示對于組織病理的肺疾篩查能夠進行判斷預(yù)后，指導(dǎo)臨床治療。

3.5 參數(shù)分析

RSNMF有兩個參數(shù)分別是流形正則化參數(shù)α和最大熵正則化參數(shù)β，用來平衡矩陣分解和圖構(gòu)建過程。分別在ORL、lung、GLIOMA、COIL20 四個數(shù)據(jù)集上做實驗，實驗結(jié)果如圖3～6所示。選取不同的參數(shù)值，使用ACC和NMI評估聚類性能。當(dāng)α=0時，RSNMF算法僅學(xué)習(xí)數(shù)據(jù)的非局部結(jié)構(gòu)；當(dāng)β=0時，所提出的RSNMF退化成MNMFL21算法。結(jié)果表明α=［1，10，100］、β=［0.1，1，10］時聚類效果良好且結(jié)果較穩(wěn)定。

3.6 收斂性分析

目標(biāo)函數(shù)式（14）在更新規(guī)則式（21）（22）下的收斂性理論證明已在2.3節(jié)證明。使用MATLAB軟件驗證RSNMF的收斂性，選擇其中四個數(shù)據(jù)集，結(jié)果如圖7所示。x軸和y軸分別代表RSNMF的迭代次數(shù)和目標(biāo)函數(shù)值。從圖中可以看出，RSNMF在這四個數(shù)據(jù)集上迭代0～100次急速下降，在400次之后趨于收斂，目標(biāo)函數(shù)值趨于穩(wěn)定。

4 結(jié)束語

本文提出的RSNMF是一種基于最大熵圖的流形非負矩陣分解算法。該算法同時具有L2，1NMF和GNMF的優(yōu)點，它使用L2，1范數(shù)衡量矩陣分解的質(zhì)量，具有較強的魯棒性，又利用局部不變性兼顧數(shù)據(jù)的幾何結(jié)構(gòu)。在此基礎(chǔ)上本文引入一種新的圖構(gòu)建方式，即最大熵圖，可以同時考慮數(shù)據(jù)的局部結(jié)構(gòu)和非局部結(jié)構(gòu)，增強了判別能力。RSNMF算法得到的低維空間Y可以準確地反映高維空間中原始數(shù)據(jù)X的幾何結(jié)構(gòu)。此外為RSNMF開發(fā)了一種優(yōu)化算法，求解兩個矩陣因子W和Y的局部最優(yōu)解，并證明其收斂性。將其應(yīng)用于圖像聚類，學(xué)習(xí)圖像的主要特征以檢索信息，在七個圖像數(shù)據(jù)集上的實驗結(jié)果表明，基于RSNMF的聚類準確度更高，性能更優(yōu)秀。對其中四個數(shù)據(jù)集添加不同強度的噪聲，實驗結(jié)果表明所提算法具有更強的魯棒性和抗干擾能力。在將來的工作中，對所提算法考慮全局結(jié)構(gòu)和非線性結(jié)構(gòu)等信息。

參考文獻：

［1］Wilson K W， Raj B， Smaragdis P， et al. Speech denoising using nonnegative matrix factorization with priors［C］//Proc of IEEE Inter-national Conference on Acoustics， Speech and Signal Processing. Piscataway，NJ： IEEE Press， 2008： 4029-4032.

［2］Devarajan K， Cheung V. On nonnegative matrix factorization algorithms for signal-dependent noise with application to electro-myography data［J］. Neural Computation， 2014，26（6）： 1128-1168.

［3］潘雨， 胡谷雨， 王帥輝， 等. 基于約束非負矩陣分解的符號網(wǎng)絡(luò)社團發(fā)現(xiàn)方法［J］. 計算機應(yīng)用研究， 2020，37（S2）： 82-86. （Pan Yu， Hu Guyu， Wang Shuaihui， et al. A symbolic network community discovery method based on constrained nonnegative matrix factorization［J］. Application Research of Computers， 2020，37（S2）： 82-86.）

［4］Chen Wensheng， Liu Jingmin， Pan Binbin， et al. Face recognition using nonnegative matrix factorization with fractional power inner pro-duct kernel［J］. Neurocomputing， 2019，348： 40-53.

［5］Yin Haiqing， Liu Hongwei. Nonnegative matrix factorization with bounded total variational regularization for face recognition［J］. Pattern Recognition Letters， 2010，31（16）： 2468-2473.

［6］Liu Rong， Du Bo， Zhang Liangpei. Hyperspectral unmixing via dou-ble abundance characteristics constraints based NMF［J］. Remote Sensing， 2016，8（6）： 464.

［7］Qian Yuntao， Jia Senjia， Zhou Jun， et al. Hyperspectral unmixing via sparsity-constrained nonnegative matrix factorization［J］. IEEE Trans on Geoscience amp; Remote Sensing， 2011，49（11）： 4282-4297.

［8］Jia Sen， Qian Yuntao. Constrained nonnegative matrix factorization for hyperspectral unmixing［J］. IEEE Trans on Geo-science and Remote Sensing， 2009，47（1）： 161-173.

［9］Pei Xiaobing， Wu Tao， Chen Chuanbo. Automated graph regularized projective nonnegative matrix factorization for document clustering［J］. IEEE Trans on Cybernetics， 2014，44（10）： 1821-1831.

［10］Li Le， Yang Jianjun， Xu Yang， et al. Documents clustering based on max-correntropy nonnegative matrix factorization［C］//Proc of International Conference on Machine Learning and Cybernetics. Pisca-taway，NJ： IEEE Press， 2014： 850-855.

［11］Liu Haifeng， Wu Zhaohui， Li Xuelong， et al. Constrained nonnegative matrix factorization for image representation［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2012，34（7）： 1299-1311.

［12］Lee D D， Seung H S. Learning the parts of objects by non-negative matrix factorization［J］. Nature， 1999，401（6755）： 788-791.

［13］Ding C， Li Tao， Jordan M I. Convex and semi-nonnegative matrix factorizations［J］. IEEE Trans on Pattern Analysis amp; Machine Intelligence， 2010，32（1）： 45-55.

［14］Hoyer P O. Nonnegative matrix factorization with sparseness constraints［J］. Journal of Machine Learning Research， 2004，5（9）： 1457-1469.

［15］Ding C， Li Tao， Peng Wei， et al. Orthogonal nonnegative matrix tfactorizations for clustering［C］//Proc of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2006： 126-135.

［16］Asteris M， Papaliopoulos D S， Dimakis A G. Orthogonal NMF through subspace exploration［C］//Advances in Neural Information Processing Systems.Cambridge，MA：MIT Press，2015： 343-351.

［17］Li Xuelong， Cui Guosheng， Dong Yongsheng. Discriminative and orthogonal subspace constraints-based nonnegative matrix factorization［J］. ACM Trans on Intelligent Systems and Technology， 2018，9（6）：1-24.

［18］Wang Di， Gao Xinbo， Wang Xiumei. Semi-supervised nonnegative matrix factorization via constraint propagation［J］. IEEE Trans on Cybernetics， 2016，46（1）： 233-244.

［19］Zeng Kun， Yu Jun， Li Cuihua， et al. Image clustering by hyper-graph regularized non-negative matrix factorization［J］. Neurocomputing， 2014，138： 209-217.

［20］Li Xuelong， Cui Guosheng， Dong Yongsheng. Graph regularized non-negative low-rank matrix factorization for image clustering［J］. IEEE Trans on Cybernetics， 2017，47（11）： 3840-3853.

［21］Yang Shizhun， Hou Chenping， Zhang Changshui， et al. Robust non-negative matrix factorization via joint sparse and graph regularization for transfer learning［J］. Neural Computing and Applications， 2013，23（2）： 541-559.

［22］He Ping， Xu Xiaohua， Ding Jie， et al. Low-rank nonnegative matrix factorization on Stiefel manifold［J］. Information Sciences， 2020，514：131-148.

［23］Yi Yugen， Wang Jianzhong， Zhou Wei， et al. Nonnegative matrix factorization with locality constrained adaptive graph［J］. IEEE Trans on Circuits and Systems for Video Technology， 2020，30（2）： 427-441.

［24］Wang Yuxiong， Zhang Yujin. Nonnegative matrix factorization： a comprehensive review［J］. IEEE Trans on Knowledge and Data Engineering， 2013，25（6）： 1336-1353.

［25］Kong Deguang， Ding C， Huang Heng. Robust nonnegative matrix factorization using l2，1-norm［C］//Proc of the 20th ACM International Conference on Information and Knowledge Management. New York：ACM Press， 2011： 673-682.

［26］Cai Deng， He Xiaofei， Han Jiawei， et al. Graph regularized nonne-gative matrix factorization for data representation［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2011，33（8）： 1548-1560.

［27］Wu Baolei， Wang Enyuan， Zhu Zhen， et al. Manifold NMF with L2，1 norm for clustering［J］. Neurocomputing， 2018， 273： 78-88.

［28］Peng Zhihao， Jia Yuheng， Liu Hui， et al. Maximum entropy subspace clustering network［J］. IEEE Trans on Circuits and Systems for Video Technology， 2022，32（4）： 2199-2210.

［29］Bai Liang， Liang Jiye. Sparse subspace clustering with entropy-norm［C］//Proc of International Conference on Machine Learning. 2020： 561-568.

收稿日期：2022-07-26；修回日期：2022-10-11 基金項目：浙江省公益技術(shù)應(yīng)用研究項目（LGG22F020032）；浙江省重點研發(fā)計劃重點專項項目（2021C03137）

作者簡介：董文婷（1996-），女，江蘇連云港人，碩士研究生，主要研究方向為機器學(xué)習(xí)、數(shù)據(jù)挖掘；尹學(xué)松（1975-），男（通信作者），安徽六安人，教授，博士，主要研究方向為機器學(xué)習(xí)、數(shù)據(jù)挖掘、圖像處理（yinxs@hdu.edu.cn）；余節(jié)約（1969-），男，山東菏澤人，教授，碩導(dǎo)，博士，主要研究方向為色彩管理與印刷過程數(shù)字化；王毅剛（1971-），男，河南洛陽人，教授，博導(dǎo)，博士，主要研究方向為計算機圖形學(xué)、計算機圖像處理、虛擬現(xiàn)實技術(shù)．