數(shù)據(jù)增強(qiáng)的自適應(yīng)權(quán)重稀疏子空間聚類(lèi)算法

江雨燕，陶承鳳，李 平

（1.安徽工業(yè)大學(xué) 管理科學(xué)與工程學(xué)院，安徽 馬鞍山 243002；2.復(fù)雜系統(tǒng)多學(xué)科管理與控制 安徽普通高校重點(diǎn)實(shí)驗(yàn)室，安徽 馬鞍山 243002；3.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210023）

0 引言

聚類(lèi)根據(jù)內(nèi)在相似性對(duì)數(shù)據(jù)進(jìn)行分組的過(guò)程。在實(shí)際應(yīng)用領(lǐng)域中，數(shù)據(jù)具有高維性、復(fù)雜性，但是高維數(shù)據(jù)并不是均勻分布在所有維度空間，而是集中在某些低維結(jié)構(gòu)中，可理解為若干個(gè)低維子空間的并集上。子空間聚類(lèi)方法[1,2]能夠?qū)⒃从诓煌涌臻g的高維數(shù)據(jù)映射至相應(yīng)的潛在子空間，在圖像聚類(lèi)、模式識(shí)別以及生物醫(yī)藥等多研究領(lǐng)域受到廣泛關(guān)注。

子空間聚類(lèi)方法主要分為四種：（1）基于迭代的方法[3]，（2）基于統(tǒng)計(jì)的方法[4]，（3）基于代數(shù)的方法[4]，（4）基于譜聚類(lèi)的方法[5]。最具影響力的子空間聚類(lèi)方法利用數(shù)據(jù)構(gòu)建鄰接矩陣，將譜聚類(lèi)方法應(yīng)用于鄰接矩陣，得到聚類(lèi)結(jié)果。因此，譜聚類(lèi)成為子空間聚類(lèi)方法的主流，而該方法的難點(diǎn)在于如何構(gòu)建一個(gè)好的鄰域矩陣。具有代表性的方法包括：稀疏子空間聚類(lèi)(Sparse Subspace Clustering，SSC)[6,7]、基于低秩表示的子空間聚類(lèi)(Subspace Clustering based on Low-rank Representation,LRR)[8]，它們之間的區(qū)別在于對(duì)鄰接矩陣的正則化方法不同。另外，結(jié)構(gòu)化稀疏子空間聚類(lèi)(Structured Sparse Subspace Clustering)[9]通過(guò)一種結(jié)構(gòu)正則化方法來(lái)量化鄰接矩陣和分割矩陣之間的差異，從而將鄰接矩陣和子空間聚類(lèi)兩個(gè)模塊相結(jié)合。文獻(xiàn)[10]采用鄰接矩陣的學(xué)習(xí)和聚類(lèi)步驟共同進(jìn)行的方法，將原始數(shù)據(jù)的空間信息納入考慮范圍。文獻(xiàn)[11]加入了運(yùn)用判別信息的遷移學(xué)習(xí)，使之在特征域中與稀疏子空間聚類(lèi)同時(shí)進(jìn)行。文獻(xiàn)[12]提出了基于核理論的非線(xiàn)性拓展的方法。

但是原始數(shù)據(jù)中往往存在噪聲和其他干擾，直接對(duì)原始數(shù)據(jù)進(jìn)行自表示得到的鄰域矩陣也受到噪聲或干擾的影響，不一定能反映數(shù)據(jù)的真實(shí)子空間隸屬關(guān)系，導(dǎo)致數(shù)據(jù)誤分類(lèi)在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，兩個(gè)簇邊界附近的樣本可能不能被準(zhǔn)確地分配到集群中心，這可能會(huì)混淆甚至誤導(dǎo)網(wǎng)絡(luò)的訓(xùn)練過(guò)程，導(dǎo)致泛化性能下降。針對(duì)以上問(wèn)題，本文提出數(shù)據(jù)增強(qiáng)的自適應(yīng)權(quán)重稀疏子空間聚類(lèi)模型(Self-Weighted Sparse Subspace Clustering based on Data Augmentation,SWSSC-DA)，該方法的創(chuàng)新主要包括：

（1）使用數(shù)據(jù)增強(qiáng)技術(shù)對(duì)原始數(shù)據(jù)進(jìn)行隨機(jī)剪切、旋轉(zhuǎn)、翻轉(zhuǎn)和扭曲等方式進(jìn)行變換獲取更多的樣本，此方法僅提前引入先驗(yàn)知識(shí)，以適當(dāng)?shù)姆绞睫D(zhuǎn)換圖像，但不會(huì)改變其身份。

（2）采用自適應(yīng)權(quán)重學(xué)習(xí)，給每個(gè)樣本賦予不同的特征權(quán)重，每次傾向于選擇“簡(jiǎn)單”（靠近聚類(lèi)中心）的樣本作為訓(xùn)練集，并逐步添加“較難”（邊界附近）的樣本。自適應(yīng)權(quán)重學(xué)習(xí)的變量不存在超參數(shù)，并且總是保留邊界樣本。

1 相關(guān)理論

1.1 稀疏子空間聚類(lèi)模型

稀疏子空間聚類(lèi)[13]模型如圖1 所示，該模型是基于稀疏表示理論，利用一個(gè)數(shù)據(jù)樣本和所有樣本間的鄰域關(guān)系作為新特征來(lái)學(xué)習(xí)其自表示系數(shù)，通過(guò)自表示系數(shù)矩陣進(jìn)一步構(gòu)建相似度矩陣，最后借助譜聚類(lèi)方法得到聚類(lèi)結(jié)果。稀疏表示的目的是用盡量少的原子基來(lái)表示數(shù)據(jù)，這種方法對(duì)解決全局優(yōu)化問(wèn)題具有重要作用。

圖1 稀疏子空間聚類(lèi)模型

為了求解最稀疏的zi值，最小化目標(biāo)函數(shù)為：

式(2)中?0范數(shù)是指非零元素的個(gè)數(shù)，考慮數(shù)據(jù)的高維度特征，求解?0范數(shù)是NP-Hard 問(wèn)題，因此使用?1范數(shù)來(lái)凸松弛?0范數(shù)，將式(2)改寫(xiě)為：

矩陣形式的公式為：

考慮噪聲和離群值，式(4)可改寫(xiě)為：

其中λ1、λ2是平衡參數(shù)，用于平衡目標(biāo)函數(shù)；C∈?D×N表示離群點(diǎn)；E∈?D×N表示噪聲，‖·‖表示Frobenius 范數(shù)。

利用式(5)中的等式約束，消除E：

令Y=|C|+|C|T，其中Y為數(shù)據(jù)的相似度矩陣，將Y輸入譜聚類(lèi)算法，獲得最終聚類(lèi)結(jié)果。

1.2 自適應(yīng)權(quán)重學(xué)習(xí)

自權(quán)重學(xué)習(xí)[14,15]模擬了人類(lèi)的學(xué)習(xí)過(guò)程：從簡(jiǎn)單到復(fù)雜。例如，給出一些新任務(wù)的樣本時(shí)，算法在每次迭代過(guò)程中首先傾向于選擇簡(jiǎn)單樣本進(jìn)行學(xué)習(xí)，逐漸選擇復(fù)雜樣本。規(guī)定具有較小損失的樣本為簡(jiǎn)單樣本，具有較大損失的樣本為復(fù)雜樣本。自權(quán)重學(xué)習(xí)算法經(jīng)過(guò)選擇樣本、調(diào)整模型的過(guò)程，在調(diào)整完模型后，再次選擇損失相對(duì)較小的樣本，并調(diào)整模型，不斷進(jìn)行這樣的迭代。因此，在自權(quán)重學(xué)習(xí)中樣本的選擇并不是隨機(jī)的，也不是在一次迭代中全部納入訓(xùn)練過(guò)程中，而是通過(guò)一種由簡(jiǎn)到難的方式進(jìn)行選擇。

給出學(xué)習(xí)模型f，其學(xué)習(xí)參數(shù)為v，并將D={(x1,y1),(x2,y2),(x3,y3),…,(xn,yn)} 作為訓(xùn)練樣本，則傳統(tǒng)的機(jī)器學(xué)習(xí)目標(biāo)可表示為：

而自權(quán)重學(xué)習(xí)的目標(biāo)：

其中W=[w1,w2,…,wn]T為各個(gè)樣本的權(quán)重，g(λ,W)被稱(chēng)作自權(quán)重正則化項(xiàng)，λ 作為衡量損失函數(shù)“簡(jiǎn)單性”的標(biāo)準(zhǔn)。λ 和W通過(guò)交替搜索策略(ASS)進(jìn)行優(yōu)化。對(duì)于簡(jiǎn)單的自權(quán)重學(xué)習(xí)，有g(shù)(λ,W)=-λW,W∈[0,1]。即：

給定樣本權(quán)值W，v上的最小化是一個(gè)加權(quán)損失最小化問(wèn)題。當(dāng)模型參數(shù)v固定時(shí)，最佳W具有如下閉式解：

自權(quán)重學(xué)習(xí)算法中λ 通常被設(shè)置為開(kāi)始時(shí)損失的中位數(shù)，然后每隔幾次迭代增加步長(zhǎng)δ。由于在訓(xùn)練過(guò)程中，樣本的損失也在減少，因此步長(zhǎng)δ難以選擇。基于以上分析，模型根據(jù)訓(xùn)練過(guò)程中損失的統(tǒng)計(jì)數(shù)據(jù)進(jìn)行設(shè)置：

其中Lt表示第t次迭代中的所有損失，μ(*)和σ(*)為損失的平均值和標(biāo)準(zhǔn)差，T為最大迭代次數(shù)，由學(xué)習(xí)模型決定，不是一個(gè)獨(dú)立的超參數(shù)。圖2(a)顯示了傳統(tǒng)算法選擇樣本的情景，圖2(b)顯示了在開(kāi)始時(shí)使用虛線(xiàn)圈中的樣本進(jìn)行迭代更新，即自適應(yīng)權(quán)重選擇樣本的情景。

圖2 選擇樣本迭代更新的過(guò)程

1.3 數(shù)據(jù)增強(qiáng)技術(shù)

深度神經(jīng)網(wǎng)絡(luò)很容易導(dǎo)致數(shù)據(jù)過(guò)擬合，這一問(wèn)題可以通過(guò)獲取更多的訓(xùn)練數(shù)據(jù)、限制深度神經(jīng)網(wǎng)絡(luò)的能力或提前停止來(lái)解決。而數(shù)據(jù)增強(qiáng)是擴(kuò)展訓(xùn)練數(shù)據(jù)集的一種有效方法，對(duì)于一個(gè)給定的圖像樣本，在將它輸入網(wǎng)絡(luò)之前，通過(guò)隨機(jī)旋轉(zhuǎn)、移位、剪切及扭曲等方式進(jìn)行變換獲取更多的樣本，如圖3 所示。數(shù)據(jù)增強(qiáng)技術(shù)提前引入先驗(yàn)知識(shí)，以適當(dāng)?shù)姆绞睫D(zhuǎn)換圖像但不會(huì)改變其身份。數(shù)據(jù)增強(qiáng)技術(shù)現(xiàn)已在監(jiān)督模型中應(yīng)用，但是在無(wú)監(jiān)督聚類(lèi)分析中被忽視[16]。

圖3 數(shù)據(jù)增強(qiáng)技術(shù)

2 數(shù)據(jù)增強(qiáng)的自適應(yīng)權(quán)重稀疏子空間聚類(lèi)

2.1 提出的模型

在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，數(shù)據(jù)增強(qiáng)技術(shù)通過(guò)隨機(jī)旋轉(zhuǎn)、移動(dòng)、裁剪、剪切等方式進(jìn)行圖像變換，擴(kuò)展了訓(xùn)練數(shù)據(jù)集，解決了數(shù)據(jù)的過(guò)擬合問(wèn)題。受其啟發(fā)，本文提出在稀疏子空間聚類(lèi)模型進(jìn)行稀疏表示之前，對(duì)原數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)處理，以適當(dāng)?shù)姆绞睫D(zhuǎn)換圖像，但并不會(huì)改變數(shù)據(jù)本身。

由于稀疏子空間聚類(lèi)模型在迭代過(guò)程中，總是隨機(jī)選擇樣本進(jìn)行訓(xùn)練，并沒(méi)有考慮兩個(gè)簇邊界的樣本會(huì)誤導(dǎo)訓(xùn)練效果。本文提出使用自適應(yīng)權(quán)重學(xué)習(xí)對(duì)每個(gè)樣本賦予不同的權(quán)重，由“簡(jiǎn)單”（靠近聚類(lèi)中心）樣本到“較難”（邊界附近）樣本的先后順序進(jìn)行迭代。求出優(yōu)化解、獲得鄰域矩陣，將其進(jìn)行譜聚類(lèi)，數(shù)據(jù)增強(qiáng)的自適應(yīng)權(quán)重稀疏子空間聚類(lèi)模型如圖4 所示。

圖4 數(shù)據(jù)增強(qiáng)的自適應(yīng)權(quán)重稀疏子空間聚類(lèi)模型

為了使模型更具魯棒性，提出對(duì)原樣本xi∈X(X∈?D×N)設(shè)置不同的權(quán)重，每次迭代選擇最具說(shuō)服力的樣本，特別地，這種自適應(yīng)權(quán)重學(xué)習(xí)的方式不會(huì)改變數(shù)據(jù)的結(jié)構(gòu)信息。因此，式(6)可以改寫(xiě)為：

定義映射Λ 表示數(shù)據(jù)增強(qiáng)函數(shù)，可以是任意旋轉(zhuǎn)、移位、剪切、扭曲等的組合，數(shù)據(jù)增強(qiáng)后的樣本表示為=Λ(X),X∈[x1,x2,…,xn]T。將上式中的原樣本X替換為增強(qiáng)樣本，式(12)改寫(xiě)為：

實(shí)際上，數(shù)據(jù)位于放射子空間而非線(xiàn)性子空間的并集。為了將位于仿射子空間并集中的數(shù)據(jù)點(diǎn)進(jìn)行聚類(lèi)，稀疏子空間方程可優(yōu)化為：

引入輔助變量A∈?N×N，加入?yún)?shù)λ3和2 個(gè)懲罰因子：

引入拉格朗日乘子δ∈?N，Δ ∈?N×N得到數(shù)據(jù)增強(qiáng)的自適應(yīng)權(quán)重稀疏子空間聚類(lèi)算法的目標(biāo)函數(shù)：

其中，λ 由（11）計(jì)算，上式的優(yōu)化解通過(guò)交替方向乘子法計(jì)算；令S=|C|+|C|T，其中C為稀疏表示矩陣，S為數(shù)據(jù)的相似度矩陣，最終使用譜聚類(lèi)方法得到聚類(lèi)結(jié)果。

表1 參數(shù)符號(hào)說(shuō)明

2.2 算法優(yōu)化

1.固定Z,C,W,δ,Δ，通過(guò)更新A極小化L：

其中，λ 由（11）計(jì)算。

2.3 時(shí)間復(fù)雜度

本文算法中更新變量A,C,W,δ,Δ 的計(jì)算復(fù)雜度均為O(n2)，更新鄰域關(guān)系矩陣需要求解Sylvester 方程，則計(jì)算復(fù)雜度為O(n3)，因此算法的總計(jì)算復(fù)雜度為T(mén)×O(n3)，其中T 為迭代次數(shù)。

3 實(shí)驗(yàn)設(shè)置及結(jié)果分析

本文的實(shí)驗(yàn)環(huán)境為Microsoft Windows 10，處理器為英特爾酷睿i7，內(nèi)存容量8 GB，顯卡配置為MVIDIA GeForce 920 M。模型在同一數(shù)據(jù)集進(jìn)行5 次獨(dú)立實(shí)驗(yàn)，取平均值作為最終實(shí)驗(yàn)結(jié)果。

3.1 數(shù)據(jù)集

模型在常見(jiàn)數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，以驗(yàn)證所提算法的有效性，數(shù)據(jù)集包括：MNIST[17]、USPS[18]、ORL[19]數(shù)據(jù)集，圖5 展示了這些數(shù)據(jù)集中的部分圖像。

圖5 部分樣本圖片

（1）MNIST 數(shù)據(jù)集：由訓(xùn)練集中60 000 個(gè)樣本和測(cè)試集中10 000 個(gè)樣本組成。本文取訓(xùn)練集每類(lèi)手寫(xiě)字的前100 幅圖像來(lái)進(jìn)行了實(shí)驗(yàn)，將圖像大小調(diào)整為28×28。

（2）USPS 數(shù)據(jù)集：含有11 000 張圖像，是由“0”-“9”共10 個(gè)手寫(xiě)數(shù)字的類(lèi)組成。本文使用每個(gè)手寫(xiě)數(shù)字的前100 張圖像的子集進(jìn)行實(shí)驗(yàn)，將圖像大小調(diào)整為16×16。

（3）ORL 數(shù)據(jù)集：有40 名受試者，每名受試者有10 個(gè)樣本，則人臉圖像共計(jì)400 張。每名受試者圖像在不同的光照條件下拍攝，帶有不同的面部表情(睜眼/閉眼、微笑/不微笑)或面部飾品(有/無(wú)眼鏡)，將圖像大小調(diào)整為32×32。

3.2 評(píng)價(jià)指標(biāo)

為了評(píng)估聚類(lèi)算法的性能，本文采用了準(zhǔn)確度（ACC）評(píng)價(jià)指標(biāo)，ACC 的值越大，聚類(lèi)性能就越好。

ACC 被定義為：

其中yi是標(biāo)簽，ci是模型的聚類(lèi)分配，m(·)是聚類(lèi)分配和標(biāo)簽之間的映射函數(shù)，1(·)是指示器函數(shù)返回1 或0。

3.3 與其他方法的對(duì)比分析

本文將該方法與以下幾種方法在上述數(shù)據(jù)集上進(jìn)行了比較，其包括：SSC、LRR、LSR、SSSC、SRR。

稀疏子空間聚類(lèi)(Sparse Subspace Clustering,SSC)：利用稀疏線(xiàn)性組合特征表示數(shù)據(jù)點(diǎn)之間的關(guān)系，并構(gòu)造子空間近鄰矩陣。

低秩表示(Low Rank Representation,LRR)：此方法的鄰域矩陣是通過(guò)對(duì)數(shù)據(jù)施加低秩約束來(lái)獲取，從而捕獲數(shù)據(jù)的全局結(jié)構(gòu)。

最小二乘回歸(Least Squares Regression,LSR)[20]：對(duì)自表示系數(shù)采用范數(shù)正則化，具有將高度相關(guān)的數(shù)據(jù)聚集在一起的優(yōu)點(diǎn)，但也會(huì)導(dǎo)致類(lèi)內(nèi)類(lèi)間的自表示都是均勻的，不利于分離不同類(lèi)別數(shù)據(jù)。

結(jié)構(gòu)化稀疏子空間聚類(lèi)(Structured sparse subspace clustering,SSSC)：利用結(jié)構(gòu)化稀疏線(xiàn)性組合特征表示數(shù)據(jù)點(diǎn)之間的關(guān)系，同時(shí)引入聯(lián)合正則化項(xiàng)實(shí)現(xiàn)系數(shù)矩陣和聚類(lèi)標(biāo)簽的聯(lián)合學(xué)習(xí)，使得模型直接輸出得到聚類(lèi)標(biāo)簽。

基于結(jié)構(gòu)化稀疏關(guān)系表示的子空間聚類(lèi)(Subspace clustering via structured sparse relation representation,SRR)[21]：首先對(duì)原始數(shù)據(jù)進(jìn)行自表示得到鄰域關(guān)系矩陣，反映了每個(gè)數(shù)據(jù)與其它數(shù)據(jù)的某種相關(guān)性；然后將每個(gè)數(shù)據(jù)的自表示向量作為數(shù)據(jù)的新特征，對(duì)其再進(jìn)行二階自表示得到重構(gòu)系數(shù)矩陣，由此矩陣構(gòu)造相似度，并用譜聚類(lèi)得到最終聚類(lèi)結(jié)果。

將本文算法與上述幾種算法結(jié)果匯總，如表2-3 所示。為確保實(shí)驗(yàn)的公平性，上述算法實(shí)驗(yàn)均由作者提供的代碼進(jìn)行，具體參數(shù)根據(jù)論文設(shè)置為最優(yōu)。

表2 不同算法在MNIST、USPS、ORL 數(shù)據(jù)集上聚類(lèi)準(zhǔn)確度(%)對(duì)比

由表2 可知，在3 個(gè)公開(kāi)數(shù)據(jù)集上，本算法精確度相比其他子空間聚類(lèi)算法均得到一定的提高。相比最優(yōu)算法SRR，在數(shù)據(jù)集MNIST 上精確度提升了3.77%、在USPS 上精確度提升了4.30%、在ORL 上精確度提升了2.45%。這說(shuō)明模型使用隨機(jī)位移和旋轉(zhuǎn)對(duì)原樣本進(jìn)行數(shù)據(jù)增強(qiáng)，通過(guò)交替地使用增強(qiáng)樣本來(lái)訓(xùn)練和優(yōu)化自編碼器，并更新樣本的集群分配，能夠?qū)W習(xí)到穩(wěn)健的特征；并且，為了穩(wěn)定網(wǎng)絡(luò)訓(xùn)練，利用無(wú)需額外超參數(shù)的自適應(yīng)自步學(xué)習(xí)，在每次迭代中選擇最具說(shuō)服力的樣本能夠較好地提高泛化能力。

將所有模型在3 個(gè)數(shù)據(jù)集中指定數(shù)據(jù)上的運(yùn)行時(shí)間進(jìn)行對(duì)比，由表3 可知，算法LSR 的運(yùn)行時(shí)間最少。運(yùn)行時(shí)間長(zhǎng)短與算法的計(jì)算復(fù)雜度有關(guān)，本文算法與SRR 算法同為3 階計(jì)算復(fù)雜度，但本文算法的實(shí)際運(yùn)行時(shí)間少于SRR，說(shuō)明在運(yùn)行時(shí)間上有一定的提升。

表3 不同算法在MNIST 訓(xùn)練集每個(gè)數(shù)字前100 幅圖片、USPS 訓(xùn)練集每個(gè)數(shù)字前100 幅圖片、ORL 的40 個(gè)對(duì)象的運(yùn)行時(shí)間（秒）對(duì)比

3.4 SWSSC-DA 不同部分的結(jié)果分析

在實(shí)驗(yàn)中，通過(guò)消融實(shí)驗(yàn)分析本文提出的數(shù)據(jù)增強(qiáng)(DA)和自適應(yīng)權(quán)重學(xué)習(xí)(SW)兩個(gè)部分的貢獻(xiàn)，從SWSSC-DA 中刪除DA 意味著在（16）中用替換。在SWSSC-DA 中禁用SW 對(duì)應(yīng)于在（16）中固定W=1。移除所有這三個(gè)部分的配置視為稀疏子空間聚類(lèi)(SSC)。

表4 顯示了不同配置下的SWSSC-DA 的結(jié)果，分別將DA、SW 之一添加到SSC 中時(shí)，性能在大多數(shù)情況下都會(huì)有所提高。由表4 可以得出：在SSC 算法中單獨(dú)加入DA 比單獨(dú)加入SW 的精確度更高，這是因?yàn)閿?shù)據(jù)增強(qiáng)技術(shù)通過(guò)隨機(jī)位移和旋轉(zhuǎn)對(duì)原數(shù)據(jù)集進(jìn)行擴(kuò)充，獲得了更多的樣本數(shù)據(jù)圖像。雖然在USPS 數(shù)據(jù)集上單獨(dú)加入DA或SW 的效果并不是特別的出眾，但是兩個(gè)一起加入時(shí)也有提升。通過(guò)引入所有這三個(gè)部分，SWSSC-DA 成功地在所有數(shù)據(jù)集上實(shí)現(xiàn)了最好的性能。

表4 不同配置下的SWSSC-DA 的結(jié)果對(duì)比

3.5 超參數(shù)靈敏度分析

在涉及深度神經(jīng)網(wǎng)絡(luò)時(shí)，存在一些無(wú)法避免的超參數(shù)，本文研究了超參數(shù)在數(shù)據(jù)增強(qiáng)中的敏感性。在實(shí)驗(yàn)中，只使用隨機(jī)旋轉(zhuǎn)和移位。采用0o,10o,...,60o進(jìn)行旋轉(zhuǎn)，采用0,1,...,6 像素進(jìn)行移位轉(zhuǎn)換，在每個(gè)得到的49 個(gè)網(wǎng)格上運(yùn)行SWSSCDA 算法兩次，并取平均結(jié)果。由于過(guò)多信息的丟失會(huì)導(dǎo)致模型的性能急劇下降，如圖6 所示，在MNIST 數(shù)據(jù)集上旋轉(zhuǎn)[0o,30o]和移動(dòng)[0,3]像素的范圍內(nèi)，在USPS 數(shù)據(jù)集上旋轉(zhuǎn)[0o,40o]和移動(dòng)[0,4]像素的范圍內(nèi)，在ORL 數(shù)據(jù)集上旋轉(zhuǎn)[0o,40o]和移動(dòng)[1,4]像素的范圍內(nèi)，該模型的性能較穩(wěn)定，總體來(lái)說(shuō)，本文提出的算法對(duì)大范圍內(nèi)的數(shù)據(jù)增強(qiáng)所引入的超參數(shù)不敏感。

圖6 隨機(jī)旋轉(zhuǎn)和移位在數(shù)據(jù)增強(qiáng)中的敏感性

4 結(jié)束語(yǔ)

本文提出了數(shù)據(jù)增強(qiáng)的自適應(yīng)權(quán)重稀疏子空間聚類(lèi)模型（SWSSC-DA）來(lái)學(xué)習(xí)魯棒的面向聚類(lèi)特征。模型在網(wǎng)絡(luò)訓(xùn)練中通過(guò)自適應(yīng)權(quán)重學(xué)習(xí)優(yōu)先選擇易分類(lèi)的樣本，將集群邊界附近的樣本排除在訓(xùn)練之外，避免難分類(lèi)樣本產(chǎn)生誤導(dǎo)性的記憶。將數(shù)據(jù)增強(qiáng)技術(shù)引入稀疏子空間聚類(lèi)，通過(guò)隨機(jī)旋轉(zhuǎn)和移位擴(kuò)充數(shù)據(jù)樣本。模型在三個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，獲得了比傳統(tǒng)聚類(lèi)算法更好的聚類(lèi)效果，提高了聚類(lèi)精確度。通過(guò)消融實(shí)驗(yàn)、超參敏感度和收斂性分析等加強(qiáng)驗(yàn)證了本文所提算法的有效性。將對(duì)抗性學(xué)習(xí)方法引入子空間聚類(lèi)，生成對(duì)抗自編碼器能更加精準(zhǔn)地對(duì)樣本進(jìn)行聚類(lèi)分配并提高聚類(lèi)精度是下一步研究的方向。