基于多樣性和譜嵌入的張量多視圖子空間聚類
2025-03-21 00:00:00張沙沙王長鵬
吉林大學學報(理學版) 2025年2期
摘要： 針對如何有效利用多視圖的多樣性信息和高階信息， 并建立系數(shù)矩陣的學習過程與譜聚類之間聯(lián)系的問題， 提出一種基于多樣性和譜嵌入的張量多視圖子空間聚類算法. 首先， 在自表示張量部分采用張量自適應對數(shù)行列式正則化， 從而能根據(jù)奇異值的大小自適應地選擇逼近函數(shù). 其次， 采用Hilbert-Schmidt獨立準則衡量多樣性， 以確保不同視圖的系數(shù)表示矩陣具有足夠的多樣性. 再次， 為避免譜聚類過程的獨立進行， 將其引入模型中聯(lián)合學習， 使低秩張量學習、 多樣性學習和譜嵌入學習在一個統(tǒng)一的框架內(nèi)進行. 最后， 通過在5個真實數(shù)據(jù)集上與10種優(yōu)秀算法進行比較， 驗證了該算法在提升聚類性能方面的有效性.
關鍵詞： 多視圖子空間聚類； 張量自適應對數(shù)行列式； 多樣性； 譜嵌入； Hilbert-Schmidt獨立準則
中圖分類號： TP391.4文獻標志碼： A文章編號： 1671-5489（2025）02-0499-14
Tensor Multi-view Subspace Clustering Based onDiversity and Spectral Embedding
ZHANG Shasha， WANG Changpeng
（School of Sciences， Chang’an University， Xi’an 710064， China）
收稿日期： 2024-04-17.
第一作者簡介： 張沙沙（2000—）， 女， 漢族， 碩士研究生， 從事機器學習的研究， E-mail： 3212146414@qq.com. 通信作者簡介：
王長鵬（1985—）， 男， 漢族， 博士， 副教授， 從事機器學習的研究， E-mail： cpwang@chd.edu.cn.
基金項目： 國家自然科學基金（批準號： 12471480）和長安大學中央高校基本科研業(yè)務費專項基金（批準號： 300102122101）.
Abstract： Aiming at how to effectively utilize the diversity information and higher-order information of multi-views， andestablish the connection between the learning process of coefficient matrices and spectral clustering， we proposed a tensor multi-view subspace clustering algorithm based on diversity and spectral embedding. Firstly， the algorithm usedtensor adaptive log-determinant regularization in the self-representation tensor part， which could adaptively selectthe approximation functionaccording to the size of the singular values. Secondly，the Hilbert-Schmidt independence criterion was used to measure diversity to ensure that the coefficient representation matrices from different views exhibited sufficient diversity. Thirdly， in order to avoid the spectral clustering process to be performed independently， it was introduced into the model for joint learning， so that the low-rank tensor learning， diversity learning and spectral embedding learning were performed in a unified framework. Finally， the effectiveness of the algorithm in improving the clustering performance was verified by comparing it with ten excellent algorithms on five real datasets.
Keywords： multi-view subspace clustering; tensor adaptive log-determinant; diversity; spectral embedding; Hilbert-Schmidt independence criterion
0 引 言
聚類廣泛應用于數(shù)據(jù)挖掘、 機器學習等多領域， 旨在將數(shù)據(jù)集分成幾個由類似數(shù)據(jù)對象構成的組. 多視圖數(shù)據(jù)是對同一事物由不同方式進行描述得到的數(shù)據(jù)， 這些數(shù)據(jù)在本質(zhì)上有一定的相關性和多樣性. 多視圖數(shù)據(jù)在機器學習中應用廣泛， 采用傳統(tǒng)的單視圖聚類算法處理這些數(shù)據(jù)易忽略視圖之間的內(nèi)部聯(lián)系， 導致聚類性能難以提高， 所以關于多視圖聚類算法的研究備受關注.近年來， 已提出了許多多視圖聚類算法［1-4］， 這些算法主要分為4類： 基于協(xié)同訓練的多視圖聚類算法、 基于核學習的多視圖聚類算法、 基于圖學習的多視圖聚類算法以及基于子空間學習的多視圖聚類算法. 本文考慮基于子空間學習的多視圖聚類算法， 其原理是將原始的特征數(shù)據(jù)映射到其子空間中學習一個魯棒系數(shù)矩陣， 然后構造低秩的相似矩陣用于譜聚類. 該方法保留了原始數(shù)據(jù)的某些相關信息和互補信息， 能更好揭示數(shù)據(jù)的子空間結(jié)構， 從而達到滿意的聚類效果.
低秩表示子空間聚類（low-rank representation， LRR）［5］和稀疏子空間聚類（sparse subspace clustering， SSC）［6］是早期經(jīng)典的兩種子空間聚類算法， 之后受此啟發(fā)提出了一些基于自表示子空間學習的多視圖聚類算法. 例如： Luo等［7］提出了一種將一致性和特異性共同用于子空間表示學習的方法， 很好地擬合了真實世界的數(shù)據(jù)集； Zhang等［8］通過一種潛在表示探索多視圖的互補信息， 以確保獲得更準確的子空間表示； Chen等［9］充分利用了低秩表示技術和多樣性正則化項全面探索多視圖的多樣性和一致性， 將其應用于子空間聚類； 張繹凡等［10］考慮到不同視圖之間的多樣性信息， 采用Hilbert-Schmidt獨立準則（Hilbert-Schmidt independence criterion， HSIC）約束特定于視圖的投影矩陣. 上述方法都取得了很好的聚類效果， 但都僅通過矩陣層面挖掘不同視圖之間的內(nèi)在聯(lián)系， 而基于張量可探索視圖間更深層的互補信息.基于張量的多視圖子空間聚類算法先將多個視圖的系數(shù)表示矩陣疊加成一個三階張量， 然后通過不同的張量約束方法恢復一個低秩張量， 進一步采用線性融合方法從低秩張量獲得一致相似矩陣進行譜聚類. 例如， Zhang等［11］在子空間學習中引入一種獨特的低秩張量約束， 巧妙地捕捉了隱藏在多視圖數(shù)據(jù)中的高階相關性. 但張量展開矩陣的核范數(shù)并不是Tucker低秩和L1范數(shù)的凸松弛. 因此， Lu等［12］提出了基于張量奇異值分解（tensor singular value decomposition， t-SVD）的張量核范數(shù)， 這個新范數(shù)解決了L1范數(shù)存在的凸松弛問題. 受此啟發(fā)， Xie等［13］提出了基于t-SVD的多視圖子空間聚類算法， 該算法能很好地表征多視圖數(shù)據(jù)中嵌入的高階相關信息. 進一步， Gao等［14］考慮到奇異值之間的差異性， 提出了基于加權張量核范數(shù)最小化的多視圖子空間聚類算法. Sun等［15］將視圖表示分解為低秩部分和多樣化部分， 分別采用不同的正則化項， 綜合考慮視圖之間的一致性和多樣性. 這些方法在聚類性能方面都有很大提升， 但大多數(shù)方法仍存在一些問題： 1） 視圖的相似矩陣是多樣化的， 他們之間的內(nèi)在差異未得到充分考慮， 可能導致很難全面探索多視圖數(shù)據(jù)中蘊含的信息； 2） 低秩張量和聚類指標矩陣的學習過程相互獨立， 忽略了他們之間的依賴關系， 可能導致很難獲得后者的最優(yōu)解.
基于以上分析， 為更好地利用多視圖數(shù)據(jù)中嵌入的互補信息和高階信息， 并避免譜聚類獨立進行， 本文提出一種基于多樣性和譜嵌入的張量多視圖子空間聚類算法（tensor multiview subspace clustering based on diversity and spectral embedding， TMSCDSE）. 該算法通過重組所有視圖的自表示系數(shù)矩陣構造一個三階張量， 引入一種張量自適應對數(shù)行列式正則化更好地逼近張量的秩函數(shù)， 并借助低秩張量實現(xiàn)多視圖之間的內(nèi)在一致性. 此外， 通過Hilbert-Schmidt獨立準則有效地利用多視圖之間的互補信息， 加強子空間表示的多樣性. 最后， 將低秩張量學習、 多樣性學習和譜嵌入學習在一個統(tǒng)一的框架中， 得到一致相似矩陣對應的聚類指標矩陣， 然后使用k-means算法獲取最終的聚類結(jié)果. 圖1為TMSCDSE算法的整體框架.
圖1 TMSCDSE算法的整體框架
Fig.1 Overall framework of TMSCDSE algorithm
1 預備知識
1.1 符號和定義
為方便， 先介紹本文使用的符號和定義. 對于一個三階張量A∈瘙綆n1×n2×n3， 其第i個正面切片用矩陣A（i）表示， 并且用張量
=fft（A，［ ］，3）表示沿著第三維的快速Fourier變換（FFT）， 所以張量A也可以通過
的逆進行一系列變換獲得（即A=ifft（，［ ］，3））.
文獻［13］提出了使用t-SVD［16］描述跨多視圖的共同信息， 其定義如下.
定義1（t-SVD）［16］若給定一個張量A∈瘙綆n1×n2×n3， 則A可被分解為如下形式：
A=USVT，（1）
其中： U∈瘙綆n1×n2×n3和V∈瘙綆n1×n2×n3是正交張量; S∈瘙綆n1×n2×n3是一個f對角張量，
其每個切片都是一個對角矩陣.
通常采用張量核范數(shù)（t-SVD based tensor nuclear norm， t-TNN）［17］松弛張量的秩函數(shù). 而基于t-TNN的模型中采用Fourier域中奇異值的范數(shù)近似秩函數(shù)， 這種方法
對較大奇異值收縮較大， 但較大奇異值通常表征嵌入在矩陣中的重要結(jié)構信息， 所以導致聚類效果不理想.
定義2（t-TNN）［17］若給定一個張量A∈瘙綆n1×n2×n3， 則A的張量核范數(shù)可被定義為如下形式：
‖A‖=1n3∑n3j=1trA（j）TA（j）=1n
3∑min{n1，n2}i=1∑n3j=1（i，i，j），（2）
其中矩陣A（j）表示張量A的第j個正面切片， tr（·）表示矩陣的跡， =fft（D，［ ］，3）通過在Fourier域中張量A的奇異值分解獲得.
文獻［15］提出了一個張量自適應對數(shù)行列式正則化器（tensor adaptive log-determinant regularization， TALR）用于低秩張量部分， 該方法可以根據(jù)奇異值的差異自動選擇合適的逼近函數(shù)， 其定義如下.
定義3（TALR）［15］若給定一個張量A∈瘙綆n1×n2×n3， 則A的張量自適應對數(shù)行列式正則化定義為
‖A‖TALR=1n3∑n3j=1logdet（ΥA（j）TA（j）
+I）=1n3∑min{n1，n2}i=1∑n3j=1log（Υ（i，i，j）+1），（3）
其中： logdet（ ）為對數(shù)行列式函數(shù); 可以通過Fourier域中A的奇異值分解得到; Υgt;0為自適應收縮因子， 用來保證正則化的穩(wěn)定性.
1.2 多視圖子空間聚類
多視圖子空間聚類是能有效處理高維數(shù)據(jù)的方法之一， 其旨在從原始的多視圖數(shù)據(jù)中學習一個低維的嵌入子空間. 而基于自表示的模型是最常用的一種多視圖子空間聚類模型， 一般可表述為
minZ（v），E（v）∑Vv=1Ω（Z（v））+λ∑Vv=1Φ（E（v）），
s.t. X（v）=X（v）Z（v）+E（v）， v=1，2，…，V，（4）
其中X（v）表示第v個視圖的特征矩陣， Z（v）和E（v）分別表
示第v個視圖的系數(shù)矩陣和誤差矩陣， λgt;0表示平衡參數(shù)， Ω（·）為正則化項， Φ（·）為設計的損失函數(shù). 所以不同的正則化和損失函數(shù)會構成不同的多視圖子空間聚類方法. Tang
等［18］采用低秩表示模型學習共享的系數(shù)矩陣， 然后生成親和圖， 同時采用多樣性正則化為每個視圖學習最優(yōu)的權重值， 以減少冗余并增強特定視圖的特征. Zhang等
［19］提出了魯棒的低秩核子空間聚類算法， 該算法可有效處理多視圖數(shù)據(jù)中的復雜噪聲和非線性結(jié)構問題. Chen等［20］提出了一種廣義的非凸低秩張量逼近方法， 明確地
考慮到不同奇異值之間的顯著差異性， 能更有效地探索不同視圖之間的高階相關性. 此外， 趙曉佳等［21］提出了一步張量學習的多視圖子空間聚類方法， 聯(lián)合學習表示張量和親和矩陣.
1.3 多樣性表示
不同視圖的數(shù)據(jù)之間有一定差異， 這種差異構成了多視圖數(shù)據(jù)的多樣性信息. 而多視圖子空間聚類的主要挑戰(zhàn)之一就是充分利用數(shù)據(jù)之間的多樣性和互補性信息， 獲得全面的特征表示
. 考慮到該問題， 張繹凡等［10］將HSIC作為多樣性的衡量引入多視圖子空間聚類模型， 這種策略盡可能地保留了視圖的多樣性信息， 并有效提高了聚類性能. HSIC具有以下特
征： 1） 將變量映射到再現(xiàn)Hilbert空間， 以測量變量之間的相關性， 達到可解決變量之間更復雜相關性的效果， 如可用于處理非線性相關的情況; 2） 在不估計隨機變量聯(lián)合分布的
情況下， 也可以估計變量之間的相關性， 具有明顯的計算優(yōu)勢; 3） 經(jīng)驗HSIC的結(jié)果等價于矩陣乘積的跡， 使問題更容易求解.
定義4（HSIC）［10］給定張量Z∶={（x1，y1），…，（xn，yn）}X×Y， 考慮從中得到一系列n個聯(lián)合分布pxy的獨立觀測數(shù)據(jù)， 經(jīng)驗HSIC記作HSIC（Z
，F(xiàn)，G）， 可表示為
HSIC（Z，F(xiàn)，G）=（n-1）-2tr（K1HK2H），（5）
其中： F和G是兩個可分離的再生Hilbert空間; K1和K2為Gram
矩陣， 且k1，ij=k1（xi，xj）， k2，ij=k2（yi，y
j）， k1（xi，xj）和k2（yi，y
j）分別為X和Y上的核函數(shù)； hij=δij-1/n使Gram矩陣中心化， 使其在特征空間中的均值為零.
1.4 譜嵌入學習
給定一個多視圖數(shù)據(jù)集X=（X1，X2，…，XV）∈瘙綆dn×v
， 其包含V個視圖和n個樣本. 一般地， 多視圖譜聚類方法的目的是從數(shù)據(jù)空間中學習相應的Laplace矩陣. 因此， 譜嵌入學習的目標函數(shù)可表示為
minF tr（FTLF），s.t. FTF=I，（6）
其中： L=D-W為Laplace矩陣; D為對角矩陣， 其對角元素為di=∑
jWij， W是用于表示數(shù)據(jù)點之間相似性的相似矩陣; F為
譜嵌入矩陣， 由Laplace矩陣L的前c個最小特征值對應的特征向量組成， c表示簇的個數(shù).
2 TMSCDSE算法
2.1 算法模型
給定多視圖數(shù)據(jù)集X（v）=（X（v）1，X（v）2，…，X（v）n）∈瘙綆dv×n， v=1，2，…，V，
其中dv和n分別表示第v個視圖的特征維數(shù)和樣本數(shù)量， v表示視圖數(shù)量. 受LRR［5］的啟發(fā)， 通過低秩表示在第v個視圖中學習到的系數(shù)矩陣Z（v）具有低秩結(jié)構特征， 所以從V個視圖學
習到的所有系數(shù)矩陣都具有相似的低秩結(jié)構. 因此， 由這些系數(shù)矩陣Z（1），Z（2），…
，Z（V）可構造一個具有低秩結(jié)構的張量Z. 為更好地利用低秩結(jié)構和嵌入在張
量Z中的高階信息， 目前提出的大多數(shù)張量多視圖聚類算法都是基于t-SVD實現(xiàn)的， 并取得了滿意的聚類效果［22-23］.
現(xiàn)有的低秩張量約束方法通常平等地對待每個奇異值的貢獻， 使用相同參數(shù)收縮所有的奇異值. 但在實際應用中， 矩陣的這些非零奇異值存在顯著差異， 通常前幾個較大的奇異值表征矩陣中的重要結(jié)構信息. 這種顯著差異稱
為先驗信息， 其對圖像去噪、 矩陣補全等都有重要意義. 為解決該問題， 受TALR［15］的啟發(fā)， 本文在低秩張量部分采用一種張量自適應對數(shù)行列式正則化器， 使奇異
值的貢獻被區(qū)別對待， 實現(xiàn)根據(jù)奇異值大小自適應選擇合適的逼近函數(shù). 最初的目標函數(shù)可表示為
minZ（v），E（v）{‖Z‖TALR+λ‖E‖2，1}，
s.t. X（v）=X（v）Z（v）+E（v）， v=1，2，…，V，E=[E（1）;E（2）;…;E（V）]，Z=Φ（Z（1），Z
（2），…，Z（V）），（7）
其中Φ（·）表示將多視圖的所有系數(shù)矩陣Z（v）合并成一個三階張量Z， ‖
E‖2，1表示對誤差矩陣的稀疏約束， λgt;0用于平衡這兩項. 為更好地捕捉視圖之間的低秩特性，
降低計算復雜度， 需對構造的張量Z進行旋轉(zhuǎn)操作. 通過式（7）獲得最優(yōu)的系數(shù)矩陣， 再構造出相似矩陣用于譜聚類得出聚類結(jié)果.
通常不同視圖包含固有的多樣化信息， 促成了多視圖數(shù)據(jù)的多樣性. 因此， 為探索嵌入在多視圖數(shù)據(jù)中的互補信息， 本文引入HSIC作為一種相關性的度量方式， 通過HSIC對成對的
系數(shù)矩陣進行約束. 目標函數(shù)進一步表示為
minZ（v），E（v）‖Z‖T
ALR+λ‖E‖2，1+β2∑v≠wHSIC
（Z（v），Z（w）），s.t. X（v）=X（v）Z
（v）+E（v）， v=1，2，…，V，E=[E（1）;E（2）;…;
E（V）]，Z=Φ（Z（1），Z（2），…，Z（V））.（8）
此外， 現(xiàn)有的大多數(shù)聚類方法都將低秩張量學習和譜聚類分兩步進行， 而聚類指標矩陣依賴于相似矩陣， 如果分開求解不利于得到最優(yōu)的聚類指標矩陣， 導致其很難較好地表征聚
類結(jié)構. 因此， 本文提出將低秩張量學習和譜聚類在一個統(tǒng)一的框架中進行聯(lián)合優(yōu)化， 得到TMSCDSE算法的目標函數(shù)為
minZ（v），E（v），F(xiàn)‖Z‖
TALR+λ‖E‖2，1+β2∑v≠wHSIC（Z（v），Z（w））+2αtr（
FTLF），
s.t. X（v）=X（v）Z（v）+E（v）， v=1，2，…，V， FTF=I，E=[E（1）;E（2）;…;E（V）]，Z=Φ（Z（1），Z（2），…，Z（V）），（9）
其中： L=D-為Laplace矩陣， =1V∑Vv=1［（Z（v）+Z（v）T
）/2］為構造的一致相似矩陣， D是一個對角矩陣， 其對角項為D
（i，i）=∑j（ij+ji）; F∈瘙綆c×N
表示聚類指標矩陣， c表示聚類個數(shù)； α和β為兩個平衡參數(shù). 式（9）不僅充分利用了嵌入在多視圖中的高階信息和多樣性信息， 而且將低秩張量學習和譜嵌入學習同時進行， 使獲得
的聚類指標矩陣能更有效地表征聚類結(jié)構， 達到提高多視圖聚類性能的目的.
2.2 算法優(yōu)化
采用增廣Lagrange乘子算法解決上述優(yōu)化問題， 即更新某個變量時固定其他變量. 在優(yōu)化前， 先引入一個輔助張量變量J∈瘙綆n×n×V， 并且令J=Z， 則式（9）的增廣Lagrange函數(shù)為
L=（Z（1），Z（2），…，Z（V）;E（1），E（2），
…，E（V）;J;F）=‖J‖TALR+λ‖E‖2，1+β2∑v≠wHSIC（Z（v），Z（w））+
2αtr（FTLF）+∑Vv=1
（〈Y（v），X（v）-X（v）Z（v）-E（v）〉
+μ2‖X（v）-X（v）Z（v）-E（v
）‖2F）+〈W，Z-J〉+ρ2‖Z-J‖2F，（10）
其中矩陣Y（v）和張量W為兩個Lagrange乘子， μ和ρ為懲罰參數(shù).
2.2.1 更新Z（v）
固定變量E，F(xiàn)和J， 由于φ-1（v）（J）=J
（v）， φ-1（v）（W）=W（v）， 因此模型（10）可進一步變?yōu)?/p>
argminZ（v） β2∑v≠wHSIC（Z（v），Z（w））
+2αtr（FTLF）+〈W，Z-J〉+ρ2‖Z-J‖2F+
∑Vv=1（〈Y（v），X（v）-X（v）Z
（v）-E（v）〉+μ2‖X（v）-X（v）Z
（v）-E（v）‖2F）=argminZ（v） ∑Vv=1μ2X
（v）-X（v）Z（v）-E（v）+Y（v）μ2
F+ρ2Z（v）-J（v）+W（v）ρ2F+β2∑v≠wHSIC（Z（v），Z（w））+2αtr（FTLF）.（11）
定義P=[P1，…，Pj，…，PN]， 其中Pj=
[‖F(xiàn)1-Fj‖22;…;‖F(xiàn)N-Fj‖22]， Fj是F的第j行， 則有如下變換：
2tr（FTLF）=tr
（PT）=trPT1V∑Vv=1Z
（v）+Z（v）T2=12V∑Vv=1tr（PTZ
（v）+PTZ（v）T）.（12）
在計算Z（v）時， 矩陣Z（w）（v≠w）是固定的. 為方便求解， 采用HSIC的內(nèi)積
核， 即K（v）=Z（v）TZ（v）， 因此HSIC可以寫成：
∑Vv=1， v≠wHSIC（Z（v），Z（w））=∑Vv=1， v≠wtr（HK（v）HK（w））=∑Vv=1
， v≠wtr（Z（v）HK（w）HZ（v）T）=tr（
Z（v）KZ（v）T），（13）
其中K=∑Vv=1， v≠wHK（v）H.
結(jié)合式（12）和式（13）， 可進一步將模型（11）變?yōu)?/p>
argminZ（v）β2tr（Z（v）KZ（v）T）+α2Vtr（PTZ（v）+PTZ（v）T
）+μ2X（v）-X（v）Z（v）-E
（v）+Y（v）μ2F+ρ2Z（v）-J（v）+W（v）ρ2F，（14）
再關于Z（v）求偏導， 并使求導結(jié)果為0， 則得到的最優(yōu)解滿足下式：
L（v）Z（v）+Z（v）R（v）=C（v），（15）
其中L（v）=ρI+μX（v）TX（v），R（v）=βK，
C（v）=μX（v）TX（v）+X（v）T
Y（v）+ρJ（v）-μX（v）TE（v）-W（v）-
α2V（P·sign（Z（v）t-1）+PT·sign（Z（v）t-1）T）.（16）
上述方程是具有唯一解的標準Sylvester方程［24］， 所以可以有效求解.
2.2.2 更新E（v）
固定變量Z（v），F(xiàn)和J， 則有
argminE λ‖E‖2，1+∑Vv=1〈Y（v），X（v）-X（v）Z（v）-E（v）〉+∑Vv=1μ2‖X（v）-X
（v）Z（v）-E（v）‖2F=argminE
λμ‖E‖2，1+12‖E-D‖2F，（17）
其最優(yōu)解為
E*∶，i=‖D∶，i‖2-λ/μ‖D∶，i‖
2D∶，i，‖D∶，i‖2gt;λμ，0，其他，（18）
其中D∶，i表示D的第i列， D=（D
1，…，DV）， Dj=X（j）-X（j）Z（j）+1μY（j）， j=1，2，…，V.
2.2.3 更新J
固定變量Z（v），E（v）和F， 可通過以下模型更新J：
J*=argminJ‖J‖TALR
+〈W，Z-J〉+ρ2‖Z-J‖2F=
argminJ 1ρ‖J‖TALR+
12J-Z+1ρW2F，（19）
為解決上述最小化問題， 首先引入下列定理， 并在本文算法中總結(jié)變量J的更新過程.
定理1［15］假設τgt;0， 張量X，Y∈瘙綆n1×n2×n3， 并且Y的t-SVD分解
為Y=UDVT. 則對于模型
argminX τ‖X‖TALR+12‖X-Y‖2F，（20）
其最優(yōu)解為X*， 并且X=UDxVT. 其中U∈瘙綆n1
×n2×n3和V∈瘙綆n1×n2×n3是正交張量， Dx∈瘙綆n1×n2×n3是一個f對角張量. 當1≤i≤min{n1，n2}， 1≤j≤n3時
， 使y=fft（Dy，［ ］，3）， x=fft（D
x，［ ］，3）， 則x的對角元素可通過以下方程得到：
（x（i，i，j））2+1γ-y（i，i，j）
x（i，i，j）+1γ（τ-y（i，i，j））=0.（21）
通過求解式（21）可得其解為
x（i，i，j）=（y（i
，i，j）-1/γ）+Δ2，Δ≥0，0，Δlt;0，（22）
其中Δ=1γ-y（i，i，j）2-4γ（τ-y（i，i，j））.
算法1 基于定理1更新J.
輸入： Z，W，ρ和γ;
步驟1） τ=1ρ， M=Z+1ρW；
步驟2） =fft（M，［ ］，3）；
步驟3） for j=1∶n3 do
［（j），（j）m，（j）］=SVD（（j））；
由定理1得g（i，i，j）；
（j）=（j）（j）m（j）T；
步驟4） end for
步驟5） J=ifft（，［ ］，3）；
輸出： 張量J.
2.2.4 更新Lagrange乘子Y（v）和W
Y（v）和W的更新公式分別為
Y（v）=Y（v）+μ（X（v）-X（v）Z
（v）-E（v）），（23）W=W+ρ（Z-J）.（24）
2.2.5 更新F
固定變量Z（v），E（v）和J， 可通過求解以下模型更新F：
F=argminF tr（FTL
F），s.t. FTF=I， F∈瘙綆N×c.（25）
最優(yōu)解F由Laplace矩陣L的c個最小特征值對應的特征向量組成. 下列算法總結(jié)了TMSCDSE算法的整體優(yōu)化過程.
算法2 TMSCDSE算法.
輸入： 給定多視圖數(shù)據(jù)矩陣X（1），X（2），…，X（V）， λ，β，α和聚類數(shù)量K;
初始化Z（v）=0， E（v）=0， Y（v）=0， J=W=0， μ
=10-5， ρ=10-4， η=2， μmax=ρmax=1010， ε=10-7;
while不收斂do
步驟1） 利用式（15）更新Z（v）；
步驟2） 利用式（18）更新E；
步驟3） 利用式（23）更新Y（v）；
步驟4） 得到Z=Φ（Z（1），Z（2），…，Z（V））；
步驟5） 由算法1得到J；
步驟6） 利用式（24）更新W；
步驟7） 利用式（25）更新F；
步驟8） 更新參數(shù)μ和ρ： μ=min{ημ，μmax}， ρ=min{ηρ，ρmax}；
步驟9） 得到（J（1），J（2），…，J（V））=Φ-1（J）；
步驟10） 根據(jù)收斂條件檢查是否收斂： ‖X（v）-X（v）Z（v）-E（v）‖
∞lt;ε，‖Z（v）-J（v）‖∞lt;ε；
end
步驟11） 得到聚類指標矩陣F， 并對其執(zhí)行k-means算法；
輸出： 聚類結(jié)果C.
2.3 復雜度分析
算法2的計算復雜度主要取決于4個變量Z（v），J，E和F的更新. 變量
Z（v）的優(yōu)化過程涉及Sylvester方程的求解， 所以計算復雜度為O（VN3）. 在更新變量J時， 需要提前計算一個維度為N×V×N的張量的3D fft和ifft值， 以及在Fourier域中N×V（N≥V）矩陣的N個奇異值， 因此計算復雜度為O（VN2log（N）+V2N2）. 對于更新E的每次迭代， V個視圖的總復雜度為O（VN2）. 進一步考慮譜嵌入部分， 變量F的計算復雜度為O（N3）. 其中， V和N分別表示視圖數(shù)量和樣本數(shù)量. 最后， 考慮到迭代次數(shù)t和V≤N， 所以TMSCDSE算法的總計算復雜度為O（t（VN3+VN2log（N）））.
3 實驗與結(jié)果分析
3.1 實驗數(shù)據(jù)
為驗證TMSCDSE算法的有效性， 在下列5個數(shù)據(jù)集上對其進行評估， 各數(shù)據(jù)集的信息列于表1.MSRCv1： 該數(shù)據(jù)集包含樹、 汽車、 自行車、 建筑、 飛機、 牛和人臉7個類別的210張圖像， 每個類別有30張圖像. 在進行聚類實驗時， 從這些圖像中選取5個特征組成該數(shù)據(jù)集的不同視圖. COIL20： 該數(shù)據(jù)集來自哥倫比亞對象圖像庫， 其包含了20個對象的1 440張圖像， 每個類別由72張圖片構成; 并且該數(shù)據(jù)集使用了3種類型的特征， 分別是Intensity，LBP和Gabor. BBCsport： 該數(shù)據(jù)集包含來自BBC體育網(wǎng)站的544個文檔， 其對應5個不同的主題， 在該數(shù)據(jù)集上提取兩種類型的特征進行實驗. YaleB： 該數(shù)據(jù)集是由美國耶魯大學發(fā)布的來自10個人的650張人臉圖像， 其每個類包含65張不同圖像， 實驗選取了Intensity，LBP和Gabor 3種類型的特征， 從而構成3種多視圖. ORL： 該數(shù)據(jù)集是一個人臉圖像數(shù)據(jù)集， 其包含來自40人的400張人臉圖像， 在拍攝時間、 光線、 面部表情等不同的情況下獲取每人的10張人臉圖像構成樣本， 然后再提取Intensity，LBP和Gabor這3種特征構成該多視圖數(shù)據(jù)的不同視圖.
3.2 評價指標
實驗采用6個常用的評估指標驗證TMSCDSE算法的性能， 包括準確性（ACC）、 歸一化互信息（NMI）、 準確率（Precision）、 F值（F-score）、 召回率（Recall）和調(diào)整Rand系數(shù)（ARI）. 不同指標側(cè)重于聚類的不同屬性， 但都滿足其值越大表示聚類性能越好的特點.
3.3 對比方法基于上述5個數(shù)據(jù)集和6個評價指標， 本文將提出的TMSCDSE算法與現(xiàn)有的多種聚類算法進行比較. 對比算法有多樣性誘導的多視圖子空間聚類（diversity-induced multi-view subspace clustering， DiMSC）［25］、 低秩張量約束的多視圖子空間聚類方法（low-rank tensor constrained multiview subspace clustering， LT-MSC）［11］、 多視圖張量多秩最小化方法（on unifying multi-view self-representations for clustering by tensor multi-rank minimization， t-SVD-MSC）［13］、 多視圖光譜聚類的增強張量學習（essential tensor learning for multi-view spectral clustering， ETLMSC）［22］、 自適應加權Procrustes方法（multiview clustering via adaptively weighted Procrustes， AWP）［26］、 多視圖一致圖聚類方法（multiview consensus graph clustering， MCGC）［27］、 基于圖的多視圖聚類系統(tǒng)方法（a study of graph-based system for multi-view clustering， GBS）［28］、 多視圖聚類的相似矩陣低秩逼近與不一致分離融合方法（a similarity matrix low-rank approximation and inconsistency separation fusion approach for multi-view clustering， FAMvC）［29］、 基于低秩矩陣分解的秩一致性誘導多視圖子空間聚類方法（rank consistency induced multiview subspace clustering via low-rank matrix factorization， RC-MSC）［30］和統(tǒng)一一步多視圖光譜聚類方法（unified one-step multi-view spectral clustering， UOMvSC）［31］.在對所有對比算法進行實驗時都采用原文獻中所給的最優(yōu)參數(shù)， 以實現(xiàn)最佳結(jié)果. 此外， 由于所有算法最終都是基于k-means實現(xiàn)的， 所以為減少隨機初始化帶來的誤差， 對所有對比算法以及TMSCDSE算法都重復運行20次， 取其平均值作為最終聚類結(jié)果進行記錄.
3.4 實驗結(jié)果
表2～表6分別列出了各算法在上述5個數(shù)據(jù)集上的聚類結(jié)果. 由表2～表6可見， 大多數(shù)情況下TMSCDSE算法都優(yōu)于其他聚類算法. 這可能是因為該算法能根據(jù)奇異值的不同大小， 自適應地選擇合適的逼近函數(shù). 此外， TMSCDSE算法將低秩張量學習、 多樣性學習和譜嵌入學習在一個統(tǒng)一的框架中進行， 使學習到的系數(shù)矩陣能更好地表征聚類結(jié)構， 并有效結(jié)合了多視圖數(shù)據(jù)的一致性信息和多樣性信息. 例如， 在數(shù)據(jù)集BBCsport上與次優(yōu)方法相比， TMSCDSE算法在ACC，NMI，F(xiàn)-score，Precision，Recall和ARI 6個指標上分別實現(xiàn)了1.1，3.5，1.4，1.9，2.5，2.6個百分點的改進. 在數(shù)據(jù)集yaleB上這6個指標分別提高了33.4，27.7，41.4，38.8，36.0，43.4個百分點， 提升效果更明顯.
從聚類結(jié)果可觀察到TMSCDSE算法的性能基本都優(yōu)于這些算法， 原因可能是這些算法將低秩張量的學習過程與譜聚類的過程分兩步進行， 忽略了其中的依賴關系， 使學習聚類指標矩陣的準確性降低， 從而進一步影響了最終的聚類結(jié)果. 針對該問題， TMSCDSE算法將低秩張量學習和譜嵌入學習集成在一個統(tǒng)一的模型中同時進行優(yōu)化， 經(jīng)過迭代后可直接獲得聚類指標矩陣.
基于圖的方法MCGC，GBS和FAMvC在5個數(shù)據(jù)集上的結(jié)果都不如張量低秩方法， 這是因為數(shù)據(jù)集中通常包含一些噪聲和冗余信息， 對構造出的圖質(zhì)量會產(chǎn)生一定影響. DiMSC算法與TMSCDSE算法都采用了HSIC作為多樣性的衡量， 表明充分利用視圖間的多樣性信息對提升聚類性能有較大作用. 此外， TMSCDSE算法能更全面地探索嵌入在所有多視圖中的高階相關信息和互補信息.
3.5 參數(shù)分析
TMSCDSE算法中含有3個重要參數(shù)， 分別為α，β和λ. 其中， 參數(shù)α表示譜嵌入項的重要性， 參數(shù)β表示視圖之間的差異， 參數(shù)λ表示與多視圖數(shù)據(jù)的損壞程度密切相關. 即在［1×10-9，1×10-8，1×10-7，1×10-6，1×10-5］內(nèi)調(diào)整α， 在［1×10-4，5×10-4，1×10-3，5×10-3，0.01，0.05，0.1，0.5］內(nèi)調(diào)整λ， 在［1×10-5，5×10-5，1×10-4，5×10-4，1×10-3，5×10-3
，0.01，0.05］內(nèi)調(diào)整β. 通過在上述范圍內(nèi)進行參數(shù)調(diào)優(yōu)， 找到每個數(shù)據(jù)集對應的最優(yōu)參數(shù)， 然后獲取最優(yōu)的聚類結(jié)果.
以兩個數(shù)據(jù)集MSRCv1和COIL20為例， 圖2為固定參數(shù)α時， 不同參數(shù)β，λ對評價指標ACC的影響. 由圖2（A）可見， 數(shù)據(jù)集MSRCv1對β和λ有一定的敏感性， 不同參數(shù)取值使算法性能出現(xiàn)波動. 由圖2（B）可見， 當參數(shù)β在［5×10-5，1×10-4，5×10-4，1×10-3，5×10-3，0.01］內(nèi)調(diào)整和參數(shù)λ在［1×10-4，5×10-4，1×10-3，5×10-3，0.01，0.05，0.1］內(nèi)調(diào)整時， 算法性能的波動較小， 有一定的魯棒性. 說明低秩張量學習和多樣性學習之間相互聯(lián)系， 只有同時考慮這兩項的不同重要性才能獲得最佳的聚類結(jié)果.
圖3為固定參數(shù)β和λ時， 參數(shù)α在數(shù)據(jù)集MSRCv1和COIL20上的取值變化對算法聚類性能的影響. 由圖3可見， 隨著α的變化， ACC和NMI對應的值發(fā)生明顯波動. 當α=1×10-8時， 兩個數(shù)據(jù)集均可獲得最佳性能. 而當αgt;1×10-8時， TMSCDSE算法的聚類性能顯著下降. 這可能是因為低秩張量學習捕獲了嵌入在不同視圖之間的高階相關信息和互補信息， 且多樣性項充分考慮到多視圖的多樣性信息， 使學習到的系數(shù)矩陣已經(jīng)很好地表征了數(shù)據(jù)之間的關系. 譜嵌入項是為了使學習到的系數(shù)矩陣進一步利用聚類結(jié)構， 為減少其對前兩部分已經(jīng)取得效果的影響， 所以應給參數(shù)α賦予一個較小值.
3.6 收斂性分析
當存在3個或更多變量時， 非精確的ALM的收斂性無法確定［5］.由算法2可見， TMSCDSE算法存在4個塊變量Z，E，J和F， 所以很難證明該算法的收斂性. 因此， 為驗證優(yōu)化算法的收斂性， 本文采用重構誤差（RE）和匹配誤差（ME）繪制收斂曲線
， 并在圖4中給出TMSCDSE算法在數(shù)據(jù)集BBCsport和yaleB上的收斂曲線. 其中， 重構誤差和匹配誤差分別定義為
RE=1V∑Vv=1‖X（v）-
X（v）Z（v）-E（v）‖∞，（26）
ME=1V∑Vv=1‖Z（v）-J（v）‖∞.（27）
由圖4可見， 隨著迭代次數(shù)的增加， 停止準則的值趨于0， 而且在迭代約45次時已經(jīng)達到穩(wěn)定水平， 從而證明了TMSCDSE算法的收斂性.
3.7 消融實驗
為進一步說明TMSCDSE算法的有效性， 對其進行消融實驗分別考察譜嵌入部分和多樣性部分的作用. 第一個實驗： 去掉其中的多樣性項， 僅考慮譜嵌入項的作用， 將其表示
為TMSCDSE-S. 第二個實驗： 僅考慮加入多樣性項， 去除最后的譜嵌入項， 將其表示為TMSCDSE-D. 這兩個實驗以及TMSCDSE算法在ACC和NMI指標上的聚類結(jié)果如圖5
所示. 由圖5可見， TMSCDSE-D和TMSCDSE-S算法的聚類效果在5個數(shù)據(jù)集上都不如TMSCDSE算法. 因此， 只有同時考慮到多視圖數(shù)據(jù)的多樣性， 以及將系數(shù)矩陣和譜
聚類的學習過程在一個統(tǒng)一框架中同時進行， 才能實現(xiàn)最佳的聚類效果.
綜上所述， 針對如何有效利用多視圖的多樣性信息和高階信息， 并建立系數(shù)矩陣的學習過程與譜聚類之間聯(lián)系的問題， 本文提出了一種融
合低秩張量學習、 多樣性學習和譜嵌入學習的多視圖子空間聚類統(tǒng)一框架， 稱為基于多樣性和譜嵌入的張量多視圖子空間聚類算法（TMSCDSE）. 首先， 利用所有視圖的系數(shù)矩
陣構造一個三階張量， 以充分挖掘多視圖數(shù)據(jù)中的高階相關性， 并采用對數(shù)行列式正則化項恢復低秩張量. 其次， 考慮到不同視圖的多樣性， 采用Hilbert-Schmidt獨立準則對視圖
的系數(shù)矩陣進行約束. 最后， 通過聯(lián)合譜嵌入構建統(tǒng)一的模型框架， 學習更有效的聚類指標矩陣， 再利用k-means算法得到最終的聚類結(jié)果. 在5個真實數(shù)據(jù)集上進行大量對比實驗的結(jié)果表明， TMSCDSE算法優(yōu)越性顯著.
參考文獻
［1］TAN Y， OU W H， LONG F， et al. Multi-view Clustering via Co-regularized Nonnegative Matrix Factorization with Correlation Constraint［C］//2016 7th International Conference on Cloud Computing and Big Data （CCBD）. Piscataway， NJ： IEEE， 2016： 1-6.
［2］WANG C D， CHEN M S， HUANG L， et al. Smoothness Regularized Multiview Subspace Clustering with Kernel Learning［J］.IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（11）： 5047-5060.
［3］趙偉豪， 林浩申， 曹傳杰， 等. 基于相似圖投影學習的多視圖聚類［J］.計算機應用研究， 2024， 41（1）： 102-107. （ZHAO W H， LIN H S， CAO C J， et al. Multi-view Clustering Based on Similarity Graph Projection Learning［J］.Application Research of Computers， 2024， 41（1）： 102-107.）
［4］王麗娟， 丁世飛， 夏菁. 基于多樣性的多視圖低秩稀疏子空間聚類算法［J］.智能系統(tǒng)學報， 2023， 18（2）： 399-407. （WANG L J， DING S F， XIA J. Multiview Low-Rank Sparse Subspace Clustering Based on Diversity［J］.CAAI Transactions on Intelligent Systems， 2023， 18（2）： 399-407.）
［5］LUI G C， LIN Z C， YAN S H， et al. Robust Recovery of Subspace Structures by Low-Rank Representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（1）： 171-184.
［6］EIHAMIFAR E， VIDAL R. Sparse Subspace Clustering： Algorithm， Theory， and Applications［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（11）： 2765-2781.
［7］LUO S R， ZHANG C Q， ZHANG W， et al. Consistent and Specific Multi-view Subspace Clustering［C］//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 3730-3736.
［8］ZHANG C Q， FU H Z， HU Q H， et al. Generalized Latent Multi-view Subspace Clustering［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（1）： 86-99.
［9］CHEN J， YANG S X， MAO H， et al. Multiview Subspace Clustering Using Low-Rank Representation［J］.IEEE Transactions on Cybernetics， 2022， 52（11）： 12364-12378.
［10］張繹凡， 李婷， 葛洪偉. 多樣性誘導的潛在嵌入多視圖聚類［J］.南京大學學報（自然科學）， 2023， 59（3）： 388-397. （ZHANG Y F， LI T， GE H W. Diversity-Induced Multi-view Clustering in Latent Embedded Space［J］.Journal of Nanjing University （Natural Science）， 2023， 59（3）： 388-397.）
［11］ZHANG C Q， FU H Z， LIN S， et al. Low-Rank Tensor Constrained Multiview Subspace Clustering［C］//2015 IEEE International Conference on Computer Vision （ICCV）. Piscataway， NJ： IEEE， 2015： 1582-1590.
［12］LU C Y， FENG J S， CHEN Y D， et al. Tensor Robust Principal Component Analysis： Exact Recovery of Corrupted Low-Rank Tensors via Convex Optimization［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ： IEEE， 2016： 5249-5257.
［13］XIE Y， TAO D C， ZHANG W S， et al. On Unifying Multi-view Self-representations for Clustering by Tensor Multi-rank Minimization［J］.International Journal of Computer Vision， 2016， 126（4）： 1157-1179.
［14］GAO Q X， XIA W， WAN Z Z， et al. Tensor-SVD Based Graph Learning for Multi-view Subspace Clustering［C］//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 3930-3937.
［15］SUN X L， HAI Y， ZHANG X J， et al. Adaptive Tensor Rank Approximation for Multi-view Subspace Clustering［J］.Chinese Journal of Electronics， 2023， 32（4）： 840-853.
［16］KILMER M E， MARTIN C D. Factorization Strategies for Third-Order Tensors［J］.Linear Algebra and Its Applications， 2011， 435（3）： 641-658.
［17］LU C Y， FENG J S， CHEN Y D， et al. Tensor Robust Principal Component Analysis with a New Tensor Nuclear Norm［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（4）： 925-938.
［18］TANG C， ZHU X Z， LIU X W， et al. Learning a Joint Affinity Graph for Multiview Subspace Clustering［J］.IEEE Transactions on Multimedia， 2019， 21（7）： 1724-1736.
［19］ZHANG X Q， CHEN B J， SUN H J， et al. Robust Low-Rank Kernel Subspace Clustering Based on the Schatten p-Norm and Correntropy［J］.IEEE Transactions on Knowledge and Data Engineering， 2020， 32（12）： 2426-2437.
［20］CHEN Y Y， WANG S Q， PENG C， et al. Generalized Nonconvex Low-Rank Tensor Approximation for Multi-view Subspace Clustering［J］.IEEE Transactions on Image Processing， 2021， 30（1）： 4022-4035.
［21］趙曉佳， 徐婷婷， 陳勇勇， 等. 基于一步張量學習的多視圖子空間聚類［J］.自動化學報， 2023， 49（1）： 40-53. （ZHAO X J， XU T T， CHEN Y Y， et al. One-Step Tensor Learning for Multi-view Subspace Clustering［J］.Acta Automatica Sinica， 2023， 49（1）： 40-53.）
［22］WU J L， LIN Z C， ZHA H B. Essential Tensor Learning for Multi-view Spectral Clustering［J］.IEEE Transactions on Image Processing， 2019， 28（12）： 5910-5922.
［23］XIE Y， ZHANG W S， QU Y Y， et al. Hyper-Laplacian Regularized Multilinear Multiview Self-representations for Clustering and Semisupervised Learning［J］.IEEE Transactions on Cybernetics， 2020， 50（2）： 572-586.
［24］BARTELS R H， STEWART G W.Algorithm 432［C2］： Solution of the Matrix Equation AX，XB=C［J］.Communications of the ACM， 1972， 15（9）： 820-826.
［25］CAO X C， ZHANG C Q， FU H Z， et al. Diversity-Induced Multi-view Subspace Clustering［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ： IEEE， 2015： 586-594.
［26］NIE F P， TIAN L， LI X L. Multiview Clustering via Adaptively Weighted Procrustes［C］//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining.［S.l.］： Association for Computing Machinery， 2018： 2022-2030.
［27］ZHAN K， NIE F P， WANG J， et al. Multiview Consensus Graph Clustering［J］.IEEE Transactions on Image Processing， 2019， 28（3）： 1261-1270.
［28］WANG H， YANG Y， LIU B， et al. A Study of Graph-Based System for Multi-view Clustering［J］.Knowledge-Based Systems， 2019， 163（1）： 1009-1019.
［29］HE Z Q， WAN S H， ZAPPATORE M， et al. A Similarity Matrix Low-Rank Approximation and Inconsistency Separation Fusion Approach for Multi-view Clustering［J］.IEEE Transactions on Artificial Intelligence， 2024， 5（2）： 868-881.
［30］GUO J P， SUN Y F， GAO J B， et al. Rank Consistency Induced Multiview Subspace Clustering via Low-Rank Matrix Factorization［J］.IEEE Transactions on Neural Networks and Learning Systems， 2022， 33（7）： 3157-3170.
［31］TANG C， LI Z L， WANG J， et al. Unified One-Step Multi-view Spectral Clustering［J］.IEEE Transactions on Knowledge and Data Engineering， 2023， 35（6）： 6449-6460.
（責任編輯： 韓 嘯）
