基于一致性和差異性的低秩張量多視圖聚類算法

摘要： 針對如何利用多視圖數據中的隱含信息以及避免后續處理過程中帶來的聚類性能次優問題， 提出一種基于一致性和差異性的低秩張量多視圖聚類算法. 首先， 該算法同時考慮視圖的一致性和差異性信息， 將多個一致性相似矩陣疊加在一個受低秩約束的張量中， 以探索視圖間信息的高階相關性， 從而得到更高質量的相似矩陣; 其次， 通過學習一個一致非負嵌入矩陣直接獲得聚類結果； 再次， 采用自適應加權策略考慮不同視圖數據的重要性； 最后， 通過在6個真實數據集上與其他算法進行對比實驗， 驗證了該算法在多視圖聚類問題上的有效性.

關鍵詞： 多視圖聚類； 一致性； 差異性； 低秩張量表示； 自適應加權

中圖分類號： TP391.4 文獻標志碼： A文章編號： 1671-5489（2025）02-0537-14

Multi-view Clustering Algorithm with Low-Rank TensorBased on Consistency and Difference

ZHOU Yulin， WANG Changpeng

（School of Sciences， Chang’an University， Xi’an 710064， China）

Abstract： Aiming at how to utilize the implicit information in multi-view data and avoid the problem of sub-optimal clustering performance in the subsequent processing， we proposed a multi-view clustering algorithm with low-rank tensor based on consistency and difference. Firstly， the algorithm simultaneously considered the consistency and differential information of views， and superimposed multiple consistent similarity matrices in a tensorconstrainted by low-rank "to explore the higher-order correlations of the information between views， thus obtaining higher-quality similarity matrices. Secondly， clustering results were directly obtained by learning a consistent non-negative embedding matrix. Thirdly， an adaptive weighting strategy was used to consider the importance of different view data. Finally， the effectiveness of the algorithm on the multi-view clustering problem was verified by comparison experiments with other algorithms on six real datasets.

Keywords： multi-view clustering; consistency; difference; low-rank tensor representation; adaptive weighting

收稿日期： 2024-02-26. 網絡首發日期： 2024-11-19.

第一作者簡介： 周余琳（2000—）， 女， 漢族， 碩士研究生， 從事機器學習的研究， E-mail： 15229874579@163.com. 通信作者簡介： 王長鵬（1985—）， 男， 漢族， 博士， 副教授， 從事機器學習的研究， E-mail： cpwang@chd.edu.cn.

基金項目： 國家自然科學基金（批準號： 12471480）和長安大學中央高?；究蒲袠I務費專項基金（批準號： 300102122101）.

網絡首發地址： https：//link.cnki.net/urlid/22.1340.o.20241118.1336.003.

0 引 言

聚類是機器學習中的一種無監督學習方法^［1］， 在計算機視覺、 自然語言處理、 生物信息學^［2］等領域應用廣泛. 隨著信息技術的發展， 從各種來源獲得了大量的多視圖數據， 這些多視圖數據可從不同的角度進行描述， 例如多媒體視頻是同時用攝像機的視頻信號和錄音機的音頻信息描述. 盡管多視圖數據中的每個視圖都具有特定的特征屬性， 但這些特征都描述了相同的原始數據樣本， 從而不同視圖之間的信息可以相互利用^［3-4］.因此， 為提高聚類性能， 不能只依賴于單一視圖， 而必須探索多個視圖之間的互補性和一致性^［5］， 多視圖聚類就是在無監督環境下實現該目的， 因而備受關注.由于圖的形式可以表征數據結構， 在不同理論和方法的框架下， 目前學者們已提出了許多種基于圖的多視圖聚類方法^［6-10］， 并且大多數都取得了滿意的聚類性能. 基于圖的聚類方法通常是首先構造各視圖的相似圖， 其次通過建模學習一個有利于聚類的融合圖， 最后對融合圖進行劃分以獲得聚類結果. 為提高聚類性能， Zhan等^［11］利用Laplace秩約束改善初始圖的質量， 然后在初始化圖的基礎上學習具有結構的全局圖. Nie等^［12］注意到各視圖對聚類的貢獻不同， 對各視圖進行了加權， 并通過譜旋轉從多個譜嵌入中學習一致的指示矩陣. Liang等^［13］同時對多個視圖的一致性和不一致性建模， 獲得了高質量的融合圖. Huang等^［14］結合多樣性度量和自加權策略提出了一個新的多視圖聚類框架， 最終得到具有確定連通分量的融合圖. 為有效揭示多視圖數據中嵌入的底層聚類結構， Liu等^［15］基于聯合非負矩陣分解的方法， 從不同的系數矩陣中學習一個共同的系數矩陣. Li等^［16］通過廣義低秩模型學習了松弛的一致嵌入矩陣， 但后期需要采用k-means算法得到聚類結果. Hu等^［17］通過引入非負約束使聚類結果具有可解釋性， 避免了后期操作. He等^［18］將不一致分離和低秩分解整合到一個框架中， 得到的一致非負嵌入矩陣指明了聚類結構， 但未考慮多視圖數據間的高階相關性. 此外， 為探索多視圖數據的空間結構和高階信息， 保持獨立數據之間的相關性， 也提出了一些基于張量的多視圖聚類方法^［19-21］， 很好地提高了聚類性能.

在多視圖聚類問題上盡管取得了許多研究成果， 但現有的多數方法主要關注多視圖的一致性， 而忽視了多視圖數據中差異信息帶來的影響， 且大多數方法都專注于研究視圖之間的共同表示或兩兩之間的關聯， 導致多視圖數據缺乏全面性和更深層次的高階相關性， 從而錯過了重要的潛在語義信息. 此外， 許多方法需要后續處理才能獲得最終的聚類結果， 可能導致信息損失， 從而降低了聚類性能.基于以上分析， 本文提出一種基于一致性和差異性的低秩張量多視圖聚類算法（multi-view clustering with low-rank tensor based on consistency and difference， LRTCD）. 該算法對初始相似矩陣進行一致性與差異性分解， 利用張量構造技術及基于加權張量奇異值分解（tensor singular value decomposition， t-SVD）的核范數學習各視圖高質量的一致性相似矩陣， 同時對基于各視圖一致性相似矩陣學習的一致嵌入矩陣施加非負約束， 以直接得到最終的聚類結果， 而不需任何后處理. 此外， 使用自加權策略學習不同視圖的權重， 以考慮各視圖的不同貢獻. 為求解該優化問題， 本文采用交替方向乘子法（alternating direction method of multipliers， ADMM）進行求解， 并在6個真實數據集上驗證本文算法的有效性. LRTCD算法框架如圖1所示.

圖1 LRTCD算法框架Fig.1 Framework of LRTCD algorithm

1 預備知識

1.1 定 義

本文中， I表示對角元素為1的單位矩陣， 1表示全1向量. 對于矩陣A∈瘙綆^m×n， tr（A）和

‖A‖F分別表示矩陣A的跡和Frobenius范數. 對于張量A∈瘙綆^n1×n2×n3，

A^（k）表示張量A的第k個前向切片， =fft（A，［ ］，3）表示沿著第三

維的快速Fourier變換（FFT）， 則通過對進行Fourier逆變換即可得到A， 即A=ifft（，［ ］，3）.

定義1^［22］對于張量A∈瘙綆^n1×n2×n3， 其張量奇異值分解為

A=U×S×VT，（1）

其中U∈瘙綆^n1×n1×n3和V∈瘙綆^n2×n2×n

³是正交張量， S∈瘙綆^n1×n2×n3是對角張量， 它的每個前向切片都是對角矩陣.

根據文獻［23］， 上述問題可以在Fourier域中利用矩陣奇異值分解（singular value decomposition， SVD）求解， 即^（k）=

^{（k）（k）（k）}T， k=1，2，…，n3.

定義2^［24］對于張量A∈瘙綆^n1×n2×n3， 其基于t-SVD的張量核范數（t-SVD based tensor nuclear norm， t-TNN）表示為

‖A‖#=∑n3k=1‖^（k）‖=∑n3k=1∑min{n1，n2}i=1σi（^（k）），（2）

其中σi（^（k））表示^（k）的第i個最大奇異值.

進一步， 根據文獻［21］， 將基于加權t-SVD的張量核范數定義為

‖A‖ω，#=∑n3k=1∑min{n

1，n2}i=1ωiσi（^（k）），（3）

其中ωi是σi（^（k））的加權系數， 權重系數ω的維數與視圖數一致， 且考慮了矩陣奇異值的先驗知識.

1.2 考慮不一致信息的圖學習

對于多視圖數據X^（v）∈瘙綆^dv×n， 其中dv表示第v個視圖的維數， n為樣本數. 采用文獻［25］的方法構造相似矩陣. 但實際應用中的多視圖數據集中

可能包含噪聲或異常值， 會破壞構造的相似矩陣， 而且每個視圖的特定屬性也可能破壞相似圖， 從而影響聚類性能. 因此可同時對多視圖的一致性和不一致性進行建模^［13］：

minα，S，

A^（1），…，A^（v）

∑vi=1λi‖αiA^（i）-S‖2F+∑vi，j=1Bij

λiλjαiαj×sum（（W^（i）-A^（i））·（W^（j）-A^（j））），

s.t. αT1=1， α≥0， S≥0， W^（i）≥A^（i）≥0， i=1，2，…，v，（4）

其中： v為視圖數量； λi為衡量第i個視圖重要性的參數； W^（i）∈瘙綆^n×n為第i個視圖的相似矩陣； A^（i）表示第i個視圖中一

致性信息； E^（i）=W^（i）-A^（i）表示不一致性信息； S為

一致相似矩陣； αi為第i個視圖相似矩陣的縮放系數， 為使縮放結果唯一， 施加約束條件αT1=1； Bij是矩陣B∈瘙綆^v×v

的第i行第j列的元素， 且矩陣B中的對角元素和非對角元素分別為β和γ； ·表示兩個矩陣的Hadamard積（元素相乘）；sum（·）是對矩陣中所有元素求和的算子.

1.3 一致嵌入學習

為研究矩陣分解與譜聚類之間的聯系， Li等^［16］利用廣義低秩近似模型學習一個松弛的一致嵌入矩陣， 并通過k-means算法得到最終的聚類結果， 其模型為

minZ，{Q^（v）}kv=1∑kv=1‖T^（v）-Z（Q^（v））T

‖2F，s.t. ZTZ=I，（5）

其中T^（v）為第v個視圖的相似矩陣， Z為松弛的一致嵌入矩陣， Q^（v）為每個T^（v）特定的潛在子空間.

2 LRTCD算法

2.1 算法模型

為提高多視圖聚類的性能， 本文首先考慮到視圖信息的差異性， 對初始相似矩陣進行一致性和差異性分解： S^（i）=A^（i）+E^（i）， 其中S^（i）

為第i個視圖的相似性矩陣， A^（i）為各視圖的一致性部分， E^（i）=S^（i）-A^（i）為視圖信息有差異的部分； 其次， 將各視圖相似矩陣的一致

性信息堆疊成一個3階張量， 以挖掘數據間的高階相關性， 并采用基于加權t-SVD的張量核范數保持張量的低秩性質； 同時為避免后處理帶來的次優問題， 受文獻［17］的啟發， 對根據視圖一

致信息學習到的一致嵌入矩陣施加非負約束， 并使用自適應加權策略學習各視圖的權重. 因此， 本文LRTCD算法的目標函數為

minA^（i），F，Q^（i），μi∑mi，j=1Bijμiμjtr（（S^（i）-A^（i））（S^（j

^）-A^（j））T）+γ‖A‖ω，#+∑mi=1μi‖A^（i）-F（Q^（i））T‖2F，

s.t. S^（i）≥A^（i）≥0， i=1，2，…，m，

A=Φ（A^（1），A^（2），…，A^（m）），

FTF=I， F≥0，（6）

其中： m為視圖數量； μi為第i個視圖的權重； S^（i）為第i個視圖的相似性矩陣; A^（i）為各視圖的一致性部分； 矩陣B∈瘙綆^m×

^m中的對角元素和非對角元素分別為β和α， 分別表示視圖間和視圖內的差異性； Φ（·）通過將多個一致性相似矩陣A^（i）合并為一個3階張量A∈

瘙綆^n×n×m； F為一致非負嵌入矩陣， 指示了聚類結果； Q^（i）為各視圖

松弛的嵌入矩陣； 權重系數ω考慮了矩陣奇異值的先驗知識， 是由σi（^（k））的加權系數ωi組成的向量， 其維數與視圖數一致； γ為

平衡參數. 第一項和第二項可以獲得更高質量的相似矩陣A^（i）， 第三項用于學習一致非負嵌入矩陣F， 從而直接得到聚類結果. 目標函數（6）中的自適應權重μi根據下式求解：

μi=12‖A^（i）-F（Q^（i））T‖F.（7）

2.2 優 化

注意到優化問題（6）具有非凸性， 所以直接對其求解較困難. 因此， 本文采用交替方向乘子法（ADMM）求解. 為便于計算， 引入輔助張量J∈瘙綆^n×n×m代替A， 則目標函數（6）可以重新表述為

minA^（i），J，F，Q^（i），μi∑

mi，j=1Bijμiμjtr（（S^（i）-A^（i）

）（S^（j）-A^（j））T）+γ‖J‖ω，#

+∑mi=1μi‖A^（i）-F（Q^（i））T‖2F，

s.t. S^（i）≥A^（i）≥0， i=1，2，…，m， F

TF=I， F≥0， A=J.（8）

引入Lagrange乘子H∈瘙綆^n×n×m和懲罰參數ρgt;0， 式（8）的增廣Lagrange乘子函數為

minA^（i），J，F，Q^（i），μi

∑mi，j=1Bijμiμjtr（（S^（i）-A^（i）

）（S^（j）-A^（j））T）+γ‖J‖ω，#+ ∑m

i=1μi‖A^（i）-F（Q^（i））T‖2F+ρ

2J-A+Hρ2F，

s.t. S^（i）≥A^（i）≥0， i=1，2，…，m， FTF=I， F≥0，

A=J.（9）

1） 更新A^（i）.

令Φ^（i）-1（J）=J^（i）， Φ^（i）-1

（H）=H^（i）， G^（i）=J^（i）-H^（i）ρ， 固定其他變量只考慮A^（i）， 則式（9）可化為

minA^（i）∑mi，j=1Bijμiμjtr（（S^（i）-

A^（i））（S^（j）-A^（j））T）+∑mi=1μi‖A^（i）-F（Q^（i））T‖2

F+ρ2‖G^（i）-A^（i）‖2F.（10）

對式（10）關于A^（i）求偏導， 并令其偏導為0， 整理可得：

2μiA^（i）+ρA^（i）+∑mj=1Bi

jμiμjA^（j）=2μiF（Q^（i））T+ρG^（i）+∑mj=1BijμiμjS^（j），i=1，2，…，m.（11）

進一步， 可將式（11）的左側轉化為關于（μ^（1）ij，…，μ^（m）ij）的線性方程組， 其系數矩陣為

M=2diagμ+ρ2+B·（μμT），（12）

其中： μ=（μ1，…，μm）T是視圖的權重向量; diag（μ+ρ/2）是對角矩陣， 第i個對角元素為μi+ρ/2; ·表示Hadamard積.

類似地， 令＼$T^（i）=2μiF（Q^（i））T+ρG^（i）

+∑mj=1BijμiμjS^（j）， t^（i）=vec（T^（i））， 其中vec（·）是向量化算子， 則式（11）可轉化為

M·vec（A^（1））vec（A^（m））=t^（1）t^（m），（13）

因此， 進一步計算得

vec（A^（1））vec（A^（m））

=pinv（M）·t^（1）t^（m），（14）

其中pinv（·）表示偽逆矩陣.

對vec（A^（i））進行重塑可得A^（i）， 同時考慮到約束條件S^（i）≥A^（i）≥0（i=1，2，…，m）， 最終A^（i）的解為

A^（i）=max{A^（i），0}，A^（i）=min{A^（i），S^（i）}.（15）

2） 更新J.

當固定A^（i），F，Q^（i），μi時， 可通過如下子問題更新變量J：

minJγρ‖J‖ω，#

+12J-A+Hρ2F.（16）

為解決上述加權張量核范數最小化問題， 引入以下定理.

定理1（加權張量核范數最小化問題的求解）^［26］對于張量A∈瘙綆^n1×n2×n3， l=min{n1，n2}

， 有A=U×S×VT. 對于模型argminX1

2‖X-A‖2F+τ‖J‖ω，#， 該模型的最優解為X=

Γτ×ω（A）=U×ifft（Pτ×ω（）

）×VT， 其中=fft（A，［ ］，3）， Pτ×ω（

）是一個張量， Ρτ×ω（^（i））表示Ρτ×ω（）的第i個前向切片.

根據定理1， 可得優化問題（16）的解為

J=Γ（γ/ρ）×ωA+1ρH.（17）

3） 更新F.

當固定A^（i），J，Q^（i），μi時， 可通過如下子問題求解變量F：

minF∑mi=1μi‖A^（i）-F（Q^（i））T‖2F，

s.t. FTF=I， F≥0.（18）

在求解問題（18）時， 先考慮具有正交約束模型的優化， 再考慮非負約束， 則有

minF∑mi=1μi‖A^（i）-F（Q^（i））T‖2F，

s.t. FTF=I .

minFTF=I∑mi=1μitr（

（A^（i）-F（Q^（i））T）T（A^（i）-F（Q

（i））T））. maxFTF=I∑m

i=1μitr（F（Q^（i））T（A^（i））T）.

maxFTF=Itr∑m

i=1μiA^（i）Q^（i）FT.（19）

令K=∑mi=1μiA^（i）Q^（i）， 則F可由矩

陣K進行奇異值分解得到. 令SVD（K）=UΣVT， 則優化問題（19）的

解為F=UVT. 考慮到F的非負性， 最終F的解為

F=max{0，UVT}.（20）

4） 更新Q^（i）.

固定變量A^（i），J，F，μi， 由于變量Q^（i）對每

個視圖是相互獨立的， 所以只需單獨考慮每個視圖以解決變量Q^（i）的優化問題， 忽略無關變量， 則式（9）可轉化為

minQ^（i）‖A^（i）-F（Q^（i））T‖2F.（21）

問題（21）是一個無約束優化問題， 對其關于變量Q^（i）求偏導， 并令偏導為0， 則有

-2（A^（i））TF+2Q^（i）FTF=0.（22）

由式（22）可得Q^（i）的解為

Q^（i）=（A^（i））TF（FTF）^-1.（23）

5） 更新μi.

固定其他變量， 直接通過式（7）計算權重因子μi.

6） 更新H和ρ.

Lagrange乘子H和懲罰因子ρ由下式進行更新

H=H+ρ（A-J），（24）ρ=σρ，（25）

其中σgt;1用于提高收斂速度.

2.3 時間復雜度分析

算法1 求解問題（9）.

輸入： 相似矩陣{S^（1），S^（2），…，

S^（m）}， 一致嵌入矩陣F和{Q^（1），Q^（2），…，Q

^（m）}， 參數α，β， 平衡參數γ， 權向量ω， 類數c；

輸出： 聚類標簽li=argmax1≤j≤c （Fij）；

步驟1） 初始化： J=H=0， 各視圖權重μi=1m， ρ=0.1， σ=2；

步驟2） 循環

步驟3） 利用式（14）和式（15）更新A^（i）；

步驟4） 利用式（17）更新J；

步驟5） 利用式（20）更新F；

步驟6） 利用式（23）更新Q^（i）；

步驟7） 利用式（7）更新權重因子μi；

步驟8） 利用式（24）更新Lagrange乘子H；

步驟9） 利用式（25）更新ρ;

步驟10） 直至收斂.

算法1描述了LRTCD算法的優化過程. 本文采用交替方向乘子法對目標函數（6）進行求解， 引入Lagrange乘子和懲罰參數將式（6）轉化為式（9）， 再將式（9）分解為多個子問題進行計算后， 每個子問題的時間復雜度如下： 式（14）和式（15）用于更新A^（i）， 時間復雜度為O（m2n2）； 式（17）用于更新J， 時間復雜度為O（2n2mlog（n））； 式（20）用于更新F， 這主要來源于矩陣K∈瘙綆^n×c的奇異值分解， 時間復雜度為O（nc2）； 利用式（23）更新Q^（i）， 時間負擔主要是式（23）的矩陣乘法， 時間復雜度為O（n2c）； 更新權重因子μi的時間復雜度為O（mn2）. 因此， 算法1的時間復雜度為O（t（m2n2+2n2mlog（n）+nc2+n2c+mn2））， 其中t，n，m和c分別表示迭代次數、 樣本數、 視圖數和聚類數.

3 實驗與結果分析

3.1 數據集

本文選取6個真實數據集進行實驗， 各數據集的信息列于表1， 其中di表示第i個視圖的特征維度. 數據集100leaves包含來自100種植物的1 600個數據樣本， 該數據集有3個視圖. 數據集Yale包含從15個個體中提取的165個樣本， 共3個視圖. 數據集ORL包含40個對象的400張人臉圖像， 是在不同的光線、 時間、 面部表情和面部描述下對不同對象拍攝的面部圖像， 共3個特征視圖. 數據集UCI由2 000個屬于10個數字的手寫數字圖像組成， 每個數字包含200個樣本， 本文實驗中， 選擇3個特征視圖. 數據集MSRCv1包含來自7個類的210張圖像， 共5個視圖. 數據集Caltech101包含了101個類別， 而數據集Caltech101-7是由其中7個類別構成的， 并包含1 474個樣本和6個視圖.

3.2 對比方法

為評估本文算法的性能， 將本文算法與下列多視圖聚類算法進行比較.

1） 經典的譜聚類算法（spectral clustering， SC）^［6］.本文在每個視圖上執行該方法， 分別用SC1，SC2，SC3等表示在每個視圖上運行該算法的結果， 其中SC1表示在第一個視圖上運行SC算法， 以此類推.2） 多樣性誘導的多視圖子空間聚類（diversity-induced multi-view subspace clustering， DiMSC）^［27］.其利用Hilbert-Schmidt獨立準則（HSIC）探索多視圖特征之間的互補信息， 這種增強的互補性減少了多視圖表示之間的冗余.

3） 基于多圖融合的多視圖譜聚類算法（multi-graph fusion for multi-view spectral clustering， GFSC）^［28］.其同時執行圖融合和譜聚類， 融合圖近似于每個單獨視圖的原始圖， 但保持明確的聚類結構.4） 基于自適應加權Procrustes的多視圖聚類算法（adaptively weighted procrustes， AWP）^［12］.其對各視圖的聚類能力進行加權， 并通過譜旋轉從多個譜嵌入中學習一致的指示矩陣.

5） 一致與特定視圖的多視圖子空間聚類（consistent and specific multi-view subspace clustering， CSMSC）^［29］.其將共享信息和特定于視圖的信息分別編碼為一致表示矩陣和特定視圖的表示矩陣， 從而進行譜聚類.

6） 自適應稀疏隸屬度和權重分配的多視圖聚類算法（multi-view clustering with adaptive sparse memberships and weight allocation， MVASM）^［7］.該算法引入一個

稀疏度隸屬矩陣表示每個視圖上的聚類， 從而保持了不同視圖上底層聚類模式的一致性.

7） 基于圖學習的多視圖聚類（graph learning for multi-view clustering， MVGL）^［8］.其通過對相似圖矩陣進行自動加權策略學習統一的圖， 并利用Laplace秩約束， 從而直接獲得聚類結果.8） 一致性和多樣性的多視圖聚類算法（consistent and divergent multi-view graph clustering， CDMGC）^［14］.其同時考慮多個視圖的一致性和多樣性， 并對一致性利用Laplace秩約束學習具有確定連通分量的融合圖.

為保證實驗的公平性和有效性， 上述對比方法的參數設置均根據原文提供的參數進行設置， 并重復計算10次取平均結果. 實驗采用5個常用的評價指標對聚類性能進行評估， 包括準確率（ACC）、 歸一化互信息（NMI）、 純度（Purity）、 F-score和精確度（Precision）， 這些聚類評價指標的值越大表示聚類效果越好.

3.3 實驗結果

在6個數據集上將本文算法與其他聚類算法進行對比， 為保證實驗數據的可靠性和公正性， 對所有算法均進行了10次實驗， 取平均結果. 實驗結果分別列于表2～表7.

由表2～表7可見：

1） 在數據集100leaves和Yale上， 本文算法的5個指標都最高. 在數據集100leaves上， 與性能次優的CDMGC算法相比， 本文算法分別在準確率和純度上約提高3個百分點， 在F-score上提高約5個百分點， 在精確度上約提高9個百分點； 在數據集Yale上與性能次優的CSMSC算法相比， 本文算法分別在準確率和純度上約提高11個百分點， 在F-score和精確度上約提高7個百分點， 在歸一化互信息上約提高5個百分點.

2） 在數據集ORL和UCI上， 盡管本文算法僅在部分指標上實現了最高性能， 但在其他指標上都與最好的算法差距很小. 如在數據集ORL上與CSMSC算法相比， 在準確率和純度指標上分別提高了約2.3個百分點， 而在其他指標上都與CSMSC算法差距很小.

3） 對于數據集MSRCv1， 本文算法在準確率、 歸一化互信息、 純度和F-score上的性能最高， 在精確度上的性能次優； 在數據集Caltech101-7上， 除純度外， 本文算法在其他4個指標上都取得了最好的聚類結果， 從而證明了本文算法的優越性.

4） 在上述6個數據集上， 本文算法比經典的單視圖聚類算法有明顯的優勢， 從而證明了多視圖聚類的可行性. 同時， 通過對各視圖進行譜聚類發現， 不同視圖的聚類性能存在差異， 因此在進行多視圖聚類時， 需要為不同視圖分配不同的權重， 而本文采用的自加權策略能有效解決權重分配的問題， 從而改善多視圖聚類的性能.

本文算法在考慮視圖差異性的同時關注了視圖間信息的高階相關性， 使學習到的各一致性相似矩陣具有更好的結構， 而且一致非負嵌入矩陣的學習也避免了后續聚類過程導致的信息損失問題， 因此在6個數據集上都有較好的聚類性能.

3.4 參數分析

下面以數據集Yale和MSRCv1為例驗證參數的敏感性. 本文算法共涉及α，β，γ及權向量ω 4個參數. 考慮到矩陣奇異值的先驗知識， 本文根據文獻［26］設置參數ω. 對于參數α和β， 均在{10^-5，10^-4，10^-3，10^-2，10^-1，100，101，102，103，104，105}中選取. 圖2為在數據集Yale和MSRCv1上參數α和β的敏感性分析結果. 由圖2可見， 本文算法較穩定， 表明本文算法對參數α和β是魯棒的.

對于平衡參數γ， 在{5，10，15，20，25，30，35，40，45，50，55，60，65，70，75，80，85，90，95，100}中選取. 將參數α和β設為最優時， 分析平衡參數γ， 結果如圖3所示. 由圖3可見， 聚類結果在數據集MSRCv1上較平穩， 在數據集Yale上存在一定的波動， 說明該參數比較敏感， 但在一定范圍內趨于穩定， 說明本文模型對參數γ是魯棒的.

3.5 收斂性分析

下面在數據集Yale和MSRCv1上驗證本文算法的收斂性， 結果如圖4所示. 圖4記錄了關于誤差變量∑mi=1‖A^（i）-J^（i）‖∞每次迭代的值. 由圖4可見， 變量誤差值約在前15次迭代中急劇下降， 之后基本保持穩定， 這表明本文算法能在幾次迭代后即達到收斂， 即本文算法收斂速度較快.

3.6 可視化分析

下面通過t-SNE（t-distributed stochastic neighbor embedding）算法^［30］對聚類結果進行可視化， 并依次可視化MVASM算法^［7］、 MVGL算法^［8］、 FAMVC（a similarity matrix low-rank approximation and inconsistency separation fusion approach for multi-view clustering）算法^［18］以及本文算法在數據集MSRCv1上的聚類結果， 結果如圖5所示. 由圖5可見： 與MVASM算法相比， 本文算法得到的聚類結果可視化后邊界更清晰； 與MVGL算法相比， 對于較難分的類， 例如圖中紅色和橙色兩類， 本文算法的聚類結果較好； 與FAMVC算法相比， 對于粉色和橙色兩類， 本文算法的結果較好， 并且聚類結構更緊湊. 因此， 本文算法總體上有更好的聚類能力.

3.7 運行時間

下面在數據集Yale，ORL和UCI上對比不同算法的運行時間， 結果列于表8.由表8可見： 在數據集Yale和ORL上， CSMSC算法的執行速度最慢； 在數據集UCI上， GFSC算法速度最慢； 此外， 在3個數據集上， AWP算法在8種多視圖聚類方法中的運行效率最高. 盡管CSMSC算法在聚類性能上與本文算法相近， 但其運行時間卻比本文算法約慢2/3， 這主要是因為CSMSC算法在聚類過程中需要執行特征分解， 導致了較高的計算開銷. 雖然本文算法比AWP，MVGL和CDMGC算法慢， 但本文算法在聚類性能方面取得了顯著改善， 表明了本文算法的有效性.

綜上所述， 針對如何利用多視圖數據中的隱含信息以及避免后續處理過程中帶來的聚類性能次優問題， 本文提出了一種基于一致性和差異性的低秩張量多視圖聚類算法， 于已有算法^[31-35]不同， 該算法同時考慮視圖的一致性和差異性信息， 對一致性信息使用張量構造的方法探索視圖間信息的高階相關性， 并使用基于加權t-SVD的張量核范數保持低秩性質， 從而得到了更高質量的相似矩陣. 該算法通過一致非負嵌入矩陣的學習直接獲得聚類結果， 避免了后處理導致的聚類結果不穩定現象， 同時也應用了自適應加權策略學習各視圖的權重. 此外， 本文提供了有效的優化算法， 并在6個真實數據集上的實驗結果證明了本文算法的有效性.

參考文獻

［1］WANG Y X， LIU X W， QI Y F， et al. A Review of Multi-view Clustering Algorithms［C］//Proceedings of the 2023 International Conference on Image Processing， Computer Vision and Machine Learning. Piscataway， NJ： IEEE， 2023： 847-851.

［2］LI Q S， RAMASAMY S， SINGH P， et al. Gene Clustering and Copy Number Variation in Alkaloid Metabolic Pathways of Opium Poppy［J］.Nature Communications， 2020， 11（1）： 2-11.

［3］HOU C P， NIE F P， TAO H， et al. Multi-view Unsupervised Feature Selection with Adaptive Similarity and View Weight［J］.IEEE Transactions on Knowledge and Data Engineering， 2017， 29（9）： 1998-2011.

［4］HUANG L， WANG C D， CHAO H Y， et al. MVStream： Multi-view Data Stream Clustering［J］.IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（9）： 3482-3496.

［5］CHEN Y Y， WANG S Q， PENG C， et al. Generalized Non-convex Low-Rank Tensor Approximation for Multi-view Subspace Clustering［J］.IEEE Transactions on Image Processing， 2021， 30： 4022-4035.

［6］LUXBURG U V. A Tutorial on Spectral Clustering［J］.Statistics and Computing， 2007， 17（4）： 395-416.

［7］HAN J W， XU J L， NIE F P， et al. Multi-view K-Means Clustering with Adaptive Sparse Memberships and Weight Allocation［J］.IEEE Transactions on Knowledge and Data Engineering， 2022， 34（2）： 816-827.

［8］ZHAN K， ZHANG C Q， GUAN J P， et al. Graph Learning for Multiview Clustering［J］.IEEE Transactions on Cybernetics， 2018， 48（10）： 2887-2895.

［9］HE Y F， YUSOF U K. Self-weighted Graph-Based Framework for Multi-view Clustering［J］.IEEE Access， 2023， 11： 30197-30207.

［10］WANG H B， JIANG G Q， PENG J J， et al. Towards Adaptive Consensus Graph： Multi-view Clustering via Graph Collaboration［J］.IEEE Transactions on Multimedia， 2022， 25： 6629-6641.

［11］ZHAN K， NIE F P， WANG J， et al. Multiview Consensus Graph Clustering［J］.IEEE Transaction on Image Processing， 2019， 28（3）： 1261-1270.

［12］NIE F P， TIAN L， LI X L. Multiview Clustering via Adaptively Weighted Procrustes［C］//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 2022-2030.

［13］LIANG Y W， HUANG D， WANG C D， et al. Multi-view Graph Learning by Joint Modeling of Consistency and Inconsistency［J］.IEEE Transactions on Neural Networks and Learning Systems， 2024， 35（2）： 2848-2862.

［14］HUANG S D， TSANG I W， XU Z L， et al. Measuring Diversity in Graph Learning： A Unified Framework for Structured Multi-view Clustering［J］.IEEE Transactions on Knowledge and Data Engineering， 2022， 34（12）： 5869-5883.

［15］LIU J L， WANG C， GAO J， et al. Multi-view Clustering via Joint Nonnegative Matrix Factorization［C］//Proceedings of the 2013 SIAM International Conference on Data Mining. Austin， Texas， USA： Curran Associates， Inc.， 2013： 252-260.

［16］LI Z H， HU Z X， NIE F P， et al. Multi-view Clustering Based on Generalized Low Rank Approximation［J］.Neurocomputing， 2022， 471： 251-259.

［17］HU Z X， NIE F P， WANG R， et al. Multi-view Spectral Clustering via Integrating Nonnegative Embedding and Spectral Embedding［J］.Information Fusion， 2020， 55： 251-259.

［18］HE Z Q， WAN S H， ZAPPATORE M， et al. A Similarity Matrix Low-Rank Approximation and Inconsistency Separation Fusion Approach for Multi-view Clustering［J］.IEEE Transactions on Artificial Intelligence， 2024， 5（2）： 868-881.

［19］XU H L， ZHANG X D， XIA W， et al. Low-Rank Tensor Constrained Co-regularized Multi-view Spectral Clustering［J］.Neural Networks， 2020， 132： 245-252.

［20］CHEN Y Y， XIAO X L， ZHOU Y C. Jointly Learning Kernel Representation Tensor and Affinity Matrix for Multi-view Clustering［J］.IEEE Transactions on Multimedia， 2020， 22（8）： 1985-1997.

［21］GAO Q X， XIA W， WAN Z Z， et al. Tensor-SVD Based Graph Learning for Multi-vew Subspace Clustering［C］//Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 3930-3937.

［22］KILMER M E， MARTIN C D. Factorization Strategies for Third-Order Tensors［J］.Linear Algebra and Its Applications， 2011， 435（3）： 641-658.

［23］KILMER M E， BRAMAN K， HAO N， et al. Third-Order Tensors as Operators on Matrices： A Theoretical and Computational Framework with Applications in Imaging［J］.SIAM Journal on Matrix Analysis and Applications， 2013， 34（1）： 148-172.

［24］ZHANG Z M， ELY G， AERON S， et al. Novel Methods for Multilinear Data Completion and De-noising Based on Tensor-SVD［C］//Proceedings of the 27th IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2014： 3842-3849.

［25］WANG H， YANG Y， LIU B， et al. A Study of Graph-Based System for Multi-view Clustering［J］.Knowledge-Based Systems， 2019， 163： 1009-1019.

［26］CHEN M S， WANG C D， LAI J H. Low-Rank Tensor Based Proximity Learning for Multi-view Clustering［J］.IEEE Transactions on Knowledge and Data Engineering， 2023， 35（5）： 5076-5090.

［27］CAO X C， ZHANG C Q， FU H Z， et al. Diversity-Induced Multi-view Subspace Clustering［C］//Proceedings of the 28th IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2015： 586-594.

［28］KANG Z， SHI G X， HUANG S D， et al. Multi-graph Fusion for Multi-view Spectral Clustering［J］.Knowledge-Based Systems， 2020， 189： 105102-1-105102-9.

［29］LUO S R， ZHANG C Q， ZHANG W， et al. Consistent and Specific Multi-view Subspace Clustering［C］//Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 3730-3737.

［30］VAN DER MAATEN L， HINTON G. Visualizing Data Using t-SNE［J］.Machine Learning Research， 2008， 9（11）： 2579-2605.

［31］王進， 梁晨， 孫開偉， 等. 基于標簽相關性的標簽特定特征多標簽學習 [J]. 江蘇大學學報（自然科學版）， 2023， 44（5）： 554-563. （WANG J， LIANG C， SUN K W， et al. Multi-label Learning with Label-Specific Features via Label Correlations [J]. Journal of Jiangsu University

（Natural Science Edition）， 2023， 44（5）： 554-563.）

［32］耿莉， 王長鵬. 基于多樣性的一致譜嵌入學習 [J]. 吉林大學學報（理學版）， 2022， 60（5）： 1133-1142. （GENG L， WANG C P. Consensus Spectral Embedding Learning Based on Diversity [J]. Journal of Jilin University （Science Edition）， 2022， 60（5）： 1133-1142.）

［33］王麗娟， 張霖， 尹明， 等.基于正交基的多視圖遷移譜聚類 [J]. 計算機工程， 2022， 48（10）： 37-44. （WANG L J， ZHANG L， YIN M，et al. Orthogonal Basis-Based Multiview Transfer Spectral Clustering [J]. Computer Engineering， 2022， 48（10）： 37-44.）

［34］胡傲然， 陳曉紅. 基于多樣性與一致性的單步多視圖聚類 [J]. 計算機工程， 2024， 50（5）： 51-61. （HU A R，CHEN X H. One-Step Multi-view Clustering Based on Diversity and Consistency [J]. Computer Engineering， 2024， 50（5）： 51-61.）

［35］袁林， 楊小飛， 邢志偉， 等. 潛在表示學習框架下的低冗余多視圖聚類算法 [J]. 重慶郵電大學學報（自然科學版）， 2023， 35（1）： 49-59. （YUAN L， YANG X F， XING Z W， et al. Multi-view Clustering Based on Latent Representation Learning and Low Redundancy [J]. Journal of Chongqing University of Posts and

Telecommunications （Natural Science Edition）， 2023， 35（1）： 49-59.）

（責任編輯： 韓 嘯）