多樣性約束和高階信息挖掘的多視圖聚類

摘 要：在現有的多視圖聚類研究中，大多數方法沒有考慮多視圖的多樣性，也沒有關注數據的高階鄰域信息，導致聚類結果不夠準確，難以挖掘數據集的底層信息。為了解決這些問題，提出了基于多樣性約束和高階信息挖掘的多視圖聚類算法（MVCDCHO）。首先設計了視圖間多樣性測量的方法，利用多樣性的約束保留數據的交集特征，同時去除多視圖的差異特征；然后提出了一種挖掘視圖高階信息的方法，要求多視圖的交集特征接近混合相似圖，以挖掘數據間相關性所沒有關注到的高階信息；最后將多視圖的交集特征融合成共識圖，通過譜聚類來獲取聚類目標圖;另外，設計了一種交替迭代的方法來迭代學習優化目標函數。實驗結果表明，MVCDCHO在歸一化互信息（NMI）、調整后的蘭德指數（ARI）、聚類精度（ACC）多個聚類評價指標上表現出優異的性能。理論分析和實驗研究驗證了MVCDCHO中多視圖多樣性和高階信息的關鍵作用，證明了MVCDCHO的優越性。

關鍵詞：多視圖聚類； 多樣性； 一致性； 高階信息

中圖分類號：TP399 文獻標志碼：A

文章編號：1001-3695（2024）08-009-2309-06

doi：10.19734/j.issn.1001-3695.2023.12.0615

Multi-view clustering with diversity constraints and high-order information mining

Zhao Zhenting， Zhao Xujun

（School of Computer Science & Technology， Taiyuan University of Science & Technology， Taiyuan 030024， China）

Abstract：In the current research on multi-view clustering， the majority of methods have not adequately considered the diversity of multiple views nor focused on the high-order neighborhood information of the data， which leds to clustering results that lack accuracy and struggle to uncover the underlying information in datasets. To address these issues， this paper proposed a multi-view clustering method based on diversity constraints and high-order information mining（MVCDCHO）. Firstly， it designed a method for measuring diversity between views， utilizing diversity constraints to preserve the intersection features of the data while eliminating differing features across multiple views. Subsequently， it introduced a method for mining high-order information in views， requiring the intersection features of multiple views to approximate a mixed similarity graph， thereby extracting high-order information in data correlations that has been overlooked. Finally， it fused the intersection features of multiple views into a consensus graph and employ spectral clustering to obtain the clustering target graph. Additionally， it designed an alternating iterative method， iteratively learning to optimize the objective function. The experimental results show that MVCDCHO has excellent performance on the normalized mutual information（NMI）， the adjusted Rand index（ARI）， and the clustering accuracy（ACC）. Theoretical analysis and experimental study underscore the crucial role of multi-view diversity and high-order information in the MVCDCHO algorithm， providing evidence for its superiority.

Key words：multi-view clustering; diversity; consistency; high-order information

0 引言

近些年來，隨著人們獲取和處理信息的方式日益多樣化，已經可以從現實世界的各個應用領域中獲取大量的數據。這些數據是多視圖數據，通常包含來自多種模態或多個視角的異構特征。隨著多視圖數據的不斷涌現，單一視圖的分析方法在處理多模態數據時顯得力不從心，多視圖聚類就成為了應對復雜多模態數據分析的重要工具。例如，在生物醫學研究中，一種藥物，自己的化學結構和在與不同細胞中的化學反應可以被看作不同的視圖；一種蛋白質，自己的序列和在不同細胞中的基因表達值可以被看作不同的特征［1］。利用多視圖聚類有助于發現新的藥物結構、預測藥物在不同細胞中的活性，優化藥物設計，以及提高疾病分類和診斷的準確性。在金融領域，面臨著從多個角度收集的數據，如客戶的交易歷史、行為模式和信用評分等。這些信息可以被看作是不同的視圖，反映了客戶在金融系統中的多個方面。通過采用多視圖聚類算法，可以更好地理解客戶群體的行為模式，并檢測異常交易模式或潛在的欺詐行為。這種綜合多視圖的方法有助于提高金融風險管理的效果，為金融機構提供更精確的風險評估和預測工具。多視圖聚類旨在整合來自不同視圖或數據源的信息，以更全面和準確地揭示數據之間的關系，為數據挖掘和知識發現提供更強大的工具。與傳統的單視圖聚類方法相比，多視圖聚類能夠更好地處理異構特征，充分利用多模態數據的信息，從而提高聚類結果的質量和可解釋性。多視圖聚類在許多領域都有著廣泛的應用，包括圖像分析、生物醫學研究、金融風險評估、文本挖掘、社交網絡分析等。

盡管現有算法已經從各方面提高了聚類的性能，但大多數方法仍有一定的局限性。首先，現有很多方法嚴重依賴視圖之間的一致性信息，忽視了多視圖的多樣性信息，這導致了它們容易受到低質量或帶有噪聲的數據集的干擾，從而影響了聚類結果的質量。其次，主要關注樣本之間的直接關系，即樣本間的相似性。但是，樣本不僅與它的鄰居相似，而且還與其鄰居的鄰居相似。所以，直接關系中的信息并不完全，導致了未能準確地提取隱藏在高階鄰近中有價值的信息。最后，現有聚類方法通常使用分多個階段進行的策略，這導致了協同處理不同階段之間的挑戰，限制了聚類性能的提升。

針對上述問題，本文提出了一種基于多樣性約束和高階信息挖掘的多視圖聚類（multi-view clustering with diversity constraints and high-order information mining，MVCDCHO），將多視圖的多樣性學習、高階信息的挖掘、一致性學習以及譜聚類集成到一個框架中進行聯合優化學習，有效減少了信息的丟失，避免了多步策略帶來的次優結果。首先，本文設計了數據間多樣性測量的方法，將多個視圖的數據分離成交集特征和差異特征，通過對多樣性的約束保留數據的交集特征，同時去除差異特征；其次，提出了一種挖掘視圖高階信息的方法，通過要求多視圖的交集特征接近混合相似圖，準確地提取數據間相關性所沒有關注到的高階信息；最后，在將交集特征進行圖融合后，對共識圖進行譜聚類操作實現多視圖聚類；此外，設計了一種有效的交替迭代方法，用于優化聚類的目標函數。

1 相關工作

1.1 多視圖聚類

近年來，多視圖聚類受到學術界以及工業界的廣泛關注，從不同的角度開發了很多的多視圖聚類算法。

協同訓練的思想是將多個獨立的模型組合在一起，并讓它們相互學習和提供反饋，以改進每個模型的性能。Zhou等人［2］提出了一種半監督回歸算法，采用協同訓練風格。該算法利用兩個回歸量去相互標記未標記數據，通過均方誤差減少量估計置信度，以有效地利用未標記數據來改進回歸估計。Zhang等人［3］提出一種新的協同訓練算法，通過數據編輯技術估計分類器對未標記示例的預測置信度，并在不同視圖之間傳遞高置信度的預測標簽。然而，當不同視圖之間的相關性較低時，協同訓練可能面臨一些限制。首先，不同視圖提供的信息可能差異較大，使得協同訓練難以有效整合多視圖信息，因為模型通常通過共享信息來提高性能，但當不同視圖之間缺乏明顯關聯時，模型之間的協同學習可能受到限制；其次，協同訓練通常依賴于共享參數或交替訓練的方式，以最大程度地利用各個視圖的信息，在不同視圖相關性較低的情況下，這可能導致優化問題的復雜性增加，使得模型難以收斂或陷入局部最優。因此，協同訓練可能無法有效利用多視圖信息，導致性能下降。在設計協同訓練方法時需要認識到這些局限性，并尋求解決方案以提高在復雜多視圖數據下的性能。

多視圖的圖聚類是一種利用多個不同視角或特征表示的數據進行聚類分析的方法。通過綜合多個視圖的信息，以獲得更準確和全面的聚類結果。AWP方法［4］對單視點光譜聚類的光譜旋轉技術進行多視點擴展，提出了自適應加權方法以克服權重平均在多視圖任務中的局限。Tang等人［1］提出了一種統一的一步多視點光譜聚類方法，通過整合光譜嵌入和K-means到一個統一的框架中，直接從統一圖中獲取離散聚類標簽，避免了信息丟失。劉金花等人［5］在譜嵌入階段實施多視圖信息的融合，以減少噪聲和數據差異的影響，并在聯合優化學習中整合了圖學習和譜聚類，有效提高了模型的性能。GMC［6］的學習方法是能夠相互學習每個視圖的圖矩陣和統一圖矩陣的一體化框架，自動加權每個數據圖矩陣并自然地劃分數據點為所需數量的聚類。Chen等人［7］提出的基于低秩張量的接近學習方法，通過將多個低秩概率親和矩陣疊加在一個低秩約束張量中，綜合考慮多個視圖間的全面性和高階相關性，并將特定視圖表示的自適應置信度與共識指標圖結合起來。

多視圖子空間是用于處理多視圖數據的一種數據表示和分析方法，通過結合不同視圖的子空間來獲得更全面、更準確的數據描述和分析結果。Lin等人［8］通過對不同特征賦予權重，并在特定于視圖的自表示特征空間中捕獲數據的局部信息，以提高視圖聚類的性能。該方法采用了聚類分配正則化來保持多視圖的一致性，并通過增廣拉格朗日乘子的交替迭代算法進行優化。DiMSC［9］擴展了現有的子空間聚類方法，以適用于多視圖數據。它不僅考慮了數據的子空間結構，還考慮了不同視圖之間的互補性。CSMSC方法［10］將一致性和特異性結合起來用于子空間表示學習，部署了一個通用的一致表示和一組特定的表示來制定多視圖設置中的自表達屬性。趙興旺等人［11］提出一種基于二部圖的聯合譜嵌入多視圖聚類算法，通過考慮多視圖數據的鄰域關系和重要性，以及引入聚類指示矩陣的方式，實現了更準確和魯棒的聚類。

1.2 高階信息

高階的鄰域關系已經被開發出了很多方法。L-MSC［12］利用多個視圖的互補信息，同時尋找底層潛在表示，考慮具有低秩約束的展開張量來捕獲高階相關性。Wang等人［13］探索多視圖數據中的高階統計量來增強多視圖聚類，將高階相似性和高階相關性整合到自適應學習模型中，更加全面地挖掘內在的聚類結構。李理等人［14］通過將高維多視圖數據投影到低維嵌入空間，學習到干凈字典以消除冗余信息和噪聲對聚類性能的影響。將低秩投影融入基于張量學習的多視圖子空間聚類框架，充分挖掘多視圖數據的高階信息。SCMV-3DT［15］基于三階張量空間的t積來處理多視圖聚類問題，通過考慮多個視圖之間的高階統計信息，增強了對多視圖數據的潛在子空間結構的恢復，從而提高了聚類性能。

上述方法中仍然存在一些缺點：a）這些方法中大多數只是處理多視圖的一致性信息，忽視了多視圖的多樣性信息；b）大多數方法只是考慮數據的一階相似度信息，沒有考慮多數據的高階相似度信息。這些方法由于在數據處理中對這些信息的忽視，可能會影響聚類的效果。相反，MVCDCHO模型可以利用多視圖的多樣性信息以及挖掘多視圖的高階信息。

2 相關理論基礎

本章回顧了多視圖的多樣性以及高階信息探索的知識。主要使用的符號如表1所示。

2.1 視圖間的多樣性測量

為了測量多視圖的多樣性，將初始圖S（v）分解為交集特征A（v）和差異特征E（v），表示為

S（v）=A（v）+E（v）（1）

其中：A（v），E（v）∈Euclid Math TwoRApn×n≥0。這里的關鍵是找到矩陣A（v）、E（v）。這種差異特征可以被視為一個更普遍的概念，它不僅可能是由噪聲引起，還可能是由各個視圖特定的不同類型特征引發的。在相似圖上，噪聲通常被認為是稀疏的，但差異特征不是稀疏的。因此，在相似圖上處處可能出現差異。這樣，圖內的稀疏性不再是檢測多樣性的合理考慮因素，并且差異特征應該是彼此有差異的，因為沒有差異就等于是交集特征而不是差異特征了。文獻［16］假設差異部分在視圖之間稀疏，將多視圖的差異特征E（v）乘積，如果視圖之間的多樣性稀疏，則差異特征的乘積之和應較小，文獻［16］中有

η∑Vv，u=1v≠usum（（E（v））☉（E（u）））（2）

其中：η是一個權衡參數。式（2）明確地衡量了不同觀點之間的多樣性。同時，因為還希望每個視圖內的差異特征較小，設θ也表示一個權衡參數，可以表述為

θ∑Vv=1sum（（E（v））☉（E（v）））（3）

2.2 高階信息探索

在這里進一步探索特征空間中的相似信息。相似度是數據點之間的基本關系，利用高階關系學習有價值的信息。文獻［17］定義n階圖是Wnv=Wn-1v×W1v，Wnv是相似圖。為了挖掘高階鄰域關系的信息，將混合相似圖定義為

fv（W）=W1v+W2v+…+Wnv（4）

其中：一階鄰近關系是節點間最直觀的關系，而無窮級相互作用關系是移動無窮步后的穩定關系。假設一階和無窮階相似圖包含了大部分信息，則定義n→∞時代價最小的混合相似圖為

fv（W）=W1v+Wnv（5）

為了結合多視圖的高階信息，要求A（v）接近混合相似圖，用數學公式表示為

minγv，A（1）…A（V）∑Vv=1γv‖A（v）-fv（W）‖2F（6）

3 多樣性約束和高階信息挖掘的多視圖聚類

為了解決大多數多視圖聚類的方法沒有考慮到多視圖的多樣性以及沒有充分考慮到高階鄰域信息的問題，提出了MVCDCHO的多視圖聚類方法，并展示了方法的優化求解過程。

3.1 多樣性約束和高階信息挖掘的多視圖聚類

為了提高多視圖聚類的性能，提出了一個將多視圖的一致性學習、多樣性學習以及挖掘多視圖的高階信息聯合學習的框架。圖1給出了MVCDCHO模型的框架圖，主要分為多樣性約束和高階信息挖掘兩部分。在進行數據處理后，通過圖融合得到共識圖U，對共識圖U進行譜聚類操作得到F指標矩陣，獲得聚類結果。在目標函數中，利用多樣性約束以及挖掘到的高階信息之后的交集特征來構建目標圖，而非依賴最初的相似圖，從而提高適應真實世界數據集的性能。利用E（v）=S（v）-A（v）和sum（（E（v））☉（E（u）））=Tr（E（v）（E（u））T），將式（3）（6）合并得到目標函數：

minγv，A（1）…A（V），U，F∑Vv，u=1wvuγvγuTr（（S（v）-A（v））（S（u）-A（u））T）+

∑Vv=1γv‖A（v）-fv（W）‖2F+∑Vv=1γv‖A（v）-U‖2F+α‖U‖2F+μTr（FTLUF）

s.t. LTγ=1，γ≥0，S（v）≥A（v）≥0

uTL=1，U≥0，FTF=I，rank（LU）=n-c（7）

其中：第一項是測量視圖間的多樣性，使視圖中的多樣性稀疏，目的是統一視圖中的多樣性；第二項是探索視圖中的高階信息，挖掘視圖間的高階信息，利用高階關系學習有價值的信息；第三、四項是圖融合，它是通過將各個視圖的交集特征A（v）線性組合，最終獲得共識圖U;第五項是用譜聚類求解共識圖，引入U的拉普拉斯矩陣LU，通過譜聚類實現圖聚類，將得到的k個連通分量組成最終的特征矩陣F，使用K-means聚類來對數據進行最終的聚類，這里的α、μ是權衡參數。

3.2 優化過程

為了求解式（7），采用交替迭代最小化優化方案。分別固定U，A（1），…，A（V），F求解γv，固定γv，A（1），…，A（V），F求解U，固定U，γv，F求解A（1），…，A（V），固定γv，A（1），…，A（V），U求解F，將優化分成四個部分，每次優化一個問題，通過迭代這個過程不斷優化，直至目標函數收斂即完成優化方案。在優化方案中，對于γv，A（1），…，A（V），因為不好求解，將其轉換成求解二次規劃問題，為了獲得二次規劃中的P、q，將目標函數式（7）轉換成不同的形式，如式（9）（10）所示。

f（γv，A（1），…，A（V），U，F）=

∑Vv，u=1wvuγvγu∑i，j（（S（v）ij-A（v）ij）（S（u）ij-A（u）ij）T）+∑Vv=1γv∑i，j（A（v）ij-Uij）2+∑Vv=1γv∑i，j（A（v）-fv（W））2+

α∑i，jU2ij+μTr（FTLUF）=（8）

∑i，j∑Vv，u=1wvuTr（（S（v）-A（v））（S（u）-A（u））T）γvγu+

∑Vv=1（‖A（v）-fv（W）‖2F+‖A（v）-U‖2F）γv+C1=（9）

∑i，j∑Vv=1（2γv（A（v）ij）2+∑Vu=1wvuγvγuA（v）ijA（u）ij）-

2∑Vv=1γv（fv（W）+Uij+∑Vu=1γuwvuS（v）ij）A（v）ij+C2（10）

1）固定U，A（1），…，A（V），F求解γv

定義γ=（γ1，γ2，…，γv），將目標函數表示為二次規劃問題

minγ12γTPγ+qTγ s.t. γ>0，l·γ=1（11）

根據式（9）可以知道，這里的P∈Euclid Math TwoRApV×V并且由公式中的二次項以及一次項可得

q=∑Vv=1（‖A（v）-fv（W）‖2F+‖A（v）-U‖2F）（12）

P=∑Vv，u=1wvuTr（（S（v）-A（v））（S（u）-A（u））T）（13）

2）固定γv，A（1），…，A（V），F求解U

當固定γv，A（1），…，A（V），F時，式（7）可以簡化成

∑Vv=1γv‖A（v）-U‖2F+α‖U‖2F（14）

對其進行求導，令導數等于零，則有

U=∑Vv=1γvA（v）α+1（15）

3）固定U，γv，F求解A（1），…，A（V）

對于一對固定的（i，j），設x=［A（1）ij，…，A（v）ij］T是A的對應列，所以通過式（10）可以看出，公式是關于x的二次函數，所以可以將目標函數表示為一個有上界和下界的二次規劃問題：

minγ12xTPx+qTx s.t. 0≤x≤u（16）

其中：u=［S（1）ij，…，S（v）ij］T，要對每一個（i，j）求解二次規劃，容易知道這些QP問題中的下界為0，上界為S。由式（10）中的二次項以及一次項可知

P=∑Vv=1（2γv+∑Vu=1wvuγvγu）（17）

q=-2∑Vv=1γv（fv（W）+Uij+∑Vu=1γuwvuS（v）ij）（18）

4）固定γv，A（1），…，A（V），U求解F

當固定γv，A（1），…，A（V），U，式（7）可以簡化成minF μTr（FTLUF）（19）

最優解F可由LU的c個最小特征值對應的c個特征向量得到。在迭代優化的方案中，變量γv，A（1），…，A（V），U和F可以以相互作用的方式迭代更新，直到收斂。

優化過程的每次迭代都會減小目標函數式（7）的目標函數值。在這里根據文獻［17］，確定定義下界是10-5。在實驗過程中，監測目標函數的變化情況，觀察到在算法不斷迭代中，所有的目標函數值都是不斷下降并趨近于10-5時，算法收斂，因此定義下界是10-5?；诙鄻有约s束和高階信息探索的多視圖聚類算法（MVCDCHO）的詳細步驟如算法1所示。

算法1 MVCDCHO

輸入：算法最大迭代次數N；數據點X1，…，XV ；參數θ，η，α，μ。

輸出：聚類的結果，聚類指標ACC，NMI，ARI。

a）初始化相似圖S并且設每個視圖的權重γv=1V

b）通過式（4）求出混合高階相似圖fv（W）

c）while 目標函數值>10-5 do

通過式（12）（13）更新γv，式（9）對目標函數進行計算推導，用求解二次規劃的方法更新γv

通過式（15）更新U，將目標函數化簡成式（14），通過求導更新U

通過式（17）（18）更新A1，…，AV，式（10）對目標函數進行計算推導，用求解二次規劃的方法更新A1，…，AV

通過式（19）對共識圖U進行譜聚類操作，先獲得特征矩陣F，再對特征矩陣F中的k個連通分量使用K-means聚類處理

end while

d）獲得聚類指標ACC，NMI，ARI，U上的聚類結果

4 實驗分析

4.1 實驗設置

為了評估提出的基于多樣性約束和高階信息挖掘的多視圖聚類（MVCDCHO）方法的效果，實驗中采用了如下的幾個基準的多視圖數據集進行對比分析。

a）Yale。該數據集是一個廣泛用于計算機視覺和模式識別研究的人臉圖像數據集。這個數據集以耶魯大學的名字命名，包含來自15個不同人的165張人臉圖像。每個人都提供了11個不同的表情或姿勢，以及各種光照條件下的圖像。

b）ORL。該數據集是一個用于人臉識別研究的常用數據集。它由意大利Pentland實驗室的研究人員創建，包含了40個不同人的400張灰度人臉圖像。每個人提供了10張不同姿勢和表情的圖像，這些圖像在相機中以不同的光照條件捕獲。

c）BBCSport。該數據集包含來自BBCSport網站的體育新聞文章，總共包含大約544條新聞文章樣本。這些樣本被分為五個不同的體育主題類別，通常包括足球、網球、籃球、田徑和汽車賽車等。

d）UCI。該數據集是一個用于機器學習和模式識別研究的手寫數字識別數據集。該數據集包含了手寫數字0～9的圖像樣本。每個數字類別都有200個不同的樣本，共有2 000個樣本。

用于對比的11種方法分別是AASC［18］、GMC［6］、AWP［5］、RMSC［19］、CSMSC［10］、L-MSC［12］、DiMSC［9］、WMSC［20］、SCMV-3DT［15］、SGMF-GS［21］和SGMF-KO［21］ 。通過歸一化互信息（NMI）、調整后的蘭德指數（ARI）、聚類精度（ACC）三個廣泛使用的指標來衡量聚類性能。

4.2 參數敏感性分析

本文方法有四個自由參數需要調優，分別是θ、η、α、μ。設置這些參數在相同的范圍{10-4，10-3，10-2，…，104}。在圖2、3中展示了這些參數在不同數據集上的聚類性能。

從圖2可以看出，參數θ、η在一定的范圍內是穩定的，表明該參數沒有那么敏感。由于參數θ、η在取值為103、10時各數據集的聚類都能取得較好結果，最終固定參數θ=103，η=10。從圖3（a）分析可知，當參數α的值過小時，它帶來的影響并不明顯，然而若取值α過大，則會引起強烈的約束，導致聚類性能的下降，也表明α對調節目標函數還是很重要的。從圖3（b）可以發現，參數η會影響譜聚類的性能，可以看出隨著參數的增大，準確率跟著上升，直到峰值隨著參數的繼續增大準確率會逐漸下降。這兩者都在這個范圍內顯示出峰值，說明模型對參數α、μ是魯棒的。因此，為了提高模型參數調整的效率，在比較實驗中選擇參數α=10，μ=102。

4.3 實驗對比與分析

將MVCDCHO與11種聚類算法進行了對比實驗，表2～5以及圖4分別報告了在不同數據集下，用不同方法得到的ACC、NMI、ARI的詳細聚類結果。在每個表的不同數據集中，采用粗體強調了各個度量方面的最佳性能。從這幾個表中可以觀察到：

a）MVCDCHO幾乎在所有的數據集上都取得了最佳的聚類性能結果，證明了該方法在所有數據集上的魯棒性。例如，在Yale數據集上，其在ACC和NMI方面比次優方法大約提高了0.8和0.9百分點。

b）MVCDCHO通過將多視圖的交集特征融合后再進行聯合聚類優化，不但去除了多視圖中的噪點與損失，而且挖掘了多視圖中的高階信息，還通過譜聚類直接獲得聚類結果，防止分步策略帶來的次優結果。不同于RMSC通過標準馬爾可夫鏈進行譜聚類，不同于DiMSC挖掘互補信息來增強多視圖聚類，也不同于L-MSC、SCMV-3DT通過使用張量來挖掘高階信息，MVCDCHO引入混合相似圖，讓交集特征接近混合相似圖來挖掘高階信息，通過使用拉普拉斯矩陣求解特征向量實現多視圖聚類。從實驗結果可以看出，MVCDCHO可以更合理地挖掘多視圖數據中隱藏的高階信息，使聚類效果更加準確和可靠。

c）MVCDCHO優于AASC、RMSC以及對每個視圖進行自適應加權的GMC、AWP、WMSC，這可以解釋為對比方法沒有考慮多視圖間的不一致性。然而，MVCDCHO充分考慮了多視圖間的不一致性，從而獲得了更好的聚類結果。

d）對于DiMSC、CSMSC，與MVCDCHO相似，都是選擇融合的方法來尋求一致的類簇結構，CSMSC將一致性和特異性結合起來用于子空間表示學習，DiMSC探索多視圖表示的互補性，與MVCDCHO不同的是，用不同的方法去除噪聲以及挖掘高階信息，不同的操作必然會對最終結果造成影響。從實驗結果可以看出，MVCDCHO優于DiMSC、CSMSC，只有在BBCSport數據集下，ARI指標略低于CSMSC，因為MVCDCHO主要針對的是聚類的準確性，而且ARI的差距不大，可以忽略。

e）與L-MSC、SGMF-GS、SGMF-KO等相比，它們的性能不如MVCDCHO，可能是忽略了多視圖數據的高階相似度信息。而MVCDCHO挖掘了多視圖數據之間更深層次的信息，獲得多視圖數據的高階相似度信息，所以在聚類性能的提升上取得了突破。

f）圖4進一步分析了本文方法在直觀上優越的潛在原因，展示了不同方法在UCI數據集上的可視化，從圖中可以看出，每個方法都使數據得到了很好的恢復。MVCDCHO的聚類結果優于其他算法，尤其是GMC、DiMSC，其中GMC忽略了多視圖的多樣性，DiMSC沒有考慮隱藏在多視圖的高階信息。相比SCMV-3DT，MVCDCHO有更好的數據結構，即塊對角結構，驗證了MVCDCHO的有效性和魯棒性。

4.4 收斂性分析

對四個數據集上的收斂性進行實驗研究，圖5展示了MVCDCHO在四個不同數據集上的收斂曲線，從圖中可以看出，目標函數值的曲線是收斂的，隨著迭代次數的增加，目標函數值逐漸下降后保持穩定，并且都可以在20次迭代中收斂，證明了MVCDCHO收斂穩定。

4.5 權重分析

在MVCDCHO達到收斂后，確定了多視圖聚類中的每個視圖的權重，圖6展示了MVCDCHO在不同數據集中不同視圖的權重配比。從圖中可以看出，該算法在權重分配時并未使用極化或零權重的策略，而是基于每個視圖在算法中的重要性進行自適應分配。實驗結果顯示了MVCDCHO在處理多視圖數據時的有效性，通過迭代學習調整權重配比，提高了聚類性能。

5 結束語

本文主要提出了一種基于多樣性約束和高階信息挖掘的多視圖聚類算法（MVCDCHO），該算法同時利用了多視圖的一致性部分、多樣性部分以及高階信息探索。具體地說，該算法利用多視圖的多樣性去除視圖間的噪聲，然后通過要求交集特征等于混合相似圖探索高階信息，在將多視圖的交集特征融合成共識圖后，用譜聚類實現圖聚類，先獲得特征矩陣F，再對特征矩陣F中的k個連通分量使用K-means進行聚類處理。采用交替迭代優化方案，分別優化多視圖的權重、多視圖的交集特征和多視圖的共識圖，每個子任務可以通過協同優化其他子任務的結果來達到更好的性能。理論分析和實驗結果均強調了多視圖多樣性和高階信息的關鍵作用。

參考文獻：

［1］Tang Chang， Liu Xinwang， Zhu Xinzhong， et al. CGD： multi-view clustering via cross-view graph diffusion［C］//Proc of AAAI Confe-rence on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 5924-5931.

［2］Zhou Zhihua， Li Ming. Semisupervised regression with cotraining-style algorithms［J］. IEEE Trans on Knowledge and Data Engineering， 2007，19（11）： 1479-1493.

［3］Zhang Mingling， Zhou Zhihua. CoTrade： confident co-training with data editing［J］. IEEE Trans on Systems， Man， and Cyberne-tics， Part B， 2011， 41（6）： 1612-1626.

［4］Nie Feiping， Lai Tian， Li Xuelong. Multiview clustering via adaptively weighted procrustes［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM Press， 2018： 2022-2030.

［5］劉金花， 汪洋， 錢宇華. 基于譜結構融合的多視圖聚類［J］. 計算機研究與發展， 2022， 59（4）： 922-935. （Liu Jinhua， Wang Yang， Qian Yuhua. Multi-view clustering based on spectral structure fusion［J］. Journal of Computer Research and Development， 2022， 59（4）： 922-935.）

［6］Wang Hao， Yang Yan， Liu Bin. GMC： graph-based multi-view clustering［J］. IEEE Trans on Knowledge and Data Engineering， 2019， 32（6）： 1116-1129.

［7］Chen Mansheng， Wang Changdong， Lai Jianhuang. Low-rank tensor based proximity learning for multi-view clustering［J］. IEEE Trans on Knowledge and Data Engineering， 2022，35（5）： 5076-5090.

［8］Lin Shixun， Zhong Guo， Shu Ting. Simultaneously learning feature-wise weights and local structures for multi-view subspace clustering［J］. Knowledge-Based Systems， 2020， 205： 106280.

［9］Cao Xiaochun， Zhang Changqing， Fu Huazhu， et al. Diversity-induced multi-view subspace clustering［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2015： 586-594.

［10］Luo Shirui， Zhang Changqing， Zhang Wei， et al. Consistent and specific multi-view subspace clustering［C］//Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 3730-3737.

［11］趙興旺， 王淑君， 劉曉琳， 等. 基于二部圖的聯合譜嵌入多視圖聚類算法［J/OL］. 軟件學報. （2023-11-16）. https：//kns.cnki.net/kcms/detail/11.2560.TP.20231115.1508.009.html. （Zhao Xingwang， Wang Shujun， Liu Xiaolin， et al. Joint spectral embedding multi-view clustering algorithm based on bipartite graphs［J/OL］. Journal of Software. （2023-11-16）. https：//kns.cnki.net/kcms/detail/11.2560.TP.20231115.1508.009.html.）

［12］Zhang Changqing， Fu Huazhu， Hu Qinghua， et al. Generalized latent multi-view subspace clustering［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2018， 42（1）： 86-99.

［13］Wang Haiyan， Chen Jiazhou， Zhang Bin， et al. Accurate multi-view clustering by exploiting within-view high-order affinities through tensor self-representation［C］//Proc of IEEE International Conference on Bioinformatics and Biomedicine. Piscataway， NJ： IEEE Press， 2022： 595-600.

［14］李理， 李敬豪， 張小乾. 基于張量學習的潛在多視圖子空間聚類［J］. 西南科技大學學報， 2022， 37（3）： 52-59. （Li Li， Li Jinghao， Zhang Xiaoqian. Tensor learning-based for latent multi-view subspace clustering［J］. Journal of Southwest University of Science and Technology， 2022， 37（3）： 52-59.）

［15］Yin Ming， Gao Junbin， Xie Shengli， et al. Multiview subspace clustering via tensorial t-product representation［J］. IEEE Trans on Neural Networks and Learning Systems， 2019， 30（3）： 851-864.

［16］Liang Youwei， Huang Dong， Wang C D， et al. Multi-view graph learning by joint modeling of consistency and inconsistency［J］. IEEE Trans on Neural Networks and Learning Systems， 2024， 35（2）： 2848-2862.

［17］Pan Erlin， Zhao Kang. High-order multi-view clustering for generic data［J］. Information Fusion， 2023， 100： 101947.

［18］Huang H C， Chuang Y Y， Chen C S. Affinity aggregation for spectral clustering［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2012： 773-780.

［19］Xia Rongkai， Pan Yan， Du Lei， et al. Robust multi-view spectral clustering via low rank and sparse decomposition［C］//Proc of the 28th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2014： 2149-2155.

［20］Zong Linlin， Zhang Xianchao， Liu Xinyue， et al. Weighted multi-view spectral clustering based on spectral perturbation［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 4621-4629.

［21］He Yanfang， Yusof U K. Self-weighted graph-based framework for multi-view clustering［J］. IEEE Access， 2023， 11： 30197-30207.