類中心極大的多視角極大熵聚類算法

摘要：在數據稀少、數據維度高、多視角聚類任務的情況下，傳統極大熵聚類算法會因類中心趨于一致，從而導致聚類失敗。為解決此類問題，在傳統極大熵聚類算法的基礎上，引入類中心懲罰機制，融合權重矩陣實現多視角劃分融合，構建出類中心極大的多視角極大熵聚類算法。該算法通過調整每個視角上的權重來體現某個視角的重要性，并通過類中心極大懲罰項解決了多視角聚類任務下，因數據稀少、數據維度高導致每個視角上的類中心趨于一致的問題。通過大量實驗進一步證明，該算法在處理高維度、數據稀少、存在干擾數據和多視角的數據集時，其聚類效果明顯優于傳統的聚類算法。

關鍵詞：極大熵聚類； 類中心懲罰項； 多視角聚類； 類中心一致

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695（2022）04-010-1019-05

doi：10.19734/j.issn.1001-3695.2021.09.0399

Multi-view maximum entropy clustering algorithm with center distance maximization

Ding Jianyu， Qi Yunsong， Zhao Chengxiang

（College of Computer， Jiangsu University of Science amp; Technology， Zhenjiang Jiangsu 212100， China）

Abstract：In the face of sparse data， high data dimensions and multi view clustering tasks， the traditional maximum entropy clustering algorithm will cause clustering failure because the class center tends to be consistent. In order to solve this problem， based on the traditional maximum entropy clustering algorithm， this paper introduced the class center punishment mechanism， integrated the weight matrix to achieve multi perspective division and integration， and constructed a multi view maximum entropy clustering algorithm with class center maximum. The algorithm reflected the importance of a certain perspective by adjusting the weight on each perspective， and solved the problem that the class center on each perspective tends to be consistent due to the scarcity of data and high data dimension in the multi perspective clustering task. Through a large number of experiments， it further proves that the clustering effect of this algorithm is significantly better than the traditional clustering algorithm when dealing with high-dimensional， sparse data， interference data participating and multi view data sets.

Key words：maximum entropy clustering; central punishment mechanism; multi-view clustering algorithm; center consistency

0引言

聚類分析是無監督模式識別中的一種重要方法，已廣泛應用于圖像處理、數據挖掘和文本分析等領域［1～3］。隨著模糊理論的發展以及模糊集理論逐漸引入到聚類分析中［4］，模糊劃分聚類基于分類的模糊性能夠更加有效地反映客觀世界的模糊性，人們逐步接受了模糊聚類的分析方法。

模糊聚類中具有代表的算法有模糊C均值算法（fuzzy C-means，FCM）［5］和極大熵聚類算法［6，7］（maximum entropy clustering，MEC）等。其中MEC算法將信息論的概念引入到聚類算法中，并將極大熵的理論思想應用于最小均方差中，因此它比FCM具有更明確的實際意義。文獻［8］提出了基于魯棒的極大熵聚類算法RMEC，用于解決例外點無法標志的問題；Guo等人［9］提出了將極大熵聚類算法用到實時目標跟蹤中。

傳統的極大熵聚類算法采用歐氏距離來計算樣本的隸屬度，因此在對高維度、樣本量少或者存在樣本缺失和失真的數據集進行聚類分析時，無法獲取到準確的聚類中心，且可能出現聚類中心趨于一致的問題［10～16］。現實生活中獲取到的數據都是高維度且存在噪聲的，并且在聚類分析過程中由于樣本數過多且維度過高，通常會對數據集進行一定倍數的縮放，易導致數據集部分信息缺失或失真，所以會嚴重影響極大熵聚類算法的實際應用性能。傳統的MEC主要是針對單一視角聚類任務提出的軟化聚類算法，當面對維度過高的數據集時，只能從各個視角對數據集進行聚類分析，然后將視角的聚類結果通過集成學習機制［17，18］進行統一，最終得到聚類分析的結果。此方法雖然能夠得到多視角聚類的結果，但將多視角的數據集分為多個獨立視角進行處理，會產生各視角的聚類結果存在差異性的現象，從而導致聚類結果不夠理想。張丹丹等人［19］提出在MEC中加入基于劃分融合與視角加權方法來實現視角劃分的融合，此方法雖然能夠解決MEC算法在多視角聚類時的性能問題，但針對樣本少或者存在失真且縮放的數據集進行聚類分析時，無論從單視角或者多視角都會導致聚類效果不夠理想。

針對上述問題，本文在傳統極大熵聚類算法的基礎上，引入類中心懲罰機制和融合權重矩陣來實現多視角劃分的融合，提出了一種新的類中心極大的多視角極大熵聚類算法（multi-view clustering algorithm with center distance maximization，MV-MEC）。

本文算法針對伴有污染的真實數據集或樣本少的數據集進行聚類分析時，通過引入懲罰項有效地避免了聚類中心趨于一致的問題，從而達到準確的聚類效果。為了擴大傳統極大熵聚類算法適用范圍，本文引入多視角融合權重矩陣，既從全局考慮了各視角間的共性，也從局部考慮了各視角間的差異性。通過將類中心懲罰項和多視角融合權重矩陣引入到極大熵聚類算法中，無論從單一視角還是多視角進行聚類任務時，都能夠有效地避免類中心一致的問題，從而提高聚類的精準度。

1相關工作

1.1模糊C均值聚類算法

模糊C均值聚類算法［19］是一種經典的模糊聚類算法。給定樣本集合X={xi|xi∈d，i=1，2，…，N}，FCM數學表達式如下：

min（U，V）JFCM（U，V）=min（U，V）∑Ci=1∑Nj=1μij‖xj－vi‖2

s.t. μij∈［0，1］，1≤i≤C，1≤j≤N，∑Ci=1μij=1（1）

其中：N表示聚類樣本總數；d表示每個樣本在歐氏空間中的維度；C表示聚類的類別數，需在FCM聚類算法開始時進行設定;μij∈［0，1］是隸屬度矩陣U的元素，表示第j個樣本屬于第i個類簇的可能性；vi是類中心矩陣V的元素，表示第i個類簇的聚類中心。傳統的模糊C均值聚類算法在進行聚類分析時，必須初始化C個聚類中心，然后通過迭代下降的方法，逐步進行迭代，直至H（X）=－∑x∈Xp（x）log p（x）趨于穩定。模糊C均值聚類算法對于初始參數比較敏感，且在迭代過程中易陷入局部最小值。

1.2信息熵

1948年，信息論之父香農第一次提出信息熵［20］的概念，用數學的方式闡明了概率與信息冗余度的關系，解決了信息的量化問題。信息熵的數學公式為

H（X）=－∑x∈Xp（x）log p（x）（2）

根據信息熵公式可以得出信息熵的一條重要性質，即發生的事件概率越高，其所攜帶的信息越低。

1.3MEC聚類算法

為了解決模糊C均值聚類對初始化聚類中心敏感和易陷入局部最小值的問題，將傳統MEC聚類算法在模糊C均值聚類算法的基礎上融入了信息熵的概念。樣本X={xi|xi∈d，i=1，2，…，N}，初始化聚類中心的個數C（2≤Clt;N），傳統MEC聚類算法的目標函數為

min（U，V）JMEC（U，V）=min（U，V）∑Ci=1∑Nj=1μij‖xj－vi‖2+γ∑Ci=1∑Nj=1μij ln μij

s.t. μij∈［0，1］，1≤i≤C，1≤j≤N，∑Ci=1μij=1（3）

其中：∑Ci=1∑Nj=1μij ln μij是添加的熵項，通過極大化信息熵可在聚類分析過程中保留更多的信息，從而讓樣本能夠準確地劃分到對應的類簇中;γ是正則化參數，用于調節熵項在目標函數中的權重占比。根據拉格朗日數乘法，可求解得到MEC聚類中心點V和隸屬度U的迭代公式。

vi=∑Nj=1μijxj∑Nj=1μiji=1，2，…，C（4）

μij=exp（－‖xj－vi‖2γ）∑Ck=1exp（－‖xj－vk‖2γ）i=1，2，…，C;j=1，2，…，N（5）

根據迭代公式，采用與K均值聚類相同的迭代方式，傳統MEC聚類算法的迭代步驟如下：

算法1傳統MEC聚類算法

輸入：樣本X={xi|xi∈"d，i=1，2，…，N}；聚類中心數C；熵項正則化參數γ；

最大迭代次數T和迭代終止條件ε。

輸出：最終類中心矩陣V和隸屬度U矩陣。

初始化迭代計數器t=0，隨機初始化聚類中心矩陣V（t）；

for t=1，2，…，T

通過式（5）計算得到新的隸屬度矩陣U（t）

通過式（4）和最新的U（t+1）計算得到新的聚類中心矩陣V（t+1）

if‖U（t+1）－U（t）‖Flt;ε，結束for循環;

end

分析上述傳統MEC聚類算法的聚類過程，可以得出如下結論：傳統MEC聚類算法在計算樣本的隸屬度時，采用歐氏距離進行度量，該方法存在一個缺陷，即當樣本的數據維度過高且數據量較少的情況下，聚類的過程無法獲取到每個類簇中心的最優值，易出現類中心趨于一致的問題，而且從迭代步驟看出，傳統MEC算法是從單一視角進行聚類分析的，因此對多視角數據集進行聚類時會導致聚類效果差。

為了克服傳統MEC聚類算法的缺陷，本文在傳統MEC的目標函數上引入了類中心懲罰機制和融合權重矩陣來實現多視角劃分的融合，用于解決MEC聚類中心趨于一致和多視角聚類效果差的問題。

2類中心極大的多視角極大熵聚類算法

2.1類中心懲罰項

傳統的模糊劃分聚類基本上都是以歐氏距離來計算隸屬度，因此針對樣本分布密集或者存在噪聲的數據集進行聚類分析時，易出現類中心趨于一致的現象，導致最終的聚類效果差。本文針對傳統的極大熵提出類中心懲罰項策略，在傳統MEC算法中加入懲罰項，在迭代過程中增加類間的對抗策略，從而有效避免類中心重合的問題，具體公式為

min －λC－1∑Ci=1∑Ck=1，k≠i‖vi－k‖2

s.t. λgt;0（6）

其中：k表示上一次聚類中心中的第k類中心；C是聚類中心個數；λ為平衡因子；vi是第i個類中心。根據式（6）可知，最優化目標函數即拉大類中心之間的距離，只有盡可能拉大類中心之間的距離才能使目標函數取到最優值。通過此對抗懲罰項可以確保在任一視角的聚類任務中都能夠使得類中心相互排斥遠離，從而能夠徹底解決聚類類中心趨于一致的問題。

2.2融合權重矩陣策略

為了解決傳統極大熵聚類算法在多視角聚類任務中無法獲取令人滿意的聚類結果的問題，本文引入了融合權重矩陣策略，具體公式如下：

∑Kk=1wk∑Ci=1∑Nj=1∑Kt=1zk，tuij，t‖xj，k－vi，k‖（7）

其中：K是數據集的視角數量；wk表示第k個視角上的權重；C表示類別總數；N表示樣本總數；‖xj，k－vi，k‖2表示在k視角上的第j個樣本與第i個類中心之間的距離；μij，k表示在k視角上的第j個樣本相對于第i個類中心的隸屬度；vi，k表示在k視角上第i類的類中心；zk，t表示第t個視角的劃分在第k個視角聚類中的重要程度；∑Kt=1zk，tuij，t是劃分融合項，實現了不同視角劃分重要性在第k個視角上的聚類結果的融合，其中不同視角劃分重要性通過zk，t表示。

2.3算法描述

將2.1節中提出的類中心懲罰項和2.2節提出的融合權重矩陣兩個策略應用在傳統的極大熵聚類算法上，本文提出了類中心極大的多視角極大熵聚類算法（multi-view maximum entropy clustering algorithm with center distance maximization，MV-MEC）。對于一個多視角樣本數據集X={view1，view2，view3，…，viewK}，K表示有K個視角，其中K≥1，因此MV-MEC的具體公式如下：

JMV-MEC（U，Z，W，V）=∑Kk=1wk∑Ci=1∑Nj=1∑Kt=1zk，tuij，t‖xj，k－vi，k‖+

γ∑Ci=1∑Nj=1∑Tt=1μij，t ln μij，t+η∑Kk=1∑Kt=1zk，t ln（zk，t）+λ∑kk=1wk ln （wk）+

αC－1∑Kk=1wk∑Ci=1∑Cs=1，s≠i‖vi，k－s，k‖2

s.t.1≤i≤C，1≤j≤N，αgt;0，γgt;0，ηgt;0，λgt;0，1≤k≤K，K≥1（8）

上式中的約束項如下

∑Ci=1μij，t=1，μij，t∈［0，1］，1≤i≤C（9）

∑Kk=1wk=1，wk∈［0，1］，1≤k≤K（10）

∑Kt=1zk，t=1，zk，t∈［0，1］，1≤k，t≤K（11）

其中：wk表示第k個視角上的權重;C表示聚類中心個數;N表示樣本總數;‖xj，k－vi，k‖2表示在k視角上的第j個樣本與第i個類中心之間的距離;μij，k表示在k視角上的第j個樣本相對于第i個類中心的隸屬度;vi，k表示在k視角上第i類的類中心;zk，t表示第t個視角的劃分在第k個視角聚類中的重要程度;公式中的α、γ、η、λ、k、K、C均為非負數。

根據Lagrange條件極值最優解的方法可解出式（7）類中心和隸屬度的迭代公式。首先構建如下Lagrange表達式，其中αj為Lagrange乘子。

LMV-MEC（U，Z，W，V）=JMV-MEC（U，Z，W，V）+

∑Nj=1αj（1－∑Ci=1μij）（12）

分別求LMV-MEC（U，Z，W，V）關于μij，t和vi，k的偏導數可得其迭代公式，具體推導如下：

a）類中心迭代公式。令LMV-MEC（U，Z，W，V）vi，k=0，則

LMV-MEC（U，Z，W，V）vi，k=2∑Nj=1∑Kt=1zk，tμij，t（xj，k－vi，k）+αC－1∑Cs=1，s≠i（vi，k－s，k）=0

類中心vi迭代公式：

vi=∑Cj=1∑Kt=1zk，txj，kuij，t－αC－1∑Cs=1，s≠ik∑Cj=1∑Kt=1zk，tμij－αi=1，2，…，C（13）

b）隸屬度迭代公式。令LMV-MEC（U，Z，W，V）uij，t=0，則

LMV-MEC（U，Z，W，V）uij，t=∑Kk=1wkzk，t‖xj，k－vi，k‖2+γ（1+ln μij，t）－αj=0（14）

根據∑Ci=1μij，t=1，并結合式（14）可以解得

μij，t=exp（－∑kk=1wkzk，t‖xj，k－vi，k‖2γ）∑Ck=1exp（－∑Kk=1wkzk，t‖xj－vk‖2γ）i=1，2，…，C; j=1，2，…，N

（15）

c）劃分融合權重迭代公式。由于∑Ci=1μij，t=1可以構建式（12）的Lagrange表達式，且∑Kt=1zk，t=1，同理也可以構建Lagrange表達式，具體如下：

LMV-MEC（U，Z，W，V）=JMV-MEC（U，Z，W，V）+

∑Nj=1αj1（1－∑Kt=1Zk，t）（16）

所以

LMV-MEC（U，Z，W，V）zk，t=wk∑Ci=1∑Nj=1uij，t‖xj，k－vi，k‖2+η（ln vk，t+1）（17）

同理可以得到多視角重要性迭代公式：

zk，t=exp（－wk∑Ci=1∑Nj=1uij，t‖xj，k－vi，k‖2η）∑Ch=1exp（－wk∑Ci=1∑Nj=1uij，h‖xj，k－vi，k‖2η）（18）

d）多視角權重迭代公式。同理根據多視角權重矩陣的約束項，可得如下表達式：

LMV-MEC（U，Z，W，V）=JMV-MEC（U，Z，W，V）+

∑Nj=1αj2（1－∑Kk=1wk）（19）

同理可以得到多視角權重迭代公式：

wk=exp（－∑Ci=1∑Nj=1∑Kt=1zk，tuij，t‖xj，k－vi，k‖2η）∑Ch=1exp（－∑Ci=1∑Nj=1∑Kt=1zh，tuij，t‖xj，h－vi，h‖2η）（20）

算法2類中心極大的多視角極大熵聚類算法

輸入：聚類任務數據集X={view1，view2，view3，…，viewK}，類別C，迭代上限，最小閾值ε，參數γ、η、λ。

輸出： 類中心V，隸屬度U，劃分融合矩陣Z={zk，t}和多視角權重W={wk}。

初始化多視角學習類中心

a）多視角學習類中心需要根據歷史經驗給出，這里可以采用傳統的MEC算法對相似的聚類任務進行識別獲取。

類中心極大的多視角聚類過程

b）初始化隸屬度矩陣U（0），Z={zk，t}，W={wk}，設置迭代次數為1；

c）根據式（13）得最新類中心V（n+1），使用V（n+1）更新k；

d）根據式（15）得最新類中心U（n+1）；

e）根據式（18）更新隸屬度Z={zk，t}；

f）根據式（20）更新隸屬度W={wk}；

g）若‖U（n+1）－U（n）‖Flt;ε或迭代次數n達到最大時，迭代結束，否則n=n+1，并返回步驟c）；

h）輸出當前數據集最優類中心V，隸屬度U，劃分融合矩陣Z和多視角權重W。

3實驗及結果分析

本章將針對模擬數據集和真實數據集對本文算法進行性能分析，通過與傳統的極大熵聚類算法（MEC）基于多任務學習機制的算法（learning the shared subspace for multi-task clustering，LSSMTC）［20］、組合K均值算法（combine K-means，Comb KM）［20］、自學習聚類算法 （self-taught clustering，STC）［21］以及基于劃分融合與視角加權的極大熵聚類算法（maximum entropy clustering algorithm based on partition fusion and view-weighting，MEC_PFV）共四種算法進行比較，從多方位來驗證本文算法在處理信息缺失、存在干擾數據、信息維度高和多視角集的聚類任務時具有更好的魯棒性。

本文的實驗均采用以下的硬件配置與編程環境：Windows 10系統，CPU是i7-770k，編程環境是MATLAB 2014。

3.1聚類性能評價指標

為了對聚類算法的聚類效果有一個統一的評價標準和直觀的評價結果，本文采用歸一化互信息（normalized mutual information，NMI）和芮氏（rand index，RI）指標進行分析討論。

1）歸一化互信息（NMI） ［15，22，23］指標

歸一化互信息的目標表達式為

NMI=∑Ci=1∑Cj=1Ni，j1nNNi，jNiNj（∑Ci=1NilnNiN）（∑Cj=1NjlnNjN）（21）

其中：Ni，j表示第i類與類j的相似度;Ni表示第i個類中的樣本數;Nj表示類j中的樣本數;N是總樣本量。NMI取值為［0，1］，其值越接近1，聚類性能越好。

2）芮氏指標

芮氏指標（RI） ［15，22，23］的目標表達式為

RI=f00+f11N（N－1）/2（22）

其中：f00表示聚類錯誤配對數目;f11則表示聚類正確的配對數目;而N是總樣本量。RI取值為［0，1］，其值越接近1，聚類性能越好。

3.2實驗結果

3.2.1模擬數據實驗及結果分析

由于在真實場景和現實生活中，獲取到的數據都會伴隨一定的干擾數據在里面，同時，在對數據進行后期處理的過程中，為了調控數據因為衡量尺度不同而導致的差異性，通常會對數據集進行一定倍數的縮放。傳統的MEC算法不僅對數據集的純凈度與數據量大小較為敏感［24］，數據縮放倍數的變化也會影響MEC算法的性能。當數據縮放的尺度到1E-3及以下時，傳統的MEC算法得到的類中心趨于一致，聚類算法失效。為了得到本文引入的類中心懲罰機制，通過極大化類中心間的距離，使得算法在縮放數據集上更具有魯棒性的結論，本文的模擬數據集采用高斯型函數生成，加入縮放數據集聚類實驗，為了能夠滿足STC遷移學習算法實驗需求，遵循歷史域數據集和當前域數據集必須是既存在相關性又有很大差別的準則生成歷史數據集和當前數據集，具體參數如下：

a）歷史數據集D1。歷史數據集共分四類，每類300個樣本，共1 200個樣本，如圖1所示。第一類Ε1=［25］，Σ1=［11 0;0 11］；第二類Ε2=［1117］，Σ2=［25 0;0 9］；第三類Ε3=［1032］，Σ3=［320;022］；第四類Ε4=［205］，Σ4=［130;013］。這里Ε表示樣本均值，Σ表示樣本協方差，下文類同。

b）當前數據集。當前數據集分兩種情況：數據分布稀疏即數據量缺失，記為D2；數據量相對豐富但含有干擾和噪聲信息即數據失真，記為D3。具體生成過程概括如下：D2也包含四類數據，每類30個樣本（占歷史數據集的10%），第一類Ε1=［34］，Σ1=［11 0;011］；第二類Ε2=［1216］，Σ2=［250;09］；第三類Ε3=［1230］，Σ3=［320;022］；第四類Ε4=［224.5］， Σ4=［130;013］。

按照D2特征生成400個樣本點，每類100個樣本點，且在其中加入兩類干擾數據點并對其中一簇數據施以均值為0、方差為2的高斯噪聲，從而構成數據集D3。每類干擾點為30個樣本，第一類干擾點為Ε1=［610］，Σ1=［40;04］；第二類干擾點為Ε2=［922］，Σ2=［40;04］。D1～D3如圖1所示。為了模擬實際生活中對數據集縮放保存的場景，本文對D2和D3的場景進行等比例縮放處理，縮放倍數分別為1、0.1、0.01、0.001。根據生成和縮放后的數據集進行實驗，五種算法的實驗結果如表1所示。由于篇幅限制，表2中列出傳統MEC和MV-MEC的類中心具體情況，并在圖2中可視化地列出D3詳細的聚類中心。

分析實驗數據可得如下結論：

a）比對圖1和2中的D3數據集可以看出，在縮放后，數據整體分布保持不變，其整體特征沒有變化。從圖2和表2結果中可以看出，在數據集縮小10倍后，傳統的MEC算法聚類中心已趨于一致，因而其在此數據集上的距離任務已失效，這是由于傳統的聚類算法采用歐氏距離進行相似性評估，即使在數據整體特征分布沒有變化的情況下，也存在聚類任務失效的風險。

b）從圖2和表2的結果可以得出，MV-MEC的聚類性能明顯優于傳統的MEC算法，即使在數據集縮小1 000倍后還能夠保持可分的聚類中心。相比于傳統的MEC，MV-MEC具有更好的聚類性能，也能夠更好地適應多樣化的聚類任務，這主要得益于類中心對抗懲罰項，通過此自助學習來避免算法聚類中心趨于一致。

c）從圖2和表2的結果中可以看出，MV-MEC算法在數據集縮小100后，其聚類性能有比較大的退化，其主要原因是在數據集縮小100后，每個樣本間的可分性逐漸趨于模糊，即使在趨于一致的聚類任務中，MV-MEC也能保持相對可分的聚類中心，這進一步證明了本文提出的對抗學習懲罰項的有效性。

d）從表1結果可以發現，在數據集沒有縮小的聚類任務中，所有對比算法的性能在D2數據集上要優于D3數據集，從側面證明了無監督的聚類算法性能對干擾點較敏感。由于STC算法充分利用了歷史知識，在D3聚類任務中取得了最優的聚類性能，緊隨其后的是本文提出的MV-MEC算法，這也證明了MV-MECS算法在不用歷史知識的情況下，通過自我學習也能夠獲得比較好的聚類性能。

3.2.2UCI數據集實驗結果分析

為了進一步驗證本文算法的多視角聚類性能，本章采用UCI真實數據集中具備多視角特性的IS數據集和WTP數據集。相關數據集的基本信息如表3所示。

本文為了滿足STC算法的需求，從每個數據集中選取80%～90%的數據作為歷史域數據集，剩下的為當前域數據集。具體的實驗結果如表4所示。

通過真實數據集的實驗結果進一步驗證了本文MV-MEC算法的性能，相比于傳統的極大熵聚類算法來說，當處理擁有多個視角的數據集時能夠表現出更好的聚類效果。

4結束語

為了解決傳統極大熵MEC聚類算法在數據集存在高維、樣本少、缺失及失真的場景下無法獲取準確的類中心，且可能會出現類中心趨于一致的問題，本文引入類中心極大懲罰項，使得算法能夠通過自我學習有效地避免類中心重合的問題。針對傳統極大熵聚類算法在多視角聚類任務中無法獲得較好的聚類效果的問題，提出了多視角融合權重矩陣，不但從全局考慮了各視角間的共性，而且從局部考慮了各視角間的差異性。本文在模擬數據集以及UCI真實數據集下，進一步驗證了本文提出的 MV-MEC 算法的效果，但本文算法懲罰項需要手動設置，在后續的研究中，可進一步研究懲罰項在數據缺失情況下自適應取值的問題。

參考文獻：

[1]Crowther D， Kim S， Lee J， et al. Methodological synthesis of cluster analysis in second language research［J］.Language Learning，2021，71（1）：99-130.

［2]Ghosal S， Bhattacharyya R， Majumder M. Impact of complete lockdown on total infection and death rates： a hierarchical cluster analysis［J］.Diabetes amp; Metabolic Syndrome： Clinical Research amp; Reviews，2020，14（4）：707-711.

［3]Nan Feng， Li Yang， Jia Xuelong， et al. Application of improved SOM network in gene data cluster analysis［J］.Measurement，2019，145：370-378.

［4]Ruspini E H. A new approach to clustering［J］.Information and Control，1969，15（1）：22-32.

［5]Bezdek J C. Pattern recognition with fuzzy objective function algorithms［M］.Berlin：Springer Science amp; Business Media，2013.

［6]Tao Xinmin， Wang Ruotong， Chang Rui， et al. Density-sensitive fuzzy kernel maximum entropy clustering algorithm［J］.Knowledge-Based Systems，2019，166：42-57.

［7]Ferraro M B， Giordani P. A review and proposal of （fuzzy） clustering for nonlinearly separable data［J］.International Journal of Approximate Reasoning，2019，115：13-31.

［8]Wu Chengmao， Kang Zhiqin. Robust entropy-based symmetric regularized picture fuzzy clustering for image segmentation［J］.Digital Signal Processing，2020，110（1）：102905.

［9]Guo Junjun， Yuan Xiangrui， Han Chongzhao. Sensor selection based on maximum entropy fuzzy clustering for target tracking in large-scale sensor networks［J］.IET Signal Processing，2017，11（5）：613-621.

［10]Duan Lixin， Tsang I W， Xu Dong. Domain transfer multiple kernel learning［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2012，34（3）：465-479.

［11]Yang Pei， Tan Qi， Ding Yehua. Bayesian task-level transfer learning for non-linear regression［C］//Proc of International Conference on Computer Science and Software Engineering.2008：62-65.

［12]Deng Zhaohong， Jiang Yizhang， Choi K S， et al. Knowledge-leverage based TSK fuzzy system modeling［J］.IEEE Trans on Neural Network and Learning Systems，2013，24（8）：1200-1212.

［13]Li Ziyu， Peleato N M. Comparison of dimensionality reduction techniques for cross-source transfer of fluorescence contaminant detection models［J］.Chemosphere，2021，276：130064.

［14]Pan S J， Kwok J T， Yang Qiang.Transfer learning via dimensionality reduction［C］//Proc of AAAI.2008：677-682.

［15]Li Sheng， Li Kang， Fu Yun. Self-taught low-rank coding for visual learning［J］.IEEE Trans on Neural Networks amp; Learning Systems，2018，29（99）：645-656.

［16]Kong Shu， Wang Donghui. Transfer heterogeneous unlabeled data for unsupervised clustering［C］//Proc of the 21st International Confe-rence on Pattern Recognition.2012：1193-1196.

［17]Klemettinen M， Mannila H， Toivonen H. Rule discovery in telecommunication alarm data［J］.Journal of Network and Systems Manage-ment，1999，7（4）：395-423.

［18]Liu Xiaodong， Jia Wenjuan， Liu Wanquan， et al. AFSSE： an interpretable classifier with axiomatic fuzzy set and semantic entropy［J］.IEEE Trans on Fuzzy Systems，2019，28（11）：2825-2840.

［19]張丹丹，鄧趙紅，蔣亦樟，等.基于劃分融合與視角加權的極大熵聚類算法［J］.計算機工程，2016，42（4）：184-189.（Zhang Dandan， Deng Zhaohong， Jiang Yizhang， et al. Maximum entropy clustering algorithm based on partition fusion and view-weighting［J］.Computer Engineering，2016，42（4）：184-189，196.）

［20]Rezaee M J， Eshkevari M， Saberi M， et al. GBK-means clustering algorithm： an improvement to the K-means algorithm based on the bargaining game［J］.Knowledge-Based Systems，2021，213：106172.

［21]Pava J A， Goloshchapova N. On the standing waves of the NLS-log equation with point interaction on a star graph［J］.Journal of Mathematical Analysis and Applications，2019，473（1）：53-70.

［22]Gu Quanquan， Zhou Jie. Learning the shared subspace for multi-task clustering and transductive transfer classification［C］//Proc of ICDM. 2009：159-168.

［23]Nousi P， Tefas A. Self-supervised autoencoders for clustering and classification［J］.Evolving Systems，2020，11（7）：453-466.

［24]陳愛國，蔣亦樟，錢鵬江.基于最大中心間隔的縮放型η-極大熵聚類算法［J］. 計算機應用研究，2013，30（1）：103-106，123.（Chen Aiguo， Jiang Yizhang， Qian Pengjiang. Maximum center interval and scaling type of η-maximum entropy clustering［J］.Application Research of Computers，2013，30（1）：103-106，123.）

［25]Tang Jiayi， Wan Zhong. Orthogonal dual graph-regularized nonnegative matrix factorization for co-clustering［J］.Journal of Scientific Computing，2021，87（3）：article No.66.

［26]Brooks M E， Kristensen K， Darrigo M R， et al. Statistical modeling of patterns in annual reproductive rates［J］.Ecology，2019，100（7）：e02706.

收稿日期：2021-09-17；

修回日期：2021-11-11

基金項目：中國高校產學研創新基金資助項目（2019ITA01047）

作者簡介：丁健宇（1997-），男，江蘇鎮江人，碩士，主要研究方向為數據挖掘、模式識別與智能計算（apasake@163.com）；祁云嵩（1967-），男，山東青島人，教授，碩導，博士，主要研究方向為模式識別理論與應用、機器學習、智能信息處理等；趙呈祥（1996-），男，安徽宿州人，碩士，主要研究方向為模式識別、機器學習.