熵正則化下的變分深度生成聚類模型

張志遠，陳亞瑞，楊劍寧，丁文強，楊巨成

天津科技大學 人工智能學院，天津300457

無監督聚類是機器學習領域一個富有挑戰性的研究方向，它是將無標簽的數據通過某種度量聚集在一起的過程。傳統聚類的方法一般分為兩種：基于相似度的聚類和基于特征的聚類?；谙嗨贫鹊木垲惙椒ㄊ峭ㄟ^某種距離度量來表示數據之間的相似性，并將相似度高的數據聚集在一起，經典代表算法是譜聚類（spectral clustering，SC）[1]?；谔卣鞯木垲惙椒ㄊ窃跀祿奶卣骺臻g中，依照某種度量來進行聚類的，經典代表算法包括K-均值方法（K-means）[2]和高斯混合模型（Gaussian mixture model，GMM）[3]。傳統聚類算法實現簡單高效，被廣泛應用于各種實際問題。但是傳統聚類算法的瓶頸在于它無法學習到數據的高層特征表示，同時也很難處理高維度的大規模數據集。

近幾年，深度學習在人工智能領域掀起熱潮，它利用深層神經網絡強大的學習能力來挖掘數據的特征信息，可以高效處理高維度、大規模的數據集。深度學習的特性為聚類算法提供了新的思路，將深度學習與聚類算法結合起來，首先通過深層神經網絡學習數據的特征信息，再結合聚類算法對特征信息進行聚類，最終實現端到端的深度聚類。已有的一些研究工作[4-5]將深度學習與基于特征的聚類方法結合起來，利用神經網絡來學習數據在隱空間中的結構化信息，再在隱空間中使用傳統聚類算法對隱向量進行聚類，最后聯合深度模型和聚類算法的優化目標，利用隨機梯度下降法來訓練神經網絡的參數。還有一些研究工作[6]將深度學習與基于相似度的聚類方法結合起來，主要用來解決傳統聚類算法的瓶頸問題。

相比傳統聚類模型，深度聚類模型不僅解決了傳統聚類算法的瓶頸問題，而且大幅度提高了模型的聚類精度。具體地，Yang 等人[7]提出了深度聚類網絡模型（deep clustering network，DCN），該模型在自編碼器的優化目標中加入了聚類損失來學習數據的隱向量與聚類分配。Xie 等人[8]提出了深度嵌入聚類模型（deep embedded clustering，DEC），該模型首先使用自編碼器和K-means 算法來初始化模型參數，然后將定義好的KL 散度作為優化目標，利用隨機梯度下降算法進行參數更新。Zhang 等人[9]提出了混合自編碼模型（mixture of autoencoder，MIXAE），該模型聯合多個自編碼器來學習數據在隱空間中的特征表示，其中，一個自編碼器學習一種類別信息，并使用神經網絡來計算隱向量的聚類分配。上述模型以不同的方式建模，可以達到較好的聚類性能，但是很難擴展到聚類之外的其他任務，如生成數據。

深度生成模型結合了深度神經網絡和概率生成模型，是深度學習領域的重要研究方向之一，經典的深度生成模型包括：變分自編碼（variational autoencoder，VAE）[10]模型、生成對抗網絡（generative adversarial nets，GAN）[11]模型和對抗自編碼（adversarial autoencoders，AAE）[12]模型等。已有研究工作表明用深度生成模型進行數據聚類，不僅可以實現高精度的聚類任務，而且可以生成高質量的數據[4-5，13-17]。具體地，Jiang 等人[4]提出了變分深度嵌入（variational deep embedding，VaDE）模型，該模型使用VAE 模型作為基礎框架，并假設隱向量的先驗概率分布為GMM，通過VAE 模型學習生成數據的能力，通過GMM 在數據的隱空間完成聚類分配的任務。Dilokthanakul等人[5]提出了高斯混合變分自編碼（Gaussian mixture variational autoencoders，GMVAE）模型，該模型與VaDE 模型的本質思想相同，區別在于GMVAE 模型比VaDE 模型多了一個隨機過程，用來配合神經網絡計算GMM 的均值與方差。然而VaDE 與GMVAE 對隱向量分布的學習都是獨立的，無法捕捉到數據的局部結構信息。Yang 等人[13]提出了基于圖嵌入的深度高斯混合（deep Gaussian-mixture VAE with graph embedding，DGG）模型，該模型在VaDE 模型的基礎上引入了圖嵌入技術，將每一個樣本數據看成圖中的點，將JS 散度（Jensen Shannon divergence）作用在每一條邊上，以此描述樣本數據間的結構信息。實驗表明，DGG 模型的聚類精度相比VaDE 模型有很大的提升。VaDE 模型、GMVAE 模型和DGG 模型在訓練初期都存在局部收斂問題[14]，因而這些模型在訓練初期都使用了自編碼器來進行預訓練，解決該問題的方法還有最小化信息約束算法[14]。

本文在VAE 模型框架下提出VDGC-ER（variational deep generative clustering model under entropy regularizations）模型。首先，VDGC-ER 模型的生成模型以連續隱向量作為模型的特征表示，并對連續隱向量進行GMM 先驗建模，以離散隱向量作為類別向量。模型的變分推理模型是基于均值場的分解形式，可分解為編碼和聚類兩部分。與VaDE 模型不同的是，該模型通過對離散隱向量引入樣本熵正則化項來增強預測聚類類別的區分度，即增大預測為真的分量與預測為假的分量之間的距離，提升模型的聚類精度；VDGC-ER 模型通過對離散隱向量定義聚合樣本熵正則化項，降低聚類不平衡，避免局部最優，提升生成模型生成數據的多樣性。進一步，采用蒙特卡洛采樣及重參策略近似模型的優化目標，并利用隨機梯度下降法求解模型參數。在訓練時對重構誤差項設置權重，緩解模型在訓練初期的局部收斂問題。最后，為了驗證模型的有效性，分別在MNIST 數據集、HHAR 數據集、REUTERS 數據集和REUTERS-10K 數據集上，設計了對比實驗驗證VDGC-ER 模型不僅可以生成高質量的樣本，而且可以顯著提升聚類精度。

1 變分自編碼模型

VAE模型是由Kingma 和Rezende兩個團隊于2014 年分別獨立提出的，該模型有效結合了變分貝葉斯方法和深層神經網絡，是經典的深度生成模型之一。相比傳統的自編碼模型，VAE 對隱空間注入了噪音，使隱空間服從于某種分布，從而豐富了隱空間的表達能力，并使模型具有生成數據的能力。

VAE 假設高維數據x是由低維隱向量z生成，其生成模型表示形式為：

其中，p(z)=N(z;0,I)表示隱向量先驗概率分布，I表示單位矩陣；p(x|z)=N(x;μ,σ2I) 表示條件概率分布。VAE 中數據的生成過程為：先從先驗概率分布p(z)中采樣隱向量z，然后從條件概率分布p(x|z)中采樣生成數據x。

上述生成模型中的概率推理問題是求解數據集的邊緣似然概率p(X)及隱向量的后驗概率分布p(z|x)，考慮無法精確計算這兩個概率分布，VAE 引入變分推理模型q(z|x)來近似后驗分布p(z|x)，將推理問題轉化為了優化問題。對于單樣本點x，VAE 的證據似然下界（envidence lower bound，ELBO）為：

其中，式（2）右邊第一項表示重構誤差，第二項表示概率分布q(z|x) 與p(z) 之間的KL 散度，用來約束VAE 模型的隱空間。

VAE 模型優化目標為最大化式（2），可以通過蒙特卡洛采樣近似優化目標，并利用隨機梯度下降算法求解優化目標。

2 基于熵正則化的變分深度生成聚類模型

本章首先給出VDGC-ER 的生成模型和變分推理模型，然后引入樣本熵正則化項與聚合樣本熵正則化項，并給出模型的優化目標，最后利用蒙特卡洛采樣及隨機梯度下降進行優化問題求解。

2.1 生成過程

VDGC-ER 的生成模型以連續隱向量作為模型的特征表示，同時引入離散隱向量對連續隱向量進行GMM 先驗建模，并以離散隱向量作為類別向量。令x∈RD表示觀測向量，z∈RM表示低維連續隱向量，y表示為離散型指示向量，VDGC-ER 生成模型的聯合概率分布表示為：

該模型的數據生成過程為：首先從概率分布p(y)中采樣y，以此來決定從哪個組件采樣z；然后從概率分布p(z|y)中采樣隱向量樣本z；最后通過概率分布pθ(x|z)采樣數據x。

2.2 變分推理模型

對于VDGC-ER 的生成模型，通過引入變分分布q?(z,y|x)來近似求解p(z,y|x)，其中?表示推理模型的神經網絡參數。根據均值場變分推理思想，將q?(z,y|x)分解為編碼和聚類兩部分：

根據生成模型聯合概率分布，如式（3）所示，和推理模型分布，如式（7）所示，可以得到VDGC-ER 模型的證據似然下界（ELBO）為：

其中，等式右邊第一項記為重構誤差項；第二項是基于y的后驗概率分布與先驗概率分布p(y)之間的KL 散度，記為先驗項；第三項是基于z的條件概率分布之間的KL散度，記為條件項。

圖1 給出了VDGC-ER 的生成模型和推理模型。其中，白色圓表示隱變量，灰色圓表示觀測變量，黑色實心圓表示模型的參數。圖1（a）表示VDGC-ER的生成模型，圖1（b）表示VDGC-ER 的推理模型，N表示樣本數量。

圖1 VDGC-ER 的生成模型與推理模型Fig.1 Generative model and inference model of VDGC-ER

2.3 熵正則化項

離散型指示向量y在給定樣本x條件下的近似后驗概率分布為：

在優化過程中，上式中的期望可以通過基于重采樣的蒙特卡洛方法計算。變分分布反映了某樣本x聚類的概率輸出。在聚類過程中，通過變分分布的最小化熵約束來提高聚類準確性，達到平衡硬分類與軟分類的作用。對于變分分布，定義熵約束：

該約束又稱為樣本熵正則化項。式（12）的值越小，變分分布的熵越小，則樣本x聚為某一類的概率越大，更接近于硬分割。

該約束又稱為聚合樣本熵正則化項。當式（14）的值越大，聚合后驗概率分布的熵越大，則數據集X對應的隱向量集Y的分布與均勻分布的距離越小。

最終，結合式（10）、式（12）與式（14），在數據集X上，VDGC-ER 模型的優化目標為：

其中，η和γ表示正則化系數。此時求解的優化問題為：

2.4 模型優化求解問題

為了求解優化問題式（16），首先對含有期望的ELBO 項使用蒙特卡洛采樣及重參策略來估計，然后利用隨機梯度下降方法進行參數更新。

對于VDGC-ER 模型的ELBO 項，如式（10）所示，逐項基于蒙特卡洛采樣及重構策略進行估計。具體地，式（10）等式右邊第一項估計為：

其中，ρ表示超參數，z(l)表示蒙特卡洛第l次采樣時的隱變量樣本，由重參數化技巧獲得：

分析式（21）易知先驗項具有反聚類的作用：在最小化式（21）時，會使熵變大，促使趨近于均勻分布，導致每個樣本x對GMM 中組件的選擇都是隨機的，失去了聚類的效果。這個問題可以通過樣本熵正則化項來減緩。

對于式（10）等式右邊第三項估計為：

3) 為了保證閥門泄漏等級達到Class VI，該閥門采用金屬支撐的軟密封結構，即在軟性材料的旁邊有金屬限位平面。閥芯軟密封環通過螺紋壓緊在閥芯體上，閥芯和閥座之間通過斜錐面密封，有效密封寬度4 mm左右。該閥門閥芯頭部帶18 mm左右延伸段，該結構優點：

式（22）為聚類的關鍵項，具體地，對于某個樣本x，當為概率分配中的最大值時，由于KL散度的約束，使樣本x更傾向于從p(z|y=k)中產生。

最后，結合式（17）、式（21）與式（22），對于單樣本點x，VDGC-ER 模型的證據似然下界估計為：

其中，z(l)表示第l次蒙特卡洛采樣得到的隱向量樣本。

最后將式（23）～式（25）代入式（15）得到最終的目標函數，再采用隨機梯度下降法來對參數{θ,?,β}進行更新。

圖2 表示VDGC-ER 模型訓練時前向傳播過程的網絡框架圖，具體包括三部分：f1、f2、f3。分別計算概率分布的參數。具體地，對于單樣本x，首先經過f2得到概率分布的均值和方差；然后經過重參處理，得到隱向量樣本z；最后z經過f1得到重構數據x′，經過f3得到概率分布的參數。對于概率分布p(z|y)的參數β，它在隨機初始化后作為模型的可訓練參數參與模型優化目標的計算。針對優化目標式（16），結合前向傳播與反向傳播，利用隨機梯度下降法對參數?、θ與β進行更新。

圖2 VDGC-ER 的網絡框架Fig.2 Network framework of VDGC-ER

3 實驗

本章設計了對比實驗來證明VDGC-ER 模型的聚類性能，同時，考慮生成模型本身的特性，驗證模型生成樣本的能力。具體包括3 個實驗：實驗1，分析正則化項對聚類精度產生的影響，并確定正則化項超參數；實驗2，在不同數據集上通過對比實驗驗證VDGC-ER 算法的聚類性能；實驗3，分析VDGC-ER模型生成樣本的能力及數據隱空間的可視化。

本文采用的數據集包括MNIST 數據集[18]、REUTERS數據集[19]、REUTERS-10K數據集[19]、HHAR數據集[20]。具體地，MNIST 是標準的手寫數字識別數據集，包括10 種不同的數字（0～9）。REUTERS 與REUTERS-10K 是兩個新聞數據集，包括4 類數據：企業/工業數據、政府/社會數據、市場數據和經濟數據。HHAR 是人體活動檢測數據集，包括6 類數據：走路、上樓、下樓、坐著、站著、躺著。4 個數據集的其他詳細信息如表1 所示。

表1 數據集的詳細信息Table 1 Detailed information of datasets

對比實驗的模型包括：K-means 方法[2]、GMM[3]、VaDE模型[4]、DEC模型[8]、MIXAE模型[9]、AAE模型[12]。

3.1 正則化項對模型聚類精度的影響

本節在MNIST 數據集、HHAR 數據集、REUTERS數據集和REUTERS-10K 數據集上，通過設置不同樣本熵正則化項系數η和聚合樣本熵正則化系數γ的值，分析兩個正則化項對模型聚類精度產生的影響。針對VDGC-ER 模型，首先固定γ=0，設置不同的η值，分析樣本熵正則化項對VDGC-ER 模型的影響；然后固定η=0，設置不同的γ值，分析聚合樣本熵正則化項對VDGC-ER 模型的影響。實驗結果如表2 和表3 所示。

根據表2 可知，對于樣本熵正則化項，當對應的正則化系數η取值逐漸增大時，VDGC-ER 模型在數據集上的聚類精度先增加后減少。聚類精度上升階段：隨著η取值不斷增大，樣本對應的隱向量z歸屬于某一類別的置信度逐漸增大，將軟分類近似轉換為硬分類，即變分分布q?2(y|z)趨向于獨熱編碼。聚類精度下降階段：該階段模型陷入局部最優解，即對于不同類別的數據，VDGC-ER 模型傾向于將它們歸屬到同一聚類簇中，且隨著η不斷增大，局部最優解問題越來越明顯。

表2 樣本熵正則化項對聚類精度的影響Table 2 Influence of sample-wise entropy regularisation term on clustering accuracy

根據表3 可知，對于聚合樣本熵正則化項，當對應的正則化系數γ取值逐漸增大時，VDGC-ER模型在MNIST 數據集和HHAR 數據集上的聚類精度有上升趨勢，總體相對穩定在一個較高的值，而在REUTERS數據集和REUTERS-10K 數據集上聚類精度先上升再下降，且下降的趨勢較為明顯。聚類精度有上升現象表明VDGC-ER 模型強制數據集均勻分布在各個聚類中心附近，達到聚類樣本均衡狀態后，聚類精度將相對穩定。聚類精度顯著下降是由于樣本不平衡導致的，因此聚合樣本熵正則化項對數據集的選擇較為敏感。

表3 聚合樣本熵正則化項對聚類精度的影響Table 3 Influence of batch-wise entropy regularisation term on clustering accuracy

本實驗也反映出由先驗項所導致的反聚類現象。在表2 中，考慮η取值從0 到1.0 的過程，先驗項慢慢被抵消。在η=1.0 時，先驗項被完全抵消，此時發現在MNIST 數據集、HHAR 數據集、REUTERS 數據集和REUTERS-10K 數據集上分別取到了0.11 個百分點、3.10 個百分點、1.75 個百分點和4.00 個百分點的提升。

綜上，通過實驗分析可知，樣本熵正則化項和聚合樣本熵正則化項均可提升VDGC-ER 模型的聚類精度，其中樣本熵正則化項通過提升隱向量樣本z的聚類置信度來提升聚類精度，聚合樣本熵正則化項通過使聚類樣本均衡來提升聚類精度。最后通過實驗說明了先驗項的反聚類的作用。

3.2 模型聚類性能對比實驗

本節在MNIST、REUTERS、REUTERS-10K及HHAR數據集上，對比VDGC-ER、GMM、K-means、AAE、DEC、MIXAE 與VaDE 模型的聚類精度。

具體地，在4個數據集上的基本實驗參數有：優化器為Adam[21]，學習率0.001，迭代次數為epochs=50，批量樣本大小B=128，隱向量維度M=32，蒙特卡洛采樣次數L=1，超參數ρ=2.5。參數K設置為數據集的類別個數。在MNIST 數據集中，推理模型和生成模型均采用卷積神經網絡，分類器和先驗層均使用全連接網絡，而在其他3個數據集上，全部使用全連接網絡。樣本熵正則化系數η在MNIST 數據集、REUTERS數據集、REUTERS-10K數據集及HHAR數據集上的值分別為2.7、3.8、3.8 與3.8。聚合樣本熵正則化項系數γ在4個數據集上的值均為6.0。

聚類性能的評價指標遵循了DEC 模型中的方法，即VDGC-ER 模型的聚類精度定義為：

其中，N為總樣本數，li表示第i個樣本的真實標簽，ci為第i個樣本在概率分配中的最大值的索引，由分類器計算得到。m∈Ω表示真實標簽和聚類標簽之間的映射關系，Ω為映射關系的集合，最佳映射關系可由Hungarian 算法[22]給出。

對比實驗的結果如表4所示，可以看出VDGC-ER模型在相同數據集條件下，相較于其他模型，聚類精度都達到了最高。具體地，VDGC-ER 在MNIST、REUTERS、REUTERS-10K 和HHAR 數據集上，相較于對比模型中聚類精度最高值分別有1.44 個百分點、7.83個百分點、5.12個百分點和1.30個百分點的提升。

表4 不同數據集上不同模型的聚類精度的對比Table 4 Clustering accuracy comparison of different models on different datasets 單位：%

另外，通過結合實驗1 和實驗2 發現，當將兩個正則化項一起使用，并設置合適η和γ值時，得到的效果總比單獨使用樣本熵正則化項的效果要好，這說明聚合樣本熵正則化項可以改善由樣本熵正則化項引起的局部最優解問題。關于超參數的值的選取，具體地：對于超參數ρ，它控制著訓練過程中重構誤差項的權重，推薦取值為[2，3]；對于超參數η和γ，它們控制著正則化強度，考慮兩個正則化項之間的關系，推薦在[0.5，10.0]這個區間內進行網格搜索以確定最佳的η和γ。

通過實驗分析可知，VDGC-ER引入兩項正則化項后，模型在聚類性能上有明顯的提升，這也表明，正則化項可以使VDGC-ER模型更加穩定，聚類結果更優。

3.3 模型的生成能力與可視化隱空間

本節在MNIST 數據集上驗證了VDGC-ER 模型生成樣本的能力，并且利用VDGC-ER 模型對MNIST和HHAR 數據集的隱空間進行了可視化。

為了驗證VDGC-ER 模型的生成能力，本實驗在MNIST 數據集上分別使用VAE、VaDE 和VDGC-ER模型來生成圖片。具體地，對于VAE 模型來說，模型訓練好后直接從標準正態分布中采樣來生成圖片。對于VaDE 和VDGC-ER 模型來說，模型訓練好后從GMM 中的每個組件中隨機采樣來生成圖片。最終得到的結果如圖3 所示。

圖3（a）表示VAE 隨機生成的樣本，生成的圖像顯示VAE 生成的圖像比較模糊，并且沒有聚類的能力。圖3（b）和圖3（c）中每一行代表從每個聚類簇中生成的圖片，證明VaDE 和VDGC-ER 不僅可以生成質量較清晰的圖像，而且具有很好的聚類能力。值得注意的是，觀察圖3（b）中方框圈出來的數字，它們相對較為模糊而且與它們生成的數字與真實標簽相比存在一定的誤差，VDGC-ER 模型則沒有，可視化實驗也表明VDGC-ER模型的聚類性能要優于VaDE模型。

圖3 用VAE、VaDE 和VDGC-ER 生成的數字Fig.3 Digits generated by VAE,VaDE and VDGC-ER

本文進一步對VDGC-ER 模型在MNIST 數據集和HHAR 數據集聚類后的隱空間進行可視化。對于訓練后的VDGC-ER 模型，隨機選取了2 000 個樣本點，利用t-SNE 算法[23]將隱向量z從32維降成2維，并在二維空間進行可視化表示，如圖4 所示。在圖4 中，每一種顏色代表一個聚類簇，例如在MNIST 數據集中，每一個簇表示一類數字。由圖4 可知，在MNIST數據集和HHAR 數據集上，類別個數與對應隱空間中簇的個數是一致的，且簇與簇之間有明顯的分離現象，說明VDGC-ER模型具有非常好的聚類效果。

圖4 VDGC-ER 在兩個數據集上的隱空間可視化Fig.4 Visualization of latent space on MNIST and HHAR datasets using VDGC-ER model

通過實驗分析，VDGC-ER 模型不僅具有良好的生成能力，而且通過可視化訓練數據集的隱空間，驗證了VDGC-ER 模型具有非常好的聚類能力。

4 結論

本文提出熵正則化下的變分深度聚類模型，使用VAE 模型作為基礎框架，利用GMM 為數據的隱空間進行先驗建模，通過引入樣本熵正則化項與聚合樣本熵正則化項來約束隱空間中的聚類分配和樣本生成任務，最后采用蒙特卡洛法及重參策略來求解優化問題。樣本熵正則化項通過約束離散樣本點近似后驗概率分布提高聚類精度，聚合樣本熵通過約束離散空間的分布避免局部最優；同時基于生成模型的聚類方式可以使模型具有較好的樣本生成能力。理論分析與實驗結果表明，VDGC-ER 模型的熵正則化項不僅可以生成高質量的樣本，而且可以顯著提升聚類精度。