稀疏平衡變分自動編碼器的文本特征提取 *

車 蕾

(北京信息科技大學 信息管理學院， 北京 100192)

隨著各類語言模型層出不窮，人們開始將目光聚焦到模型最根本的表示層上。在機器學習中，特征學習(Feature Learning，FL)是將原始數據轉換成機器學習能夠處理的形式。原始數據通常為高維數據，高維數據既是維數福音，又是維數災難，對機器學習算法提出挑戰。特征學習的目的就是將高維的冗余的原始特征轉換為低維的保留有效信息的特征[1]。特征學習包括特征選擇和特征提取。區別于單純選擇子集的特征選擇，特征提取是將原始表達投影到一個低維特征空間中以得到一個更加緊湊的表達[2]。本文研究工作是針對文本特征提取展開的。

目前研究存在如下問題：高維數據特征區分度較低、基于規則的特征學習的自學習和自適應能力差。深度學習則可以提高特征學習的自學習和自適應能力。本文將借助深度學習中變分自動編碼器(Variational AutoEncoder，VAE)的潛變量研究文本特征提取的方法。潛變量產生即低維特征表示，但是訓練過程中存在潛在損失過度剪枝(即KL(Kullback-Leibler)散度為零)的情況。在這種情況下，生成器傾向于完全忽略潛在表示并簡化為標準語言模型[3]。解決此問題的最典型方法是使用KL項權重的模擬退火算法來權衡重構誤差與KL散度的貢獻[4]，但是此方法可能無法提高生成樣本的質量，網絡需要額外的容量來提高重構質量，代價是潛在空間利用率變低，很難被隨機生成器利用。

為解決以上問題，本文提出一種稀疏平衡變分自動編碼器(Sparse Balanced Variational AutoEncoder，SBVAE)的文本特征提取模型。本文簡要說明變分自動編碼器原理，分析降噪處理過程，詳細闡述稀疏平衡性方法。本研究的實驗選取代表性的真實數據集，從文本特征提取模型對比分析、稀疏性能分析、稀疏平衡處理對隱藏空間變分下界(Evidence Lower BOund，ELBO，也稱為證據下界)的影響等幾個方面深入開展，驗證了SBVAE文本特征提取模型具有較好的性能。

1 相關工作

特征提取的常用傳統算法有：概率模型、文檔頻率、信息增益等。傳統方法特征識別度較低。基于概率模型的方法選擇出來的詞匯能夠有效地代表類別，但可能會過濾掉代表性強但出現頻率較低的詞[5-6]；基于文檔頻率的方法有可能丟棄某些有特殊含義的低頻詞條，篩選時需要選擇恰當的閾值[7]；基于信息增益的方法缺乏各特征詞對特定文檔的代表性考慮，實際應用效果很難達到理論效果[8-9]。

VAE模型是深度學習中的一種無監督表示學習和深度生成模型[10]。VAE具有與標準自動編碼器(AutoEncoder，AE)完全不同的特性，它的隱含空間被設計為連續的分布以便進行隨機采樣和插值，這使得它成了有效的生成模型。VAE通過KL散度使潛變量分布靠近標準正態分布，從而能解耦潛變量特征，簡化后續建立在該特征之上的模型，增強其泛化性能；另外，正態分布也使得編碼空間更加規整。2013年，Kingma等提出VAE，它是深度生成模型，而不是基本的自動編碼器[11]。

VAE模型在自然圖像[12-13]和語音[14]生成方面取得了比較好的成果。目前，VAE模型在自然語言方面也取得一些進展。Wolf-Sonkin等基于VAE開展了上下文形態學拐點的研究[15]。Yang等基于VAE開展了文本建模的研究[16]。Li等基于VAE提出一種深度網絡表示模型，無縫地集成文本信息和網絡結構[17]。文獻[16]和文獻[18]基于VAE開展半監督分類的研究工作。Semeniuta等探討了架構選擇對學習文本生成的VAE的影響[3]。Louizos等基于VAE研究學習表示模型，該模型對于某些有害或數據變化的敏感因素是不變的，同時保留盡可能多的剩余信息[19]。目前VAE的研究主要是面向生成問題的，在文本特征提取方面的研究還比較少。VAE的主要優點是能夠學習輸入數據的平滑潛在狀態表示，所以借助VAE的潛在空間研究文本特征提取問題是非常有價值的。但是，在足夠高維度的潛在空間中，VAE存在過度剪枝的問題，傾向于忽略大量潛變量，即KL散度為零[20]。過度剪枝的做法可能會影響生成模型的質量。解決此問題的最典型方法是使用KL項權重的模擬退火算法來權衡重構誤差與KL散度的貢獻[4]。KL退火可以看成是從傳統確定性自動編碼器到完整VAE的逐漸過渡，但是這種方式很難被隨機生成器利用。

2 模型

本文提出一種SBVAE文本特征提取模型。研究按如下步驟完成：

步驟1：采用詞頻-逆文檔頻率(Term Frequency-Inverse Document Frequency, TF-IDF)算法進行文本表示。

步驟2：針對數據量大、維度高的數據集，為提高數據的特征項明確度和分類精度，采用VAE進行文本特征提取。

步驟3：為提高魯棒性，采取消除噪聲干擾方法，在文本特征提取的輸入層采用雙向降噪處理機制。

步驟4：為緩解KL散度引發的過度剪枝的影響，并強制解碼器更充分地利用潛變量，結合KL項權重的模擬退火算法提出一種稀疏平衡性處理方法。

步驟5：采用文本聚類算法驗證文本特征提取的性能[21]。

2.1 變分自動編碼器

自動編碼器是利用人工神經網絡的特點構造而成的網絡[22]。自動編碼網絡，是由一組受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)按一定次序連接而構成的[22]。自動編碼器的基本要求是保留原始數據的(盡可能多的)重要信息。當編碼向量的分布盡可能接近高斯分布時，就導致了VAE的產生。VAE是一種將變分推理和深度學習相結合的潛變量生成模型，包括兩部分：編碼器和解碼器[11]。相對于自動編碼器，VAE做了兩大改進：第一，輸入x的由編碼器提供的確定性內部表示z被后驗分布qφ(z|x)替換。然后通過解碼器將采樣出來的z用于還原輸入。為了簡化采樣過程，后驗分布選擇標準正態分布，其均值和方差由編碼器預測。第二，為了確保可以從潛在空間的任何點進行采樣并能產生有效、多樣的輸出，后驗分布qφ(z|x)通過其與分布pλ(z)的KL散度進行正則化。通常，先驗分布也選擇標準正態分布，使得可以以封閉形式計算先驗和后驗之間的KL散度。VAE讓所有的qφ(z|x)接近標準正態分布，不僅防止了噪聲為零的情況，也保證了模型具有生成能力。VAE結構如圖1所示。

圖1 變分自動編碼器Fig.1 Variational autoencoder

VAE是概率潛變量模型，通過條件分布將觀察到的向量x與低維潛變量z相關聯[23]。VAE模擬x的概率是：

(1)

其中：pθ(x|z)是給定z的x的條件分布，其由參數為θ的神經網絡建模；pλ(z)是潛變量的先驗，其由參數為λ的神經網絡建模。這些神經網絡稱為解碼器。

對數似然估計logpθ(x)的下界是來自Jensen不等式的ELBO[1]，如式(2)所示。

≡L(x;θ,φ)

(2)

ELBO也可以寫成如下形式：

LVAE=L(x;θ,φ)

=Eqφ(z|x)[logpθ(x|z)]-DKL(qφ(z|x)‖pλ(z))

(3)

DKL(qφ(z|x)‖pλ(z))

(4)

其中，D為x的樣本數量。損失函數包括兩項：第一項是懲罰重構誤差Eqφ(z|x)[logpθ(x|z)]，由于要從分布里采樣，所以相對自動編碼器多了個期望值運算符；第二項是相對熵DKL(qφ(z|x)‖pλ(z))，鼓勵模型學習分布qφ(z|x)近似于真實的先驗分布pλ(z)，即一般正態分布[24]。重構的過程是希望沒有噪聲的，而KL 散度則希望有高斯噪聲，兩者是對立的。KL損失函數鼓勵所有編碼圍繞隱藏層中心分布，同時懲罰不同分類被聚類到分離區域的行為。利用純粹KL散度損失得到的編碼是以隱藏空間為中心隨機分布的。但是解碼器從這些無意義的表達中很難解碼出有意義的信息。KL損失和重構損失結合起來就解決了這個問題。這使得在局域范圍內的隱藏空間點維持了相同的類別，同時在全局范圍內所有的點也被緊湊地壓縮到了連續的隱含空間中。這一結果是通過重構損失的聚類行為和KL損失的緊密分布行為平衡得到的，從而形成了可供解碼器解碼的隱含空間分布。

2.2 降噪處理

為了提高VAE的魯棒性和泛化性能，基于VAE從數據中學習到更有用的特征表示，本文對VAE進行雙向降噪處理。在樣本輸入時加入了某種類型的噪聲，使模型能夠從受“污染”的部分輸入中重構出“純凈”的輸入，同時使模型能夠從部分的“純凈”輸入中反向重構出受“污染”的輸入。即在降噪環節，首先隨機選擇一定比例的非0數據將其置為0，即隨機的損壞處理，從而加入噪聲；然后隨機選擇更小比例的0將其置為1，即隨機的修復處理。這樣可以使參數初始化盡量處于全局最優空間附近，避免進入局部最優參數空間。

2.3 稀疏平衡性處理

在足夠高維的潛在空間中工作，網絡學習表示的實際網絡容量更加緊湊，許多潛變量獨立于輸入而被清零，并且完全被生成器忽略。當潛在空間的采樣接近于1的時候，則認為它被激活，而采樣接近于0的時候則認為它被抑制，使得神經元在大多數情況下都是被抑制的限制稱為稀疏性限制。稀疏性限制可以讓神經網絡即使在隱藏神經元數量較多的情況下仍然可以發現輸入數據的結構信息。VAE中的KL散度可以讓高維潛在空間中的數據變得自然稀疏[25]，它充當了正則化的作用，具備稀疏性相關的典型優勢：它強制模型專注于真正重要的特征，大大降低過度擬合的風險。特別是，它是正確調整模型容量的主要方法，逐步訓練模型以獲得稀疏性或者減少網絡的維度以移除未使用的神經元的連接。

研究發現，在足夠高維度的潛在空間中，VAE存在過度剪枝的問題，傾向于忽略大量潛變量，即KL散度為零。過度剪枝[20]的做法可能會影響生成模型的質量。解決此問題最典型的方法是使用KL項權重的模擬退火算法來權衡重構誤差與KL散度的貢獻，如式(5)[26]所示，其中α表示超參數。

LVAE=Eqφ(z| x)[-logpθ(x|z)]-αDKL(qφ(z|x)‖pλ(z))

(5)

KL退火可以看成是從傳統確定性自動編碼器到完整VAE的逐漸過渡，如式(5)所示，本研究也同時采取0到1的線性退火解決KL消失的問題。首先運行一個KL權重固定為0的模型，以找到它需要收斂的迭代次數；然后，將退火計劃配置為在非正則化模型收斂后開始，持續時間不少于該數量的20%[3]。調低α可以控制不確定性，但是可能無法提高生成樣本的質量，網絡需要額外的容量來提高重構質量，代價是潛在空間利用率變低，很難被隨機生成器利用。解決過度剪枝的另一個方法是修改模型架構，例如，文獻[27]中提出了一種概率生成模型，該模型由許多稱為縮影的稀疏變分自動編碼器組成，這些縮影共享自動編碼器的解碼器架構。

本文采用一種平衡性方法緩解可能過度剪枝的影響。所提出的稀疏平衡是指為避免過度剪枝，在VAE的損失函數LVAE中加入一個輔助稀疏懲罰項，平衡潛在空間變量的稀疏化。稀疏平衡使潛在空間的采樣均值盡量接近0.01～0.03之間的某個值，以便達到稀疏的目的。整個過程肯定會丟失信息，但訓練能夠使丟失信息盡量少。添加了輔助稀疏懲罰項后的VAE損失函數表達式如式(6)所示。

(6)

其中：α和β表示超參數；m表示隱藏神經元數目；后一項為KL距離，其表達式如式(7)所示。

(7)

(8)

其中：n表示輸入向量數；zji表示隱藏神經元j對應第i個向量的激活度。為避免z為負值引起的LSBVAE無窮大，在輸出之前需要對z值取sigmoid后再進行稀疏平衡處理。LSBVAE的目標函數對潛變量z施加了約束，以產生有效特征。

3 實驗

實驗分別從實驗環境及數據、對比實驗及參數設置、性能評價指標、實驗結果與分析四個方面進行詳細討論。

3.1 實驗環境及數據

為了驗證模型的有效性，采用如下2種標準數據集(均可以通過開源網站獲得)進行實驗。

1)復旦數據(中文)[28]：復旦大學文本分類數據，此數據集由復旦大學計算機信息與技術系國際數據庫中心自然語言處理小組提供。實驗從中選取了3個話題，記錄數為8 423條。實驗數據集的分布情況如圖2所示。

圖2 復旦數據集數據分布Fig.2 Data distribution of Fudan dataset

2)路透社(英文)[29]：此新聞數據集是由路透公司采集的1987年的新聞稿組成的Reuters-21578文集作為實驗數據集。實驗從中選取了3個話題，記錄數為6 740條。實驗數據集的分布情況如圖3所示。

圖3 路透社數據集數據分布Fig.3 Data distribution of Reuters dataset

對采集到的中文文本進行如下預處理：首先采用結巴(jieba)分詞工具對數據進行分詞，并去除文本中的數字；接著過濾掉嘆詞、副詞等相關性較弱的詞語和標點符號；最后去除停用詞。對采集到的英文文本進行如下預處理：去除數字和停用詞；字母全部轉為小寫；用Porter算法進行詞干化處理，將英文中單復數、時態等變形詞轉換成原型。所有字符編碼采用無BOM的UTF-8格式。

3.2 對比實驗及參數設置

本文選取了6個模型進行對比實驗，以便驗證本文提出的模型的性能。具體模型信息如下：①主成分分析(Principal Component Analysis，PCA)；②AE；③稀疏自動編碼器(Sparse AutoEncoder，SAE)；④VAE；⑤降噪變分自動編碼器(Denoising Variational AutoEncoder，DVAE)；⑥SBVAE。

本實驗的訓練參數是通過多次實驗獲得的最優參數。因為實驗涉及的是多分類問題，所以交叉熵采用的是Categorical_Crossentropy。最大epoch為500，基礎學習率為0.001。實驗訓練采用的是自收斂方式，當損失值變化連續n次都低于某個臨界值(默認0.000 1)時，訓練自動終止。編碼器和解碼器都采用完全連接網絡。模型采用Keras的自適應優化器Adadelta，允許在每個步驟中為學習率計算不同的值，以使訓練效果達到最優。

3.3 性能評價指標

實驗通過采用K-means聚類算法驗證特征提取的性能。性能評價指標包括：準確率、召回率、F1值、熵和純度。準確率、召回率、F1值和純度越高越好，熵值越低越好。

1)準確率：預測正確的結果占總樣本的百分比。

2)召回率：在實際為某類的樣本中被預測為該類樣本的概率。

3)F1值：同時考慮準確率和召回率，讓兩者同時達到最高，取得平衡。計算公式如下：

(9)

(10)

(11)

5)純度：使用上述熵中的pij定義，聚類i的純度定義如式(12)所示，整個聚類劃分的純度如式(13)所示。

pi=max(pij)

(12)

(13)

3.4 實驗結果與分析

通過比較實驗和可視化實驗，將已有的算法與本文提出的SBVAE算法進行對比，展示本算法的優勢；通過實驗，展示基于SBVAE的文本特征表示對聚類過程的貢獻，以更好支持后續話題檢測與追蹤工作的研究。

3.4.1 實驗結果對比分析

本節是基于SBVAE文本特征提取模型開展的聚類實驗。表1是基于復旦數據集的實驗結果比對，表2是基于路透社數據集的實驗結果比對。從表1可以看出，SBVAE的F1值依次比PCA、AE、VAE的F1值提升了12.36%、1.12%、0.47%。從表2可以看出，SBVAE的F1值依次比PCA、AE、VAE的F1值提升了8.06%、5.07%、3.42%。實驗結果顯示，不論是復旦數據集，還是路透社數據集，本文提出的SBVAE文本特征提取方法都能得到純度較高的聚類效果，證實了該方法具有一定的穩定性。

表1 復旦數據的實驗結果對比

表2 路透社數據的實驗結果對比

圖4和圖5基于復旦數據集分別展示了二維空間下原始標注數據的分布和SBVAE特征提取(F1值為0.962 1)后K-means聚類效果。可以發現，圖5的聚類效果較好，純度較高，說明本文提出的SBVAE特征提取模型具有較好的性能。

圖4 原始標注的復旦數據Fig.4 Fudan dataset of original annotation

圖5 SBVAE特征提取后K-means聚類效果圖Fig.5 K-means Clustering effect after feature extraction based on SBVAE

3.4.2 稀疏性實驗

圖6 SAE中的訓練軌跡(ρ=0.01)Fig.6 Training track of in SAE(ρ=0.01)

圖7 SAE中的訓練軌跡(ρ=0.05)Fig. 7 Training track of in SAE(ρ=0.05)

圖8 SBVAE中的訓練軌跡(ρ=0.01)Fig. 8 Training track of in SBVAE(ρ=0.01)

圖9 SBVAE中的訓練軌跡(ρ=0.05)Fig.9 Training track of in SBVAE (ρ=0.05)

圖10～19顯示的實驗結果取的是VAE和SBVAE訓練結束時的各文本隱藏空間對應的潛變量z、方差和均值。潛變量z、方差和均值都為向量，因此這里取的是向量各維度的均值構建的圖例。相關公式如下：

(14)

圖10 VAE的潛變量z_mean(k)分布(散點圖)Fig.10 Distribution of latent variables z_mean(k) in VAE (scatter plot)

從圖10、圖11、圖15和圖16大致可以看出，稀疏平衡之前的潛變量z在0附近的密集程度要略低于稀疏平衡之后的潛變量z在0附近的密集程度。本實驗的潛變量z的個數為7 524，隱藏空間維度為50，總向量值個數為376 200。實驗統計，稀疏平衡之前潛變量z的向量值在-1與1之間的個數為91 601個，稀疏平衡之后潛變量z的向量值在-1與1之間的個數為93 830個。由此說明，稀疏平衡后潛變量z的稀疏程度大于稀疏平衡之前的稀疏程度。其中，排列圖是指按頻數的降序繪制數據的分布，累積線位于次坐標軸上，標識占總數的百分比。排列圖的箱寬度是通過使用Scott正態引用規則計算的。從圖12、圖13、圖17和圖18稀疏平衡處理前后VAE中的方差分布情況可以看出，稀疏平衡后的潛在空間的方差逼近1的值也相對增多。從圖14和圖19稀疏平衡處理前后VAE中的均值分布情況可以看出，稀疏平衡后的均值逼近0的值也相對增多。

圖11 VAE的潛變量z_mean(k)分布(排列圖)Fig.11 Distribution of latent variables z_mean(k) in VAE (pareto diagram)

圖12 VAE的σ_mean(k)分布(散點圖)Fig.12 Distribution of σ_mean(k) in VAE(scatter plot)

圖13 VAE的σ_mean(k)分布(排列圖)Fig.13 Distribution of σ_mean(k) in VAE (pareto diagram)

圖14 VAE的μ_mean(k)分布(排列圖)Fig.14 Distribution of μ_mean(k) in VAE (pareto diagram)

圖15 SBVAE的潛變量z_mean(k)分布(散點圖)Fig.15 Distribution of latent variables z_mean(k) in SBVAE(scatter plot)

圖16 SBVAE的潛變量z_mean(k)分布(排列圖)Fig.16 Distribution of latent variables z_mean(k) in SBVAE (pareto diagram)

圖17 SBVAE的σ_mean(k)分布(散點圖)Fig.17 Distribution of σ_mean(k) in SBVAE (scatter plot)

圖18 SBVAE的σ_mean(k)分布(排列圖)Fig.18 Distribution of σ_mean(k) in SBVAE (pareto diagram)

圖19 SBVAE的μ_mean(k)分布(排列圖)Fig.19 Distribution of μ_mean(k) in SBVAE (pareto diagram)

綜上所述，稀疏平衡后的特征提取性能優于稀疏平衡之前的性能。

3.4.3 稀疏平衡處理對隱藏空間變分下界的影響

為了驗證模型引入稀疏平衡處理對變分下界的影響，表3顯示了基于復旦數據集在SBVAE中設置隱藏空間維度為不同值時變分下界的變化情況。其中，懲罰重構誤差項、KL散度1和KL散度2分別對應式(6)中等號右邊的三個項，KL散度2即輔助稀疏懲罰項。

表3 SBVAE的變分下界

表4顯示了基于復旦數據集在VAE中設置隱藏空間維度為不同值時變分下界的變化情況。其中，懲罰重構誤差項和KL散度分別對應式(5)中等號右邊的兩個項。變分下界是越低越好。和VAE的變分下界相比，引入稀疏平衡處理后的VAE對變分下界(-logpθ(x)≤)有顯著的提升，其變分下界優于標準的VAE模型的變分下界。

表4 VAE的變分下界

4 結論

本文提出了SBVAE文本特征提取模型。為提升高維數據的區分度，基于VAE研究文本特征提取問題；為消除噪聲干擾，在輸入層采用雙向降噪處理機制；為緩解過度剪枝的影響，結合KL項權重的模擬退火算法提出稀疏平衡性處理，強制解碼器更充分地利用潛變量。實驗從多個方面深入開展，驗證了SBVAE模型在文本特征提取問題的解決上具有較好的性能，對文本特征提取問題的研究具有一定的推動作用。

未來的工作方向將嘗試把模型擴展到半監督學習中，學習潛變量的深度結構性分層，并進一步研究其推理方案。