一種基于Word2Vec的訓練效果優化策略研究

王 飛 譚 新

1(解放軍外國語學院 河南 洛陽 471003) 2(91709部隊 吉林 琿春 133300)

0 引 言

Word2Vec是Mikolov等[1]在2013 年開發的一款語言處理工具包，它能夠在訓練語言模型的同時將詞表示成分布式詞向量。Word2Vec相關的國外文獻[2-5]和國內學者針對Word2Vec所作的各類分析研究文獻[6-8]較為全面地介紹了Word2Vec的設計原理及其訓練思想，對它的計算模型進行了整理和說明。這些研究內容對詞表示研究和自然語言處理相關任務解決方案設計有很大幫助。深度學習在文本處理中最大的進展是為詞匯的語義表示帶來了突破。通過學習得到低維度稠密性實數值詞向量來表示語義，將特征表示從離散的one-hot向量表示轉換為連續的低維稠密向量表示(也叫分布式表示)，能夠大大壓縮one-hot表示中離散的維度，將更多的語義信息蘊含于每一維數值中，增加了不同向量的語義關聯性。

1 Word2Vec模型研究

Mikolov等[1]開發的Word2Vec工具在訓練詞向量方面表現突出，它產生的分布式詞向量成為了語義表示強有力的工具，一個詞可以通過刻畫它的各種屬性來高效表示，屬性又與多個概念相關聯。每個詞既包含從上位詞繼承來的公有屬性，也包含自身所有的私有屬性，具有較好的語言學特性，可在很多模型和任務中發揮作用。分布式詞表示是文本處理領域的基礎和核心，許多基于詞匯語義處理的工作在應用了分布式詞表示后都取得了一定程度的提升。一個好的詞向量可以作為輸入應用于現有的機器學習系統來改善訓練效果，例如詞性標注、句法分析、機器翻譯和情感分析等任務。Mikolov等[2]通過Word2Vec產生的分布式詞向量進行語義距離的計算發現，分布式詞向量對于發現語料內上下文中語義距離最近的詞效果很好，并且根據語義的線性偏移較好地預測相關詞。Word2Vec模型沒有考慮詞序以及習慣用語的表示，所以訓練簡單高效，依靠大語料和迭代運算來彌補詞序等方面帶來的不足。分布式詞表示作為文本處理領域的基礎，可以直接用于現有的機器學習系統，完成自然語言處理各方面的任務以提升性能。Word2Vec建立語言模型本質上就是從語言外部考慮了目標詞與上下文的關系，通過淺層神經網絡訓練方法，根據目標詞預測上下文或者根據上下文預測目標詞，同時統計詞頻信息，最后得到了分布式詞向量表示，詞向量中包含著上下文信息的語義關系，屬于數據密集型科學范式。Word2Vec在大規模語料的條件下訓練效果良好，可以通過向量空間計算余弦距離進行語義相似度計算，來尋找語義相似度高的詞。近兩年，很多工作圍繞分布式詞向量展開，在詞向量的基礎上提出了句向量、段落向量、實體和關系向量等。基于不同語言單位的分布式向量表示，有研究者[15-16]又嘗試了詞向量的不同組合方式，從簡單加和線性組合到復雜的非線性組合，目的是為了找到語義信息豐富且準確的向量表示，發現語義組合的規律，以便在更多應用領域中發揮作用。本文在深入理解Word2Vec的設計原理和它的訓練思想的基礎上，研究影響Word2Vec訓練效果的多種因素，在基于特定領域語料的情況下，通過分詞預處理，設置維度參數，選擇混合算法等環節，嘗試發現能夠優化Word2Vec性能的策略，在具體任務中生成更好的詞向量，對相關研究工作提供支持。

1.1 Word2Vec解析

Bengio等[9]在2003年提出了一種神經概率語言模型，其中包含四個層次，分別為輸入層、投影層、隱藏層和輸出層。Word2Vec以神經概率語言模型為基礎構建，主要有三點不同：1) Word2Vec簡化成了一個三層的神經網絡，只包含輸入層-投影層-輸出層；2) 從輸入層到投影層的操作中，神經概率語言模型是將輸入詞向量進行拼接，而Word2Vec則是將輸入詞向量累加求和；3) 神經概率語言模型的輸出層是線性結構，而Word2Vec的Hierarchical Softmax算法模型的輸出層則采用了霍夫曼樹結構。

1.2 語言模型

Word2Vec為訓練詞向量提供了連續詞袋(CBOW)和skip-gram[4]兩種模型，在訓練每種模型的時候又分HS和NEG兩種方法。除了Google官網上的開源的C語言版Word2Vec工具，又出現了其他語言版本，其中Python版的Word2Vec包含在Gensim工具包中，在其最新版的Gensim-0.12.3中，已經實現了Word2Vec原版中的兩種訓練模型和兩種算法，并對原版代碼進行了優化。

1.2.1 CBOW模型

CBOW(Continuous Bag-of-Words Model)模型是通過上下文來預測當前詞出現的概率。假設當前詞w的上下文Context(w)是由w的前后各c個詞所構成的，那么三層的情況則分別為：1) 輸入層，其中包含了Context(w)中2c個詞的詞向量；2) 投影層，將輸入層的2c個詞向量進行累加求和；3) 輸出層，采用Hierarchical Softmax技術，以語料中出現過的詞作為葉子節點，以詞頻作為權重構造一棵霍夫曼樹。

Hierarchical Softmax是Word2Vec中的一種關鍵技術[3]，它將同一層次的多分類情況轉化為多層二分類，從而降低了復雜度。它的思想是每一次分類都存在一個概率，將通往葉子節點路徑中每次二分類的概率相乘，就是p(w|Context(w))。

1.2.2 Skip-gram模型

Skip-gram模型是根據當前詞w預測它的上下文，因此所求的概率就轉化為p(Context(w)|w)。Skip-gram模型在處理文本時，采取跳過一些詞取共現詞的方法，能夠捕捉到與當前詞非直接相連的詞之間的關系。Skip-gram模型結構為：1) 輸入層中包含的是當前詞w的詞向量；2) 因為只有一個輸入向量，沒有累加計算，投影層將詞向量v(w)恒等投射到輸出層；3) 輸出層與CBOW相同，也構造了一棵霍夫曼樹。

1.3 Negative Sampling算法

Word2Vec的CBOW和Skip-gram模型中，除了Hierarchical Softmax模型外，Mikolov等[3]還提出了Negative Sampling(通常簡稱為NEG)，它是 Noise Contrastive Estimation(NCE)的一個簡化版本。NCE的本質是根據已知的概率密度函數來估計未知的概率密度函數。與Hierarchical Softmax相比，NEG模型中的輸出層沒有采用霍夫曼樹，而采用了相對簡單的隨機負采樣；NEG不對目標詞w路徑的中間節點進行更新，而是隨機選取部分中間節點對其權重進行更新。這些設計特點提高了模型的訓練速度和詞向量的質量。

2 Word2Vec訓練效果研究

2.1 影響Word2Vec訓練的因素分析

以Word2Vec為基礎，為訓練得到準確性更高的詞向量，有研究[10]提出了兩個可能會提升Word2Vec訓練效果的問題：1) 對于中文語料，必須進行分詞預處理，不同的分詞結果對Word2Vec的訓練效果有何影響；2) 在Word2Vec中Hierarchical Softmax和Negative Sampling是兩種不同的優化算法，如果混合使用這兩種算法對Word2Vec的訓練效果有何影響。目前對這兩個問題的研究尚無公開文獻，在多篇Word2Vec相關論文中也只是分別介紹了兩種優化算法，并未提及混合算法的模式及效果。在Word2Vec進行詞向量訓練的過程中，首先需要分詞語料作為輸入，再通過優化算法進行輸出，這是訓練過程中的兩個緊密結合的環節。對這兩個問題進行研究，有助于提升Word2Vec的性能和詞向量的訓練精度，使查詢出來的相關詞更加準確，為其他應用提供支持。另外，調整參數，混合兩種算法模式的過程更能加深對Word2Vec設計思路的還原，根據設計思想的啟發可以嘗試將其用在更多的應用領域。基于此，本文提出三個工作假設：1) 分詞器準確率越高，詞向量訓練效果越好；2) 切分出來的詞匯語義完整性越高，詞向量訓練效果越好；3) 混合算法訓練效果優于單一算法，產生的詞向量準確性高。

為了驗證以上假設，為使得語料對訓練的影響最小化，本文選取南海相關領域新聞語料分別進行測試，保證了語料的純度，根據測試結果進行比較詞向量的優劣。

2.2 解決方案

為發現優化Word2Vec性能的策略，訓練生成一個準確性更高的詞向量這一研究目的，本文的工作主要有：1) 針對同一語料用三種不同的分詞器進行分詞，對分詞結果進行訓練，將訓練出的詞向量結合分詞器本身的評測結果進行綜合對比評估，得出結論；2) 對一種分詞器的分詞結果通過調整參數設置實現單一算法和混合算法策略的訓練，采用平均準確率對訓練出的詞向量進行評估，得出結論。

3 實驗設計

3.1 實驗環境及語料來源

本實驗采用了兩種版本的Word2Vec，分別是Windows環境下Python語言的gensim-0.12.3和Ubuntu 14.04環境下c語言版。Windows環境下不能直接調用python版Word2Vec，需要編寫接口文件。分詞實驗時，需要為分詞器編寫接口文件，以及用于去除標點符號和特殊字符的分詞預處理文件。

來斯惟等[11]研究表明，語料的領域性越強，語料越純，訓練出的詞向量準確性越高。本實驗主要考察分詞效果和算法使用的準確性，盡可能排除其他因素的干擾，故實驗語料來源于新浪、網易等大型門戶網站中的南海及釣魚島相關新聞語料，語料范圍都屬于中國領海問題領域，具有針對性。時間集中在2012年，語料大小為86 MB，共計22 000篇文章。根據語料內容，結合詞頻統計信息，通過該領域專家最終選取了十個關鍵詞作為查詢詞，以便評測使用。十個查詢詞為：南海、中國、菲律賓、越南、釣魚島、沖突、黃巖島、海軍、主權、南沙群島。

3.2 Word2Vec主要參數設置

在Word2Vec的訓練過程中，主要涉及以下幾個參數[12]，如表1所示。

表1 Word2Vec主要訓練參數

同時，根據來斯惟等[11]研究發現，做具體 NLP 任務的時候，詞向量大于50 維之后效果提升就比較少了，并且維數越大，訓練時間就越長。綜合考慮，本實驗將訓練維數設置為100維。根據已有資料[13]的建議，skip-gram窗口大小設置為8。

3.3 分詞效果實驗設計

本實驗中采用了三種分詞器，分別是ICTCLAS2013漢語分詞系統，Python下的插件“jieba”分詞器，以及清華大學THULAC中文詞法分析包。實驗步驟：1) 導入生語料C，將形式為多篇TXT文檔的訓練語料置于一個文件夾內。2) 采用不同分詞器進行分詞，分別利用編寫好的接口文件對語料進行分詞處理，詞與詞之間由空格隔開，去掉標點符號，最后分別得到三個長文本形式的分詞語料：C-ict、C-jb和C-th。3) 利用gensim-0.12.3中內置的Word2Vec對三個分詞語料進行訓練，訓練參數設置為：size=100，window=8，min_count=5，sg=1，hs=1，cbow=0，negative=0，sample=0。訓練完畢后得到3個不同的訓練模型：M-ict、M-jb和M-th。4) 根據模型輸入查詢詞，Word2vec返回與查詢詞語義最相近的前20個詞，人工對這20個詞進行相關性標注，再進行分析計算。通過實驗觀察，Word2vec返回的相關詞排序超過一定數量之后，與查詢詞的余弦距離值就比較大了，體現在具體含義上，相關性就很小了。同時考慮到觀察者對查詢結果的關注度一般不會超過當前終端顯示，因此實驗中將相關詞數量設定為20。

實驗流程如圖1所示。

圖1 不同分詞結果實驗流程

3.4 單個與混合模型算法對比實驗設計

實驗步驟：1) 導入分好詞的語料，形式為詞與詞之間用空格隔開的長文本，在本實驗中采用的是jieba分詞器進行分詞的文本C-jb。2) 在使用Python版Word2Vec訓練時發現，調用negative算法訓練時效率非常低，處理速度在10 word/s以內。故在Ubuntu14.04環境下用C語言版Word2Vec進行詞向量訓練。通用參數設置為：size=100，window=8，min_count=5，sample=1e-3。實驗劃分成八個實驗組，分別采用單一加速算法(sg+hs，cbow+hs，sg+negative-20，cbow+negative-20)，以及混合加速算法(sg+negative-20+hs，cbow+negative-20+hs)對C-jb文本進行訓練。訓練完畢后得到6個不同的訓練模型：M1-M6。3) 根據模型查詢相關詞，獲取與其相關詞的前20個，并人工進行相關性標注，再進行分析計算。

混合算法實驗流程如圖2所示。

圖2 單個與混合模型對比實驗流程

3.5 評測方法與評測步驟

3.5.1 評測方法

由于Word2vec的訓練過程是無監督的，對于相關詞向量的查詢，詞向量的評價大體上可以分成兩種方式：第一種是將詞向量輸入現有系統中，例如機器翻譯、情感分析等任務，通過觀察系統性能的提升來評價詞向量的好壞；第二種是從語言學的角度對詞向量進行分析，如相似度、語義偏移等。 Mikolov 根據語義偏移現象構建了測試集，使用類比(analogy)的方式來評測。由于沒有一個標準的評測準則，本實驗中以基本詞的相似度來做評測。在語料領域固定，詞向量維度固定的情況下，只考察分詞以及混合算法對詞向量的影響是可以達到評測效果的。評測過程為分別輸入10個查詢詞，Word2vec返回與查詢詞語義最相近的前20個詞，人工對這20個詞進行相關性標注，計算平均查準率的均值MAP(Mean Average Precision)。MAP平均查準率的均值計算公式如下：

(1)

式中：參數Q是提問式的個數，N表示查詢詞的個數，在本實驗中，由于每次查詢均只查詢一個詞，故Q=N=10。AveP(q)代表了第q個查詢的平均查準率：

(2)

式中：r表示默認返回的相關詞個數，M為第i個實際相關詞的位置。在本實驗中r為word2vec返回的相關詞個數，r=20。M為第i個人工選取出的實際相關詞的位置。

采用MAP值作為評測標準不僅考慮了查詢詞的相關性，還考慮了相關詞在整個查詢中的排序，在查詢中相關詞的排序越靠前，MAP值就越高。同僅計算查詢詞的相關性比較，MAP值能更加客觀有效地反映訓練的效果。

3.5.2 評測步驟

評測步驟如下：1) 向Word2Vec導入訓練模型；2) 取10個關鍵詞查詢集合Q={q1,q2,…,q10}，查詢出與關鍵詞相關的前20個詞構成集合D，對D進行人工相關性標注，相關的標注為2，不相關標注為1；3) 根據MAP的計算公式計算出相關結果，進行對比分析。

4 實驗結果及分析

4.1 分詞結果對Word2Vec訓練效果的影響

4.1.1 評測結果

對10個關鍵詞的查詢結果計算得出MAP值如表2所示。

表2 相關詞查詢的MAP值

4.1.2 結果分析與問題

1) 通過圖3的比較可知ICTCLAS分詞結果的訓練效果最好，平均查準率均值超過了0.5，較jieba分詞器和THULAC都高。

圖3 不同分詞結果查詢MAP值比較

根據之前的假設，分詞準確率越高，訓練效果越好。結合清華大學所做的包括THULAC在內幾款分詞器評測[14]，ICTCLAS在微軟研究評測集及北京大學評測集上的準確率均不如THULAC，但其召回率均高于THULAC，由此可見，word2vec訓練效果實際上與分詞器的召回率成正相關。

2) 觀察THULAC和jieba的分詞結果，發現THULAC的分詞結果語義完整性更高，因此其平均查準率較高。例如對“釣魚島”一詞進行查詢，THULAC反饋的結果中第一個就是“尖閣群島”，而jieba分詞的結果中，是將“尖閣”一詞單獨切分出來，語義信息不完整，相關性較低，由此驗證了第二個假設。

本實驗得出以下結論：1) ICTCLAS分詞系統更適用于本語料的相關詞查詢；2) 分詞結果對于Word2Vec的訓練結果具有一定的影響，分詞召回率越高，Word2Vec的訓練結果就越好；3) 分詞結果語義信息越完整，訓練效果越好。

4.2 單個與混合模型的訓練效果對比及分析

4.2.1 評測結果

對M1-M6訓練模型進行查詢給出的10個關鍵詞，評測結果如表3和圖4所示。

表3 不同算法相關詞查詢結果

圖4 單個與混合模型查詢結果MAP值

4.2.2 結果分析與問題

1) 通過表3和圖4可以看出混合模型算法在平均查準率的均值上要優于單個模型算法。特別是在sg算法與混合模型算法搭配時，詞向量的平均查準率有較大的提升。sg算法以單詞周圍出現的單詞作為上下文，假設如果兩個單詞上下文相似，則這兩個單詞就相似，即使這兩個單詞可能從未同時出現在一段文本范圍內。該算法建模了單詞間的縱向關系，更加適合處理涉及單詞自身的各種應用。負采樣最終的詞向量表示是通過極大對數似然估計得到。在此情況下，使用了負采樣的sg模型，對于單詞wi以及其上下文cj，目標函數如下[13]：

(3)

2) 根據實驗結果分析，進一步閱讀Word2Vec C語言版的源碼，解析并還原了源碼中調用兩種優化算法的核心架構和流程，發現hs和neg兩種算法沒有采取并行計算，而是順序調用，在hs算法結果的基礎上用neg算法對結果進一步疊加優化。解析出算法整體架構如圖5所示。

圖5 混合算法訓練架構

3) 本實驗中，進行查詢的詞大都是語料中的常見的實體名，通過圖4，可以分析出在進行實體名查詢時，采用cbow+negative+hs的算法得到的效果是最好的，最差的是sg+negative。進一步分析其原因，發現這與算法的特性是相符的。在相關文獻[4]中提到，cbow和negative算法對常見詞有利，而sg與softmax對罕見詞有利，并且sg和negative搭配使用得出的結果精度不高。實驗結果進一步驗證了這個結論。

本實驗得出以下結論：1) 混合模型算法在訓練效果上優于單個模型算法，并澄清了混合算法的流程架構，根據算法特性得出混合算法的最優適用策略。2) 在進行常見的實體名查詢時采用cbow+hs+negative的算法可以得到最好的效果。

5 結 語

本文在解析了Word2Vec的基本算法及其原理，通過多個試驗對影響其訓練精度的因素進行了研究，得到了以下結論：1) 發現分詞結果的召回率和語義完整性對詞向量訓練效果有重要影響，對未來的應用提供了分詞系統選擇的依據；2) 發現混合模型算法訓練效果普遍優于單一模型算法，在針對特定領域語料訓練時得出Word2Vec的優化策略；3) cbow+negative+hs的混合模式最適合于常見實體名的查詢。

在基于領域本體的任務中可以跟據語料的特點選用適當的分詞器和相應的算法組合來訓練質量更高的詞向量。一個好的詞向量可以作為輸入應用于現有的機器學習系統來改善訓練效果，例如詞性標注、句法分析、機器翻譯和情感分析等任務。詞向量包含了詞的語義，可以用來完成分類、聚類等任務，也可以進行詞的相似度計算，利用其在向量空間的位置，可以進行關系挖掘，相關詞發現等工作。它的設計思想還可應用在社交網絡中的推薦，計算商品的相似度和短文本的快速檢索中。

本實驗研究了分詞器以及加速算法設置對Word2Vec訓練的影響，在本文的基礎上，還可以從以下幾個方面研究Word2Vec性能的改進和應用：1) Word2Vec中沒有考慮詞序等語言學特征，如果能將更多的語言學特征(例如依存關系)引入其訓練過程中，可能對提升訓練效果有幫助；2) 訓練出的詞向量中存在語言學線性平移特性，可以根據該性質進行推理，挖掘相關實體，如知識圖譜的補全；3) 詞向量之間存在著一定的同義關系和上下位關系，如何將語義本體知識加入到詞向量的構建中，使詞向量包含更豐富的語義本體信息，將會提升知識表示學習。

[1] Mikolov T,Chen K,Corrado G,et al.Efficient Estimation of Word Representations in Vector Space[J].Computer Science,2013.

[2] Mikolov T,Yih W T,Zweig G.Linguistic regularities in continuous space word representations[C]//NAACL HLT 2013-2013 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies,Proceedings of the Main Conference,2013:746-751.

[3] Mikolov T,Sutskever I,Chen K,et al.Distributed Representations of Words and Phrases and their Compositionality[J].Advances in Neural Information Processing Systems,2013,26:3111-3119.

[4] Mikolov T,Le Q V,Sutskever I.Exploiting Similarities among Languages for Machine Translation[J].Computer Science,2013.

[5] Goldberg Y,Levy O.word2vec Explained:deriving Mikolov et al.’s negative-sampling word-embedding method[J].Eprint Arxiv,2014.

[6] 熊富林,鄧怡豪,唐曉晟.Word2vec的核心架構及其應用[J].南京師范大學學報(工程技術版),2015(1):43-48.

[7] 鄭文超,徐鵬.利用word2vec對中文詞進行聚類的研究[J].軟件,2013(12):160-162.

[8] 周練.Word2vec的工作原理及應用探究[J].科技情報開發與經濟,2015(2):145-148.

[9] Bengio Y,Schwenk H,Senécal J S,et al.A neural probabilistic language model[J].Journal of Machine Learning Research,2003,3(6):1137-1155.

[10] Peghoty.Word2Vec中的數學原理詳解[OL].(2014-07-21).http://www.cnblogs.com/peghoty/archive/2014/07/21/3857839.html.

[11] Lai S W,Liu K,He S Z,et al.How to Generate a Good Word Embedding?[J].IEEE Intelligent Systems,2016,31(6):5-14.

[12] Rong X.word2vec Parameter Learning Explained[J].Computer Science,2014.

[13] Beck_zhou.word2vec使用指導[OL].(2014-04-22).http://blog.csdn.net/zhoubl668/article/details/24314769.

[14] 清華大學自然語言處理與社會人文計算實驗室.THULAC：一個高效的中文詞法分析工具包[OL].(2016-03-31).http://thulac.thunlp.org/.

[15] Gershman S J,Tenenbaum J B.Phrase similarity in humans and machines[C]//Proceedings of the 37th Annual Conference of the Cognitive Science Society,2015:776-781.

[16] Blacoe W,Lapata M.A comparison of vector-based representations for semantic composition[C]//Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning.Association for Computational Linguistics,2012:546-556.

[17] Cao K,Rei M.A Joint Model for Word Embedding and Word Morphology[C]//The Workshop on Representation Learning for Nlp,2016:18-26.

[18] Levy O,Goldberg Y.Neural word embedding as implicit matrix factorization[J].Advances in Neural Information Processing Systems,2014,3:2177-2185.

[19] Fu R,Guo J,Qin B,et al.Learning Semantic Hierarchies via Word Embeddings[C]//Meeting of the Association for Computational Linguistics,2014:1199-1209.

[20] Chen Y,Perozzi B,Alrfou R,et al.The Expressive Power of Word Embeddings[J].Computer Science,2013.

[21] Bian J,Gao B,Liu T Y.Knowledge-Powered Deep Learning for Word Embedding[M]//Machine Learning and Knowledge Discovery in Databases,2014:132-148.

[22] Rothe S,Schütze H.AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes[J].Computer Science,2015.

[23] Shazeer N,Pelemans J,Chelba C.Skip-gram Language Modeling Using Sparse Non-negative Matrix Probability Estimation[J].Computer Science,2014.