文本相似度檢索技術及其應用研究

黃麗娟

摘要：本文運用深層神經網絡針對基于語義的文本情感傾向分析方法實行了探究。通過改良策略和模式布局的設想，提出了兩種情感傾向的檢索布局，以便得到最佳的檢索效益。實驗說明，BO-BI-LSTM和BO-CNN神經網絡語言模式在一定意義上提升了基于語義的文本情感傾向分析的采集方法的精確度，丟失率明顯降低，預防了極度吻合。

關鍵詞：深度神經網絡;文本檢索;應用研究

中圖分類號：TP18? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）12-0188-02

1 前言

傳統的文本情感傾向的檢索分析的算法大部分依存于龐大的情感詞典與基于淺層的機器學習，但是特征提取方法用的時間特別長，訓練難度大，成本很高的不足，不適合當今數據信息龐大的場合。基于深層的神經網絡的文本情感的檢索分析的算法可以從大數據中自動地訓練包括語義所指向的詞向量，并且經過的深度的神經網絡獲取的句子或文檔的特征和情感表達。深度的神經網絡中的損失函數對模式訓練的過分吻合有主要作用。改正的損失函數就可以提升模式的泛化的能力，減少過分吻合。情感詞在文本的分類中起著主要影響。在循環神經網絡當中，輸入詞在情感分類的結果當中的貢獻可以被快速地排序，情感詞在文本分類中的影響被增長，這就可以降低情感傾向的信息丟棄。

2研究內容

當前，如何在文本情感傾向分析應用深層神經網絡還處在探究階段。本文的研究目標是確立一種高效、精確的情緒傾向分析的方法。在這基礎上，主要研究內容和創新點如下：深度神經網絡的損失函數對于模式訓練的極度吻合有明顯的影響。使得讓情感二類模式更加有效地吻合預定誤差范例，本文借鑒于合頁損失的函數和三元組損失的函數的思路，改進了BI-LSTM和CNN模式中的交叉熵的損失函數，設想了BO-BI-LSTM和BO-CNN模式。

3研究方法

3.1詞向量

詞向量的訓練有兩種方式：語言模式與主題模式。語言模式主要用來計算句子的出現幾率，主要分成統計語言的模式與神經網絡語言的模式。使得判定文本是否屬于自然語言，就可以明確文本的概率分布來判斷其存在的可能性。并且語言模式的詞語是有順序。用給出的n個詞語來判定句子是合理的自然語言與否，關鍵是在于判斷這些詞語的順序能否正確。據此，統計語言的模式的基本思路是計算條件幾率。長度為T的詞語序列{W1，W2…，WT}的聯結幾率表示為P（W1，W2…，WT）。于給出前一個詞語序列W1：（t-1）的句子當中，必須估算出每一個詞語的條件概率。但是，因為數據稀零，就很難估計出來所有的字符序列。有一種解決方法就是Mark性質：假如有一個單詞的幾率取決在于其前面的n-1個單詞。如果n=1時，叫作單詞的模式;如果n=2時，叫作二元語言的模式。2-gram的詞頻是經過計算目前單詞和其前面的單詞來計算的。如果n值增大時，模式中的參數值就增大，并且還是存在數據稀零與維數災難的問題。使得解決這兩個問題，于是我們采用了神經網絡對語言模式進行訓練，得出詞向量。

3.2神經網絡語言模式—Word2vec框架

經過神經網絡的語言模式，在大量沒有標記的語料庫上進行詞向量的訓練。利用神經網絡的語言模式對詞向量進行預先訓練有兩個弊端：一個是盡管利用改正的神經網絡的語言模式，他的訓練也要大批計算的資源，并且訓練時間很長。第二，改進神經網絡的語言模式的目標就是使語言模式的目標函數降低，而且也不能直接反映出學習詞向量的質量。

Word2vec框架，重點采用深層神經網絡的方法把詞map到低維實數向量空間。Word2vec框架主要包括兩種不一樣的實現的模式：CBOW和Skip-gram。兩種模式只包括三層，就輸入層、隱層和輸出層。CBOW模式是在給定單詞的上下文找到單詞的條件幾率。

3.3深度神經網絡的模式

（1）卷積神經網絡（CNN）

卷積神經網絡是一種含有卷積的運算并且結構復雜的前向的神經網絡。其開始用在圖像處理方面。它卷積池的結構可以很好地提煉圖像的信息。近幾年來，積神經網絡在自然語言處理的應用也得到了很好的效益，例如語義分析、查詢檢索、文本分類等等工作。積神經網絡有四個組成部分：輸入層、池層、卷積層、全連接層。在輸入層時，輸入的是和句子相應的矩陣。利用k維分布式的詞向量。針對長度為n的句子時，會產生n?k的矩陣。第二部分就是池層，主要用在最重要的特征提取。利用最大值的池法，每一個特征映射合并之后，就產生一個一維向量。用最大值作為特征也可以解決句子長度不一不能自致的問題。在前面一部分，經過卷積層的卷積核運算得出幾個特征映射，然后經過合并層處理產生一些一維向量。第三部分就是卷積層，主要用在句子的特征提取。其重點采用卷積核在輸入層上下滑動來進行卷積運算。最后一部分就是全連接層。經過池層，我們能得到特征。再經過softmax分類器得到每個分類的概率。最后，比較預測類和標準類，再經過反向傳播更換網絡參數。

（2）LSTM和BI-LSTM模式

長短期記憶神經網絡是一種特別的循環神經網絡。它基于循環神經網絡的基礎上，在隱藏層的每一個神經上加上了記憶單元，然而可以控制時間序列上的記憶消息。經過幾個可控門，能控制以前消息和目前消息的記憶與忘記進程，讓LSTM能具有長期記憶的功能。LSTM能經過訓練學習需要記憶哪些消息，需要忘記哪些消息，以便更好地捕捉長距離的依附。但是，應用LSTM建模一個個語句還存在一個問題，網絡只能夠解決單方向的時間序列。所以，提出了一種雙向的長短時記憶的神經網絡（BI-LSTM）。

在BI-LSTM模式中，計算從1次到t次的前向是前向層，從而得到并保存每一次對從向隱層得到的輸出。后向從時間t往后計算至時間1，并得到和保存每一次從后向隱層得到的輸出，最后前向層和后向層合并在每一時刻的相應時間輸出從而得到最終輸出。所以，BI-LSTM模式可以更準確地捕捉雙向語義依附。

3.4評價指標

只為評價模式的功能，在情感二分類的工作中使用了如下評價規范。

（1）精確度

在文本分類領域中，精確度主要是衡量分類器的功能，也是最經常常用的評價標準。總的說來，精確度如果越高，分類器的功能就越好。精確度等于正確預測的正反例數除以總數。

（2）損失函數

損失函數是機器學習的一個主要觀點，用來評估模式的預測值和實際值之間的差別。損失函數的推算是學習過程中的重要依據，更是學習后用來判斷算法優劣的主要目標。總的說來，丟失率如果越小，模式越能反映出真實的數據。一些常見的損失函數如下：

① 絕對平均誤差的損失函數： 歸回模式中經常使用的損失函數就是目標和預測變量之間的絕對差的總和，其體現了預測值的平均誤差的局限。合頁的損失函數： 合頁的損失函數能用在“最大邊緣”的分類，經常用來作為支持向量機的目標函數。

② 三元組的損失函數：三元組的損失函數就是深層神經網絡中的一種損失函數，通常用來作為訓練差別較小的樣品。

③ 交叉熵的損失函數：交叉熵是分類任務中很常用的損失函數，其顯示出實際輸出和期望輸出之間的范圍。如交叉熵越小，兩種幾率的分布就越接近。

3.5 基于深層神經網絡和基于語義的文本情感傾向分析的方法研究

近幾年以來，深層神經網絡的思路提議了神經網絡的語言模式。并通過大規模的語料庫進行了訓練，得到詞向量，才可以實現基于語義的文本情感分析與標注等習見的自然語言處理工作。在深層神經網絡的網絡模式中，卷積神經網絡處理了自然語言管理領域的問題，在查詢采集、語義分析、文本歸類等工作中獲得了杰出的成果。循環神經網絡因為具有記憶的功能，對序列的變化數據的解決能力更高。并且LSTM模式可以處理循環神經網絡中的梯度丟失和長序列的數據處理的難題。

基于深度神經網絡的損失函數對模式的訓練的極度吻合有關鍵作用。改進損失函數不但可以提升模式的泛化能力，并且也可以減少極度吻合;情感詞在文本的分類中起到要重要影響。如在循環神經網絡之中，輸入詞可以快速排序情感分類的結果的貢獻，因此讓情感詞增加了在文本分類中的影響，定值地降低了情感消息的丟失。在以上的思想下，設想了兩個文本情感分析的模式。以致驗證模式的有用性，在中英文的知識庫上執行了參數改進和對比分析的實驗，在情感分類任務中對兩種模式的體現進行了評估。

（1）基于改進的損失函數的BO-BI-LSTM和BO-CNN模式

基于語義的文本情感分析的模式里，損失函數常常使用交叉熵。在實際的情緒傾向分析的工作里，每當模式對樣品的測定值大于0.5的時候，就作為樣品作為正樣品，不然作為負樣品。所以，證明了樣品的判定就可以使模式可以有選擇地更換。本文的改進思路是：設立最小輸入值為M，M的值處于[0，1]范圍。每當模式對正樣品的測定值大于M或者對負樣品的測定值小于1-M的時候，模式就不會因為樣品而新換。每當樣品的預測值處于1-M和M之間的時候，模式才可能會更換。這樣的目的是讓模式關注那些不正確的測定的樣品，以便預防損失函數的下落，選擇那些容易吻合與過訓練的樣品，讓模式能夠更加有效地吻合不正確測定的樣品，以便提高精確度。為了實現上述思路，本文依據合頁的損失函數和三元組的損失函數對二分類的模式中的損失函數進行改正，所以，若正樣品的輸出大于M，就不更換模式，若小于，就更換;若負樣品的輸出小于1-M，就不更換模式，而且接著在新的損失函數的基礎之上，對BI-LSTM的模式和卷積神經網絡的模式的損失函數進行了創新，設計了BO-BI-LSTM和BO-CNN的模式。

4總結

本文運用深層神經網絡針對基于語義的文本情感傾向分析方法實行了探究。通過改良策略和模式布局的設想，提出議了兩種情感傾向的檢索布局，以便得到最佳的檢索效益。本文的要點的研究工作和改進點如下：

在BI-LSTM和CNN的前提下，對兩值分類工作的交叉熵損失函數實行改進，使模式更有效力地擬合預定誤差范例，減少極度吻合。在改進的交叉熵的損失函數的基礎上，設計出了BO-BI-LSTM和BO-CNN兩種模式，在中英文的知識庫上進行了改進參數和分析對比的實驗。實驗說明，BO-BI-LSTM和BO-CNN神經網絡的語言模式在一定的意義上提升了基于語義的文本情感傾向分析的采集方法的精確度，丟失率明顯降低，預防了極度吻合。

參考文獻：

[1] 聶瓊.淺談遺傳算法與人工神經網絡的結合[J].輕紡工業與技術，2012，41（6）：35-37.

[2] 曾瑜民.探討神經網絡算法在人工智能識別中的應用[J].信息通信，2019，32（7）：104-105.

[3] 趙宏，王樂，王偉杰.基于BiLSTM-CNN串行混合模型的文本情感分析[J].計算機應用，2020，40（1）：16-22.

【通聯編輯：唐一東】