基于BERT-Attention-DenseBiGRU的農業問答社區問句相似度匹配

王郝日欽 王曉敏 繆祎晟 許童羽 劉志超 吳華瑞

(1.國家農業信息化工程技術研究中心， 北京 100097； 2.內蒙古民族大學計算機科學與技術學院， 通遼 028043；3.北京市農林科學院信息技術研究中心， 北京 100097； 4.沈陽農業大學信息與電氣工程學院， 沈陽 110866)

0 引言

隨著互聯網時代的快速發展，在網絡問答社區[1]提出問題、回答問題和討論問題已經成為人們日常尋求問題解答，滿足自身信息需求的重要方法?！爸袊r技推廣信息平臺”是一個專業提供農技問答、專家指導、在線學習、成果速遞、技術交流等的綜合性服務平臺，其中農技問答模塊在幫助農戶找到問題的解決方案方面發揮著重要作用。用戶每天在問答模塊[2]提出的問題有千萬余條，農業專家會及時對所提問題進行解答，但是由于中文語義表達的復雜性，會出現很多描述方式不同但語義相同的問句，對這類問題重復進行解答會耗費大量的人力和物力。這類農業文本具有冗余性、稀疏性[3]，以及規范性差等特點，導致了文本特征提取不準確，難以挖掘特征之間的關系，從文本數據集中快速、自動、準確地檢測出語義相同的問句并將相同語義問句對應的正確答案返回給用戶是實現農業智能問答[4]的關鍵技術環節。傳統的文本語義相似度判斷[5]依靠人工篩查很難高效地完成文本數據的處理。目前常用的關鍵詞查詢及淺層神經網絡學習模型[6]雖然能夠輔助完成相似問句判斷等工作，但是由于采用人工特征選擇的方式，不具備從大量的農業文本數據中自動、準確地判斷相同語義問句的功能。因此利用深度學習[7]和自然語言處理技術[8]實現農業相同語義問句智能檢索是“中國農技推廣信息平臺”需要解決的一個重要難題。

隨著深度學習技術的快速發展，國內外學者主要使用卷積神經網絡[9]和循環神經網絡[10]等模型研究文本相似度計算。文獻[11]提出的DSSM(Deep structured semantic models)模型是最早將孿生網絡架構作為基礎模型用于語義文本相似度計算的方法，DSSM模型在文本匹配任務上取得了良好的效果, 但是忽略了文本語序和上下文信息。文獻[12]將卷積神經網絡加入到DSSM模型以保留更多文本語序和上下文信息，在表示層中增加了卷積層和池化層，提升了文本匹配效果，但是由于卷積神經網絡的限制，仍會丟失一些距離較遠的文本特征。文獻[13]將長短期記憶網絡引入其中，LSTM[14]模型可以很好地解決上述問題, 使得文本匹配效果提升。隨著自注意力機制在圖像和自然語言處理領域的應用，文獻[15]將雙向長短期記憶網絡和自注意力機制技術相結合用來提取文本的特征向量，提高了文本匹配精確度。由于基于孿生網絡的方法在提取文本特征時是互相獨立的，而基于交互模型的神經網絡可以解決上述問題，它是在編碼層增加2個網絡之間的交互作用, 從而提取句子對之間的特征關聯來提高文本匹配的精確率。文獻[16]提出了基于注意力機制的卷積神經網絡模型，首先使用Word2Vec對文本進行向量化的基礎上通過卷積神經網絡對句子進行特征提取, 再分別對文本對進行卷積和池化操作的同時, 使用注意力機制對2個中間過程進行交互，提升了文本匹配的精確率。以上研究表明，交互模型對文本相似度匹配具有更好的效果。文獻[17-24]為深度學習和自然語言處理技術在農業文本處理方面提供了可行性依據和參考。但是在農業問句相似度匹配過程中，仍存在無法解決多義詞在不同語境下具有不同含義的問題和文本特征提取不精確等問題。同時由于農業領域一直缺乏大規?？捎玫臄祿? 因此關于農業文本相似度計算的研究還鮮有報道。

為了實現農業問答社區提問數據的快速自動重復語義檢測, 本文首先利用12層的中文BERT[25]預訓練模型獲得文本的上下文特征表示，使用密集連接的雙向GRU網絡進一步提取農業問句對的文本特征，使用連接操作將注意力機制對2個問句交互的信息合并到密集連接的BiGRU中用于問句相似度匹配，并進一步針對神經網絡的重要參數進行優化和改進, 提出基于BERT-Attention-DenseBiGRU的農業文本相似度匹配模型，以期實現農業問答社區相同語義問句自動、精確識別。

1 數據集構建

從“中國農技推廣信息平臺”問答社區后臺服務器中導出農業問答文本數據，共提取到涉及8個類別的30 000對問答數據，針對8個類別內的每條提問文本數據使用Simhash算法[26]檢索相同語義文檔，并進行人工篩選及校對，語義表達相同的問句對記作標簽1，語義表達不相同的問句對記作標簽0，這樣可以盡量避免使神經網絡認為2個句子相同關鍵詞越多越相似，得到農業文本相似問句對共17 000對，其中病蟲草害、動物疫病、栽培管理、市場銷售、養殖管理、土壤肥料、儲運保鮮、其他8個類別問句對數量分別為5 890、2 100、3 870、760、1 210、765、217、2 188。訓練集樣本示例如表1所示。

表1 訓練集樣本示例Tab.1 Training set sample example

2 模型構建

本文提出的BERT-Attention-DenseBiGRU模型如圖1所示。該模型主要由文本預處理層、密集連接BiGRU(DenseBiGRU)、注意力機制層和交互分類層4部分組成。與傳統深度學習模型相比，首先本文使用12層的中文BERT預訓練模型得到問句特征向量化表示；其次本文提出的模型利用DenseBiGRU和協同注意力機制提取文本不同粒度的局部特征；最后將提取的特征向量輸入到交互分類層。

圖1 模型架構圖Fig.1 Model architecture diagram

2.1 文本預處理

首先使用12層的中文BERT預訓練模型作為詞向量轉換工具獲得問句特征表示，既能獲得農業問句文本語法、語義特征，又能解決Word2Vec[27]忽略詞語多義性的問題。BERT是一個預訓練的語言表征模型，不同于傳統的單向語言表征模型，BERT使用雙向的Transformer[28]對語言模型進行訓練，可以獲得更深層次的語言表征信息，Transformer模型結構如圖2所示。

圖2 Transformer模型結構Fig.2 Transformer model structure

Transformer模型中包含2個相同的編碼器，每個編碼單元都由自注意力機制和前向傳播網絡構成，并且在前向傳播的過程中使用了殘差連接，將之前層的輸入和本層的輸出合并之后向后傳遞，最后進行求和歸一化操作。解碼單元跟編碼單元相比，增加了1層注意力機制。BERT作為文本特征的提取器優于傳統的卷積神經網絡和循環神經網絡，這是因為BERT采用了雙向的Transformer獲取詞向量，可以充分考慮每個詞的上下文信息，從而提取到更加準確的詞向量表示，解決了中文一詞多義的現象。

BERT是一種遮蔽語言模型，在獲取詞向量的過程中隨機遮蔽一些詞語，然后在預訓練過程中在原始詞匯的位置進行預測。對于BERT 模型的輸入，每個詞語的表示都由詞語向量、段向量和位置向量共同組成, 其中，標記[CLS]代表句子的開始，標記[SEP]代表句子的結束，如圖3所示。

圖3 BERT輸入示例Fig.3 BERT input example

使用哈爾濱工業大學開發的語言技術平臺(LTP)工具[29]作為分詞工具。它會屏蔽組成同一個單詞的所有漢字，然后訓練模型以獲得分段單詞。

2.2 密集連接BiGRU

使用雙向GRU獲取文本的特征向量。GRU[30]是一種特殊的循環神經網絡(RNN)，RNN是一種對序列數據建模的神經網絡。它以有序的方式向網絡傳輸文字存儲之前的單詞信息，可以有效地解決長期依賴關系。然而RNN存在消失梯度問題，文獻[14]針對上述問題提出了長期短期記憶網絡(LSTM)改進了RNN。LSTM通過遺忘門和輸入門持續更新內存內容，以便LSTM可以有效地獲得長期依賴關系，解決梯度消失和梯度爆炸問題，文獻[24]提出了門控循環單元網絡(GRU)，將LSTM的輸入門和遺忘門合并形成了更新門，形成了更加流線型的門結構。

使用BERT預訓練模型獲得的詞向量作為BiGRU層的輸入。BiGRU層包含2部分，同時讀取向前和向后方向的單詞向量。然后GRU計算傳遞的向量并輸出固定維度的向量。GRU包括4部分：

(1)重置門。GRU使用重置門進行選擇在前一刻要放棄哪些信息。

(2)更新門。GRU通過更新門選擇并更新當前時刻的信息，重置門和更新門計算公式為

Rt=σ(WrSt+Urht-1+Br)

(1)

Zt=σ(WzSt+Uzht-1+Bz)

(2)

式中Wr、Ur、Wz、Uz——權重

Rt——t時刻的重置門

ht-1——t-1時刻的隱藏狀態

Br、Bz——偏差

σ——Sigmoid函數

St——輸入的詞向量

Zt——t時刻的更新門

(3)GRU計算候選內存內容，這是計算當前時刻輸出的重要步驟，計算公式為

t=tanh(WSt+URtht-1+B)

(3)

式中W、U——權重B——偏差

(4)GRU根據上述結果計算輸出，計算公式為

Ht=(1-Zt)t+ZtHt-1

(4)

式中Ht、Ht-1——t、t-1時刻的輸出

(5)

(6)

(7)

式中wt——t時刻前向隱藏狀態權重

vt——t時刻反向隱藏狀態權重

bt——t時刻隱藏層的偏置

ctij——t時刻第i個句子第j個詞的向量

本層是該模型的關鍵所在，采用了多層BiGRU堆疊在一起的結構并循環了5次，在每個密集連接的BiGRU層都將之前層的輸入和本層的輸出合并之后向后傳遞，Hl代表的是BiGRU，l表示的是BiGRU的層數，t表示的是時刻，其隱藏狀態值計算公式為

(8)

Hl——第l層的BiGRU

2.3 協同注意力機制

注意力機制在許多領域都取得了很好的應用效果，是一種有效學習上下文向量在特定序列上匹配的技術。給定2個問句，即在每個BiGRU層基于協同注意力機制的2句話，計算上下文向量。計算出的注意信息值代表了兩句話之間的對齊關系。本文使用連接操作將注意力機制對2個問句交互的信息合并到密集連接的重復特征中。這種從最下層到最上層的密集連接特征所獲得的串聯循環和協同注意特征，豐富了詞匯的語義特征。與密集連接的BiGRU隱藏特征類似，本文將注意力上下文向量與向量hhi連接，保留注意信息作為下一層的輸入。對句子Q的第i個位置詞的注意信息σpi計算為與hhi的加權和，其加權值為Softmax的權值，計算公式為

ei,j=cos(hpi,hhi)

(9)

(10)

(11)

式中ei,j——2個問句向量的相似度

hpi、hhi——問句向量表示

cos(·)——相似度函數

αi,j——注意力權重

2.4 交互分類層

本文提出的模型使用所有層的輸出作為一個語義知識的社區。然而，該網絡是一種隨著層的加深而增加輸入特征的結構，并且具有大量的參數，尤其是在全連接層。為了解決這個問題，使用了一個自動編碼器作為減少特征數量同時能維持原有信息的結構。此外，該部分在試驗中作為一個正則化，從而提高了測試性能。

為了提取每個句子的適當表示，對密集連接的BiGRU和注意特征采用逐級最大池化運算。具體來說，如果最終BiGRU層的輸出是句子30個單詞的100維向量，得到了一個30×100的矩陣，使得合成的向量p或q的維度為100。然后，在交互層中以各種方式對2個句子P和Q的表示形式p和q進行聚合，最終得到語義句匹配的特征向量v，計算公式為

v=[p;q;p+q;p-q;|p-q|]

(12)

這里，從元素的角度執行操作+、-、|·|來推斷2個句子之間的關系。元素相減p-q是用于單向類型任務的非對稱操作符。提取完特征v之后使用了2個全連接層，激活函數為ReLU，后面是一個完全連接的輸出層。最后應用Softmax函數得到概率分布。

3 試驗與結果分析

3.1 評價指標

本研究使用Pytorch深度學習框架構建神經網絡。試驗把17 000個問題對按9∶1的比例劃分為訓練集和測試集，使用隨機梯度下降算法對模型權重進行更新，訓練集共15 300條，測試集1 700條，本文以精確率、召回率和F1值作為評價指標。

3.2 文本向量化處理與分析

采用12層的中文BERT模型對農業問句文本數據進行向量化處理。同時與Glove[31]、TF-IDF[32]、Word2Vec向量化模型進行對比分析。對4種模型訓練得到的文本特征通過一個全連接層直接輸入到Softmax分類器中，由表2可知，在嵌入層使用4種不同詞向量轉換工具，BERT預訓練模型取得最高的精確率和F1值，分別達到85.3%、81.2%，TF-IDF方法的效果最差，這是由于TF-IDF主要考慮詞頻的重要性，忽略了詞與詞的位置信息以及詞與詞之間的相互關系。而經過BERT預訓練模型方法比Word2Vec精確率和F1值分別提高2.7、3.5個百分點，這是因為Word2Vec雖然考慮了詞的周邊信息，但是卻忽略了詞序問題，以及受限于窗口尺寸的限制，不能考慮整個句子中所有詞的相關性。而經過BERT模型在農業問句語料庫上預訓練得到文本特征后，實現了同時考慮上下文及詞序信息，提高了神經網絡的精確率和F1值，說明BERT可以很好地解決詞語在不同語境下具有不同含義的問題。因此本文采用BERT預訓練模型，將農業問句轉換為詞向量輸入到神經網絡模型中。

表2 不同嵌入層下模型匹配效果Tab.2 Model matching effect under different embedding layers %

3.3 參數設置

本文設置模型迭代訓練次數為50，Batch-Size設置為64，設置密集連接的BiGRU循環5次，每個密集連接的BiGRU有100個隱藏單元，將全連接層的隱藏單元設置為1 000。在單詞和字符嵌入層之后，將Dropout設置為0.5。對于自動編碼器，設置200個隱藏單元作為自動編碼器的編碼特征，Dropout設置為0.2。本文使用初始學習率為0.001的RMSProp優化器。所有權值都被L2正則化約束，正則化常數λ=10-6。

3.4 試驗結果與分析

使用本文提出的BERT-Attention-DenseBiGRU模型與其他6種文本相似度匹配模型：BiLSTM[33]、Selfattention-BiLSTM[34]、TextCNN[35]、ABCNN[36]、BiGRU、Attention-BiGRU[37]在農業問句相似對文本數據集上進行對比試驗，均使用12層的中文BERT模型對文本進行向量化，表3展示了7種不同深度學習模型在精確率、召回率、F1值的比較?；谧宰⒁饬C制的BiLSTM相比于BiLSTM的精確率和F1值分別提高4.7、4.4個百分點，基于注意力機制的卷積神經網絡模型(ABCNN)的精確率和F1值相比于TextCNN模型精確率和F1值提高3.2、3.9個百分點，基于注意力機制的BiGRU相比于BiGRU模型的精確率和F1值提高了2.6、1.9個百分點。通過3組對比試驗可以看出，加入注意力機制的深度學習模型可以明顯提升模型效果，這是由于注意力機制在農業問句關鍵信息上分配更多的權重、突出局部的重要信息，有利于精確提取文本特征。本文提出的模型Attention-DenseBiGRU獲得了最高的精確率和F1值，達到97.2%和97.6%，精確率、召回率、F1值明顯優于其他6種深度學習模型，相比于Attention-BiGRU的精確率和F1值分別提高5.5、5.3個百分點，原因為：①通過密集連接的BiGRU可以加強特征的傳遞和提取，減少特征損失。②Attention-BiGRU只是在網絡后面加入注意力機制，而本文提出的Attention-DenseBiGRU是在編碼層通過注意力機制增加2個網絡之間的交互作用, 從而提取句子對之間的特征關聯來提高文本匹配的精確率。

表3 不同模型在農業問句數據集上的效果Tab.3 Effects of different models on agricultural question data sets %

表4展示了7種神經網絡模型在BERT文本向量化表示方法和Word2Vec文本向量化表示方法下的農業問句相似度匹配精確率。本文提出的BERT文本向量化表示方法在7種神經網絡模型上精確率均高于Word2Vec文本向量化表示方法。Attention-DenseBiGRU模型在BERT文本向量化表示和Word2Vec文本向量化表示方法下均取得了最高的精確率，分別達到97.2%和94.3%，問句相似度匹配效果明顯優于其他6種神經網絡模型。從表4可以看出，BERT文本向量化表示方法在每組對比試驗中都提高了精確率，這是由于Word2Vec文本向量化表示方法忽略了不同語境下多義詞的問題以及長距離語義關聯信息，而BERT文本向量化表示方法可以很好地解決上述問題，從而提高問句相似度匹配的精確率。

表4 不同模型在BERT和Word2Vec文本向量化表示方法下問句相似度匹配精確率Tab.4 Question similarity matching precision of different models under BERT and Word2Vec text vectorization representation methods %

由表5可知，與BiLSTM、Selfattention-BiLSTM、TextCNN、ABCNN、BiGRU、 Attention-BiGRU 6種文本相似度計算模型相比，Attention-DenseBiGRU在病蟲草害、動物疫病、栽培管理、市場銷售、養殖管理、土壤肥料、儲運保鮮、其他共8個類別的農業問句對數據集上均具有最高的匹配精確率，對農業問句相似對匹配的精準率大于93.7%，整體效果明顯優于其他模型。在病蟲草害、栽培管理2個類別試驗數據量充足的數據集中，本文模型的精確率達到99.1%、98.7%，明顯高于其他6種深度學習模型。這是因為深度學習模型在不斷迭代訓練的過程中，數據集越大，模型的訓練效果越好；在市場營銷、土壤肥料、儲運保鮮3個類別數據量較少的數據集中，本文模型的精確率分別達到97.3%、96.6%、93.7%，明顯高于其他模型，說明Attention-DenseBiGRU模型在數據量不充足的情況下，仍能夠有效提取短文本的特征進行文本相似度計算，也說明了該模型具有很好的魯棒性。

表5 不同模型在農業相似問句數據集不同類別的精確率Tab.5 Precision of different models in different categories of agricultural similar question data sets %

通過一組試驗來證明本文所提出Attention-DenseBiGRU模型中每個模塊的有效性。首先將模型中自編碼器(autoencoder)刪除后得到模型2，由表6可以看出，模型2的精確率和F1值與模型1相比下降了2、1.7個百分點，驗證了自動編碼器的有效性。自動編碼器可以降低文本特征維度，有效提高文本相似度匹配效果。然后分別刪除BiGRU之間的密集連接和注意力機制，得到模型3、4，可以看出模型3、4的精確率和F1值與模型1相比分別下降了2.9、2.9個百分點和2.1、1.8個百分點，表明BiGRU之間的密集連接比協同注意力機制更能提高模型的效果。模型5、6分別是基于注意力機制的5層普通連接BiGRU模型和不具有注意力機制的5層普通連接BiGRU模型，表6中可以看出注意力機制可以提高模型的效果，這是因為注意力機制可以強化關鍵詞在問句相似度匹配中的權重，提升文本匹配精確率。

表6 不同模型在農業問句數據集上的效果Tab.6 Effects of different models on agricultural question data sets %

表7展示了模型1～6在不同層數BiGRU時農業問句數據集上的分類效果，由表7可知，Attention-DenseBiGRU在5層BiGRU時精確率達到最高的97.2%，這是由于通過層數的增加和密集連接，可以有效提高文本特征的提取，減少特征丟失，提高文本匹配效率。模型5、6在第2層時精確率達到最高，之后開始逐漸下降。這可能是因為沒有通過密集連接的BiGRU在提取特征時會導致特征丟失。進一步驗證了通過深層次的神經網絡可以有效獲取文本特征及表示，有利于提升文本相似度匹配效果。

表7 不同條件下模型在每層網絡的匹配精確率Tab.7 Matching effect of model in each layer of network under different conditions %

表8展示了基于Attention的4種深度學習模型在1 700對農業問句對測試集上的反應時間和精確率，ABCNN速度最快，這是由于ABCNN模型主要采用卷積神經網絡作為基礎，模型結構簡單，參數較少。本文提出的Attention-DenseBiGRU模型7 s可以完成1 700對農業問句相似性精準判斷，精確率達到最高的94.7%，滿足了對農業問句對語義相似度快速、精確匹配的要求，在反應時間接近的情況下，Attention-DenseBiGRU模型在文本語義相似度匹配精確率上取得了最好的效果。

表8 4種深度學習模型的反應時間和精確率Tab.8 Response time and precision of four deep learning models

通過密集連接BiGRU網絡和注意力機制得到的特征是通過最大池化層連接到分類層，使每層的特征都影響損失函數，并進行深度監督學習。因此，本文使用注意力權重和最大池化位置來解釋分類結果。注意力權重包含了兩個句子對齊的信息，同時每個維度上最大池化位數在分類中起著重要作用。圖4展示了本文提出的模型在不同層時注意力權重熱力圖，例如問句1：五味子黑斑病發病原因是什么？問句2：五味子果腐病癥狀是什么？除了黑斑病和果腐病外，問句1和問句2的大部分詞同時存在。在第1層的注意力權重圖中，每句話中相同或相似詞的對應度較高。但是，隨著層次的加深，黑斑病和果腐病的注意力權重在不斷加深。因為黑斑病和果腐病雖然都是病蟲害名稱，但是在本質上有明顯區別，在第5層時，問句1和問句2中除了黑斑病和果腐病，對應的其他詞的注意權重都變得極小，由于“黑斑病”和“果腐病”2個詞在語義上區別明顯，因此模型判斷問句對為語義不相似，即標簽為0。

圖4 農業問句相似度注意力權重可視化圖Fig.4 Visualizations of similarity and attention weight of agricultural questions

4 結論

(1)為了解決中國農業技術推廣問答社區無法自動準確地發現重復性語義問題的問題，構建了一個包含8個類別17 000對農業問句相似對語料庫。針對農業相關問句的特點，提出了一種基于BERT的Attention-DenseBiGRU模型。

(2)利用基于協同注意機制的密集連接BiGRU模型對農業問答社區問句文本進行快速自動的重復語義檢測。

(3)利用DenseBiGRU網絡提取農業問句文本的特征表達用于問句相似度匹配。在此基礎上，對其重要結構參數和訓練策略進行了優化和改進，構建了基于協同注意力機制的農業文本相似度匹配算法，實現了問答社區中相似語義問句精確高效識別。與其他模型相比，該模型在農業問句相似對數據集上取得了最高的精確率和F1值，分別達到97.2%和97.6%。