面向查詢的文本摘要關鍵技術研究綜述

關鍵詞：面向查詢;文本摘要;自然語言處理

0 引言（Introduction）

隨著信息技術的不斷進步，各類信息數量快速增長，促進了信息的交流與共享。在信息獲取過程中，如何利用先進技術從海量的復雜數據中更快速、準確地篩選出有價值的信息，成為各機構及專家、學者的研究熱點。面向查詢的文本摘要（Query-Focused Summarization， QFS）是自動文摘的一個特殊領域，旨在依據用戶的查詢需求，從源文檔中自動提取重要信息，將其組織成與查詢相關的簡短摘要進行呈現。與通用文本摘要不同，面向查詢的文本摘要主要面向特定用戶，文本摘要內容不僅是對原始靜態文本的反映，更帶有主觀傾向及側重，滿足個性化查詢的需求，通常又被稱為針對式文本摘要、面向用戶的文本摘要或面向主題的文本摘要[1-3]。面向查詢的文本摘要在面向查詢的搜索引擎、智能化信息檢索、問答系統中均有著重要的應用。

本文基于面向查詢的文本摘要典型技術框架，從查詢理解、文檔處理和信息組織三個方面對其國內外研究現狀進行梳理和分析，總結當前技術應用的現狀、存在的問題及面臨的挑戰，分析未來發展趨勢。

1 研究背景（Research background）

1.1 典型技術框架

面向查詢的文本摘要任務的典型技術框架如圖1所示，輸入的文檔類型包含單文檔與多文檔兩類。與面向查詢的單文檔文本摘要相比，面向查詢的多文檔文本摘要（Query-FocusedMulti-Document Summarization， QMDS）對具有相同話題的文檔集進行了統一處理，可以滿足用戶全方位查詢的需要，具備更高的應用價值。但是，鑒于不同文檔可能會包含相同信息，多文檔文摘需要充分考慮信息冗余（Redundancy）因素，消除冗余影響。1997年，CARBONELL[4]首次提出面向查詢的文摘任務，并提出最大邊界相關（Maximal Marginal Relevance，MMR）算法，考察查詢相關性，作為語句之間的冗余消除策略[5]，提高摘要信息提取的準確性。針對輸入的查詢和文檔信息處理，包括查詢理解、文檔處理和信息組織三個步驟。查詢理解主要實現對用戶查詢意圖的細化分析和理解;文檔處理主要完成對文檔或文檔集內語句信息的處理，摘錄候選語句或生成新的摘要語句;信息組織建模主要實現摘要語句的連貫性處理，保證輸出信息可讀。

針對上述框架，現有研究主要為不同的應用場景提供不同的解決方案。針對多個技術點提供統一的解決方案仍需要技術突破，其技術挑戰主要來自三個方面：（1）用戶輸入的查詢信息概括性強，包含內容有限，文檔間存在語義描述鴻溝，因此生成與查詢相關性強的概括性摘要，準確反映原文檔信息成為難點;（2）信息量的快速增長導致過載問題嚴重，因此在限定空間對文本信息進行合理壓縮，進而容納更多有價值的內容成為難點;（3）抽取或生成的文摘語句的排列順序會直接影響文摘可讀性，因此確定生成的文本摘要語句的排列順序成為難點。

1.2 文摘評測

對文摘信息的合理程度進行評測，是保證文摘質量的重要方法之一，通常可分為內部評測和外部評測。文摘評測方法如圖2所示。

外部評測主要是將生成的摘要信息應用到實際的信息檢索、問答系統任務中，根據對任務完成的貢獻進行摘要的性能評測，通過與參考摘要進行對比，評測當前摘要內容的準確性和對原始內容的閱讀理解程度。外部評測受相關任務的影響較大，因此對文摘的評測多采用內部評測，即根據獨立的自動文摘系統的語言質量、信息概括性和查詢響應度進行評測。

早期的內部評測多采用語言質量和查詢響應度等指標進行評分。為節約時間和降低成本，在信息的概括性方面，研究人員提出了多種自動化評測方法。最常用的評測指標是由LIN[7]提出的基于內容的文本摘要自動評價方法ROUGE（Recall-Oriented Understudy for Gisting Evaluation），其主要思想是將機器生成的文本摘要信息與人工總結的參考文摘進行對比，通過重疊的單詞序列、N-Gram模型對摘要進行評價，具體準則包括基于N-Gram召回率的ROUGE-N，通過計算公共子系列匹配率獲取最長公共子序列的ROUGE-L，基于權重的最長公共子序列的ROUGE-W，基于間隔二元組（Skip-Bigram）重疊度的ROUGE-S等。

對文本摘要生成模型進行訓練和自動評測，需要依靠各種數據集，目前已公開的經典數據集概覽如表1所示。

針對尚缺乏大量多文檔摘要數據集的問題，PASUNURU等[14]通過匯總有線電視新聞網（CNN）和每日郵件信息以及挖掘搜索日志的方式，形成文檔集，并進行查詢模擬。

2 查詢理解（Query understanding）

根據用戶有限的輸入理解其查詢意圖，是面向查詢的文本摘要需要解決的重要問題之一。早期研究大多采用在通用文摘中加入查詢相關特征的方法，對查詢文本做簡單的處理，如關鍵詞抽取、詞權重計算，缺少對查詢的深入理解[15]。查詢通常具有概括性，在多文檔中的描述有所不同，存在語義描述鴻溝。通過查詢擴展的方式可以有效解決信息的限制問題，彌補語義的缺失。目前，查詢理解技術多被應用于抽取式摘要中，本文主要介紹基于外部語義知識的查詢擴展和利用源文檔信息的查詢擴展。

2.1 基于外部語義知識的查詢擴展

基于外部語義知識的查詢擴展技術利用外部知識，學習查詢詞與文檔詞的相似性，實現對查詢詞的同義詞進行擴展，達到提高查詢能力的目的。常用的外部語義知識擴展包括基于WordNet的查詢擴展和基于維基百科的查詢擴展兩類。

WordNet是一種基于認知語言學的英文語義詞典，由普林斯頓大學設計開發。與傳統詞典按照字母順序進行組織不同，WordNet將詞匯劃分為名詞、動詞、形容詞、副詞和虛詞5類，每類詞匯各自被組織成同義詞網絡，代表基本的語義概念，依據語義關系進行連接。WordNet常用的語義關系包括同義關系、反義關系、上位關系、下位關系、整體關系、部分關系、蘊含關系、因果關系和等級關系等。ZHOU 等[16]利用TF-IDF（Term Frequency-Inverse Document Frequency）算法計算查詢詞的重要性程度，基于WordNet對超過重要性閾值的名詞和動詞進行同義詞擴展，再根據文檔句中的基本要素（BasicElements）對句子進行排序和選擇，使用簡化的MMR（Maximal Marginal Relevance）技術消除冗余，首次將WordNet應用于面向查詢的文摘任務中。為解決同義詞擴展引入不相關信息的問題，ABDI等[17]利用WordNet計算了查詢詞和文檔詞的語義相似度，發現WordNet局限于有限的詞覆蓋范圍，可以利用其他知識資源（如Wikipedia）及大型語料庫解決此問題。

Wikipedia是一個基于超文本系統的網絡百科全書[18]，其中的概念多使用重定向關系、歧義關系、類關系和內部維基鏈接，構成層次化的網絡結構。在概念的表示上，Wikipedia為每個概念提供了細致且豐富的描述形式。NASTASE[19]將查詢文本中的命名實體等詞匯與Wikipedia詞條頁面進行匹配，獲取了查詢的概念集合，利用維基詞條的首段文本中相關概念對查詢進行擴充，以提取面向查詢的文本摘要。不同于詞擴展，MIAO等[20]通過研究句子概念含義，用概念相關度的向量表示句子，向量值為句子內所有概念與Wikipedia內某個概念的相關度。MOHAMED等[21]提出了一種基于增強知識資源的方法用于解決單一知識源覆蓋不全的問題。依靠度量短文本的語義相似度，將WordNet與分類變體數據庫（CatVar）以及詞法鏈接（Morphosemantic Links）結合，利用Wikipedia豐富WordNet，確定查詢詞與句子相似性及句子之間的相似程度。陳維政等[22]把圖排序引入查詢擴展中，抽取文檔集合中頻繁出現的實體對應的維基詞條內容，形成文檔集合知識庫。利用頁面排序算法（PageRank）對文檔中的句子進行排序，利用改進的DivRank算法對文檔和知識庫詞條句子進行再次排序。通過線性組合，綜合兩次排序的結果，最終確定句子的排序，從而選擇適當的句子形成摘要。

2.2 利用源文檔信息的查詢擴展

基于外部語義知識的查詢擴展方法存在以下弊端：外部語義知識無法提供與原始文檔相關的上下文信息;擴展詞有限，受詞覆蓋范圍的限制，不存在于外部語義知識中的單詞無法擴展;引入不相關或歧義信息，需要詞義消歧，而詞義消歧本身就是一個很難完成的任務，會影響最終摘要的性能。為了避免上述局限性，研究機構開始利用源文檔信息進行查詢擴展。

AMINI等[23]基于EM（Expectation Maximization）算法的變形實現對文檔和查詢中詞項的聚類，依靠此方法實現查詢詞擴展，再通過分類模型選取摘要句子。ZHAO 等[24]運用PageRank算法從原始文檔中選擇擴展詞，綜合句子自身的重要性以及句子和詞匯間的關系。利用句子之間的關系及句子和詞之間的關系尋找信息量大且與查詢相關的詞進行擴充查詢，在引入較少干擾的同時，捕捉到更多有價值的信息。葉娜等[25]采用主題分析技術，識別出當前主題的各個子主題，計算子主題重要度及句子所在的子主題與查詢的相關度，依靠計算結果選取摘要句，同時根據詞語在子主題之間的共現信息，結合外部語義知識，實現查詢擴展。

查詢理解技術的優點和缺點如表2所示。

3 文檔處理（Document processing）

文檔處理是指對原始文檔中文本內容進行分析，依據分析情況對句子進行處理。目前對文檔處理的方式主要有應用于抽取式文本摘要任務的句子選擇技術和應用于生成式文本摘要任務的句子生成技術。其中，抽取式文本摘要主要是從原始文檔中抽取單詞或句子組成摘要;生成式文本摘要需要對原始文檔進行理解，通過自然語言處理算法對其內容進行轉述、壓縮及同義替換，生成摘要信息。抽取式文本摘要與生成式文本摘要對比情況如表3所示。

3.1 句子選擇技術

3.1.1 基于文本特征的方法

基于文本特征對句子進行選擇，即利用人工智能技術提取句子特征實現句子選擇，是最常見的方法之一。

（1）基于聚類的方法。當文檔信息不帶有標簽時，通常采用無監督聚類的方法，根據句子的相似度和權重對其進行選擇和排序。SCHILDER等[26]提出了一種面向查詢的多文檔文本摘要方法FastSum，依據文檔集和主題的詞頻特征，應用最小角回歸算法對特征進行詳細分析，再利用支持向量機（SVM）輸出摘要。YANG等[27]為了解決詞向量余弦相似度不適用于短句子的問題，將單詞視為獨立的文本對象，提出一種噪聲檢測增強型共聚框架，同時對句子和單詞進行聚類，輸出摘要。YIN等[28]為減小目標聚類大小，利用高斯混合模型在特征空間上對句子進行聚類，對文檔集中的句子進行排序。JAGADEESH等[29]把信息查詢技術與摘要技術相結合，使用所有句子中的一組特征對句子進行評分，并以最大分數進行歸一化，使用各個特征值的加權線性組合計算句子的最終分數。FEIGENBLAT等[30]通過提取相關性、多樣性、長度、位置等特征迭代優化目標函數，計算句子權重，取得了較好的效果。

（2）基于分類的方法。基于分類的方法，通常先對文本對象進行打標簽處理，再根據標簽信息，將問題轉換為二分類問題。應用此方法前需要對數據進行大量標記，不同的標記結果可能導致數據含有大量噪聲。

LI等[31]基于貝葉斯主題模型將句子特征融合到主題模型中進行有監督訓練，嘗試通過在提取的特征中加入句子與查詢語句的相似度提升句子的選擇效果。AZAR等[32]在訓練過程中通過添加噪聲改進效果，將查詢語句和文章句子一起使用TF-IDF向量編碼后加入隨機噪聲，放入自編碼器中進行訓練。VALIZADEH等[33]采用多模型融合的方法進行分類效果改進，對于給出的多份人工摘要，考慮到每個人的認知和行為偏好各不相同，在使用標記語料時保留了每個摘要特點，給每個人單獨摘要建立一個模型。OUYANG等[34]將回歸模型應用到面向查詢的多文檔摘要任務中，使用SVM 評估句子在多文檔中的重要性。

3.1.2 基于圖結構的方法

基于圖結構的方法利用文檔結構，將文檔表示成一個圖模型（節點為文本單元，邊用來連接具有關聯的節點），從全局角度確定詞、句子等文本單元的重要程度，依據節點的連接方式有以下兩種方法。

（1）基于傳統圖的方法。LexRank算法[35]首次將圖排序算法引入抽取式文本摘要任務中，使用圖結構的方法，綜合全文信息，計算句子的權重。LexRank 算法的變種BiasedLexRank[36-37]是利用馬爾科夫模型統計句子轉移到查詢的加權概率，計算句子的權重，將圖排序算法應用到面向查詢的文本摘要任務中。BADRINATH 等[38]利用先行策略（LookAhead）尋找與查詢相關的句子，并對其相似性進行評分。MOHAMED等[39]通過計算句子和查詢的相似性，從文檔中選擇最合適的句子，并按照句子在文檔中出現的時間順序構建句子和查詢的關系圖，形成摘要。WAN等[40]通過分析單文檔內句子的關系和多文檔之間句子的關系，構建跨多文檔的句子關系圖，采用線性形式、順序形式和得分組合形式3種不同的融合方案，提出一種多模式圖排序算法。WEI等[41]通過計算單文檔之間句子相似度和多文檔之間句子關聯關系，對句子進行排序，充分考慮句子之間和文檔之間的相似性，構造了句子層和文檔-句子層的兩層圖。PANDIT等[42]利用離線模型將段落作為節點，依靠TF-IDF算法計算節點間的相似度和節點評分，依據計算結果段落分類，再利用在線模型構建包含查詢關鍵詞的子樹，計算查詢語句與類的相似度以及與節點的相似度，對類和類內節點排序。LI等[43]引入主題信息，基于主題建模技術構造包含句子層和主題層的兩層圖。隨后，CANHASI等[44]通過計算查詢詞與句子的相似度，構造包含文檔、句子、主題的3層圖。SAKAMOTO 等[45]通過對文檔、句子、單詞3種異質信息進行融合，用來表示不同語言單元間整體與部分的關系，構建3層圖模型。CANHASI[46]構建了句子、查詢、段落、文檔、框架5層圖模型，并通過PageRank算法計算每層信息和圖層間信息的相似度，改善了圖模型效果。HU 等[47]通過引入親和圖估算句子之間的相似性，基于局部幾何結構和句子內容實現對句子的排序。

（2）基于超圖的方法。傳統圖的一條邊只能連接兩個節點，無法表示多個句子之間共享的復雜關系，導致大量文檔信息損失。超圖的一條邊可以連接多個節點，應用超圖可以簡化句子間關系的復雜度，并且利于整合文檔全部信息。WANG等[48]應用基于密度的聚類（Density-Based Spatial Clustering ofApplications with Noise， DBSCAN）算法進行聚類，基于聚類結果構建超圖：若兩個句子間的余弦相似度超過設定閾值或兩個句子在同一個類中，添加一條邊，并依據節點間的相似度計算句子權重。D'SILVA等[49]使用改進的K均值（K-Means）聚類算法代替了DBSCAN算法：根據詞TF-IDF值、句子間相似度以及與查詢語句的相關性，選擇距離得分最高的K 個句子作為中心節點進行聚類，并依據句子之間的相似度和類之間的相似度構建句子關系圖模型，并通過圖排序算法對模型中的句子進行排序，獲得文本摘要。XIONG等[50]結合主題模型獲得主題分布，使用超圖獲得詞與主題、句子與句子的主題分布，應用節點增強和隨機游走模型對句子進行排序。ZHENG等[51]從句子中提取概念，構建概念與句子、概念與查詢的二分圖，并基于構建超圖模型，對句子評分。VAN等[52]引入超圖解決信息冗余或主題覆蓋不全的問題，首先，引入一種基于術語語義聚類的新主題模型，以發現語料庫中的主題;其次，將這些主題建模為超圖中的超邊、句子為節點;最后，通過在超圖中選擇交叉覆蓋所有主題的節點生成摘要。

3.1.3 基于神經網絡的方法

針對長文檔或文檔集中句子間復雜的依賴關系，應用深度學習技術中的神經網絡方法對其進行分析，成為當前的研究熱點。

LIU等[53]將深度學習各個隱藏層看作表示文本的復雜結構，將網絡結構分成內容過濾、結構重組和摘要生成三個部分：通過內容過濾實現對非關鍵詞的過濾，提取重要詞匯，選擇候選句;通過結構重組對網絡結構進行剪枝優化;通過動態規劃，選擇可作為摘要的句子。CAO等[54]利用注意力機制實現對相關性和顯著性的聯合訓練：利用卷積神經網絡（CNN）學習句子的向量表示，將句子向量加權求和作為文檔的向量表示，映射句子和文檔到同一向量空間，并在語義層計算其相似度。GAO等[55]提出了一種協同表示框架，利用當前句子表示、單詞內容和主題預測下一個句子的表示，使用句子表示法判斷適合作為摘要的句子。JESSE等[56]通過探索抽取-生成聯合模型解決面向查詢的文本摘要任務，并結合了遷移學習策略增強模型的性能。

3.2 句子生成技術

句子生成技術通過獲取文檔或文檔集的核心思想，以不同的表達方法生成摘要信息，可以滿足多樣性文本摘要的需求。

3.2.1 基于圖結構的方法

SHAFIEIBAVANI等[57]提出一種基于圖結構的生成式方法。首先，用消歧算法計算文檔句子之間以及文檔句子和輸入查詢之間的語義相似性，構建無向圖;其次，使用聚類算法對與查詢相關的句子進行聚類，在每個類中構建詞級MSC（Multi-Sentence Compression）網絡;最后，利用語言模型，考慮詞權重、詞性和語法結構，生成文本摘要。

3.2.2 基于深度學習的方法

RUSH等[58]提出了一種基于序列到序列模型（Seq2Seq）的生成式摘要方法，正式將深度學習應用于生成式摘要任務。NEMA等[10]基于Seq2Seq模型，在查詢中使用Attention的機制獲取查詢相關的上下文向量，并引入正交變換的方法，解決了生成式摘要當中重復詞的問題。KIMURA等[59]通過實驗證明，當輸入序列的長度超過60時，長短期記憶網絡（LongShort-Term Memory， LSTM）實現的編碼器模型的準確性會降低。為解決文摘中長文本編碼失敗的問題，可以引入句子向量表示和原始文檔單詞向量表示。

3.3 聯合訓練技術

為解決句子生成技術無法準確地復述原始文檔中的事實細節的問題，SEE等[60]對抽取式模型和生成式模型聯合訓練，根據選擇概率，軟性結合Seq2Seq模型生成的文本和指針網絡抽取的關鍵信息，既可以生成新文本，又可以復制原文本。

對文檔進行處理的技術特點及其局限性如表4所示。

4 信息組織（Information organization

句子順序直接影響摘要的可讀性。在單文檔摘要中，依據句子在原文檔中的順序，即可確定句子順序。在多文檔摘要中，對不同文檔中的句子進行排序，需要考慮句子所處上下文的綜合信息[61]。當下，由于對文本摘要中連貫性的研究工作相對缺乏，可以將其分為局部排序和全局排序兩類。

4.1 基于相關性的局部排序

局部排序是一種貪婪算法，每次對兩個句子進行組織排序。NAYEEM[62]認為實體相同是文本連貫性的標志之一，良好的句子順序表示所有相鄰句子之間具有相似性，基于該假設量化文檔連貫性。

BOLLEGALA等[63]依據時間、概率、主題相關性、前序和后序等5種相關性綜合判斷兩個句子的相關性，對兩個句子進行排序并得到順序關系。

4.2 基于圖結構的全局排序

與局部排序不同，全局排序方法要求輸入所有的句子，基于整體篇章的語義邏輯關系，輸出全局最優解。

HE等[64]通過對句子之間的時間關系、位置關系、主題關系和從屬關系進行抽取，構建句子關系圖，應用PageRank算法確定多文檔文本摘要的句子順序。CHOWDARY等[65]基于句子的余弦相似度對每個文檔構造圖，按照文檔句子數量進行排序，構建增強集成圖，依據句子在增強集成圖中的位置進行摘要句子組織和排序。

5 業務場景（Business scenario）

近年來，針對不同的業務場景，研究人員做了很多適配工作。魏鑫煬等[66]根據民事裁判文書的文本結構與其信息分布的特點，對裁判文書重要模塊信息文本進行粗粒度抽取，再利用BERT的序列標注方法構建細粒度的抽取模型，從句子級別對重要信息進一步抽取，形成最終摘要。ALROSHDI等[67]利用深度學習算法對電子教育課程的思想、內容和培訓目標等進行文本摘要的抽取，幫助學生選擇合適的課程來提高成績。XIAO 等[68]提出了一種稱為卷積層次結構注意力網絡（CHAN）的方法，以用戶查詢和長視頻為輸入，利用編碼網絡和查詢相關性計算，生成滿足用戶查詢偏好的文本視頻摘要。

6 結論（Conclusion）

未來，查詢文本摘要的發展趨勢主要包括以下內容：（1）基于外部語義知識和源文檔信息的查詢理解技術可以聯合使用。利用多個模型聯合進行訓練，充分發揮各自的優點，提高生成與原文的相關性;（2）基于深度學習的文本分析技術將成為未來研究的熱門方向。通過深度學習的方法，可以更準確地表達文本的語義信息，為解決向查詢的文本摘要中的技術難題提供新的解決思路;（3）面向查詢的文本摘要技術在跨領域中的應用價值將凸顯，如面向查詢的搜索引擎、個性化信息檢索、問答系統，將成為研究熱點;（4）針對不同業務場景，面向查詢的文本摘要的生成，具有不同的側重性;（5）針對多文檔的摘要生成，目前尚缺乏大規模高質量的訓練及評測數據集，因此需要加強數據的構建、增強、共享與評測。生成符合特定需求的文本摘要是面向查詢的文本摘要的目標，對于其他方面問題的驗證，則是評估模型的重要指標。