文本蘊含問題簡介

唐帥,李青

(山東科技大學，山東 青島 266000)

?

文本蘊含問題簡介

唐帥,李青

(山東科技大學，山東 青島 266000)

文本蘊含是自然語言處理中的一個重要概念。本文對文本蘊含問題本身以及其研究現狀進行簡單的介紹。

人工智能；自然語言處理；文本蘊含

1　文本蘊含

文本蘊含(Textual Entailment)是自然語言處理(Natural Language Processing)中的一個重要概念。它描述的是兩個文本片段的有向性關系。當其中一個文本片段內容的真實性依賴于另外一個文本片段的真實性時，這種關系存在。文本蘊含沒有純邏輯蘊含(pure logical entailment)般的嚴謹性。非形式化地，如果一個閱讀某文本片段的人類讀者會推斷另外一個文本片段中的內容極可能是真實的，那么這兩個文本片段之間存在文本蘊含關系。可以記作：“t entails h” (t?h)，其中t和h分別為蘊含和被蘊含的文本片段。文本蘊含關系是有向的。因為在t?h 成立的情況下，h?t 成立與否通常是不確定的。

文本蘊含在自然語言處理領域中的地位非常關鍵。因為它與自然語言的多樣性(variability)(比如同一個語義可以對應多種不同的具體表達方式)緊密相關，而如何處理語言的多樣性可謂自然語言研究領域中最大的難點。與此同時，有效處理自然語言的多樣性問題是自然語言諸多重要應用領域中取得突破的基礎。

2　RTE

人工智能與自然語言處理領域的研究者們越發意識到文本蘊含問題的重要性，RTE(Recognizing Textual Entailment)于2004年被作為一項一般性任務(generic task)被提出。自2004年到2013年，8界RTE挑戰(RTE Challenges)成功舉行，旨在為研究者們提供可以用來評估和比較他們的研究方法的具體數據集。歷年來RTE的主要組織者包括巴伊蘭大學(Bar-Ilan University)，Fondazione Bruno Kessler 研究中心，美國國家標準與技術研究院(NIST)，以及意大利的語言和通信技術評價中心(CELCT)。

3　解決文本蘊含問題的一個重要框架

在現階段，語言多樣化問題往往出現于一些實用性的系統中。而這些系統對語言多樣化問題的處理通常是建立在比較“膚淺(shallow)”的語義層面。這是因為基于邏輯的含義層面(meaning-level)的表示是難以實現的。然而缺乏一種不限于具體應用的通用性框架，來對語言多樣化進行建模。Ido Dagan等人在《PROBABILISTIC TEXTUAL ENTAILMENT: GENERIC APPLIED MODELING OF LANGUAGE VARIABILITY》一文中提出了一個膚淺語義層面的通用的語言多樣化模型，并將其實現為一個可以投入到多種應用的實用性引擎。這個模型被廣泛認可，并在很大程度上影響了人們對于文本蘊含問題的研究方法。

在文本蘊含的原始定義中，這種關系是確定性的。即t?h 要不成立，要么不成立。而在Ido Dagan等人提出的模型中采用了一種更加模糊的處理方法，給每一個文本蘊含實例分配一個概率，用以表示該文本蘊含關系成立的可能性。文章提出的重要概念如下：

樣板(template)：一個文本片段(language expression)以及與之對應的句法分析。其中的一些次結構可以用變量來替代。這些變量可以是根據句法結構分類的。(比如詞類，詞性，或者依賴性解析(dependency parsing)中的關系類型。)

蘊含式樣(entailment pattern)：一個蘊含式樣包括由共享變量域的一個蘊含樣板和一個被蘊涵樣板組成的結構，以及式樣相對應的概率(包括先驗和后驗)。例如：

X←subjbuyobj→Y?X←subjownobj→Y

推理機制：模型利用既有的蘊含式樣庫，通過不斷對其運用概率推理邏輯的方式以獲得更加龐大和復雜的文本之間的蘊含關系。推理模型中用到的核心推理規則如表1所示：

表1

其中第一條規則計算所有匹配的蘊含式樣中的最大概率。第三個第四條規則描述了兩種在不影響蘊含關系的前提下，將前提和結論分別組成更復雜的文本的方法。

4　常見的方法舉例

以下介紹一種比較有代表性的模型。

一種最簡單和直接的處理方式是基于兩個文本片段在詞法層面上的相似度來評估二者之間的蘊含關系。通常利用兩個文本片段中所含單詞的重疊程度(word overlap)來建立二者的相似度計算方法。一種可能的計算方法如下：

首先提取文本h中的單詞集合，以及其與文本t中單詞集合的交集。然后用加權處理(比如采用TF-IDF進行加權)過后的交集比上加權后的h中單詞的集合，以得到所考察的一對文本片段之間的單詞重疊度，從而基于這個重疊度對二者之間的蘊含關系做出評估。

[1]Dagan,I.,and Glickman,O.Probabilistic textual entailment: generic applied modelingof language variability[C].Grenoble,France: PASCAL Workshop on Learning Methods for Text Understanding and Mining,2004.

[2]Marco,P.,and Fabio,Z.Learning Shallow Semantic Rules for Textual Entailment[C].Borovets,Bulgaria: Recent Advances in Natural Language Processing,2007.

[3]Yongmei,T.,and Junyu,Z.BUPTTeam Participation[C].TAC Recognizing Textual Entailment,2011.

唐帥(1987-)，男，漢族，山東臨沂人，山東科技大學在讀碩士研究生，研究方向：人工智能、自然語言處理。

李青(1991-)，女，漢族，山東濟寧人，山東科技大學情報學在讀碩士研究生，研究方向：信息系統工程、智能數據分析與處理。

TN929.53

A

1671-1602(2016)18-0251-01