劉媛媛
摘要:本文介紹了實體一屬性抽取的相關概念,分析了規則抽取的方法,模式匹配的抽取方法,基于關系分類的抽取方法和基于聚類的抽取方法,最后對幾種抽取方法進行了比較,為后續數據結構化的研究奠定基礎。
關鍵詞:屬性抽取;模式匹配;機器學習
中圖分類號:TP311 文獻標識碼:A
文章編號:1009-3044(2019)33-0234-01
1信息抽取簡介
隨著云計算、大數據、移動互聯網等信息技術的飛速發展,互聯網上保存了海量的數據。信息抽取就是對海量的,非結構化或半結構化的數據進行處理,從而根據一定的目的結構化的抽取出相關的實體和屬性。所謂實體也就是事物或者對象,屬性就是事物或者對象的特征或者特性。通過實體一屬性抽取從網絡中海量的非結構化信息中獲得事物對象及其特征,從而利用和理解這些非結構化信息。目前實體一屬性抽取已經成為理論研究者和產業實踐者關注的熱點領域。
2基于規則匹配的實體一屬性抽取方法
基于模式匹配的抽取方法也叫基于規則的抽取方法,顧名思義就是基于事先構造一系列規則來抽取文本中實體一屬性的方法。這種方法首先定義相關抽取規則,如,在網頁中定義相關的規范的tag標記,或人工編寫正則表達式,然后將這些規則與文本進行匹配,通過匹配的結果得到抽取的實體及其屬性。基于規則的抽取方法接近于人的思維方式,其對知識的表示方法看起來相對直觀。基于規則的抽取系統一般由兩部分組成,一個是一系列關于抽取規則的集合,第二是一系列定義匹配策略的集合。基于規則的抽取系統運行速度比較快,維護和優化相對比較容易。
3基于模式匹配的實體一屬性抽取方法
基于模式匹配的方法根據其定義模式的方法可以分成三種:基于手工定義的抽取、基于有監督學習的抽取和基于迭代的抽取。基于手工定義方式就是具有通過相關領域專業知識的人員進行人工的定義一系列模式。基于學習的方式就是,首先收集相關語料組成大規模的語料庫,然后通過人工標準的非結構化例子訓練自動獲得模式,構建具有大量實體一屬性的知識庫。基于迭代的方法是首先定義模板元組,讓后對這些模板元組進行迭代,自動產生模式,從而進行對實體一屬性的抽取。
4基于關系分類的實體一屬性抽取方法
基于關系分類的方法就是將屬性抽取問題轉化成關系分類問題。首先將抽取的兩個實體視為一個樣本,實體直接的關系視為標簽,然后通過手工的方式構建樣本特征,最后依據這些特征對樣本進行分類,分類的結果便是實體之間的關系,也就是屬性。基于關系的抽取方法通常借助機器學習的方法來進行,如支持向量機(SVM)、神經網絡等,通過對大量語料庫的訓練來學習分類模型,從而對實體一屬性進行抽取。基于關系分類的方法按照其語料庫的建設方式可以分為遠程監督的方法和全監督的方法。基于遠程監督的方法基本由機器構建語料庫,而基于全監督的方法則由人工構建語料庫。由于由人工來構建語料庫耗費大量的時間和精力,因此通常目前更熱衷于使用遠程監督的方法構建語料庫。
5基于聚類的實體一屬性抽取方法
基于聚類的方法就是將屬性抽取問題轉化成聚類問題。首先構建實體特性向量,然后基于相關方法對這些特征特征向量進行聚類,最后得到的聚類就是實體的屬性。例如對于類別屬性可以采用弱監督的聚類方法,對應產品屬性可以采用無監督的聚類方法等。不過聚類的方法需要首先構建聚類的中心點,所以用來構建初始化中心點的種子實體一屬性的選擇好壞直接影響到抽取的結果。
6各個方法的比較
從當前的應用廣泛程度來看,基于規則的方法是早期使用的方式,由于其理解簡單,易于操作,準確率高,一直到現在都比較流行。但是這種方法需要專業的人員來定義規則,隨著技術的發展慢慢正被其他方法取代。基于模式匹配的抽取方法和基于關系分類的抽取方法是當前應用比較廣泛的方法。基于模式匹配的方法可以看作基于規則的升級方法,既可以人工構建模式,也可以借助機器構建模式,所以既擁有準確率高的有點,也在一定程度上克服了召回率低的缺點。基于關系分類和聚類的方法不需要專業人員或太多的背景知識,但是需要構建用來訓練的語料庫支持,在大數據時代,這種方式能充分利用數據,減少人工,保證準確率和召回率,是未來實體一屬性抽取的發展方向。
【通聯編輯:梁書】