基于歸約的漢語最長名詞短語識別方法

錢小飛，侯 敏

(1. 上海大學 文學院，上海 200444；2. 中國傳媒大學 國家語言資源監測與研究中心有聲媒體中心，北京 100024)

?

基于歸約的漢語最長名詞短語識別方法

錢小飛1，侯 敏2

(1. 上海大學 文學院，上海 200444；2. 中國傳媒大學 國家語言資源監測與研究中心有聲媒體中心，北京 100024)

該文提出了最長名詞短語(MNP)的操作性定義，分析了其構造和分布特征，并設計了一種基于baseNP歸約的識別方法，利用MNP結構特性及起始有定成分、語義核心等語言學特征，緩解了最長名詞短語長距離依賴與模型觀察窗口受限的矛盾。開放測試取得了88.68%的正確率和89.21%的召回率；歸約方法全面提升了識別性能，特別是將多詞結構的調和平均值提高1%，優化幅度達6%以上，并且對長距離復雜結構有著更好的識別效果。

最長名詞短語；識別；歸約；基本名詞短語

1 引言

名詞短語的句法處理是自動句法分析的重點和難點。最長名詞短語(MNP)是語言信息處理學界專門提出的名詞短語類別，約占據句子長度的60%以上，它的識別可以為機器翻譯、指代消解等重要應用提供有效支持。

最長名詞短語識別有兩種方法：基于規則的方法和基于統計的方法，實際常結合使用。規則方法主要利用詞類序列的組合規則判別邊界[1]；統計方法通過計算某個位置出現邊界的概率[2-3]、詞語的位置類別來識別MNP，其中統計機器學習方法是當前的主流方法[4]。從識別策略看，基于2-phase策略[5]的統計機器學習方法取得了較好效果：先識別組塊，然后以此為特征識別MNP。

無論是統計或規則方法，以往研究尚有一些局限：(1)句法、語義知識利用度低。關注算法改進，對MNP的語言學特性，如結構特征關注不夠，使識別系統過于依賴詞(性)串等線性特征；(2)對長距離MNP缺少有效識別手段，識別效果隨著結構長度的增加而快速降低，長度≥5和<5的MNP識別F1值相差13%～22%；(3)2-phase策略以較高訓練代價提高識別精度，為減少級聯錯誤，常使用規則方法識別組塊保證正確率，但召回率較低[6]，并面臨適應不同詞類體系的問題，單純的2-phase策略也難以解決長距離依賴問題。

本文將最長名詞短語看作是模板結構，一個典型的復雜MNP由謂詞核心和圍繞它的名詞槽構成，據此，我們通過分析最長名詞短語的句法、語義特征，設計了一種基于歸約的識別方法，利用語言學特征改善了MNP，特別是長距離MNP的識別效果。

2 最長名詞短語的定義

Chen[7]最早界定了最長名詞短語，指不被其他名詞短語包含的名詞短語。后來的研究者[3，8-9]沿用了該定義，但在具體操作時有所差異，如在是否包含名詞性短語、單詞結構等問題上不一致。

我們沿用前人的定義，但針對有分歧的問題作出具體規定：(1)MNP既包括以名詞為核心的名詞短語，也包括名詞性短語，如以數詞、名代詞等體詞為核心的短語、“X 的V | A”結構、“的”字結構等；(2)包括時間短語、處所短語，但不包括方位結構，后者更接近介詞短語；(3)短語的基礎單位是句法組塊[10]，因此MNP包含單詞結構。

例1直觀地闡釋了MNP的概念，它包含了四個NP，其中二個MNP：

例1 [mnp 這/rN 段/qN 故事/n] 如/v [mnp 飄出/v [np我/rN 記憶/n] 的/u [np一/m 點/qN 星火/n ]]

3 漢語最長名詞短語的構造特征

最長名詞短語的句法功能分布集中，主要位于主語和賓語位置上，是識別的有利條件；而其復雜的內部構造是影響識別效果的主要因素。本體語言學關于NP結構特征的研究很多，但哪些特征對識別工作有利用價值，并且可以形式化是需要關注的問題。

首先，MNP是一個結構雜糅的語法范疇。以是否包含動詞或介詞短語為判別復雜結構的標準，大部分是不含這些成分的簡單MNP，但也存在相當數量的復雜MNP。簡單MNP內部以定中結構為主，易于識別；而復雜MNP常包含小句和謂詞性結構，是識別的難點。

其次，MNP處于廣泛的長距離依賴關系之中。清華TCT樹庫中，多詞MNP平均長度4.73，最大達133詞，并且更多地出現在賓語位置上，與左鄰動詞形成大量的述賓依賴關系；MNP內部也存在各種類型的依賴關系，如量名搭配、動賓搭配、介詞框架等。這些關系是識別的關鍵特征，但長距離特性使其難以有效利用，是目前識別效果提升困難的重要原因。

再次，起始位置存在對MNP具有較好預測作用的確指特征，包括三類： (1)稱代性成分，如起照應功能的人稱代詞；(2)指別性成分，如指示代詞、區別詞、起指別功能的人稱代詞；(3)命名實體，如人名、地名、機構名。指別性成分的功能是從一組事物中確定出個體，而命名實體本身就是確定的個體。這些成分對MNP的預測概率多在80%以上，而非定指的數量結構僅為50%左右。因此，MNP是更傾向于表達有定的范疇。

最后，絕大多數MNP具有語義中心，以名詞性詞類為主體，降低了該位置的不確定性。語義中心分為三種： (1)指代性中心(15%)，如名代詞、處所代詞、時間代詞，不易形成詞匯搭配；(2)命名實體中心(10%)，包括人名、地名、時間名，后兩者常與介詞"在"搭配；(3)普通的語義中心(71%)，主要是普通名詞，很多可以形成詞匯搭配關系。

4 基于歸約的最長名詞短語識別

根據上文的特征分析，MNP可以看作是由名詞性成分填充槽的模板結構，這些模板結構不僅包含謂詞-論元結構，也包含表達領屬等語義關系等非謂詞性結構。

如果能很好地識別槽中的長距離NP成分，壓縮成語義中心，并提取定語中的有用特征，則可改善識別的兩個主要問題：(1) 降低結構長度，擴展模型觀察視野，更充分地利用長距離依賴特征，提高長距結構識別效果；(2) 充分表達可用特征，更準確地預測復雜結構邊界。

在淺層句法分析任務中，歸約策略可以有效地融入統計模型[11-12]，據此，結合MNP結構特征，我們設計了一種基于歸約的MNP識別方法，使用識別率較高的基本名詞短語來逼近槽中的長距離名詞性成分，將識別工作分解為三個連續的子過程：baseNP識別，baseNP歸約，MNP識別。

圖1 MNP識別系統流程圖

4.1 基本名詞短語識別

基本名詞短語(baseNP)是一種內部結構相對簡單的名詞性成分，有很高的識別率。為支持進一步的MNP識別，它被定義為滿足四組條件的多詞結構，并保證不大于MNP： (1)只由時間短語、處所短語、名詞(性)短語三種功能類型實現；(2)直接結構僅包括定中和聯合結構，且不包含動詞性結構和介賓結構；(3)中心詞隸屬于集合： {名詞,名代詞,時間詞,處所詞,名動詞,名形詞}；(4)內部不包含標點符號和連詞，以及結構助詞“的”。

識別以BMEO分別表示首詞、中間詞、尾詞及結構外四個位置，選用詞形、詞類、詞語音節數、語義類別(詞林三級義類代碼)四組特征，觀察窗口[-3,3]。多義詞在當前語料中基于單義詞統計，取最高頻的侯選義類(下同)。表1例句包含了三個baseNP，由BME和BE序列表達。識別系統通過預測每一個詞的標記識別baseNP。

4.2 基本名詞短語歸約

按照生成語法的觀點，名詞短語存在語義核心和句法核心。漢語名詞短語是左擴展結構，語義核心位于短語右部。據此，在識別baseNP的基礎上，我們將其歸約為右端中心詞，重新構造MNP，并產生兩組新的語言學特征(表1)。

(1) 語義核心特征。取值為Head或者No，表示當前詞是否baseNP語義核心。

(2) 起始句法特征。歸約為中心詞會使得baseNP 丟失一些歷史句法特征，特別是起始位置表示有定的指稱性成分，歸約過程將這些歷史特征作共時化處理，將其保留在語義核心的時刻上，并以二元詞類形式表達，如“rN/qN”，非指稱性特征取值為noSyn。

表1 基本名詞短語歸約示意圖

baseNP歸約將MNP看作以baseNP為槽的模板，可以給識別任務帶來多方面的好處。

首先，baseNP識別化解了更多的底層歧義，歸約后使模型專注于解決高層結構歧義。大多數 baseNP 直接實現為MNP，其余作為MNP構造成分。借助于baseNP的高識別率，可以期望MNP識別能夠取得良好效果。

其次，baseNP歸約有效地縮短MNP結構長度，擴大模型的觀察視野，從而能夠化解更多的結構歧義。例3在例2上歸約了baseNP。

例2是/vC [mnp當代/t 世界/n 各/rB 國/n 發展/v 紡織/n 工業/n 原料/n 的/u 共同/b 趨勢/n] 。/。

例3是/vC {baseNP 國/n} 發展/v {baseNP原料/n} 的/u {baseNP趨勢/n} 。/。

假設觀察窗口為[-3,3]，觀察歸約對于判斷動詞“發展”位置的影響。“發展”有兩個可能位置： MNP內部或外部。如果在例2中直接識別MNP，模型視野被限制在MNP內部，用于判斷“發展”位置的特征是“世界/n 各/rB 國/n 發展/v 紡織/n 工業/n 原料/n”，它是合法的主謂結構，模型很可能作出錯誤判斷，認為“發展”位于MNP外部。但歸約之后，模型視野覆蓋了整個MNP，用于判斷“發展”位置的特征是“是/vC 國/n 發展/v原料/n 的/u趨勢/n”，其中助詞“的”暗示“的”字結構的存在，而系動詞“是”出現在MNP外部的概率高于內部，因此“發展”很可能被認為包含在MNP內部。

再次， baseNP歸約使長距離搭配關系更多地出現在觀察窗口內，讓模型學習到更多詞匯依賴特征。動賓搭配是識別MNP的有用特征，但漢語動詞和賓語中心詞分布在MNP左右兩端，表現為“動詞+定語+中心語”模式，定語較長時，模型常難以訓練到搭配數據，而baseNP歸約可改善這一狀況。如“改善/v食物/n 科技/n 工作/n 的/u 條件/n”歸約為“改善/v 工作/n 的/u 條件/n”，使“條件”進入了“改善”后三個詞的視野。

4.3 最長名詞短語識別

最長名詞短語識別基于baseNP歸約后的語料，用BFMEOS分別表示MNP首詞、左部第二詞、中間詞、尾詞、結構外部、單詞結構六種位置，并選用詞語、詞類、詞長、義類、中心特征、起始特征等六種原子特征進行組合，觀察窗口為[-3，3]。

在歸約語料上確立MNP邊界后，利用baseNP長度信息，將MNP恢復為完整狀態：

恢復前： [ 故事/n ] 如/v [ 飄出/v記憶/n 的/u 星火/n ]

恢復后： [ 這/rN 段/qN 故事/n ] 如/v [ 飄出/v 我/rN 記憶/n 的/u 一/m 點/qN 星火/n ]

5 實驗設計及結果分析

5.1 實驗語料 對清華大學TCT樹庫進行五次無重復隨機抽樣，每個樣本容量為2 000句。實驗將每四個樣本合并為訓練語料，剩余一個樣本作測試語料，構造五組訓練測試對，進行交叉驗證。五組樣本記作sample5，每組訓練測試對記為samj，j∈[1,5]。剩余語料(34 605句)記作rest。

5.2 評價方法

采用正確率prc、召回率rec以及調和平均值F1為評價指標。引入優化幅度評價新方法的優化效果。令方法1的識別效果為E1，方法2效果為E2，方法2的優化幅度M計算如式(1)所示。

(1)

5.3 實驗及評測

實驗及文獻數據[13]表明，某種特征的貢獻程度有時會受到其他有效特征的影響。由于歸約方法的訓練代價相對較高，我們優先采納了易獲取的義類等穩定特征優化識別效果，以此為基線觀察歸約方法的有效性。實驗采用條件隨機場模型，分五組多角度地評價歸約策略。

實驗一： 歸約效果實驗： 觀察歸約對于整體識別效果的影響

采用sample5語料；三元窗口特征。由于MNP長度較大，內部成分復雜，識別基于mnp_set6，同時選用baseNP歸約特征；baseNP識別基于bnp_set4(表4)。

歸約方法在每個樣本上都有所提高，總體上使得MNP識別的F1值提高了0.6%左右(表2)。

實驗二： 長度分類評測： 觀察歸約對于不同長度MNP識別效果的影響

歸約的主要作用是拓展模型觀察視野，理論上有利于 長 距 離MNP識別。表3對多詞MNP進行評測，歸約策略使多詞MNP識別的F1值提高1%，

表2 MNP歸約效果實驗項目結構數非歸約歸約SamnumprcrecF1prcrecF11826888．5588．6988．6288．9389．4489．182823887．5687．9187．7388．1688．3088．233797088．3289．3988．8588．9889．9789．484809988．1688．2788．2288．9389．1189．025810388．0088．9988．4988．4189．2588．83ave-88．1288．6588．3888．6889．2188．95表3 MNP多詞評測項目結構數非歸約歸約SamnumprcrecF1prcrecF11476283．6384．3383．9884．6085．7085．152473882．3683．5482．9483．5584．0783．813459283．6185．2484．4284．9485．8785．404480183．5783．9283．7585．1684．9685．065479583．8184．4484．1384．7084．8484．77ave—83．4084．2983．8484．5985．0984．84M————7．175．096．19

圖2 MNP長度分布

圖3 長度分類評測

優化幅度達6.19%。

綜合以往研究[3,8,14]的長度分類方式，圖3報告了不同長度范圍的MNP識別效果。可見，以非歸約方法為基線，隨著MNP長度增加，歸約方法能取得更大的效果提升，當長度≥5時，歸約策略使得F1值提高了約1.4%。

實驗三： 復雜性分類評測： 觀察歸約對于簡單MNP和復雜MNP識別效果的影響

以不含“的”MNP近似簡單MNP，以含“的”MNP代表復雜MNP進行評價。

歸約方法對簡單MNP和復雜MNP都有效，尤其對復雜MNP效果更好。但兩者識別效果仍相差10%左右，說明結構復雜性對于MNP識別影響仍然較大(圖4)。

圖4 復雜性分類評測的實驗結果

實驗四： baseNP設置實驗： 觀察baseNP實驗設置對于后繼MNP識別的影響

在sample5語料上，采用歸約特征。baseNP識別使用與MNP相對應的標記集(表4)。

表4 baseNP與MNP標記集對應關系

圖5表明，baseNP識別效果平穩；對應標記集下，歸約方法(RMNP)取得了穩定提高。可以推斷，這種提高源于歸約后MNP長度的變化，而不僅是baseNP識別效果的提升。

此外，當baseNP識別采用語料rest增大訓練規模，F1值提升1%時，MNP和多詞MNP識別的F1值均提高0.25%左右，表明baseNP識別效果優化對MNP識別有積極影響。

實驗五： 特征分析實驗： 觀察各種特征對于MNP識別的貢獻

基于sample5語料，標記集測試僅采用詞和詞類特征；對語言特征測試，test1每次僅采納當前特征，test2每次遞加一個特征。由表5可見，詞長(len)、

圖5 對應標記集實驗結果

表5 特征分析實驗(F1-val)

義類(sem)、語義核心(head)等特征均有助于識別，起始特征(syn)，特別是與其他特征聯合使用時也有一定貢獻。

5.4 與前人研究的比較

識別實驗受到語料的詞類標記體系、結構復雜程度，MNP定義、長度分布，訓練代價，訓練測試比等多種因素的影響。其中，長度分布被證實是敏感度較高的因素。因此分類觀察不同長度的MNP識別效果(表6)，有助于更客觀地觀察實驗數據。

表6 與其他系統的實驗數據比較

從MNP長度分布比例、平均句長(senLen)看，我們的實驗語料在長度分布、結構復雜程度上高于其他研究。周強[3]采用的MNP定義(名詞性短語)和詞類體系與本文相近，代翠[8]定義相對簡化，主要識別名詞短語，不包括“的”字結構等名詞性短語，主謂謂語句的大主語和小主語也常被合并為一個MNP。

馮沖[14]、代翠[8]采用CRF在哈工大樹庫上識別MNP。前者從訓練語料中抽樣進行測試，方法與其他研究不同。相比代翠[8]的統計模塊，我們在Len<5組識別效果相對低，而在Len>=5組相對高，原因可能是MNP長度分布(語料)不同以及識別標記集的優化；在sample5測試集上模擬該文分類制定規則(原文未給出所有規則)，交叉驗證時未能穩定地和大幅度地提高識別效果。

Bai[6]和鑒萍[9]利用SVM基于賓州中文樹庫識別MNP，未報告不同長度范圍的識別效果。后者提出雙向標注融合的方法，并在相同標記集下比較了CRF和SVM模型，認為確定性模型(SVMs)能較好地利用長距離依存特征，更適合MNP識別。我們進行非歸約實驗時比較了兩個模型的表現，發現CRFs能更有效地利用多位置分類標記，一定范圍內，其識別性能隨著標記的增多而改善(圖5)；同樣基于表4所示標記集，采用三元歷史特征，SVM標注器在mnp_set3上取得了最優性能：87.27%的正確率和87.50%的召回率，太多的分類標記反而造成識別性能下降。因此，進一步的歸約實驗選擇了CRF模型。

錢小飛[13]同樣采用歸約方法在TCT語料上識別MNP，使用了BIO分類標記和一元head特征。我們將其方法應用于sample5語料，并優化特征組合，實驗結果優于前者(表7)。

表7 與錢小飛[13]的實驗比較

5.5 實驗結果分析

歸約方法改善了MNP，特別是多詞結構的識別效果。實驗錯誤主要表現在四個方面。

(1) 動詞介詞內含造成的誤識。主要是單個MNP識別為多個MNP。例如，“擺脫/v 了/u [殖民主義/n 枷鎖/n] 而/c 贏得/v [獨立/a 的/v 一些/m 發展中國家/n]”應是一個MNP；多個MNP識別為一個的情況少見。

(2) 左邊界處連續的動詞介詞邊界造成的誤識。如“要/vM 在/p [繼續/v 鞏固/v 已/d 有/v 的/u 友好/a 關系/n 的/u 同時/t]”，左邊界處有多個動詞及介詞。

(3) 連續MNP分布造成的誤識。包括： 大小主語識別為一個MNP，如“[青年人/n 思路/n] 活躍/v”；直接賓語和間接賓語識別為一個MNP，如“交給/vSB [我/rN 一/m 份/qN 材料/n]”；動賓結構直接作定語，賓語與NP中心語識別為一個MNP，例如，“讀/v [書/n 姑娘]”。

(4) 典型歧義結構造成的誤識。如“v np De np”結構判斷動詞位于MNP內外有誤。

實驗結果也表明，歸約方法和非歸約方法具有互補性。歸約方法的優點是擴展了模型的觀察視野，并去除或削弱了一些冗余特征；也有不足之處，主要表現為兩種級聯錯誤。

首先，baseNP歸約帶來了少量特征損失，使一些細致的邊界特征難以表現。例如，“v dD a ...”模式中v后很可能出現左邊界，當出現“v [ dD a n De n ]”序列，“dD a n”歸約為n后卻形成了典型歧義結構“v n De n”。但這也表明歸約方法在特征選擇上還有優化空間。

其次，baseNP識別錯誤也帶來一些影響。例如，雙賓結構“給/vSB [您/rN 一/m 樣/qN 東西/n]”中，“您/rN 一/m 樣/qN 東西/n”被誤識別為baseNP，進而造成了MNP識別錯誤。基于正確baseNP標注語料的五折交叉驗證表明，MNP和多詞MNP的F1值達到90.73%和86.73%，分別提高1.78%和1.89%，這是本文實驗由baseNP識別錯誤造成的影響的上限。

6 結語

本文提出了最長名詞短語的操作性定義，分析了其內部構成和外部分布特征，基于這些特征設計了一種基于baseNP歸約的識別方法。多維度的實驗評測表明，該方法有效地緩解了MNP長距離依賴與模型觀察窗口受限的矛盾，利用MNP結構特性和起始有定成分、語義核心等語言學特征，全面提高了MNP，特別是復雜MNP的識別效果，并且在不同的實驗環境下表現出良好的穩定性。下一步考慮通過概率篩選將指稱性特征之外的語言學特征納入該模型，尋求有效特征對中心詞進行選擇，并引入詞匯搭配知識和確定性規則進一步解決結構歧義問題。

感謝清華大學周強老師為本文研究提供了TCT樹庫。

[1] Voutilainen A. NPTool: a detector of English noun phrases[C]//Proceedings of the Workshop on Very Large Corpora: Academic and Industrial Perspectives, 1993.

[2] 李文捷,周明,潘海華,等.基于語料庫的中文最長名詞短語的自動提取[C]//陳力為,袁琦.計算語言學進展與應用.北京： 清華大學出版社,1995： 119-124.

[3] 周強,孫茂松,黃昌寧.漢語最長名詞短語的自動識別[J].軟件學報，2000,11(2)：195-201.

[4] Guiping Zhang, Wenjing Lang, Qiaoli Zhou, et al. Identification of Maximal-Length Noun Phrases Based on Maximal-Length Preposition Phrases in Chinese[C]//Proceedings of IALP 2010: 65-68.

[5] Changhao Yin. Identification of Maximal Noun Phrase in Chinese: Using the Head of Base Phrases [D]. POSTECH, Korea, 2005.

[6] Xue-Mei Bai, Jin-Ji Li, Dong-Il Kim, et al. Identification of Maximal-Length Noun Phrases Based on Expanded Chunks and Classified Punctuations in Chinese[C]//Proceedings of the 21st ICCPOL, 2006:268-276.

[7] Kuang-hua Chen. Extracting noun phrases from large-scale texts: a hybrid approach and its automatic evaluation[C]//Proceedings of the 32nd ACL, 1994.

[8] 代翠,周俏麗,蔡東風,等.統計和規則相結合的漢語最長名詞短語自動識別[J].中文信息學報,2008,22(6): 110-115.

[9] 鑒萍,宗成慶.基于雙向標注融合的漢語最長短語識別方法[J].智能系統學報,2009,4(5): 406-413.

[10] Steven Abney. Syntactic affixation and performance structures[C]//Proceeding of Views on Phrase Structure, 1990.

[11] 趙軍,黃昌寧.結合句法組成模板識別漢語基本名詞短語的概率模型[J].計算機研究與發展,1999,36(11): 1384-1390.

[12] Elias Ponvert, Jason Baldridge, Katrin Erk. Simple Unsupervised Grammar Induction from Raw Text with Cascaded Finite State Models[C]//Proceedings of the 49th ACL, 2011:1077-1086.

[13] 錢小飛.最長名詞短語識別研究[J].現代語文，2009,21:124-126.

[14] 馮沖,陳肇雄,黃河燕,等.基于條件隨機域的復雜最長名詞短語識別[J].小型微型計算機系統,2006,27(6): 1134-1139.

附： CRF特征模板

template_baseNP |語料格式： 表1歸約前，前5列

Chinese Maximal Noun Phrase Recognition Based on Reduction

QIAN Xiaofei1, HOU Min2

(1. College of Liberal Arts, Shanghai University, Shanghai 200444, China; 2. National Broadcast Media Language Resources Monitoring & Research Center, Communication University of China，Beijing 100024, China)

This paper proposes an operational definition of Maximal Noun Phrase(MNP), and then analyzes its structure and distribution features. A MNP recognition based on baseNP reduction is also designed, which exploits the structural characteristics of MNP as well as the linguistic features such as initial definite references and semantic heads. This method eases the conflict between the long distance dependency of MNP and the limits of observation windows in classical models. The experiment indicates a good precision of 88.68% and a recall of 89.21%. The reduction method comprehensively improves system performance, especially it improves F1-score by 1% and optimal margin by 6% on multiword MNP, showing its efficiency in complex MNP recognition.

maximal noun phrase; recognize; reduction; baseNP

錢小飛(1981—)，博士，講師，主要研究領域為計算語言學。E?mail：qierflying@163．com侯敏(1952—)，教授，博士生導師，主要研究領域為計算語言學，語言監測。E?mail：houminxx@126．com

1003-0077(2015)02-0040-09

2012-11-20 定稿日期： 2013-01-28

上海市高校青年教師培養資助計劃(shu11053)；國家語言資源監測與研究中心科研項目(YZYS08-04)

TP391

A