基于語義增強的多特征融合小樣本關系抽取

收稿日期：2021-11-25；修回日期：2022-01-14" 基金項目：山西省自然科學基金資助項目（201901D111258）；山西省中科院科技合作項目（20141101001）；山西省重點研究計劃資助項目（201603D121031）；山西省應用基礎研究項目（201801D221179）

作者簡介：潘理虎（1974-），男，河南駐馬店人，教授，碩導，博士，主要研究方向為知識圖譜（2004028@tyust.edu.cn）；劉云（1997-），男，山西晉城人，碩士研究生，主要研究方向為關系抽取；謝斌紅（1971-），男，山西運城人，副教授，碩導，碩士，主要研究方向為自然語言處理、機器學習；張英俊（1969-），男，山西運城人，教授級高工，碩導，碩士，主要研究方向為智能化軟件工程和軟件體系結構.

摘 要：關系抽取是自然語言處理和知識圖譜構建的一項關鍵任務，現有小樣本關系抽取方法無法有效獲取和充分利用更多的文本語義信息，為此給出一個基于語義增強的多特征融合關系抽取方法（SMPC）并應用于小樣本任務中。該方法構建了一個融合位置、詞性和句法依存等信息的分段卷積神經網絡最大化表示語義特征，并從維基百科中抽取細粒度語義信息，將其融入詞嵌入，提高模型上下文共性學習。在兩種場景下對不同基線方法進行實驗，分別取得最高4%和10%的準確率提升，證明了該方法的有效性。

關鍵詞：關系抽取；小樣本學習；細粒度語義；特征融合

中圖分類號：TP391"" 文獻標志碼：A

文章編號：1001-3695（2022）06-010-1663-05

doi：10.19734/j.issn.1001-3695.2021.11.0626

Multi-feature fusion and few-shot relation extraction based on semantic enhancement

Pan Lihu，Liu Yun，Xie Binhong，Zhang Yingjun

（College of Computer Science amp; Technology，Taiyuan University of Science amp; Technology，Taiyuan 030024，China）

Abstract：Entity relationship extraction is a key task of natural language processing and knowledge graph construction.The existing few-shot relation extraction methods can’t effectively obtain and make full use of more text semantic information.For this reason，this paper proposed a semantic enhancement-based multi-feature fusion relationship extraction method （SMPC），and applied it to few-shot tasks.The method constructed a piecewise convolutional neural network that integrated information such as position，part of speech，and syntactic dependence to maximize semantic features.The model extracted fine-grained semantic information from Wikipedia and integrated it into word embedding to improve the common learning of model context.This paper made experiments on different baseline methods in two scenarios.It achieves a maximum accuracy improvement of 4% and 10%，and proves the effectiveness of the method.

Key words：relation extraction；few-shot learning；fine-grained semantic；feature fusion

實體關系抽取旨在獲取給定文本中兩個實體之間存在的特定關系，以實體關系三元組進行數據存儲及知識圖譜構建。早期關系抽取工作主要基于內核和基于特征的方法，依賴大量人工特征工程，無法自動地進行特征抽取和擴展實體關系類型。隨著深度學習快速發展，大量研究者開始使用神經網絡進行關系抽取工作，如卷積神經網絡、遞歸神經網絡，且取得了不錯的效果。實際應用中，關系抽取工作經常遇到長分布和低資源數據的挑戰。大多數監督模型［1～3］依賴高質量的標注數據，但標注工作消耗大量人力物力，且某些領域數據不足，難以獲得大規模訓練數據，導致模型學習能力下降。為此，Mintz等人［4］在總結前人工作基礎上將遠程監督融入到關系抽取工作中，利用實體對齊知識庫自動生成大規模訓練數據，廣泛研究也證實了這種方法是非常有效的。遠程監督方法的一個限制是生成的訓練數據存在噪聲［16］，兩個實體之間可能存在多個關系，很難確定實體對在特定上下文中屬于哪個關系，或句子是否表達了某種關系，同時長尾分布問題使獲取的數據標簽分布不均衡。基于小樣本學習在視覺領域的快速發展［5］，研究人員開始將深度神經網絡推廣到文本處理的低數據場景中，即使用少量的標注語料來學習關系抽取任務。小樣本學習能夠減少標注數據的負擔，并快速推廣到新任務，無須從頭開始訓練，也更符合真實世界需求。Han等人［6］將小樣本學習引入關系抽取任務并提出FewRel數據集，之后許多研究人員開始關注這項任務并取得了顯著的成績［7，8］。由于可用訓練語料缺少且文本多為非結構化，以及相關詞匯難于理解等特性，使大量文本的語義不能有效利用，小樣本關系抽取工作進展與預期仍有較大差距。事實上，文本中包含了更豐富的對關系抽取有用的上下文信息，這些都可用于解決小樣本場景下語義學習不足的問題。為充分獲取文本上下文特征，本文通過構建多特征強化語義表達，將細粒度的語義信息應用到小樣本關系抽取工作中，并取得了明顯的綜合性能提高。

本文提出一個融合多特征的分段卷積網絡模型，將位置、詞性和句法依存信息作為輔助特征融合到網絡中，并改進矩陣嵌入轉換，最大化保留上下文信息； 從維基百科文章中提取細粒度語義類型信息，將其轉換為細粒度語義嵌入聚合到詞嵌入，有效豐富了文本詞嵌入的語義表達能力，使模型更有效地捕獲語義特征；在小樣本關系抽取基準數據集FewRel 1.0的實驗中，通過設置不同任務不同場景對六種小樣本基線方法進行了實驗評估，取得了更好的性能提高。

1 相關工作

近年來，關系抽取在自然語言處理領域取得了長足的發展。現有的研究大多集中在監督或半監督［9，10］的關系抽取任務上，假設存在大量標注語料可用，而現實中標注數據十分有限，一些研究者通過借助知識圖以遠程監督［4］的方式解決樣本不足問題，但這種方法獲取的數據存在噪聲和長尾關系等新問題。為減少噪聲標簽的影響，葉育鑫等人［11］提出“最終句子對齊的標簽是基于某些未知因素所生成的帶噪觀測結果”這一假設，讓模型利用自動標記的數據學習真實標簽到噪聲標簽的轉移概率；Alt等人［12］則采用預訓練語言模型OpenAI生成GPT，并將GPT擴展到遠程監督進行微調，成功預測了一組更大的具有高置信度的不同關系類型。

另一部分研究者在基于數據不足的學習場景中嘗試引入外部知識來解決問題，并將其視為一個小樣本學習問題。Han等人［6］利用遠程監督方法和人工標注提出了首個高質量小樣本關系抽取數據集，此后的小樣本關系抽取工作主要基于此樣本集；Qu等人［13］使用一種新貝葉斯元學習方法來有效地學習關系原型向量的后驗分布，并提出使用隨機梯度Langevin動力學優化原型向量的后驗分布，以端到端方式對模型進行有效的優化；Yang等人［14］則引入實體的固有概念，通過計算句子與概念之間的語義相似度，從每個實體的多個概念中選擇最合適的概念，并提出了一種基于自注意的融合模塊，以彌補不同語義空間中概念嵌入和句子嵌入的差距，為關系預測提供線索，提高了小樣本關系抽取性能，但效果與人工仍有較大差距。為解決小樣本下的新關系預測問題，Gao等人［15］以一種新的自舉方法，結合遠程監督與遷移學習，通過關系孿生網絡學習現有關系與標記數據實例之間的關系相似度，傳遞已有關系的語義知識來實現模型對新關系的學習。但遷移學習無法選擇哪些、多少特征遷移［16］，以及在小樣本場景下模型對文本信息的獲取有限，很難捕捉應用更為細粒度的信息。

李麗雙等人［17］利用位置信息和專業領域語料訓練的詞向量獲取每個詞的注意力權重，然后將此權重與通用領域語料訓練的詞向量結合，實現了位置向量降噪和豐富語義引入。Hu等人［18］將細粒度實體類型與注意力融合，重點追求多樣化注意，融合提及級注意和語境級注意兩個層次，共同捕捉提及和語境中豐富的信息，促進兩者的相互融洽，并利用語義特征差異的細微差異來區分子類型。Li等人［19］采取了基于字符和基于詞的輸入，將細粒度的語言信息和外部知識結合，將字級信息合并到字符序列中，并借助外部語言學對多義詞的義項建模，緩解了詞的多義歧義現象。Hou等人［20］則通過細粒度的實體信息增強上下文共性的學習，提高了實體鏈接任務的性能。Zhang等人［21］融合字符級、詞級特征，Qiu等人［22］添加表情符號、語法及語音等特征，兩者分別構建了不同的多特征融合模型，提高了模型語義特征的學習能力，并在關系分類和情感分析任務中取得了不錯的效果。

基于以上研究，本文在當前小樣本關系抽取工作的基礎上，為關系分類模型構建了一個多特征分段卷積神經網絡，添加位置、詞性及句法依存等輔助特征，將細粒度的語義嵌入聚合至詞嵌入中，增強模型語義學習能力。

2 SMPC模型

2.1 嵌入層

文本預處理后，將詞信息及其他輔助特征進行向量化表示，拼接嵌入模型。本文中，SMPC方法除詞嵌入Sw外，還包括詞性嵌入St、句法依存嵌入Sd以及實體的位置嵌入Sp，在多特征基礎上再將細粒度語義嵌入與詞嵌入融合得到語義增強后的嵌入表示Sw，結構如圖1所示。

a）詞嵌入。詞嵌入是指將一個維數為總詞數的高維空間嵌入到一個低維的連續向量空間中，每個單詞或詞組被映射為實數域上的向量，通常使用語言模型訓練得到其嵌入表示。本文選取斯坦福大學以Wikipedia訓練的GloVe模型進行詞向量映射。GloVe是一種將全局特征矩陣分解技術與word2vec中的基于上下文的學習相結合的方法，它使用整個文本語料庫中的統計信息構造顯式的單詞上下文或單詞共現矩陣。

設一個句子S由n個單詞組成，S=［w1，w2，…，wn］，wi為第i個單詞。對文本S中的每個單詞，用GloVe模型得到其低維向量表示，記為ei，則輸入文本S可得到Sw=［e1，e2，…，en］∈Euclid Math TwoRAp n×d，d為詞向量的維度。

b）位置嵌入。在詞向量基礎上加入實體位置特征。位置特征概念由Zeng等人［1］首次提出，它考慮到一個句子中當前詞與首尾兩個實體的位置關系，位置向量被用于表達目標詞的位置嵌入，由目標詞到頭實體和尾實體的相對位置決定。

對于句子序列S，令Pi表示第i個詞的位置信息，則Pei為該詞位置信息轉換后的位置向量，句子S的位置嵌入則為Sp=［Pe1，Pe2，…，Pen］∈Euclid Math TwoRApn×d1，d1為位置向量的維度。句子S中實體可包含多個單詞。如圖2所示，目標詞“born”到實體“Barack Obama”與“United States”之間的距離分別是“2”和“-3”，得到位置信息實數組［2，-3］，再將距離實數表示為對應的向量特征，將句子序列的距離向量拼接構建位置嵌入矩陣。

c）詞性嵌入。為更好獲取句子文本的語法信息，將詞性信息加入表示。詞性特征具備一定的語義信息，能夠解決某些場景下的一詞多義現象。本文使用NLTK工具對輸入文本進行詞性標注，為最大程度保留上下文特征，使用馬爾可夫狀態轉移矩陣法對詞性序列進行數值化。輸入句子序列S=［w1，w2，…，wn］，生成詞性標簽序列Tag=［T1，T2，…，Tn］，經由狀態轉移矩陣轉換得到St=［Te1，Te2，…，Ten］∈Euclid Math TwoRApn×d2，Tei表示句子中第i個單詞的詞性特征向量，d2為詞性特征向量的維度。

d）依存句法嵌入。依存句法分析通過分析語言單位各成分，能夠確定句子的句法結構或者句子中詞與詞的依存關系，從而幫助模型更好地理解上下文語義，句法依存樹能夠形象地展示句法結構，如圖3所示。

對輸入實例S=［w1，w2，…，wn］，通過Stanford Parse 生成句法三元組序列L，以（‘syntax’，index1，index2）形式表示句子中單詞之間的依存關系，“index”為句子單詞索引值，通常表示位置為“index2”的單詞是位置“index2”單詞的“syntax”關系。

如圖4所示，“（‘ROOT’，0，2）”表示第二個詞“prefer”為句子中心詞，“（‘nsubj’，2，1）”則表示第一個詞“I”是第二個詞“prefer”的主語，依此類推，三元組序列表示了每個詞的依存詞及其依存關系。

借助Stanford Parse工具得到的句法三元組序列根據句中標點分段進行解析，當輸入句子中包含多個短句時則會出現相同數量不相關的句法序列。如圖5所示，輸入S由“I like swimming.”和“But Tom likes singing.”兩個短句構成，Stanford Parse生成三元組序列中包含兩個“ROOT”，且從第二個“ROOT”開始，句法序列中每個三元組第二項和第三項的單詞索引值重新從1計算。三元組的索引值是構建依存句法特征向量的主要參考，而這不利于人們獲取句子的全部上下文信息。本文為其添加一個額外處理操作：通過對原始三元組序列檢索，利用輸入S的長度，對檢索到的后續“ROOT”對屬于其的三元組索引值進行更新，并存儲為新列表list-N。

借用新的句法三元組序列，通過計算得到句子序列的特征實數Lr=［R1，R2，…，Rn］，n為句子S長度。對其進行矩陣轉換得到依存句法特征向量Sd=［De1，De2，…，Den］∈Euclid Math TwoRApn×d3，d3為依存特征向量維度。

e）細粒度語義嵌入。研究證實，語義信息有助于模型的上下文理解和學習，本文將從維基百科獲取到的細粒度語義信息融合至原始詞嵌入中。使用Hou等人［20］的詞類型字典方法并對其擴展。字典包含科目、專業、地名等諸多實體詞語，在初始實體類型的基礎上擴展實體類型，并添加部分其他詞性詞匯，得到新的詞類型字典Dt；根據字典Dt從維基百科轉儲得到詞類型文本Ta，用做提取細粒度的語義類型詞。Ta包含了類型詞的名稱、類型，以及來自維基的百科文本。

根據詞類型字典Dt，對于每個類型詞計算其相似度，從維基百科文章中抽取其若干個相似詞，并選取部分作為語義詞，視做每個類型詞的同位詞、指代詞等。對每個所需構建的詞w，其抽取到的語義詞集為Wa=［wa1，wa2，…，wam］，m為每個類型詞抽取篩選后的語義詞數，并依據語義詞集構建細粒度語義類型詞典Dsem。每個語義詞視為當前類型詞的含義，對文本中無語義詞（如定詞、冠詞）不作提取。

為更加適配原始詞嵌入，對每個抽取到的語義詞，本文采用GloVe模型進行嵌入表示。每個語義詞wa1的向量表示為wei，對其取均值生成單詞w的細粒度語義詞嵌入es：

es=1m∑mi=1wei（1）

將得到的細粒度語義詞嵌入和原始詞嵌入通過加權方式聚合，避免得到的嵌入同質，最后得到語義增強的詞嵌入Sw，α為控制權重。

Sw=（1-α）ew+αes（2）

2.2 卷積層

嵌入層通過詞法和句法的輔助特征挖掘了句子的語義信息，在關系抽取任務中，利用局部特征預測關系類別時，卷積操作是非常重要的。本節將卷積核與輸入矩陣進行卷積運算，得到樣本的特征映射向量。設n個單詞的句子為S=［w1，w2，…，wn］為融合多特征，將詞嵌入矩陣與輔助特征嵌入矩陣進行拼接U=Sw⊕Sp⊕St⊕Sd，⊕為向量拼接操作，得到U=［x1，x2，…，xn］，xi為第n個詞語詞嵌入特征融合后的向量表示。

文本滑動窗口大小為h，卷積核大小為h×d，卷積核表示為矩陣W∈Euclid Math TwoRAp h×d，偏置項為b，非線性激活函數ReLU為f（x），第i行至第i+h-1行的文本局部特征表示為xi：i+h-1，則卷積運算表示為

ci=W×xi：i+h-1+b（3）

輸入文本使用m個卷積核擬合特征，則得到卷積輸出為C=［c1，c2，…，cm］。

2.3 分段池化

無論漢語、英語還是其他自然語言文本句子都有一定的結構，傳統卷積最大池化從特征中提取最大值，且不區分句子的語法元素，這樣操作簡單、計算參數少、方便訓練，但無法有效提取到文本任務的細粒度特征，單一池化也不足以獲取實體間的結構關系。這里采用分段池化操作，分段池化根據頭實體與尾實體的位置，將卷積層特征劃分為三段{ci1，ci2，ci3}，對每部分分別使用最大池化操作：

fi，j=max（xi，j） 1lt;ilt;n，1≤j≤3（4）

將通過池化操作的向量集合{fi，1，fi，2，fi，3}經過雙曲正切函數運算，得到最終結果s并輸入softmax層中進行最后的歸一化操作。

s=tanh（fi，n）（5）

3 實驗與分析

3.1 處理流程

實驗中模型對輸入文本的特征提取方法如下所示：

a）輸入實例，文本預處理。

b）詞向量模型映射，生成輸入詞嵌入； 詞位置實數特征矩陣化，生成位置嵌入； 實例詞性標注，詞性序列輸入狀態轉移矩陣，生成詞性嵌入； 生成初始句法三元組，序列重組，得到連續索引實數特征，矩陣化生成句法依存嵌入。

c）對實例單詞抽取若干語義詞生成語義詞集，GloVe模型進行向量映射并均值化得到細粒度語義嵌入。

d）融合細粒度語義嵌入與輸入詞嵌入，生成語義增強詞嵌入。

e）拼接詞嵌入、位置嵌入、詞性嵌入及句法依存嵌入，輸入卷積層，分段池化，得到標準化文本特征表示；將得到的特征表示作為下一步驟的輸入，如分類器、注意力模塊等。

3.2 實驗基線模型

本文實驗使用3.1節的特征提取方法在六個模型中驗證工作的有效性。用文獻［6］中提到的Meta network、GNN、SNAIL方法作為n way k shot場景下關系抽取的基線模型。其中，Meta network是一種元學習算法，它基于傳統分類模型，通過添加高級元學習器進行監督訓練，基礎學習器的權重分為快速權重和慢速權重；GNN是將每個支持實例或查詢實例作為網絡圖中的一個節點來解決小樣本學習問題，對于支持集中的實例，其標簽信息嵌入至相應的節點表示，然后利用圖網絡在節點之間傳播，查詢集從支持集中接收相關信息進行分類；SNAIL使用時間卷積神經網絡和注意力從過去序列中進行經驗學習，它將支持實例集標簽對排成一個序列，并添加查詢實例，它的學習過程遵循時間順序，通過閱讀實例進行信息學習，并對未標記的實例進行預測。

使用文獻［15］中的relation siamese network（RSN）、Distant supervision以及提出的Snowball方法作為評估給定少量實例下新關系的預測工作。其中，RSN通過計算查詢實例與其他每個實例之間的相似度得分，將其表示為關系的查詢實例概率；Distant supervision將所有共享實體對及已有種子集的實例放入訓練集，并使用微調分類器工作；Sonwball通過遠程監督和遷移學習在現有關系的先驗知識下從無標注實例中迭代擴展新的實例事實，不斷訓練關系分類器，在少數實例下獲取新的關系。

3.3 實驗設置

為更好地與基線模型對比，實驗使用基準數據集FewRel 1.0［6］，這是第一個高質量、也是最常使用的小樣本關系抽取數據集。它包含來自維基百科的100個關系及70 000個實例，數據集分為三個子集，訓練集64個，驗證集16個，測試集20個，訓練集、驗證集和測試集之間沒有重疊關系。由于測試集不可用，本文在訓練集和驗證集上進行評估。文本實驗服務器為GTX2080Ti，其余實驗條件如表1所示。

實驗參數：模型最大序列長度為40，預訓練詞向量使用斯坦福大學在Wikipedia文本訓練的GloVe.6B.50d，詞向量維度為40，位置、詞性等輔助特征維度為5，使用隨機梯度下降法（SGD）進行參數優化，momentum設置為0.5。對不同任務分配不同訓練、評估方案，通過網格搜索確定超參數。

a）n way k shot。對訓練集和測試集中的子數據集構建n way k shot任務，對四種情況構造訓練任務和測試任務，共訓練100個epoch，訓練中batch size為32，學習率λ=10-3，分類器閾值設為0.9，每次測試迭代1 000次。

b）Few examples。對模型編碼器及其他模塊進行訓練，共訓練50個epoch，訓練中batch size為10，學習率λ= 0.05，負損失系數μ=0.2，分類器閾值設為0.9，RSN各階段閾值設為0.5。訓練后對5-shot、10-shot及15-shot進行評估，每次測試迭代1 000次。

3.4 實驗結果

以基線方法進行n way k shot任務評估，將構建的SMPC加入其中，在此不做過多重復性工作，直接使用文獻［6］中以CNN編碼的實驗結果作為初始性能進行比較，實驗結果如表2所示。實驗遵循基線的設置，在5 way 1 shot（5-1）、5 way 5 shot（5-5）、10 way 1 shot（10-1）、10 way 10 shot（10-10）上評估準確率。

表2結果顯示，在添加了本文的工作后，Meta network（SMPC）方法相比較CNN基線獲得了一定的性能提高，在5-1、5-5、以及10-10的設置下取得了1%～2%的準確率提高，在10-1場景下沒有明顯性能變化，提升不到1%。GNN（SMPC）對比基線有明顯性能提高，在5-1、5-5、10-10設定下提升較大，準確率提高了3%～4%，在10-1設置下也有1%～2%的準確率提高。SNAIL（SMPC）對比CNN基線在四種設置下，準確率提高了1%～2%。本次實驗的三個基線方法，在四種任務設置下準確率都取得了不同程度的提升，證明SMPC確實提高了模型的特征學習能力。相比10-1設置下的評估結果，5-1、5-5、10-10下的準確率提升更高，在10-1下的評估結果普遍提高并不理想。5-1及10-1設置下，特別是10-1，因每個子分類任務類別多，而測試樣本數相比過少，模型無法在無標注的情況下對單一測試樣本和多類別實例進行準確的預測，這既是人工判別的復雜場景，也是現有小樣本學習方法的一個共性問題。同時，SMPC方法在SNAIL和Meta network上提升效果并不顯著，它對基于元學習的方法性能提高有限。元學習過程中，本文工作讓編碼器能夠獲得更加細粒度的語義特征，重點提高了模型的語義關系學習能力，但為其提供的先驗知識有限，也基于當前元學習方法的不成熟，因此無法幫助獲取更多的元知識，模型不能學習到更多訓練過程以外的知識，基線模型最終得不到更優的初始神經參數及其他超參數。

本文使用三種小樣本方法作為給定少量實例下新關系抽取工作對比的基線模型。遵循文獻［15］的評估方法，在給定新關系5、10、15個初始實例情況下評估模型對新關系的預測性能，結果如表3所示。

表3結果顯示，本文方法在少量實例下預測新關系的性能提升比較顯著。RSN對比基于CNN的模型，基于SMPC方法準確率有3%～5%的提升，對比BERT則能夠達到8%～10%的提升。遠程監督（distant supervision）方法對比基于CNN的模型，準確率上有4%～7%的性能提升，基于BERT的基線方法表現較差，SMPC對比提升更加明顯。融合了RSN與二分類器的neural snowball模型，對比基于CNN編碼，在給定5、10個實例的場景下提升明顯，準確率分別提高13%、23%，在15個實例情況下，模型表現吃力，提升效果不理想。基于BERT的neural snowball模型憑借強大的預訓練方法，性能優越，SMPC與其相比，在5、10個實例下準確率分別提升了5%、10%，在15個實例情況下，基于BERT的neural snowball模型性能仍為最佳。

能夠看出，基于CNN編碼的三個基線方法在10個實例場景下效果普遍不理想；在添加本文SMPC方法后，模型在10個實例場景下提升最為明顯，在15個實例下性能有所限制，但也有3%～5%的準確率提升。SMPC在該場景設置下更能夠體現其優越性，在給定少量實例的條件下，模型可以將學習到的語義特征更全面地遷移到新關系中并實現最大化運用，當關系實例給定較多，模型特征遷移則會產生一定“漂移”，對新實例給出一定的誤差判斷，這是需要思考的部分。

3.5 具體案例分析

本節以neural snowball作為基線方法，在添加本文工作后進行實例演示，通過輸入一個實例進行特征表示，并利用關系孿生網絡與分類器獲取同實體對實例與同關系實例，如表4所示。

步驟案例演示

輸入實例［Bill Gates is the founder of Microsoft.］

特征表示

細粒度語義抽取Bill Gates：{William Henry Gates Ⅲ，Founder of Microsoft ，wordrepreneur…}，founder：{…}…

語義映射GloVe映射

取均值es=1m∑mi=1wei

語義嵌入：［［1.23245，-0.75684，…］

…

［… …］］

詞性實數特征［7，7，5，6，7，8，7］

句法實數特征

權重矩陣化［2，5，5，5，0，7，5，5］

特征拼接拼接后得到輸入實例的特征表示U=［…］

RSN抽取對輸入實例特征與候選實例計算相似度s（x，y）=σ（ωTs（fs（x）-fs（y））2+bs），得到置信度高的同實體關系實例S1：Bill Gates is the founder of Microsoft.

迭代二分類器抽取對輸入實例特征與候選實例計算關系概率g（x）=σ（ωTf（x）+b），得到與輸入同關系的實例S2：Steve Jobs founded Apple.

輸入實例‘Bill Gates is the founder of Microsoft’，獲取與其關系類型（the found of）相同的實例。模型對實例進行處理，通過細粒度語義和多特征融合的步驟最終得到語義增強后的特征表示，并作為輸入傳至孿生網絡和迭代的二分類器，最終從無標注語料中抽取到同實體關系的相似實例（Bill Gates is the founder of Microsoft.）與同關系類型實例（Steve Jobs founded Apple.）。

4 結束語

由于現實世界諸多領域中文本數據較少或標注語料不足，而標注工作會耗費大量人力和時間，小樣本學習下的文本處理工作逐漸成為重點。本文研究了小樣本場景關系抽取任務，提出基于語義增強的多特征小樣本關系抽取方法，以分段卷積神經網絡為基礎，融合位置、詞性和句法依存等輔助特征，最大程度提取上下文語義特征，并將取自維基百科的細粒度語義信息聚合至GloVe詞嵌入中，使小樣本關系抽取模型更好地學習語義表示，并在FewRel 1.0數據集上的不同任務設置下取得了有效的性能提升。綜上所述，本文提出的SMPC方法提高了小樣本場景下實體關系抽取的工作性能。到目前為止，小樣本關系抽取工作仍然有明顯不足，很多方面都亟待解決，也因為深度學習下文本處理的復雜性和多變性，當前主流模型性能還無法真正應用到實際，其準確率和人類相比仍有較大差距。本文工作也仍有很大改進空間，模型在一定程度上依賴于外部知識工具，同時在元學習方法上表現不夠優秀，元學習作為小樣本學習中新興且有效的方法，下一步可以深入挖掘元知識，讓本文方法能夠適應元學習器，并不局限于學習表征，進一步讓其能學習到有用的優化參數。同時，下一步準備將提示學習（prompt lear-ning）框架加入模型中，通過對下游任務調整以提示方法獲得更佳的模型參數，進一步提高在小樣本下的關系抽取性能。

參考文獻：

［1］Zeng Daojian，Liu Kang，Lai Siwei，et al.Relation classification via convolutional deep neural network［C］//Proc of the 25th International Conference on Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2014：2335-2344.

［2］Gormley M R，Yu M，Dredze M.Improved relation extraction with feature rich compositional embedding model［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2015：1774-1784.

［3］Shi Peng，Lin J.Simple bert models for relation extraction and semantic role labeling［EB/OL］.（2019-04-10）.https：//arxiv.org/abs/1904.05255.

［4］Mintz M，Bills S，Snow R，et al.Distant supervision for relation extraction without labeled data［C］//Proc of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language.Stroudsburg，PA：Association for Computational Linguistics，2009：1003-1011.

［5］趙凱琳，靳小龍，王元卓.小樣本學習研究綜述［J］.軟件學報，2021，32（2）：349-369.（Zhao Kailing，Jin Xiaolong，Wang Yuanzhuo.Survey on few-shot learning［J］.Journal of Software，2021，32（2）：349-369.）

［6］Han Xu，Zhu Hao，Yu Pengfer，et al.FewRel：a large-scale supervised few-shot relation classification dataset with state-of-the-art evaluation［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2018：4803-4809.

［7］Gao Tianyu，Han Xu，Liu Zhiyuan，et al.Hybrid attention-based prototypical networks for noisy few-shot relation classification［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：6407-6414.

［8］Ye Zhixiu，Ling Zhenhua.Multi-level matching and aggregation network for few-shot relation classification［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2019：2872-2881.

［9］Zhang Yuhao，Zhong V，Chen Danqi，et al.Position-aware attention and supervised data improve slot filling［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2017：35-45.

［10］Zeng Daojian，Liu Kang，Chen Yubo，et al.Distant supervision for relation extraction via piecewise convolutional neural networks［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2015：1753-1762.

［11］葉育鑫，薛環，王璐，等.基于帶噪觀測的遠監督神經網絡關系抽取［J］.軟件學報，2020，31（4）：1025-1038.（Ye Yuxin，Xue Huan，Wang Lu，et al.Distant supervision neural network relation extraction base on noisy observation［J］.Journal of Software，2020，31（4）：1025-1038.）

［12］Alt C，Hübner M，Hennig L.Fine-tuning pre-trained transformer language models to distantly supervised relation extraction［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2019：1388-1398.

［13］Qu Meng，Gao Tianyu，Xhonneux L P，et al.Few-shot relation extraction via Bayesian meta-learning on relation graphs［C］//Proc of the 37th International Conference on Machine Learning.2020：7867-7876.

［14］Yang Shan，Zhang Yongfei，Niu Guanglin，et al.Entity concept enhanced few-shot relation extraction［C］//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2021：987-991.

［15］Gao Tianyu，Han Xu，Xie Ruobing，et al.Neural snowball for few-shot relation learning［C］//Proc of the 34th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2020：7772-7779.

［16］Liu Kang.A survey on neural relation extraction［J］.Science China Technological Sciences，2020，63（10）：1971-1989.

［17］李麗雙，袁光輝，劉晗喆.基于位置降噪和豐富語義的電子病歷實體關系抽取［J］.中文信息學報，2021，35（8）：89-97.（Li Lishaung，Yuan Guanghui，Liu Hanzhe.Entity relationship extraction from electronic medical records based on location noise reduction and rich semantics［J］.Journal of Chinese Information Processing，2020，35（8）：89-97.）

［18］Hu Yanfeng，Qiao Xue，Xing Luo，et al.Diversified semantic attention model for fine-grained entity typing［J］.IEEE Access，2020，9：2251-2265.

［19］Li Ziran，Ding Ning，Liu Zhiyuan，et al.Chinese relation extraction with multi-grained information and external linguistic knowledge［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2019：4377-4386.

［20］Hou Feng，Wang Ruili，He Jun，et al.Improving entity linking through semantic reinforced entity embeddings［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2020：6843-6848.

［21］Zhang Jiangying，Hao Kuangrong，Tang Xuesong，et al.A multi-feature fusion model for Chinese relation extraction with entity sense［J］.Knowledge-Based System，2020，206（10）：106348.

［22］Qiu Lirong，Qiao Lei，Zhang Zhen.Advanced sentiment classification of Tibetan microblogs on smart campuses based on multi-feature fusion［J］.IEEE Access，2018，6：17896-17904.