基于主題提示的電力命名實體識別①

康雨萌, 何 瑋, 翟千惠, 程雅夢, 俞 陽

(國網江蘇營銷服務中心, 南京 210019)

隨著人工智能技術的迅速發展, 國網集團啟動了“互聯網+電力營銷”的工作模式, 將傳統的線下營業廳與人工客服熱線升級為自動化的電力客服機器人. 為了支撐智能化的客服問答, 構建知識圖譜成為了一個主要途徑. 而在整個構建流程中, 如何從電力領域文本中進行命名實體識別(named entity recognition, NER)[1]是一個重要環節, 它旨在將輸入文本中的單詞或短語識別為不同類型的實體標簽[2], 為后續關系抽取等步驟提供基礎.

傳統的NER方法主要是基于BiLSTM-CRF框架.鑒于預訓練語言模型(pre-trained language model, PLM)[3]在多項自然語言處理任務上帶來的顯著提升, 微調PLM的參數以編碼輸入文本, 并利用Softmax或條件隨機場(conditional random field, CRF)[4]分配實體標簽, 成為了NER領域的普遍做法. 盡管這類方法在一般任務上表現不俗, 但是由于預訓練和下游NER任務之間存在差距, 且對于新的目標領域, 模型需要足夠的訓練實例進行微調, 因此在電力場景下, NER[5]任務仍然面臨著以下挑戰:

首先, 現有方法大多假定具有充足的標注訓練數據, 然而, 提供電力領域的標注往往需要具備領域知識的專業人員. 這使得在實際應用中訓練數據不足, 即存在少樣本(few-shot)問題. 其次, 在傳統開放領域NER數據集中, 實體類型一般較少且更含義寬泛, 如在廣泛使用的英文數據集CoNLL03[2]中, 只有4種實體類型.而在中文電力場景中, 由于其行業特殊性, 實體類型高達14種, 而且訓練數據更少, 這無疑加大了預測實體類型的難度.

為了克服上述挑戰, 本文提出了一種基于主題提示的NER模型(topic prompt NER model, TP-NER). 該模型打破了BERT-LSTM-CRF范式, 使用自然語言提示模板挖掘PLM的潛在知識, 以提升少樣本NER的效果. 同時, 該模型利用了電力語料中的主題信息,使得實體類型預測更加準確.

1 相關工作

近年來, 基于神經網絡的方法在 NER 任務中提供了有競爭力的表現. Lewis等人[5]和Chiu等人[6]將NER視為對輸入文本的每個單詞的分類問題. Ma等人[4]利用CRF和“序列-到-序列”框架[7], 從而得到實體跨度與對應類型標簽. Zhang等人[8], Cui等人[9]和Gui等人[10]分別使用標簽注意網絡和貝葉斯神經網絡. 隨著預訓練模型的興起, Yamada等人[11]提出了基于實體感知的預訓練, 從而NER 上獲得不錯的效果. 這些方法與本文方法的區別是它們是為指定的命名實體類型[12-14]設計的, 采用了序列標注的框架, 這令它們在少樣本場景難以適應新的類型.

目前已經有一些關于少樣本場景下NER的研究.Wiseman等人[15]提出了不同的預訓練方法和微調策略. Yang等人[16]利用常見的少樣本分類方法, 如原型網絡和匹配網絡, 其中還學習了提高性能的轉換分數.這些方法依賴復雜的訓練過程, 但結果并不顯著. Chen等人[17]的方法不需要元訓練, 通過最近鄰分類器和結構化解碼器, 取得了更好效果.

利用外部知識來提高 PLM 的性能近年來得到了廣泛的研究, 通常應用于預訓練和微調階段. 具體來說,在文本分類任務中, Li等人[18]探索了利用知識圖譜來增強輸入文本. 與這些方法不同, 本文的方法在提示調優結合了主題知識, 因此在少樣本NER任務中產生了顯著的改進.

自從 GPT-3出現以來, 提示調優受到了相當大的關注. GPT-3表明, 通過即時調整和上下文學習, 大規模語言模型可以在低資源情況下表現良好. Schick等人[19]認為小規模語言模型也可以使用提示調整獲得不錯的性能. 雖然大多數研究都是針對文本分類任務進行的, 但一些工作將提示調整的影響擴展到其他任務,例如關系抽取. 除了對各種下游任務使用提示調優, 提示模板還用于從PLM中探查知識. 因此, 這為NER任務提供了一種前景, 即通過運用提示模板, 模型可能有效利用預訓練帶來的知識.

2 基于主題提示的電力NER模型

2.1 任務定義

給定一條輸入電力文本 X={x1,x2,···,xn}, 其中xi表 示文本中的第i 個字, T+為文本總字數. 命名實體識別任務的目標是輸出三元組Y =(us,ue,l), 其中us∈[1,n]和ue∈[us,n]分 別表示識別出的實體在 X中的起始索引與結束索引, l∈L 表示實體的類型標簽, L為數據集中所有類型的集合. 如果輸入文本 X 中不包含實體, 則輸出(-1, -1, -1). 如下展示了兩個電力場景中關于NER任務的例子, 其中例1中的輸入文本包含“業務需求”類型實體“復電”, 例2中的輸入文本沒有包含任何實體.

例1. 輸入文本: 復電手續如何申請?

輸出:(us=1,ue=2,l=business)

解釋: ( 1,2)表示實體跨度“復電”, business表示標簽“業務需求”.

例2. 輸入文本: 這是怎么回事?

輸出:(us=-1,ue=-1,l=-1)

解釋: 該輸入文本中無實體.

2.2 基于提示調優的NER框架

PLM模型蘊含了從海量語料中學習到的豐富知識. 利用這些涵蓋各個領域的知識即可在僅有少量訓練樣本的情況下對電力領域完成快速適配. 在傳統NER常用的BERT+LSTM+CRF模型[20]中, 盡管預訓練的BERT被用于編碼輸入文本, 但最終還是需要通過微調(fine-tuning)其參數以適應NER任務. 由于預訓練的目標(掩碼預測)與NER微調的目標(序列標注)不一致, 因此知識無法被有效利用, 使得基于微調的模型在電力NER上通常無法取得較好的結果.

區別于這些微調模型, 本文提出的TP-NER構建了一種基于提示調優(prompt-tuning)的框架, 以解決的電力場景的少樣本問題. 簡單來說, TP-NER將NER的輸出包裝成自然語言提示模板. 相比于原有的三元組形式, PLM更適合對自然語言進行語義表示和打分, 這是因為它原本就在自然語言語料上進行預訓練. 這種提示模板統一了預訓練任務與下游NER任務的形式, 使得PLM中的知識可以被直接利用. 這樣, 僅使用少量的訓練樣本即可完成對電力領域的適配.

整個方法流程概覽如圖1所示. 在離線階段, 預先構建NER自然語言模板; 在推理階段, 首先通過枚舉候選跨度填充模板, 生成候選提示句, 再利用PLM對候選提示句直接打分排序. 得分最高的提示句所對應的實體與類型作為輸出被返回.

圖1 基于主題提示的NER方法流程圖

2.2.1 NER提示模板構建

在本文的定義中, NER提示模板是一個包含空槽位的自然語言句子. 例如, “[MASK-e]是一個[MASK-t]類型的實體”是一個模板. 其中, [MASK-e]表示識別出的實體跨度, 如“電能表”; [MASK-t]表示實體[MASK-e]的類型, 如“機器設備”. 這種模板以自然語言的形式對候選的實體與類型進行了重新包裝, 以便PLM模型可以利用在自然語言語料上學習到的先驗知識克服少樣本問題.

如引言所提到的, 電力領域中實體類型較多, 包含14種, 如“業務需求”“機器設備”. 在少樣本場景下,PLM模型缺少足夠的訓練數據去理解這些細粒度實體類型的差別. 因此, 對上述NER提示模板進行實體類型方面的增強. 具體地, 模板被擴充為“[MASK-e]是一個[MASK-t]類型的實體, 與[MASK-r]相關”. 其中,[MASK-r]表示與實體類型[MASK-t]語義關聯的提示詞. 這些詞與實體類型密切相關, 在預訓練的語料中往往與對應的類型共同出現, 因此對PLM可以起到有效的提示作用, 從而進一步幫助它理解實體類型的語義.

在離線階段, 為了涵蓋不同的自然語言表達方式,設計了3種正樣本模板T+與 1個負樣本模板T-, 如表1所示. T+表 示句子中存在實體, 而T-表示句子中無實體. 這樣, 模板既能利用[MASK-t]帶有的全局類型信息, 也能利用與[MASK-r]獲得局部信息.

表1 命名實體模板

2.2.2 模板填充與候選提示句生成

在推理階段, 首先從正樣本模板中隨機選擇一個模板T+, 如“[MASK-e]是一個[MASK-t]類型的實體, 與[MASK-r]相關”, 作為待填充的模板. 接著, 枚舉命名實體跨度( us,ue). 具體做法是, 對于任意一個索引u ∈[1,n],枚舉長度從1到 m 之間的所有跨度, 即(u,u),(u,u+1),···,(u,u+k) . 對跨度( us,ue) , 將Xus:ue填入T+. 如跨度( 1,3),即文本“復電手”, 填入模板后得到提示句“復電手是一個[MASK-t]類型的實體, 與[MASK-r]相關”. 隨后, 枚舉一個實體類型標簽l ∈L, 如“business”, 將其對應的標簽詞“業務需求”填入到T+的[MASK-t]中, 模板更新為“復電手是一個業務需求類型的實體, 與[MASK-r]相關”. 最后, 利用LDA模型從電力訓練語料中獲取b 個提示詞, 記為R ={r1,r2,···,rm}. 這些提示詞與實體類型在語義上密切相關, 其獲取過程將在第2.3節中詳細闡述. 枚舉每個提示詞ri∈R, 如“申請”, 填入到[MASK-r]中, 最終得到完整的提示句“復電手是一個業務需求類型的實體, 與申請相關”, 記為Tus,ue,l. 對輸入文本 X 完成所有枚舉后, 一共得到 n×m×b×|L|個提示句. 這里,n 為 X 的長度, | L|表示類型標簽集合大小. 此外, 考慮文本X 中無實體的情況, 此時僅枚舉實體跨度填充負樣本模板T-, 而不需要枚舉實體類型, 得到n ×m個負樣本提示句. 綜上, 一共得到n ×m×(b×|L|+1)個候選提示句.

2.2.3 候選提示句打分排序

此階段的目標是計算每個候選提示句的分數. 為了克服電力領域的少樣本問題, 使用生成式PLM模型BART[5], 以其蘊含的豐富知識彌補訓練樣本的缺失.BART是一種基于編碼器-解碼器框架的PLM模型, 集成了BERT雙向編碼和GPT自左向右解碼的特點, 這使得它比BERT更適合文本生成的場景. 在本文中, 將文本 X輸入到BART編碼器中, 通過自注意力得到的上下文表示. 接著使用BART解碼器進行自回歸解碼,在每個解碼時刻得到單詞的輸出概率.

具體來說, 對輸入文本 X={x1,x2,···,xn}, 設候選提示句 Tus,ue,l={t1,t2,···,tn′} , 其中ti表示該句的第i 個字, n′表 示文本X 總 字數. 則Tus,ue,l的 語義分數score(Tus,ue,l)由每個解碼時間步生成字ti的概率乘積計算得到, 如式(1)所示.

其中, encoder和decoder分別表示BART的編碼器與解碼器, c1:n∈Rd×n表示對X 進行自注意力機制編碼后得到的上下文語義向量, hi∈Rd表示在解碼時間步i時,結合 c1:n與之前i -1步 結果t1:i-1, 得到的隱藏向量. d表示向量維數, W ∈R|V|×d, b ∈R|V|為可訓練的參數矩陣與向量, 用于將 hi投 影到BART詞表V 上, | V|表示字典大小.表示在解碼時間步i 時, 模型生成字的概率.

最終, TP-NER選擇 score(Tus,ue,l) 最高的( us,ue,l)作為輸出返回, 如圖2所示, 返回(1, 2, business), 識別出實體“復電”與實體類型“業務需求”.

圖2 TP-NER框架

2.3 主題模型生成提示詞

上文已提到, NER提示模板中的槽位[MASK-r]用于補充與類型[MASK-t]相關的語義信息, 以幫助PLM在少樣本電力場景下區分實體類型. 由于行業文本的特殊性, 電力領域中的一種實體類型標簽(如“機器設備”“財務票據”“業務需求”)往往可以看作一個主題, 而相關主題詞可以視為對主題的進一步描述, 用于提示PLM. 例如, 對于“故障異常”類型, 常見主題詞有“掉落、停電、故障、破壞、波動、傾斜、失敗、沒電、欠費”等; 對于“業務需求”類型, 常見主題詞有“需要、需求、業務、恢復、要求、申請、手續、辦理、核實”等. 這些主題詞在預訓練的語料中就常常伴隨著類型(主題)共同出現, 有利于為預訓練語言模型提供語義提示, 從而幫助確定實體類型. 基于此動機, 本文使用經典的主題模型LDA[20]從訓練語料中抽取主題詞加入到提示模板中, 以增強PLM處理電力領域數量較多實體類型的能力.

2.3.1 文檔構成

對于電力訓練集中每個實體類型標簽 l ∈L, 將其視為一個主題, 并收集包含l類型實體的所有訓練文本,例如, 當l 為“業務需求”時, “復電手續如何辦理”即為一個被收集的文本. 將所有收集到的文本拼接成一整篇電力文檔, 記為D , 以便后續抽取與l相關的提示詞.

2.3.2 文檔建模過程

參考LDA模型[20], 對電力文檔 D 進行基于實體類型(即主題)的建模. 整個過程包含單詞、實體類型和文檔3層結構, 如圖3所示. 在此設定中, D 被視為一個詞袋(bag-of-words)模型, 忽略其中單詞的先后順序.

圖3 LDA模型示意圖

具體來說, 設θ 表示實體類型在電力文檔D 上的概率分布, φ表示特定類型l 上的單詞概率分布, 則生成D 的過程由參數α 和β 控制, 步驟如下:

(1)根據泊松分布, 得到電力文檔的詞數N .

(2)根據狄利克雷分布 D ir(α), 得到電力文檔的實體類型概率分布θ.

(3)對于隱含實體類型l, 根據狄利克雷分布D ir(β),得到實體類型l下的單詞概率分布φ.

(4)對于 D 中的N 個單詞中的每個單詞wi, 首先根據 θ的多項式分布 M(θ), 隨機選擇一個實體類型l; 再根據l的多項式分布M (φ) , 隨機選擇一個單詞作為wi.

基于此過程, 在參數 α ,β條件下, 當所有單詞都確定后, 得到電力文檔D , 而生成D 的條件概率P (D|α,β)通過式(5)計算:

其 中, P(θ|α) 表示在參數α條件下實體類型θ的概率,P(l|θ)表 示選擇類型l 的概率, P (wi|l,β) 表示在已選擇l的條件下選擇單詞wi的概率.

2.3.3 生成提示詞

為了對θ 和φ 進行估計, TP-NER采用LDA中常用的Gibbs采樣算法. 其過程可以看成上述文檔生成過程的逆向過程, 即對于第2.3.1節中得到的電力文檔 D ,通過以下步驟進行參數估計:

(1)為每個單詞wi隨 機分配一個實體類型li.

(2)對于任意wi, 設l-i表示除wi以外的其他單詞的實體類型分布. 在已經得到l-i的情況下, 計算wi與實體類型為 j的后驗概率P (li=j|l-i,wi), 并將最可能的實體類型分配給wi.

(3)重復迭代步驟(2), 直到每個單詞wi相關的實體類型分布收斂到穩定狀態.

其中, P (li=j|l-i,wi)通過式(6)計算得到:

其中, N 和L 分別表示電力文檔中的單詞總數和實體類型總數.表示單詞wi與實體類型li相 關的頻數, nli為所有單詞都與li相 關的總頻數;表示文檔D 中與類型li相關的單詞頻數, nD表示D 中的總單詞數. 根據每個單詞分配的相關實體類型時, 通過如式(7)和式(8)計算參數:

其中, φl,w表示單詞w 與實體類型l 相關的概率, θD,l表示電力文檔 D出現實體類型l的概率. 結合φl,w與θD,l, 則單詞w 在文檔D 中出現的概率PD,w=φl,w×θD,l. 此概率反映了單詞與文檔主題的相關性, 是判斷主題詞的依據.

最后, 將電力文檔 D 中所有的詞按PD,w排序, 選取前 b個詞作為與實體類型l 的提示詞, 填入模板T+的[MASK-r]槽位, 完成最終提示句, 用于BART打分排序(第2.2.2節). 這些提示句引導BART利用其蘊含的知識, 在少樣本場景下, 完成對電力領域實體與細粒度類型的識別.

2.4 模型訓練

為了訓練TP-NER中的打分排序模型, 需要使用訓練數據中提供的正確實體構建提示句. 假設實體跨度( us,ue) 的類型是l , 則將( us,ue) 與l 填入正樣本模板T+,得到目標提示句 Tus,ue,l. 若( us,ue)不是一個實體跨度,則將( us,ue) 填入負樣本模板T-, 作為目標提示句Tus,ue.根據訓練集中所有正確實體, 可以構造出正樣本對集合 { (X,T+)} ; 通過隨機枚舉非實體的跨度( us,ue), 可以構造負樣本對集合{ (X,T-)}. 在實驗中, 負樣本對集合的大小為正樣本集合大小的1.5倍. 對于每個樣本對( X,T), 計算模型解碼器輸出的交叉熵損失, 以反向更新模型參數.

3 實驗與分析

3.1 實驗環境

實驗的硬件環境: Intel? Core 7700, 內存8 GB. 軟件環境: Ubuntu 16.04, Python 3.6.8, GPU采用Nvidia RTX-2080ti 11 GB, 深度學習框架采用PyTorch 1.4.0.代碼開發環境選擇PyCharm 2019.3.4.

3.2 數據集

本文重點關注中文電力領域, 采用國家電網真實工單數據與用戶互動數據, 構建了電力領域命名實體識別數據集. 該數據集定義包括以下14種類型的實體:“機器設備、電價電費、業務需求、故障異常、財務票據、電子渠道、用戶信息、文件法規、營銷活動、身份、公司、違法行為、專業詞匯”. 訓練集, 驗證集,測試集, 分別包含10 244、1 059、2 032條電力文本與對應的實體、類型標注.

3.3 評價指標

本文采用準確率(P)、召回率(R)以及F1 值(F1)作為模型性能的評價指標, 對測試集上的實體識別結果進行評估, 計算方式如下:

其中, TTP表示模型正確識別出的實體個數; FTP表示模型識別出的不相關實體個數; FFN表示實際為相關實體但模型識別錯誤的實體個數.

3.4 總體實驗結果

本文對比的方法包括幾種常用的NER模型: BiGRU、BiLSTM-CNN、BiLSTM-CRF、BiLSTM-CNN. 同時,本文也與開放領域上表現優異的預訓練模型進行對比:BERT和BERT-BiLSTM-CRF.

實驗結果如表2所示. 從中可以看出, 本文提出TP-NER模型在中文電力NER數據集上擊敗了所有的對比模型, 取得了最好的結果. 對比開放領域中表現優異的BERT-BiLSTM-CRF模型, TP-NER在F1指標上提升了2.17%, 這證明了本文提出的主題提示調優方法相比于傳統序列標注方式, 在處理多實體類型的NER任務時更加有效.

表2 電力命名實體識別總體結果(%)

3.5 消融實驗

為了檢驗TP-NER 模型中的兩個主要改進: 提示模板與LDA主題提示詞各自的貢獻, 我們針對如下兩種模型設置進行了消融實驗:

1)移除提示模板: 將提示模板移除, 僅使用BART對輸入文本執行一般的序列標注以識別實體.

2)移除LDA提示詞: 不使用LDA模型對提示模板進行擴充, 僅依賴實體跨度與實體類型構建候選提示句并進行排序.

消融實驗結果如表3所示, 移除提示模板后, 模型F1下降了約3.5%, 而移除LDA提示詞后, F1下降約1%, 這證明了這兩個組件對模型均有貢獻. 相比之下,提示模板帶來的提升比LDA帶來的提升更大, 因為它從根本上改變了NER的任務形式.

表3 消融實驗結果(%)

3.6 少樣本場景實驗結果

為了探究TP-NER在少樣本場景下的表現, 本文設計如下少樣本場景, 對于每個實體類型, 分別從訓練集中隨機抽取{10, 20, 50, 100}個樣本組成小樣本訓練集訓練模型, 再統計模型在測試集上的F1分數.

實驗結果如表4所示. 從中可以看出, 與使用全部訓練集時相比, TP-NER在少樣本場景下相對對比模型的優勢更大. 并且, 訓練樣本越少, TP-NER的優勢越明顯. 同時可以發現, 在不同數量的訓練樣本, TP-NER整體模型始終比移除提示模板后效果更好. 這充分說明了提示模板對于整個模型的貢獻. 值得注意的是, LDA提示詞在樣本數較少時提升更大.

表4 少樣本命名實體識別F1分數(%)

3.7 不同類型實驗結果

為了探究TP-NER在不同實體類型下的表現, 本文對測試集上每個類型都統計了模型的F1分數.

實驗結果如表5所示. 從中可以看出, TP-NER模型在大部分任務上都能取得比BERT-LSTM-CRF模型更好的效果, 尤其是在“文件法規”“公司”“營銷活動”和“違法行為”這4種類型上提升最大. 造成這種顯著提升的原因主要是, 在數據集中這些類型的標注樣本較少, 平均不足100條, BERT-LSTM-CRF模型沒有足夠的訓練數據對其參數進行微調, 以至于利用BERT的先驗知識完成識別. 相反地, TP-NER將三元組輸出的形式包裝成自然語言形式, 使得PLM可以快速適配到電力NER任務上, 從而有效利用其知識. 在如“財務票據”“電子渠道”等類型上, TP-NER稍稍落后于BERT-LSTM-CRF, 這是因為這些類型的訓練樣本較多, 在這種訓練資源豐富的場景中預訓練模型微調與提示調優的差距不足以體現. 此外, 與“電價電費”“專業詞匯”相比, “文件法規”“公司”“違法行為”這些類型的粒度更細, LDA收集到的主題詞與類型有著緊密的語義聯系. 例如“違法行為”包含“民事責任”“舉報”等密切相關的主題詞, 因此可以精準地提示PLM, 從而取得顯著的提升.

表5 各領域命名實體識別F1分數(%)

4 結束語

本文針對中文電力領域場景的少樣本問題和多類型問題, 提出一種基于主題提示的中文電力領域命名實體識別方法. 與傳統的BERT-LSTM-CRF框架不同,該方法提出了一種新的NER方式: 通過枚舉實體跨度,實體類型, 主題詞從而構造候選提示句. 這種方式可以有效利用預訓練模型中潛在的知識, 從而克服少樣本NER的挑戰.

此外, 該模型還提出使用LDA模型從語料中抽取主題詞, 作為提示以增強模型對于實體類型的感知, 從而緩解實體類型較多帶來的挑戰.

實驗結果表明, 本文的方法在電力場景中取得了比傳統方法更好的結果. 尤其在“營銷活動”“公司”“業務需求”等類型的實體識別上, 本文方法的優勢更為顯著.

在未來工作中, 嘗試使用基于神經網絡的方法替代主題模型, 引入外部知識以嘗試解決更加困難的零樣本NER任務.