面向工藝操作說明文本的命名實體深度學習識別方法

張娜娜 王裴巖 張桂平

(沈陽航空航天大學計算機學院 遼寧 沈陽 110136)(遼寧省知識工程與人機交互工程技術研究中心 遼寧 沈陽 110136)

0 引 言

命名實體識別[1](Named Entity Recognition，NER)也稱為專名識別，是自然語言處理(Nature Language Processing，NLP)中的一項基礎任務，是正確理解文本的基礎[2]。其在通用領域中的研究已經相對成熟，如在新聞語料中，人名、地名和機構名的識別已經取得了較好的效果[3]。相比通用領域，專業領域中命名實體的識別往往以該領域的知識為依據，兼顧其語言規律特性，使得專業領域的命名實體識別具有一定的難度。在飛機裝配工藝中，工藝操作說明文本是用于指導飛機裝配過程中的工藝描述文件。

面向工藝操作說明文本的命名實體包括工程圖紙、參考標準、結構特征、零件和零件號、屬性和屬性值等11種，其中零件和零件號屬于復雜實體，是本文識別工作的難點。由于飛機裝配精度要求很高，該文本所涉及的零件總類眾多且構成結構復雜，此類命名實體的長度沒有一定的限制。例如由單個詞的“螺栓”、“高鎖螺栓”到詞和相關符號組成的“5/32高鎖螺栓”。由于零件的種類眾多，其對應的零件號也是多樣，零件號存在簡寫問題，如：“-002”。零件和零件號在工藝操作說明文本中所占的比重較大且表達方式復雜多樣，并且零件本身沒有嚴格的構詞規律可循。

針對以上問題，本文提出了一種面向工藝操作說明文本的命名實體識別方法。首先基于BiLSTM-CRF-BERT模型對該文本中的相關實體進行初始識別；然后利用基于詞典的方法先對零件進行校正；最后，在上述基礎上，充分利用零件和零件號的外部信息，用基于規則的方法對零件和零件號進行校正。該方法降低了僅使用BiLSTM-CRF-BERT模型對大規模語料的依賴性，有效地提高了零件和零件號的識別效果。

1 相關研究

命名實體識別是指識別出文本中具有特定意義或者指代性強的短語，并對其進行分類。早期的命名實體包括三大類，即實體類、時間類和數字類，這三大類又可以進一步細分為人名、地名、組織機構名、時間、日期、貨幣和百分比七小類[4]。但隨著科學技術和社會的快速發展，命名實體識別的應用范圍在不斷擴大，從通用領域逐漸擴展到專業領域，針對不同領域內的不同問題，命名實體的種類也越來越多，不再局限于上述幾類范圍。

傳統的命名實體識別的主要技術方法分為：基于詞典和規則的方法、基于統計的機器學習方法以及上述兩者相合的方法等。

基于詞典的方法最早應用到命名實體識別任務中，是最簡單的一種方法。在識別過程中，使用完全匹配或者模糊匹配這兩種詞典匹配方式在所構建的詞典中查找字符串。Yang等[5]使用了基于詞典的方法，采用改進編輯距離來進行詞典匹配，在JNLPBA2004語料集上達到了53.68%的綜合分類率。該方法雖然簡單，但是由于詞典的容量有限，不能有效識別未登錄詞，總體識別的效果在很大程度上受限于詞典的規模和質量。

基于規則的方法多采用領域專家手工構造的規則模板，選用統計信息、標點符號、關鍵字、指示詞和方向詞、中心詞、詞性、詞形等特征，以模式匹配和字符串相匹配為主要手段來識別文本中的實體。Olsson等[6]構建的基于規則的系統獲得了67.1%的綜合分類率。基于規則的方法往往依賴于具體語言、領域和文本風格，編制過程耗時且難以涵蓋所有的語言現象。同時這些實體并非按照一定規則來命名，很難建立一套一致的規則，系統可移植性不好，對于不同的系統需要語言學專家重新書寫不同的規則。

在基于統計的機器學習方法中，命名實體識別被當作序列標注問題，即利用大規模的語料學習出標注模型，從而對句子的各個位置進行標注。常用的統計機器學習方法有：支持向量機模型[7](Support Vector Machines,SVM)、隱馬爾可夫模型[8](Hidden Markov Model,HMM)、最大熵隱馬爾可夫模型[9](Maximum Entropy Markov Model,MEMM)、條件隨機場模型[10](Conditional Random Fields,CRFs)等，其中條件隨機場模型的表現優于其他統計機器學習模型。同以往的方法相比，基于統計機器學習的方法在系統健壯性、遷移性、識別效果等方面表現更好。但單獨使用基于統計機器學習的方法會使得狀態搜索空間非常龐大，其主要存在以下兩個缺點：(1) 對特征選取的要求較高，需要從文本中選擇出對該項任務有影響的各種特征，并將這些特征加入到特征向量中，該過程耗時耗力；(2) 對語料庫的依賴比較大，而可以用來建立和評估命名實體識別系統的大規模通用語料庫又比較少。

兩者相結合的方法是指在基于統計的機器學習方法中引入規則或者加入詞典信息，是近年來解決命名實體識別任務的主流方法之一。文獻[11]提出了一種CRF與規則相結合的方法來實現維吾爾文地名的識別。首先采用CRF的適應性優勢對維吾爾文地名進行初始識別，然后利用規則對初始識別錯誤的實體進行后處理。雖然兩者相結合的方法比上述方法單獨使用時，具有較好的準確性及魯棒性，但是該方法的算法復雜度較高，并且在面對大規模多領域復雜的文本數據時，召回率不穩定，識別效果較差。

近年來，深度學習模型被廣泛用在NER任務中，通過深度神經網絡自動學習高層的特征，不依賴于特征工程，減少了人工定義特征和對領域知識的過度依賴，實現了端到端的學習模式。常用的模型有長短時記憶網絡[12-13](Long Short-term Memory,LSTM)、卷積神經網絡[14](Convolutional Neural Network,CNN)以及門限循環單元[15](Gated Recurrent Unit,GRU)等。上述網絡通常使用語言模型預訓練的詞向量來處理中文NLP任務，如命名實體識別、文本分類、機器翻譯等任務存在一定的相關性，底層網絡參數抽取的特征可通用，使用預訓練語言模型如BERT(Bidirectional Encoder Representations from Transformers)[16]，可將已學到的模型參數共享給新模型從而加快并優化新模型的學習效率。深度學習模型具備較強的序列建模以及神經網絡擬合非線性函數能力，能夠很好地捕捉上下文信息，這些也是優于其他統計機器學習的地方。

通用領域的命名實體識別已經投入了大量的研究，F值可以達到90%以上[17]。但在飛機裝配工藝中，工藝操作說明文本不同于通用領域的命名實體，有其獨特命名法則，識別存在一定的難度，該領域中的命名實體識別的相關研究較少。本文使用深度學習模型結合基于詞典和規則的方法，取詞典和規則之長，補深度學習之短，不僅能減少機器學習模型中人工設計特征的工作量，而且能夠自動從字或者詞獲取更為有效的特征。

2 基于BiLSTM-CRF模型的初始識別

本文采用的BiLSTM-CRF模型框架如圖1所示，該模型共有三部分組成：向量層、BiLSTM 網絡層、CRF層。首先將輸入的語句轉化為向量形式，然后輸入到BiLSTM網絡層，最后結合CRF層來獲取全局最優的輸出序列。

圖1 BiLSTM-CRF模型

2.1 向量層

向量的特征表示與傳統的基于統計來記錄上下文特征的方法相比，可以更好地捕捉到數據之間的固有聯系，包含了更豐富的信息，使得深度神經網絡模型具有比傳統模型更強的特征抽取能力。因為神經網絡的輸入是向量形式， 所以應先將工藝操作說明文本轉化為向量。文本向量化有兩種表示方法: One-hot 表示和分布式表示[18]。在One-hot向量表示方法中，任意兩個詞之間是孤立的，無法表達不同詞之間的語義關系，容易出現矩陣稀疏和維度災難的問題。詞語的分布式表示通過學習文本，用詞向量的方式表征詞的語義信息，能把詞映射到低維的向量空間，用向量空間的相似度表示文本語義上的相似度，可以較好地表達不同詞之間的相似和類比關系，有利于解決工藝操作說明文本語義含糊的問題。

本文所使用的神經網絡模型依賴于底層的向量的特征表示，因此本文分別使用了兩種向量生成方法：BERT模型和Word2Vec模型。前者采取Transformer[19]構成的深度神經網絡作為特征提取器，第一階段利用雙向語言模型，即根據當前詞的上下文來預測當前詞，進行預訓練，把相關的語言學特征抽取出來并編碼到特定任務的網絡結構中；第二階段利用第一階段預訓練好的參數來初始化特定任務的網絡結構，并通過微調(Fine-tuning)的模式解決特征集成等下游任務。對于后者，其包含跳字模型(Skip-gram)和連續詞袋模型(Continuous Bag of Words，CBOW)，由于本文所使用的語料規模相對較小，所以選用CBOW模型。

2.2 BiLSTM網絡層

工藝操作說明文本中命名實體的正確識別取決于其所在的上下文，即當前狀態之前的狀態和之后的狀態對預測標簽是同等重要的，句子中各個字或者詞應該是平權的，如果能夠獲取過去和將來的信息，對命名實體識別任務很有幫助。如工藝操作說明語句：“按某標準檢查去毛刺和倒角質量。”和“按某標準檢查安裝質量。”這兩個工藝操作說明前面的內容是一樣的，僅從當前詞的上文可能預測出“凸頭高鎖螺栓孔”、“凸頭高鎖螺栓”等，但若融入文本序列的下文信息，那么工藝操作說明一的當前詞是結構特征“凸頭高鎖螺栓孔”，而工藝操作說明二的當前詞是零件“凸頭高鎖螺栓”的概率就增大了。在BiLSTM中，每一個訓練序列向前和向后是兩個LSTM，并且都連接著一個輸出層，此結構提供給輸出層輸入序列中每一個點過去和未來的信息，其模型結構如圖2所示。

圖2 BiLSTM模型

在BiLSTM層，當輸入為xt、輸出為yt時的概率為：

(1)

2.3 CRF層

CRF模型是Lafferty 等[20]基于最大熵模型和隱馬爾科夫模型，提出的一種判別式概率無向圖學習模型。由于CRF能考慮到相鄰標簽之間的關系，所以將CRF融合到BiLSTM模塊的最后一層中，即相當于對BiLSTM層的信息進行再利用，進而獲得全局最優的標記序列。對于每一個給定的工藝操作說明語句，其對應的輸入序列為X={x1,x2,…，xn}，將特征向量映射到k維，k是標簽的種類，定義P=(p1,p2,…，pn)∈Rn×k是BiLSTM層輸出的分數矩陣，n是訓練集中詞的個數。Pij表示的是句子中第i個詞xi分類到第j個標簽的概率值。對于句子長度為n的標簽預測序列y=(y1,y2,…，yn)，它的打分為:

(2)

為了描述標簽間的依賴關系，引入CRF層進行句子級別的序列標注。CRF 層的參數是一個為(k+2)2的轉移分數矩陣A，其中Aij表示從第i個標簽轉移到第j個標簽的概率值。這樣在為一個字或者詞進行標注的時候可以利用之前已經標注過的標簽信息。在輸入序列X的條件下產生標記序列y的概率為：

(3)

在訓練的過程中，我們要最大化正確標簽序列的似然概率：

(4)

式中：YX是指一個輸入序列X對應的所有可能的標簽序列。預測時，通過以下公式輸出整體概率最大的一組標記序列：

(5)

3 基于詞典與規則的校正識別

經過人工分析發現，工藝操作說明文本中的零件和零件號的外部構成存在一定的規律。為進一步提高零件和零件號的識別效果，本文通過分析零件和零件號前后的用詞特點，充分發揮零件和零件號所在上下文對其的約束作用，先用基于詞典的方法對初始識別后的零件進行校正，再用規則對零件和零件號的標注結果進行校正。

3.1 基于詞典的方法

本文人工收集建立零件命名實體庫即詞典，詞條數總計1 259個，如“托板螺母”、“剪切角片”等，詞典中的一個詞條表示一個零件類型的命名實體。本文依據該詞典對BiLSTM-CRF-BERT模型初始識別的結果進行逆向最大匹配，此處校正的是零件。基于詞典的文本匹配算法流程如圖3所示。

圖3 基于詞典的文本匹配算法流程

3.2 基于規則的方法

工藝操作說明文本中頻繁使用大量相似的句型句式，如“按照圖紙…制…與…的連接孔(導孔或者終孔)”、“按照…安裝…”、“按…及參考…定位…并鉆定位孔”等，此類句型句式歸納總結為21條。零件和零件號經常嵌套在上述結構中，并且零件后面一般緊跟其對應的零件號。

上述句型句式中，包含一類固定的詞，這些詞的出現預示著零件或零件號的出現，將這些詞稱為觸發詞。工藝操作說明文本中趨向動詞的使用有助于零件或零件號的識別，如“定位”、“安裝”、“制出”、“鉆制”、“拆除”等，指示詞“零件”后面常跟零件號，此類觸發詞歸納總結為15個。這些詞有著鮮明的特征，在一定程度上標識著零件和零件號的類別和邊界。 因此，可通過對相似的句型句式結合觸發詞的識別來校正以上兩種實體。如當前句型句式是“根據…完成對…的安裝。”時，首先判斷“對”和“的”之間的字段是包含英文字母及數字，若沒有，則該字段是零件；若有，繼續判斷是否包含中文字符。若沒有中文字符，則該字段是零件號，若有中文字符，則中文字符和英文字母及數字分別是零件和零件號。

4 實 驗

4.1 實驗數據集

實驗所使用的數據是某型飛機機身安裝的工藝操作說明文本，該文本是由句子級別的工藝操作說明組成，共有10 150條，經過人工標注后為實驗語料。本文的實驗都是在十折交叉驗證下進行的，并且取十次結果的平均值作為對算法精度的估計。文本中需要識別的實體類型及數量如表1所示。

表1 工藝操作說明文本數據表

4.2 標注策略

命名實體識別任務常用的標注方式有以下三種：BIO、BIEO、BISEO，其中：B表示實體首字，I表示實體中間，S表示單個實體，E表示實體尾字，O表示非實體。理論而言，標注得越精細，識別后的效果也越好。結合本文所使用的語料中單個字的實體出現次數非常少的情況，同時為了更好地找出起始和結束邊界， 本文采用BIEO形式的標注方式，即定義4種實體范圍標簽。以下面的工藝操作說明語句為例：

按照D02344200要求，制出D02313770-005與框之間的16個螺栓孔。

其對應的標注序列為：

按/O照/O D/B-TZ 0/I-TZ 2/I-TZ 3/I-TZ 4/I-TZ 4/I-TZ 2/I-TZ 0/I-TZ 0/E-TZ 要/O求/O，/O制/O出/O D/B-LJH 0/I-LJH 2/I-LJH 3/I-LJH 1/I-LJH 3/I-LJH 7/I-LJH 7/I-LJH0/I-LJH -/I-LJH 0/I-LJH 0/I-LJH 5/E-LJH與/O框/B-LJ之/O間/O的/O 1/B-NOP 6/E-NOP個/O螺/B-KLG栓/I-KLG 孔/E-KLG。/O

4.3 評判標準

評判一個命名實體是否被正確識別通常包括以下兩個方面：首先，判斷實體的邊界是否正確，即確定哪些字或者詞屬于命名實體；其次，判斷實體的類型是否標注正確。本文主要通過準確率P、召回率R及F1值這三個指標來對工藝操作說明文本的實體識別結果進行評測，具體公式為：

(6)

(7)

(8)

4.4 實驗設計

本文使用的神經網絡模型能否取得較好的識別效果與其參數具有密切關系，影響因子較大的參數有向量維度、隱藏層數量、學習率、Dropout、Epoch。本文對這5種參數進行大量的實驗，把實驗效果取得最好的參數值作為模型的參數。實驗表明，以上5種參數均存在局部最優值。圖1中的向量層分別使用Word2Vec工具的CBOW模型和BERT模型生成的向量，各參數取表2中對應的值時，模型的綜合實驗效果達到最佳。

表2 神經網絡參數設置

本文的baseline實驗選取的是機器學習模型中表現最好的CRF模型，該模型的訓練使用CRF++0.58工具包來實現。在CRF模型中有一個關鍵性的問題是，如何針對特定的任務制定合適的特征模板。本文將窗口大小設置為5，通過大量的對比實驗，選取效果最好的特征模板作為CRF模型最終的模板，相應的特征模板釋義如表3所示。

表3 特征模板釋義

為充分說明本文所使用的特征模板含義，我們以基于字的特征選擇為例，做個簡單的解釋說明。假設C表示單個漢字特征，在工藝操作說明文本的零件序列“加強件”中，當前字C0指的是“強”時，則當前字的前一個字C-1是“加”，當前字的后一個字C1是“件”，C-1C0指的是“加強”，C0C1指的是“強件”，而C-1C0C1則表示的是“加強件”。

4.5 對比實驗

本文設計了11組實驗，通過橫向和縱向的對比來檢驗本文方法的有效性，如表4所示。實驗序號2～9中的char表示的是使用Word2Vec工具并基于COBW模型訓練的向量作為圖1中模型的輸入；而實驗序號10～11中的BERT表示的是使用BERT模型預訓練的向量作為圖1中模型的輸入。

表4 11種模型的對比實驗結果 %

對于工程圖紙、圖區、參考標準、零件數量、屬性和屬性值等9類沒有進行校正的實體，本文給出了CRF、IDCNN-CRF-char、BiLSTM-CRF-char和BiLSTM-CRF-BERT這四種典型模型下的識別結果，如表5所示。而零件和零件號是經過校正的實體，對應的識別效果分別給出了CRF、BiLSTM-CRF-char、BiLSTM-CRF-BERT和BiLSTM-CRF-BERT+校正這四種典型模型下的對比結果，如表6所示。

表5 沒有校正的各類實體識別的效果 %

表6 零件和零件號的識別效果 %

本文使用統計機器學習模型CRF測試的結果作為baseline，在十折交叉驗證下，比較其與神經網絡模型以及本文所提方法在工程圖紙、圖區、參考標準、零件等11類實體識別上的表現，如表4-表6所示。表4中實驗11即本文提出的方法在大部分類別的實體識別效果上，取得比baseline和其他神經網絡模型更好的表現，F1值比baseline提高了4.14%。通過分析實驗結果，可推得以下研究結論：

(1) 工藝操作說明文本中的方法圖、結構圖、圖區、屬性、零件數量都是屬于簡單實體，此類實體的特征相對明顯，如結構圖“US7058240-42”，從詞構成而言，結構圖的構成具有一定的規律，主要表現形式是“[US]+數字和橫線”，雖然構成結構圖的各部分數字具有任意性，但總體還是表現出相對集中的特點。并且結構圖的前綴“US”是此類實體識別的有用知識。所以，baseline和神經網絡模型對以上實體的識別效果表現相當。而baseline 在參考標準這類實體的F1值優于神經網絡模型，因為參考標準在工藝操作說明文本中分布較少，并且特征不明顯，神經網絡模型難以更好地抽象出此類實體所包含的特征。

CRF是通過特征來區分實體及其類型和非實體，難以捕捉到那些特征不明顯的實體，如零件。工藝操作說明文本中的零件存在一定的嵌套及交叉現象，邊界錯誤是影響此類實體識別正確與否的原因之一。如：零件“高鎖螺栓”覆蓋了零件“高鎖”，在有些工藝操作說明語句中，CRF模型只能識別出“高鎖螺栓”中的“高鎖”；零件“龍骨梁下縱梁”和“翼下縱梁”具有交叉“下縱梁”的現象，CRF只識別出“下縱梁”，即在判斷實體的邊界時發生錯誤，而BiLSTM-CRF-BERT+校正方法能在一定程度上克服此問題。在零件識別效果上，不加校正的BiLSTM-CRF-BERT模型較baseline的F1值提升了4.73%。究其原因，主要在于向量的分布中隱含了相對豐富的上下文語法和語義信息，經過BiLSTM-CRF-BERT模型的抽象，可以較好地學習出來。

本文提出的方法在BiLSTM-CRF-BERT模型的基礎上，利用零件前后的用詞特點，依次采用基于詞典和規則的方法對零件的識別結果進行校正，零件的準確率、召回率和F1值最終可達到83.93%、90.14%和86.92%。該方法在BiLSTM-CRF-BERT模型的基礎上繼承了基于詞典和規則方法的優點，如工藝操作說明語句“按861B3205-000-001的26D區完成SD541框與補償片、角材、角片間連接的4個標準件的安裝。”中“SD541框”在BiLSTM-CRF-BERT模型中被識別為非實體，通過構造的零件詞典和規則可以確定“SD541框”是零件。校正后，零件的準確率、召回率和F1值分別提升了2.23%、4.08%和3.27%。

(2) 表4中的實驗結果表明，BiLSTM-CRF-BERT模型對工藝操作說明文本中零件號的識別效果有所提升，較baseline的F1值提升了3.04%，但是其準確率和F1值較其他類型實體如圖紙仍然較差。

通過文本分析發現，零件號的識別需要更加充分的上下文語境信息來區分，并且零件號的上下文，即外部信息存在一定的規律。零件后面一般緊跟其對應的單個或多個零件號，且零件號是由大寫的英文字母、數字和橫線構成。若零件識別錯誤，在一定程度上會導致零件號識別出錯，即發生錯誤傳播現象。對于此類情況，本文先使用基于詞典和句型句式結合觸發詞規則的方法校正標注錯誤的零件，然后再使用句法句式結合觸發詞的規則校正零件號，能在一定程度上提高零件號的識別效果。由表6可知，校正后的零件號的準確率、召回率和F1值與沒有校正的BiLSTM-CRF-BERT模型相比，分別提升了3.02%、3.05%和3.21%。

此外，有些零件號和某些工程圖紙組成結構相似，造成有些零件號的類型標注發生錯誤。由于工藝操作說明文本的某些工程圖紙和零件號等是由英文字母、數字和橫線組成，并且長度一樣，此類實體之間的界限不清晰，特征區分不明顯，沒有校正的模型將有些零件號識別為工程圖紙或者非實體。例如，工藝操作說明語句：“按照〈DPAS151-010〉〈DPAS157-028〉根據772C0000-000-001和684B0000-100-001濕安裝緊固件。”，沒有校正的模型把“684B0000-100-001”識別為零件號，而校正后的模型就能正確識別為工程圖紙。

(3) 對比表4和表5的實驗結果，本文方法的表現比IDCNN-CRF要好，原因在于IDCNN在卷積之后，末層神經元可能只是得到了原始輸入數據中一小塊的信息，即僅僅考慮到整句話的部分字或詞，提供的上下文信息有限。而對NER來講，整個句子的每個字或者詞都有可能都會對當前需要識別的字或者詞做出影響，而使用BiLSTM能控制和保存內部記憶，該網絡的記憶力能記住更長的信息來對某個字或者詞進行識別。比如，下面的工藝操作說明語句：“與頂部蒙皮相連的對接區域連接帶板需填角密封。”，IDCNN-CRF把“連接帶板”識別為非實體，而本文方法能正確識別為零件。綜上所述，本文提出的方法在整體識別效果上表現更佳。

5 結 語

針對工藝操作說明文本的命名實體識別的問題，本文提出了BiLSTM-CRF-BERT模型與詞典、規則相結合的方法。該方法在BiLSTM-CRF-BERT模型初始識別的基礎上，根據零件和零件號的外部信息的規律特征，用詞典和規則對零件和零件號進行校正。實驗結果表明，該方法取得了較好的效果，F1值達到了94.03%，比baseline提高了4.14% ，能有效解決工藝操作說明文本的命名實體識別問題。

本文在初始識別時所使用的BiLSTM-CRF-BERT模型，其輸入是基于字級的向量特征信息，而字級向量可能丟失一部分工藝操作說明句子本身潛在的特征信息。后期將考慮把句子信息作為一種補充輸入，期許在隱層抽象出更加豐富且有針對性的文本信息。