基于深度學習的地空通信文本命名實體識別研究

張興明

（四川大學視覺合成圖形圖像技術國防重點學科實驗室，成都610065）

根據實際的空中交通管制指令解析任務需求，進行地空通信文本命名實體識別研究，用以輔助指令解析任務。該模型構建方法采用雙向的長短時記憶網絡結合注意力機制與條件隨機場模型。雙向長短時記憶網絡進行文本的上下文特征信息提取；注意力機制能夠更多地關注到與當前輸出有關的信息；條件隨機場模型能夠學習標簽之間的約束關系。在少量的地空通信文本標注數據上進行多組對比試驗，實驗結果證明該方法的有效性，取得較好的識別結果，F1值達到96.61%，可以為指令解析任務提供輔助信息。

命名實體識別；地空通信；深度學習；注意力機制

0 引言

在空中交通管制（Air Traffic Control，ATC）中，地空通信（Air-Ground Communication）是管制員對飛行器進行指揮與調度的唯一途徑，其重要程度不言而喻。對通信內容進行實時監控，及時發現錯誤指令，能夠有效避免險情事故發生。近年來，隨著深度學習技術不斷發展，國內外都已經有研究機構將語音識別技術應用于空中交通管制語音識別中[1]。在空中交通管制語音識別文本基礎上做進一步的語義分析與指令提取，可為空中交通管制提供預警信息，如指令復誦一致性檢查、相似航班號檢測、跑道入侵檢測等。

命名實體識別（Named Entity Recognition，NER）[2]是自然語言處理中一項基礎性關鍵任務，可為后續的關系抽取、事件抽取，語義解析提供關鍵信息。命名實體一般指的是文本中具有特定意義或者指代性強的實體，在地空通信文本中可以將命名實體類型分為三大類，分別是實體類、數字類、指令類。通過自動識別文本中的相關實體，可以為后續的語義分析和指令提取提供輔助信息。

近年來，基于神經網絡的深度學習方法在命名實體識別任務中逐漸成為主流方法，相比于另外兩種傳統的識別方法，它不需要人工制定規則或人工選取文本特征，可以自動學習到文本的特征信息。命名實體識別可以看做序列標注問題，Hochreiter等人[3]在1997年提出長短時記憶網絡（Long Short-Term Memory，LSTM）在由Alex Graves等人[4]改良后成為一種有效解決序列相關問題的循環神經網絡模型，被研究人員廣泛應用在解決各類序列相關的問題中。同樣，LSTM網絡也被學者們廣泛運用在命名實體識別的任務中，在不同領域的命名實體識別中都取得了較好的識別效果。Huang等人[5]將雙向的長短時記憶網絡和條件隨機場模型進行結合，組成BI-LSTM-CRF模型，并與LSTM模型、BI-LSTM模型、LSTM-CRF模型在不同數據集上對比實驗，均取得了最優的F1分值；Guillaume Lample等人[6]使用基于LSTM-CRF的識別模型，結合詞向量的表示方式，在英語、荷蘭語、德語以及西班牙語上都取得了較好的識別結果；單義棟等人[7]采用字符向量和詞向量相結合作為輸入層，隱藏層使用雙向的長短時記憶網絡，以此構建了軍事文本的命名實體識別模型。

1 命名實體識別模型構建

本文構建的地空通信命名實體識別模型如圖1所示。該模型主要包括：字符級輸入層、雙向長短時記憶網絡隱藏層、注意力機制層、條件隨機場層。首先將輸入語句按照字符拆分進行輸入，在字符級詞向量輸入層通過查詢預訓練的字符級詞向量將其轉換為模型的輸入，再通過隱藏層和注意力機制層進行特征信息提取，最后通過條件隨機場進行輸出結果校正得到模型最終的輸出結果。

圖1 地空通信命名實體識別模型

1.1 字符級輸入層

文獻[8]中提出的Word2Vec工具，讓自然語言處理向前邁了一大步。本文使用的是基于字符的詞向量編碼方式來表示輸入的語句，即將單個漢字字符或單個英文單詞用詞向量的方式來表示，以此做為命名實體識別模型的輸入。

這樣做主要是基于地空通信文本的特點考慮：

（1）地空通信文本中存在大量的漢字數字字符，而這些連續數字字符的組合可能表示實體，若是將數字組合在一起作為一個單獨的詞來進行詞向量表示，則會在識別階段出現大量的未登錄詞組，影響模型的識別性能；

（2）由于地空通信受通信規則的約束，在地空通信中所用到漢字字符與英文詞匯的總數量相對有限，而詞組數量確是非常龐大的，以字符向量作為輸入能大幅降低對計算性能的需求，同時也能較好地解決未登錄詞組的問題。

具體處理過程如下，將一個含有n個字符的語句記做X=(x1，x2，x3，…，xn)，其中xi為單個字符。在大量未標注的數據集上訓練出字符向量Em×d=[e1，e2，e3，…，em]，其中m為字典大小，d為字符向量的維度。在輸入句子X=(x1，x2，x3，…，xn)時通過查詢xi在Em×d=[e1，e2，e3，…，em]中對應的字符向量ei作為該字符的輸入，對于那些未出現在字符向量Em×d中的字符，采用隨機初始化生成。

1.2 Bi-LSTM隱藏層

在地空通信文本命名實體識別中，需要識別的實體類型較多，且前后字符之間有較強的相關性。在預測當前輸入字符的標記類型時，正向的LSTM網絡模型只能捕獲到當前輸入字符的前文信息，而無法獲取到后文信息，這些信息對預測當前字符的標記類型是不充分的。文獻[9]提出雙向的LSTM網絡模型（Bidi?rectional LSTMnetworks，Bi-LSTM），該網絡模型能夠同時捕獲前后文信息，它相比于正向的LSTM網絡模型獲取的信息更加充分，理論上Bi-LSTM網絡模型對地空通信文本命名實體識別是有正向作用的。Bi-LSTM模型結構如圖2所示。

圖2 Bi-LSTM模型結構

1.3 注意力機制層

在地空通信文本命名實體識別中，雖然通過雙向的長短時記憶網絡已經能獲取到前后文信息，但是不是所有的信息都有作用，如“國航四幺八九成都聯系地面幺幺九點兩五”，其中“聯系”一詞的信息對頻率值“幺幺九點兩五”的識別更為重要，而“國航”、“成都”等信息對頻率值“幺幺九點兩五”的識別就不是特別的重要，因此引入注意力機制到別模型中，理論上有助于提高模型識別效果。

借鑒文獻[10]中所提出的注意力機制并針對命名實體識別任務做相應的改變，具體結構如圖3所示。

圖3 注意力機制層結構

注意力機制層在各時刻計算出一個對應的特征向量Ci，用于表示與當前時刻相關的記憶信息，其中包含更多與當前時刻有關聯的信息，其計算公式如下：

其中，vij、wij為權重參數，bij為偏置參數，各時刻的特征向量Ci由隱藏層輸出結果[h=[h1，h2，h3，…，hT]和對應時刻的注意力權值分布矩陣ai=[ai1，ai2，ai3，…，aiT]進行加權求和所得。最終，在注意力機制層輸出的結果為C=[C1，C2，C3，…，CT]。

1.4 CRF解碼層

通過隱藏層和注意力機制層的計算得到了特征張量C=[C1，C2，C3，…，CT]，若直接使用特征張量C來計算各標簽的概率分布，是可以計算出各時刻概率最高的的一個標簽，從而得到一個標簽序列，然而這樣的標簽序列并不一定是全局最優的序列。在命名實體識別中各標簽之間存在一定的約束關系，如標簽“B-ACID”之后不可能跟的是標簽“I-LOC”，同理，標簽“B-CODE”之后不可能跟的是標簽“I-FREQ”，而條件隨機場模型（Conditional Random Field，CRF）是可以通過訓練學習到這種約束信息，即標簽之間的轉移概率分布。

為了讓地空通信文本命名實體識別模型表現的更好，將條件隨機場模型作為整個識別模型最終的解碼輸出層。條件隨機場算法對注意力機制層輸出的特征張量C進行建模，學習標簽之間的轉移概率得分矩陣An×n，其中n為標簽類型個數。CRF解碼層的具體結構如圖4所示。

圖4 CRF解碼層結構

由CRF解碼層結構可知，預測結果的概率得分可以量化定義如公式（4）所示：

該量化公式由兩部分組成，其中，A表示標簽之間的轉移概率得分，P表示由特征向量Ci得出標簽si的概率得分。記所有的標記序列為S，則標注序列為s的概率可以采用Softmax函數進行計算相應的概率值，具體計算公式如公式（5）所示：

訓練時，利用訓練數據集通過對數極大似然估計得到條件概率模型P(S|C)，其損失函數如公式（6）所示：

預測時，給定輸入序列X=(x1，x2，x3，…，xn)，首先通過隱藏層和注意力機制層計算得到其特征張量C=[C1，C2，C3，…，CT]，然后將其輸入到 條 件 概率模型P(S|C)中使用維特比算法（Viterbi Algorithm）[11]求出概率最大的輸出序列s*=[s1，s2，s3，…，sT]，即為最終的標注序列。

2 實驗及結果分析

為驗證本文所構建的地空通信命名實體識別模型的識別效果，首先采用人工標注與核驗的方式構建實驗數據集，確保數據集的準確性；接著搭建對比模型與地空通信命名實體識別模型進行對比試驗；最后對實驗結果進行分析。

2.1 實驗數據

本文所用實驗數據來源于真實的中文地空通信語音標注文本。本文所采用的標注格式為：BIO格式。經過預處理、人工標注、人工核驗后得到實驗所用的數據集。為準確有效驗證模型的識別效果，將數據集按照7:3的比例隨機劃分為訓練集和測試集。訓練集和測試集的實體個數統計如表1所示。

表1 數據集中實體個數統計結果

2.2 實驗評價標準

實驗采用精準率（P）、召回率（R）和F1值對識別結果進行評價，3種評價指標的具體計算公式如下：

其中，m為模型識別結果與標注一致的實體個數，即識別正確的實體個數，n為模型識別為實體的總個數，s為數據集中標注為實體的總個數。

由于數據集中不同類型實體的數量分布不均，若是直接采用上述計算方式得出精準率（P）和召回率（R），則結果會受到某類較多實體個數識別結果的影響。為了真實準確地評價模型識別結果，本文采用對每類實體賦予相同權重的方式，用于計算模型的精準率（P）、召回率（R）。首先采用公式（7）、（8）計算出各類型實體識別的精準率（Pi）與召回率（Ri），再進行相加求和得到最終結果。其中n為實體類型個數，具體計算公式如下：

2.3 實驗設置

實驗采用TensorFlow深度學習框架搭建識別模型，總共搭建了4個模型進行實驗。第一組模型以雙向的長短時記憶網絡構建而成，作為基準模型，記為：BiLSTM；第二組模型以雙向的長短時記憶網絡結合注意力機制構建而成，記為：BiLSTM_ATT；第三組模型以雙向的長短時記憶網絡結合條件隨機場模型構建而成，記為：BiLSTM_CRF；最后一組是本文所構建的識別模型，記為：BiLSTM_ATT_CRF。

在訓練參數設置上，為了真實準確地對比四個模型的識別效果，公共的訓練參數配置采用相同的參數大小進行試驗。具體配置如表2所示。

表2 實驗參數配置

2.4 實驗結果及分析

模型訓練完成之后，分別在測試集上進行測試，采用2.2中所提到的公式計算模型識別的精準率（P）、召回率（R）和F1值，各模型整體識別結果如表3所示。

表3 模型對比試驗結果

本文使用BiLSTM模型的測試結果作為基準。BiLSTM_ATT模型與BiLSTM模型相比，在精準率上提高了0.13%，在召回率上提高了0.49%，相應的在綜合性能F1值上有0.31%的提升，說明注意力機制在識別過程中是關注了更多與當前輸入有關的記憶信息，可以將其運用到地空通信文本命名實體識別模型中，有助于提升模型的識別效果。

BiLSTM_CRF模型與BiLSTM模型相比，在精準率上提高了1.01%，在召回率上提高了0.44%，相應的在綜合性能F1值上有0.72%的提升，說明條件隨機場模型是學習到了標簽之間的一定的約束信息，在解碼輸出過程中使用條件隨機場模型是有助于進一步提升模型的識別效果。同時，也可以觀察到BiLSTM_CRF在精準率、F1值兩項指標上的提升高于BiLSTM_ATT在這兩項指標上的提升，而兩者在召回率上相差不大，說明條件隨機場模型對提升模型識別效果所發揮的作用是大于注意力機制所發揮的作用。

本文所構建的BiLSTM_ATT_CRF模型與BiLSTM模型相比，在精準率上提高了0.63%，在召回率上提高了1.28%，相應的在綜合性能F1值上有0.96%的提升。BiLSTM_ATT_CRF在精準率、召回率、F1值三項指標上均高于BiLSTM_ATT模型；BiLSTM_ATT_CRF在精準率上略低于BiLSTM_CRF模型，但在召回率、F1值上均優于BiLSTM_CRF模型。F1值是一項綜合反映模型識別效果的評價指標，故可以表明BiL?STM_ATT_CRF模型的識別效果是優于BiLSTM_ATT模型和BiLSTM_CRF模型。

從以上的分析，可以得出如下結論：①將注意力機制引與件隨機場模型引入到模型中能夠提升模型的識別效果；②將條件隨機場與注意力機制進行結合構建的模型識別效果是最優的。從而，說明本文構建的地空通信命名實體識別模型的效果最優，它能夠提升識別效果。

3 結語

本文以雙向長短時記憶網絡模型為基礎結合注意力機制與條件隨機場模型所構建的地空通信文本命名實體識別模型，考慮了不同位置的字符對實體識別的影響以及前后標簽之間的約束關系，使得模型識別效果較優。在少量的標注數據就取得了較好的識別效果。通過實驗證明了該模型能夠有效解決地空通信文本中命名實體識別任務，可以將其運用到關鍵指令信息提取中，輔助指令解析任務。但目前仍存在以下不足：

（1）根據實驗結果顯示，目前在某些實體類型的識別上效果并不理想，例如地點（LOC）、速度指令（INS）和航跡指令（INT）等實體上F1值均低于95%。

（2）在地空通話領域中，某些實體類型出現頻率較高，某些實體類型出現頻率較低，導致數據集中各類實體分布不均，訓練出的模型也可能受到一定影響。

后續將針對以上問題，擴充數據集數量，并對數據集進行優化處理，進一步改進模型結構，以到達實際應用水平。