基于LSTM-SNP 的命名實體識別

鄧 琴，陳曉亮，陳龍齊

（西華大學計算機與軟件工程學院,四川 成都 610039）

脈沖神經P 系統（SNPs）是從生物信息學的神經元之間的脈沖通信機制中抽象出來的一類分布式并行計算模型[1]。1 個脈沖神經P 系統，通常由4 個基本元素構成：結構、數據、規則集和對規則的控制方法[2]。結構細分為膜結構和數據結構2 部分。膜結構由有向圖進行刻畫，其中圖的節點和邊分別表示神經元和神經元間的突觸。數據結構形式化為脈沖多重集。1 個神經元的內部機制包含脈沖和規則。系統中的數據一般是由神經元的脈沖統計個數來描述。規則是脈沖神經P 系統完成信號傳遞的核心[3]。SNP 系統的規則分為2 個類別：脈沖規則和遺忘規則[4]。前者又叫作點火規則，表示消耗脈沖且同時產生新脈沖，后者僅消耗而不會產生新脈沖。

與傳統SNP 系統的區別在于，非線性脈沖神經P 系統（NSNPs）[5]通過預定義的神經元狀態非線性函數實現脈沖的消耗和產生。因此，NSNP 系統適用于捕獲復雜系統中的非線性特征。長短記憶神經網絡（LSTMs）[6]屬于循環神經網絡（RNNs）的變體。1 個LSTM 模型包含1 個隱藏狀態和3個門結構（遺忘門、輸入門和輸出門），共同實現神經元信息傳遞的調節。受到NSNP 系統脈沖和遺忘規則的啟發，Liu 等 [7]基于LSTM 模型提出了新的循環神經網絡模型，即LSTM-SNP 模型。該模型只由一個非線性脈沖神經元組成，具有非線性脈沖機制（非線性脈沖消耗和產生）和非線性門函數（重置、消耗和生成）。

循環模式可以較好地解決序列分析問題，例如，時間序列的預測。然而LSTM-SNP 作為傳統序列分析模型LSTM 的最新變體，在處理典型自然語言處理序列分析問題，如命名實體識別（NER）的性能表現未見相關研究。本文將序列分析模型LSTM-SNP 用于解決命名實體識別任務，通過添加不同的深度學習組件，模型的性能得到顯著的提升，同時，設計了多組對比實驗，比較LSTM-SNP模型、傳統的LSTM 和雙向長短記憶網絡（BiLSTM）的性能。

1 相關工作

本文旨在研究LSTM-SNP 模型在命名實體識別任務上的適應性問題，以評估模型在自然語言處理底層任務中的性能和潛力。命名實體識別任務是指在不規則文本中識別具有代表性的特定實體。其主要研究策略、方法根據時間的先后順序分為：基于規則、基于機器學習和基于深度學習。

1）基于規則的命名實體處理，以語法為基礎。Etzioni 等[8]和Wang 等[9]分別提出了基于地名詞典和基于詞匯句法模式引用規則的2 種經典方法。這類方法具有設計簡單、復雜性低等優點，但識別效果嚴重依賴領域專家對語料庫的標注[10]。此外，在處理大規模數據集時基于規則的模型性能具有局限性。

2）機器學習已經成為研究命名實體識別的主流技術。該任務在機器學習領域被定義為多分類序列標注問題。主要技術包括最大熵（MaxEnt）、支持向量機（SVMs）、隱藏馬爾可夫模型（HMMs）、條件隨機場（CRFs）等。Makino 等[11]基于語音和單詞形式構建了系列人工特征，繼而用HMM 提取特征，將其合并，并使用SVM 計算實體識別結果。Krishnan 等[12]利用2 個CRFs 來提取實體識別中的局部特征，并輸出由邏輯前向CRF 提取的特征信息。這些模型克服了基于規則的缺陷，然而，由于無法捕獲更多的上下文信息，當面對句子過長的場景會導致模型性能的降低。

3）近期一些文獻強調了神經網絡方法在解決NER 問題中的作用，包括長短期記憶神經網絡（LSTMs）、卷積神經網絡（CNNs）及其變體。神經網絡方法避免了手動特征提取。Luo 等[13]提出了一個基于注意力的具有CRF 層的雙向長短期記憶神經網絡（Att-BiLSTM-CRF），繼而訓練一個高準確度的模型來識別已命名的實體。Li 等[14]建立的BiLSTM-CNN 模型表明，CNN 作為模型組件可以顯著提高實體識別的精度。Li 等[15]提出了一種新的替代方法W2NER，它將NER 建模為詞—詞關系分類。此外，Bert、LSTM 和多重二維擴展卷積（DConv）的有機組合可以較優地處理NER 問題。

2 LSTM-SNP 模型實驗設計

本章對文中提到的命名實體任務進行形式化表述。設L={L1,···,Lt,···,Ln}為一個有標簽的實例文本訓練集，θ={θ1,···,θt,···,θm}為一組類別標簽，如位置、組織、其他等。實例Lt中的詞語，記為tk，都被分配了一個標簽 ε ∈θ。如果實例的詞語是已命名實體的元素，則它的標簽是該實體的類別。NER 模型的基本處理步驟為：首先，通過在模型的嵌入層中使用獨熱編碼技術，將具有n個單詞的句子X表示為向量序列X={x1,···,xt,···,xn}；其次，將嵌入操作后的向量輸入到LSTM、BiLSTM 或LSTM-SNP 中，以生成區分實體的預測標簽；最后，使用相關的評價指標來評估模型的有效性。

2.1 LSTM-SNP 模型結構

RNN 技術在自然語言處理(NLP)研究中得到了廣泛的應用。但是，隨著模型層數的疊加，RNN網絡容易發生梯度消失和梯度爆炸的問題。長短期記憶神經網絡（LSTMs）[6]作為RNN 的變體，設計了3 個門控機制來調整細胞狀態，如圖1 所示。LSTM 單元在時間步t的遺忘門、輸入門、輸出門通常分別形式化為函數ft，it，ot。其輸入的向量用xt表示。Ct表示單元在時間步驟t的狀態。

圖1 LSTM 模型細胞結構圖Fig.1 Cell structure diagram of LSTM model

由于使用了sigmoid 型函數，LSTM 能夠有效地選擇放棄和保留的信息。3 個門控單元的連接與控制的計算公式為：

Liu 等[7]認為，LSTM-SNP 是在LSTM 基礎上用不同的非線性門函數、狀態方程和基于膜計算規則的輸入輸出進行的模型重構。圖2 表示了新型門機制：復位門rt、消耗門ct和生成門ot。復位門根據當前的輸入、上一時刻的狀態和偏置，決定前一狀態的復位程度。

圖2 LSTM-SNP 模型細胞結構圖Fig.2 Cell structure diagram of LSTM-SNP model

生成門根據當前輸入、上一時刻的狀態和偏置來指定輸出多少個生成的脈沖。xt表示輸入句子的向量。總體而言，3 個門控裝置之間的連接與控制取決于公式（2）。

神經元 σ產生峰值，為

根據3 個非線性門和產生的脈沖信號，計算神經元 σ在t時刻的狀態和輸出為：

其中，ht表示LSTM-SNP 層的輸出，即NLP 任務的上下文隱層向量。圖1、圖2 以及LSTM 和LSTMSNP 的相關公式均在神經元細胞的水平上進行描述。當數百個神經元連接起來執行計算時，一個真正的仿生神經網絡就形成了。

2.2 LSTM-SNP-CRF 模型

Lafferty 等[16]在2001 年提出條件隨機場（CRFs）。CRF 是統計關系學習的重要框架，具有較強的描述、邏輯推理，以及對不確定性的處理能力。作為典型的判別模型經常被構造為NER 或其他NLP學習模型的增強組件。本節闡述LSTM-SNP 和CRF組件的兼容性，目的在于研究CRF 組件能否在NER任務中提高LSTM-SNP 的識別準確性。

本文選擇LSTM 和BiLSTM 這2 個模型作為LSTM-SNP 模型的參照實驗組，通過實體識別精度來評估3 個模型對CRF 層的性能提高敏感性。模型的處理流程為首先將文本經過詞嵌入轉換為特征向量，然后分別送入LSTM-SNP、LSTM、BiLSTM這3 個模型獲取詞語之間的關系特征，最后將其輸入到CRF 處理層，獲得標簽的分值，最大分值對應的標簽即為模型認定的標簽。模型整體處理流程如圖3 所示。LSTM-SNP 層的功能與LSTM 層和BiLSTM 層的功能相同。這3 層都是用來提取句子的特征。LSTM-SNP 層將依次被LSTM 或Bi-LSTM 層取代，用于CRF 敏感性比較。這些模型使用了BIO（begin，inside，outside）標簽方案。

圖3 LSTM-SNP-CRF 模型、LSTM-CRF 模型、BiLSTM-CRF 模型的結構Fig.3 Structure of the LSTM-SNP-CRF model,the LSTM-CRF model,and the BiLSTM-CRF model

2.3 GloVe-CNN-LSTM-SNP 模型

本節提出帶有GloVe[17]和卷積神經網絡（CNN）[18]的LSTM-SNP 的整體體系架構，如圖4 所示。LSTMSNP、LSTM-SNP-CRF 這2 種模型中的嵌入表示僅采用了獨熱編碼連接層。這種嵌入方法會造成編碼稀疏、維度大、詞間相似性反應能力弱等問題。因此，LSTM-SNP 在命名實體識別任務的有效性有待進一步的實驗證明。區別于傳統LSTM-SNP，本文采用了更高效的特征提取方法，具體分為基于詞級別的特征提取和字符級別的特征提取。詞級別的特征通過詞嵌入方法GloVe 以及手動定義詞大小寫特征的方法分別獲取語言特征和詞大小寫信息。基于字符級別的特征提取是通過卷積神經網絡CNN 以獲得詞更加細粒度的特征表示。CNN模型提取單詞的字符級特征的過程如圖5 所示。模型將GloVe 向量、CNN 向量和單詞大小寫信息向量通過拼接操作相結合，并通過LSTM-SNP 層進行處理。同時，為了驗證LSTM-SNP 模型在實際應用中的優越性，本文將LSTM-SNP 層分別替換為LSTM 層和BiLSTM 層用于性能比對。下面將基于詞級別和字符級別介紹各項特征提取技術。

圖4 GloVe-CNN-LSTM-SNP 模型、GloVe-CNN-LSTM 模型、GloVe-CNN-BiLSTM 模型的結構Fig.4 Structure of the GloVe-CNN-LSTM-SNP model,the GloVe-CNN-LSTM model,and the GloVe-CNNBiLSTM model

圖5 CNN 模型提取單詞的字符級特征的過程Fig.5 The process of extracting character level features of words from CNN model

2.3.1 基于詞級別的語義特征提取

近年來，一些工具，如word2vec 和GloVe，已被廣泛應用于命名實體識別（NER）。GloVe 是一種用于獲取詞的向量表示的無監督學習算法。簡而言之，GloVe 允許獲取文本語料庫，并將該語料庫中的每個單詞直觀地轉換為高維空間位置。這意味著相似的詞將被放在一起，而這一技術也是詞嵌入技術的重要組成部分。本文受到Chiu 等[18]的啟發，提出了一種基于預訓練的字符嵌入方法，將來自維基百科和網絡文本的60 億個單詞作為訓練資料，設計了一組基于GloVe embeddings3[17]的對比實驗。

2.3.2 基于詞級別的大小寫信息特征提取

因為在使用GloVe 詞嵌入方法時會丟失大量的字母大寫信息，所以本文借鑒Collobert[18]的方法獲取詞嵌入過程缺少的信息。該方法使用一個單獨的查找表來添加大寫選項：全為大寫、初始大寫、初始小寫、大小寫混合、其他。

本文的GloVe-CNN-LSTM-SNP 模型應用了Collobert 等[18]的方法以在單詞嵌入期間獲得詞語大小寫信息，同時將該查找表選項擴展。選項包括：所有字母全小寫、所有字母全大寫、僅首字母大寫、全為數字、多部分為數字、少部分數字（包含數字)、其他、填充標記這8 個選項。將此選項表命名為查找表C 中，用于做基于詞級別的單詞大小寫信息嵌入。

2.3.3 基于字符級別的特征提取

CNNs[18]是當前深度學習技術中最具有代表性的一種神經網絡結構，近年來受到了眾多學科的廣泛關注。實驗設置通過采用CNN 技術，從英文文本資料中提取指定實體的字符級特征。

英語中的單詞通常由細粒度的字母構成，CNN技術被用于處理這些字母。這些字母包含了諸如前綴/后綴等隱藏特征。對于不同類型的字符，實驗設置了不同的隨機字符向量，以區分字符和字符類型（字母、數字、標點符號、特殊字符等）。例如，大寫字母‘A’和小寫字母‘a’對應于2 組不同的字符向量集。圖5 展示了CNN 從一個單詞中提取字符級特征的過程。

結合詞級別和字符級別的特征表示，并將2 種級別的特征表示向量進行拼接，得到完整的單詞嵌入表示。該詞嵌入表示包括了詞的語言相關特征、詞語的字符特征、詞的大小寫信息。圖6 展示了在GloVe 和LSTM-SNP 基礎上加入CNN 模塊后的整體模型，即完整的GloVe-CNN-LSTM-SNP模型。LSTM-SNP 層的功能與LSTM 層和BiLSTM層的功能相同。這3 層都是用來提取句子的特征。LSTM-SNP 層將依次被LSTM 或BiLSTM 層取代，用于比較3 種模型對于CNN 的敏感程度。

圖6 GloVe-CNN-LSTM-SNP 模型的架構Fig.6 Architecture of GloVe-CNN-LSTM-SNP model

3 實驗分析

3.1 數據集

本研究優先采用2 個經典的命名實體識別數據集CoNLL-2003 和OntoNotes5.0，對基于CRF、基于GloVe 和基于CNN 的LSTM-SNP 模型性能進行評估。所有的數據集都可以在網站公開獲得。CoNLL-2003 數據集可以通過文獻[19]網站下載。OntoNotes5.0 數據集可以通過文獻[20]網站下載。關于數據集的訓練測試和驗證集的句子數量劃分如表1 所示。

表1 語料庫句子統計Tab.1 Corpus sentence statistics

3.2 評估標準

根據前期工作[21]，為正確評估LSTM-SNP 在命名實體識別任務中使用CRF、CNN 和GloVe 時模型的有效性，本文選擇了NLP 領域的通用評估度量系統，即精度（P）、召回率（R）和準確率（Acc）。測試樣本被分為實際的實體類別和預測的實體類別。實驗結果分為4 類，如表2 所示。預測的實體代表由模型得出的實體標簽，實際的實體代表人工標注的真實標簽。

表2 混淆矩陣Tab.2 Confusion matrixs

本文采用的精度（P）、召回率（R）和準確率（Acc）定義為：

式中：TP（true positive）表示模型正確地將一個實體標記為正類，即模型正確地將一個實體標記為實體，并且這個實體與真實標簽一致；FN（false negative）表示模型錯誤地將一個實體標記為負類，即模型沒有將一個實體標記為實體，或者將實體標記為了錯誤類型；FP（false positive）表示模型錯誤地將一個非實體標記為正類，即模型將一個非實體錯誤地標記為了實體；TN（true negative）表示模型正確地將一個非實體標記為負類，即模型正確地將一個非實體標記為非實體。

命名實體識別任務涉及多種分類。因此，微平均F1（F1macro）值也被用作性能評估指標，定義為：

式中：P1，P2,···,Pn分別代表第1 種實體類別，第2 種實體類別以及第n種實體類別的精度值；R1，R2,···,Rn分別代表第1 種實體類別，第2 種實體類別以及第n種實體類別的召回率。

3.3 參數配置

根據LSTM-SNP、LSTM 和BiLSTM 的模型結構，首先在實驗中實現了這3 種模型。當對比實驗依次添加CNN 和GloVe 作為嵌入模型時，模型的內部參數保持不變。

LSTM-SNP 模型除了需要學習的權重矩陣和偏差向量外，還有一些通過實驗確定的先驗參數，包括迭代計數（iterations）、Dropout 率和神經元數量（neurons）。

圖7 展示了LSTM-SNP 在CoNLL-2003 數據集上經過不同迭代次數和提前停止次數訓練時的性能差異，包括15-4、15-5、15-6、15-10、20-5、20-10 和100-50。由圖可知，當迭代次數和提前次數為15-5 時，LSTM-SNP 在CoNLL-2003 數據集上取得了72.5%的F1macro值。因此不同迭代次數和提前次數采用15-5。

圖7 基于數據集CoNLL-2003 上的不同的迭代次數與提前停止次數對LSTM-SNP 模型 F1macro分數的影響Fig.7 Influence of iterations and early-stops on F1macro based on LSTM-SNP model and dataset CoNLL-2003

本文還考察了不同的Dropout 率對LSTM-SNP模型F1macro分數的影響，即當迭代次數與提前停止次數定為15-5 時，Dropout 率分別為0%、5%、10%、25%、50%和75%。圖8 所示的對比實驗結果表明，當Dropout 率為50%時，F1macro值為72.8%，適合于模型訓練。

圖8 基于數據集CoNLL-2003 上的不同Dropout 率對LSTM-SNP 模型F 1macro分數的影響Fig.8 Influence of Dropout rates on F1macro based on LSTMSNP model and dataset CoNLL-2003

當迭代次數和提前停止次數為15-5、Dropout率為50%時，設置不同的神經元個數（32、64、128、256 和512）進行實驗。如圖9 所示的當前結果發現，神經元數量設為256 有利于模型訓練。

圖9 基于數據集CoNLL-2003 上的不同的神經元個數率對LSTM-SNP 模型F 1macro分數的影響Fig.9 Influence of neurons on F1macro based on LSTM-SNP model and dataset CoNLL-2003

3.4 對比實驗結果分析

本研究的最初目標是確定LSTM-SNP 模型對CRF、GloVe 詞嵌入和CNN 等傳統深度學習組件的適應性。在保持相同的超參數基礎上，如表3 所示，本文將A、B、C、D 4 組模型在2 個數據集上進行實驗，獲得以實體為單位的識別結果。模型得分情況如表4 所示。其中：LSTM-SNP 在2 個數據集上的表現與LSTM 相似；所有模型在數據集CoNLL-2003 的F1macro平均得分比數據集Onto-Notes5.0 高出10 分左右。一個重要的原因是數據集CoNLL-2003 和OntoNotes5.0 中存在著不同的實體類別數量。前者分4 類，后者分18 類。這說明，LSTM-SNP 模型以及這類循環神經網絡模型在對少量實體進行分類是具有更好的識別效果。本文從2 個不同的視角對實驗結果進行分析。

表3 對比實驗設置Tab.3 Contrast experiment settings

表4 LSTM-SNP、LSTM、BiLSTM 在數據集CoNLL-2003 和OntoNotes5.0 的性能結果Tab.4 Performance results of LSTM-SNP,LSTM,and BiLSTM in the dataset CoNLL-2003 and OntoNotes5.0

3.4.1 基于A、B、C、D 組的實驗分析

A 組的LSTM-SNP 模型在數據集CoNLL-2003中的F1macro分數為73.35%，在數據集OntoNotes-5.0 中為39.30%。BiLSTM 的F1macro得分在2 個數據集下都是最高的。一個未預料到的發現是，LSTM-SNP 模型和LSTM 模型在NER 任務上的F1macro分數方面沒有顯著差異。整體而言，在處理4 種實體類型問題時，3 種模型的表現均優于18 種實體類型的模型。

B 組添加CRF 后，LSTM、BiLSTM 和LSTMSNP 3 種模型的性能均得到改善。在數據集Co-NLL-2003 和OntoNotes5.0 中，LSTM-SNP 模型在2 個數據集的F1macro得分分別為76.16%和59.95%。添加了CRF 的BiLSTM 在2 個數據集中性能仍然是最好的。值得一提的是，LSTM-SNP-CRF 在數據集OntoNotes5.0 擁有更明顯的性能改進。與A 組相比，F1macro約提高了20%。

C 組的得分體現了GloVe 詞嵌入對模型的貢獻。實驗結果顯示，在使用GloVe 詞嵌入時，3 個模型的學習效果均比A 組和B 組更優。在2 個數據集上，模型GloVe-LSTM-SNP 的F1macro分別比A 組的LSTM-SNP 高4%和34.47%。但是，從2 個數據集的F1macro來看，GloVe-LSTM-SNP的得分在2 個數據集上最低，分別為77.34%和73.77%。

D 組與C 組相比，3 個模型均無顯著差異。與C 組3 個沒有添加CNN 組件的模型相比，D 組的每個模型性能有輕微的提高。在數據集OntoNotes-5.0 中，GloVe-CNN-GloVe 相比A 組的F1macro提高35.82%。顯然，D 組的3 個模型在2 個數據集上都取得了最高得分。

3.4.2 3 種模型的消融實驗分析

將CRF 添加到LSTM-SNP、LSTM、BiLSTM 3 個模型時，各模型在數據集CoNLL-2003 上的F1macro分別提高了2.81%、4.05%和0.12%。3 個模型在數據集OntoNotes5.0 上的F1macro分別提高20.65%、20.45%和20.5%。實驗結果表明，LSTM和LSTM-SNP 模型的性能提升程度在數據集CoNLL-2003 上比BiLSTM 模型更大，在數據集OntoNotes5.0 上提升程度相似。

需要指出的是，數據集CoNLL-2003 的數據量相對于數據集OntoNotes5.0 來說較小。數據集Co-NLL-2003 大約是數據集OntoNotes5.0 的3.5 倍。因此，模型LSTM-SNP、LSTM 與BiLSTM 相比，LSTM-SNP 和LSTM 對數據集的質量和數量更為敏感。

在LSTM-SNP、LSTM、BiLSTM 這3 個模型中添加GloVe 詞嵌入，當處理數據集CoNLL-2003時，F1macro值相比于A 組分別增加了3.99%、9.06%和8.43%。將GloVe 詞嵌入應用到LSTM-SNP、LSTM 和BiLSTM 模型中，在CoNLL-2003 數據集上與A 組比較，F1macro值分別提高了3.99%、9.06%和8.43%。此外，在OntoNotes5.0 數據集下，與原始模型A 組相比，分別提高了34.47%、38.65%和24.02%。實驗結果表明：F1macro改善非常顯著，GloVe 詞嵌入對模型的性能有很大的改善。

然而，隨著數據集數量的增加，BiLSTM 模型的F1macro得分提高幅度不如其他2 個模型。這一現象在某種程度上證明了BiLSTM 受數據量影響相對較小，而其他2 種模型受數據量影響較大。對于LSTM-SNP 模型，通過添加預處理方法，如詞嵌入，該模型能夠表現得更好。

在LSTM-SNP、LSTM、BiLSTM 中同時加入CNN 和GloVe 進行處理時，在CoNLL-2003 數據集下，3 個模型的性能均比A 組的基線模型提高了4.77%、9.20%和8.76%。在數據集OntoNotes5.0下，F1macro分別提高35.82%、39.24%和24.34%。這些數據共同證明了添加CNN 和詞嵌入的有效性。類似地，LSTM-SNP 和LSTM 都有較大的增加，也說明了上述結論。此外，通過添加CNN從單詞嵌入中學習字符級特征，3 個模型在2 個數據集上的性能提升很小。結果顯示，基于文字嵌入的特征方法可以有效地改善LSTM-SNP 模型的性能，并具有較好的效果。

4 總結與展望

本文旨在評價LSTM-SNP 模型在序列問題（命名實體識別）應用中的有效性。同時，為了探索LSTM-SNP 模型是否具有在自然語言處理領域的研究潛力，本文在LSTM-SNP 模型以及其對比模型LSTM 和BiLSTM 中有序添加了一些深度學習組件，包括CRF、單詞嵌入等，以對比組件對不同模型的性能提升幅度，從而為LSTN-SNP 模型的未來研究提供可靠數據參考。

實驗表明，傳統LSTM-SNP 模型在命名實體任務中的性能與LSTM 模型基本相似，但與BiLSTM 的良好性能仍存在一定的差距。此外，實驗發現，LSTM-SNP 模型受數據集領域知識的影響較大。在LSTM-SNP 模型中加入CRF、詞嵌入和CNN，該模型的性能有了顯著的提高。加入詞嵌入、CNN 等特征預處理模塊可以極大地改善模型的總體性能。總體而言，LSTM-SNP 模型在命名實體識別任務中具有潛力，并且有比較大的改進空間。

未來的工作將考慮使用LSTM-SNP 模型提取實體局部特征。本文僅考慮了實體上下文特征，其粒度不夠細膩。因此，將注意機制引入到LSTM-SNP模型中，利用注意機制來提取局部特征[22]，從而實現對命名實體識別有較大影響權重特征的重點關注。同時，考慮實現多層或雙向的LSTM-SNP 模型，以提高模型提取特征的能力。