基于強化學習協同訓練的命名實體識別方法

程鐘慧 陳珂 陳剛 徐世澤 傅丁莉

摘 ?要：命名實體識別是一項從非結構化大數據集中抽取有意義的實體的技術。命名實體識別技術有著非常廣泛的應用，例如從軌道交通列車產生的海量運行控制日志中抽取日期、列車、站臺等實體信息進行進階數據分析。近年來，基于學習的方法成為主流，然而這些算法嚴重依賴人工標注，訓練集較小時會出現過擬合現象，無法達到預期的泛化效果。針對以上問題，本文提出了一種基于強化學習的協同訓練框架，在少量標注數據的情況下，無須人工參與，利用大量無標注數據自動提升模型性能。在兩種不同領域的語料上進行實驗，模型F1值均提升10%，證明了本文方法的有效性和通用性。同時，與傳統的協同訓練方法進行對比，本文方法F1值高于其他方法5%，實驗結果表明本文方法更加智能。

關鍵詞：強化學習;協同訓練;命名實體識別

中圖分類號：TP391.1 ? ? 文獻標識碼：A

Abstract：Named entity recognition（NER）is a technique for extracting meaningful entities from unstructured big datasets.NER has a wide range of applications.An example of NER is advanced data analysis which extracts date，train，platform and other entity information from a large operation logs dataset produced by rail transit trains.In recent years，the reinforcement learning based method has become the mainstream method of solving this task.However，these algorithms rely heavily on manual labeling.The over-fitting problem may occur when the training set is small，and cannot achieve the expected generalization effect.In this paper，we propose a novel method，Reinforced Co-Training.With only small amount of labeled data，the performance of the named entity recognition model can be automatically improved by using a large amount of unlabeled data.We have experimented our framework on corpus in two different fields，the results show that the F1 value of our proposed method is increased by 10%，which proves the effectiveness and generality of the method in this paper.We also compared our method with the traditional co-training methods，the F1 value of our method is 5% higher than other methods，which shows that this method is more intelligent.

Keywords：reinforcement learning;co-training;named entity recognition

1 ? 引言（Introduction）

給定一個非結構化大數據集（如軌道交通列車控制系統產生的車輛運行控制日志），命名實體識別（NER）技術的目的是從該數據集中提取出具有特定意義的實體，如站臺名、列車號、控制指令等[1]，進而為其他大數據建模任務提供實用信息。研究者們將NER任務歸約為序列標注問題[2]，基于統計機器學習的方法和深度學習的方法成為主流，例如條件隨機場模型[3]，基于卷積網絡的序列標注模型[4]以及基于雙向LSTM網絡的模型[5]等。然而，基于學習的方法嚴重依賴人工標注，訓練集較小時會出現過擬合現象，無法達到預期的泛化效果。同時，命名實體具有極強的不確定性，在進行大規模的數據標注時需要消耗大量的人力和時間，其代價是難以接受的。與標注語料不同，無標注語料數量巨大且極易獲得，因此如何發揮大量無標注語料的價值，在少量標注數據的情況下改善模型學習性能是命名實體識別進一步研究的重點。

半監督學習[6]方法通常利用大量的無標注數據來輔助少量的有標注數據進行學習，從而提高模型學習性能。協同訓練（Co-training）[7]是廣泛使用的半監督學習方法之一，它利用兩個學習器的“相容互補性”來互相標記樣本擴大訓練集，從而達到借助無標注數據提升學習性能的目的。協同訓練的關鍵在于挑選高質量的無標注數據添加到訓練集中，目前通常使用啟發式的樣本選擇策略。然而，現有的協同訓練算法存在一些缺陷。首先，在訓練過程中，每次添加兩個弱分類器的偽標注數據到訓練集中，會造成噪聲累積。其次，由于少量標注數據和大量無標注數據在分布上具有一定差異，在訓練一段時間后，會導致采樣偏差向無標注數據方向偏移，進而導致訓練模型性能降低。此外，傳統的協同訓練方法為了減少噪聲的引入，每次添加模型置信度高的預測結果到訓練集中，容易造成局部采樣限制，會限制模型泛化能力[8]。

因此，一種理想的協同訓練算法應該具備兩個特性，一是擴充訓練集帶來的噪聲應盡可能小，二是能對數據空間進行充分探索，以獲得更好的泛化學習性能。基于以上，本文利用深度Q網絡（Deep Q-network）[9]自動學習選擇策略替代傳統的啟發式樣本選擇策略，進而提高協同訓練效果。

本文的主要貢獻如下：

（1）提出了一種基于強化學習的協同訓練框架，在少量標注數據情況下，無須人工參與，利用大量無標注數據自動提升命名實體識別模型的性能。

（2）提出了一種基于實體級置信度的模型集成方法，減少協同訓練過程中噪聲的引入，進一步提高添加樣本的質量。

（3）在人民日報和金融新聞語料上進行重復實驗，證明了本文方法的有效性、通用性和魯棒性。同時，與傳統的協同訓練方法進行對比實驗，本文方法F1值高于其他方法5%。

2 ? 相關工作（Related work）

針對如何在少量標注數據的情況下，使用半監督學習方法進行命名實體識別任務，已有學者做了相關研究。Liao[10]等人提出了一種基于CRF單一分類器的半監督命名實體識別方法，需要人工分析數據，提取有效規則，難度較大且規則的領域移植性較差。Aryoyudanta[11]等人使用SVM單一分類器，基于上下文和實體兩種不同的屬性視圖構建兩個學習器進行協同訓練。Xiao[12]等人提出了一種基于CRF和SVM協同訓練的中文機構實體識別算法，定義了一種啟發式樣本選擇策略。然而，這些半監督學習方法都是基于人工預先設定的樣本選擇策略，無法對數據空間進行充分準確的學習。協同訓練算法的核心在于樣本選擇策略，Zhang[13]等人提出了一種性能驅動的樣本選擇策略，選擇有助于提高分類精度的無標注數據進行半監督學習。同時，Chawla[14]等人論證了隨機挑選樣本的方法會導致訓練模型向無標注數據分布方向發生采樣偏移。

與上述半監督命名實體識別方法相比，本文使用深度強化學習模型自動學習樣本選擇策略。深度強化學習（DRL）[15，16]是人工智能領域新的研究熱點，它將深度學習（DL）[17]在特征表示方面較強的抽象感知能力和強化學習（RL）[18]的推理決策能力相結合。Lange[19]等人最先將深度學習模型和強化學習方法結合，提出了一種深度自動編碼器，但是只適用于狀態空間維度較小的問題。Mnih[9]等人結合深度學習中的卷積神經網絡和傳統強化學習中求解最優動作值函數的Q學習算法，提出了深度Q網絡模型（DQN）來近似表示動作值函數。近年來，深度強化學習在自然語言處理領域獲得了越來越多的關注，在會話生成、文本摘要等任務中均有應用。但由于語言是離散的，句子空間是無窮的，所以在將NLP任務轉化為DRL問題時存在諸多挑戰。

3 ?基于強化學習的協同訓練框架（Reinforced Co-training）

3.1 ? 未標注數據子集的劃分

由于無標注數據數量巨大，如果在每次迭代過程中只選擇一個樣本添加到訓練集中，并重新訓練兩個學習器，那將十分低效。所以，我們首先將大量的無標注數據樣本切分成句子，并根據句子間的相似度大小，將其劃分成子集。這樣每次算法挑選一個無標注數據子集作為候選樣本添加到訓練集中，更新兩個學習器，能極大提高計算效率，節約時間成本。

4 ? 實驗與分析（Experiment and analysis）

4.1 ? 實驗數據

本文選用人民日報（1998年）和金融新聞兩種不同領域的語料庫對前文提出的基于強化學習協同訓練模型進行評估實驗，其中人民日報為通用領域公開數據集，是中文命名實體識別任務常用的語料;金融新聞是從金融網站上利用爬蟲技術獲取的1000篇經人工標注的新聞語料，具有一定的領域特性。其中人民日報語料共有19484個句子、52735個實體，包括人名、地名、機構名三類;金融新聞語料含有26233個句子、56813個實體，包括人名、地名、機構名、日期、貨幣、百分比、時間七類。我們將原始的帶標注語料劃分成四個數據集：訓練集、驗證集、測試集和無標注數據集，首先隨機選取500個句子作為少量標注訓練集，之后從剩余的數據中選取10%作為驗證集，10%作為測試集，其余80%去除標注結果作為協同訓練過程中待添加的無標注數據集。

4.2 ? 實驗配置

4.2.1 ? 實驗環境

本文的實驗是在一臺小型服務器上運行的，CPU處理器為Intel（R） Xeon（R） Silver 4114 CPU @2.2GHz，GPU為GeForce GTX 1080Ti，內存為100GB，操作系統為Ubuntu 18.04.1 LTS Server。使用的編程語言為Python，版本為3.6.7，使用深度學習框架TensorFlow 1.12.0。

4.2.2 ? 實驗設置

（1）協同訓練模型

本文選用了兩個主流的命名實體識別模型進行協同訓練，其一是CRF序列標注模型[3]，另一個則是基于深度學習的BiLSTM-CRF模型[5]。前者屬于傳統的概率圖模型，對條件分布進行建模，后者旨在通過一個深度神經網絡直接學習從輸入文本到標注序列的映射關系，是一個端到端的過程。兩種模型從學習和訓練的原理上具有顯著的差異性和互補性。

實驗使用python-crfsuite庫實現CRF模型。為避免分詞的影響，采用基于字符特征的CRF模型。特征方面選擇大小為2的上下文窗口，考慮前后各兩個字符對當前字符的影響，特征包括1-Gram、2-Gram、字符所在詞的詞性以及在詞中的位置特征。BiLSTM模型的batch_size為16，學習率取0.001，采用Adam梯度下降優化算法，為防止過擬合，實驗中采用early_stop準則，使用驗證集，如果評價指標在驗證集上連續三個epoch沒有變化，就停止訓練。

（2）網絡參數設置

在本文的協同訓練框架中，我們將無標注數據子集的數量設置為100。在候選無標注樣本的內容表示部分，分別通過128個大小為3、4、5的卷積核，步長為1進行卷積，使用ReLU激活函數。在不確定性表示部分，使用20個大小為3的卷積核，步長為1進行卷積。全連接層輸出向量維度為256。設置折扣因子為0.99，batch_size為32?；胤庞洃泦卧畲笕萘繛?000個轉移樣本，學習率和行為策略的參數都設置為從開始到1000個轉移樣本區間內線性遞減的形式，即從0.005降到0.00025，從1.0降到0.0001。

（3）對比實驗設置

我們將本文提出的基于強化學習的協同訓練方法RL Co-Training與兩種經典方法對比：

①Standard Co-Training：協同訓練的兩個模型各自隨機選擇偽標注樣本進行協同訓練[7]。

②CoTrade Co-Training：協同訓練的兩個模型各自挑選置信度高的偽標注樣本，添加到對方的訓練集中[22]。

4.3 ? 實驗結果分析

本文在人民日報和金融新聞兩種不同領域的語料上分別進行實驗，并與兩種經典的協同訓練算法Standard Co-Training，CoTrade Co-Training進行對比。實驗中，首先使用從語料中隨機選擇的500個句子作為少量的帶有標注的訓練數據對兩個學習模型進行初始化，得到兩個弱學習器，之后分別使用三種不同的協同訓練算法，每次根據各自不同的樣本選擇策略不斷添加100句偽標注數據，擴增訓練集，迭代訓練學習模型，最后利用測試集計算模型對所有實體識別的F1值，具體結果如表1和表2所示。

從中可以看出，（1）本文提出的基于強化學習的協同訓練方法RL Co-Training在只有少量標注數據初始化模型的情況下，無須人工參與，通過利用大量無標注語料迭代訓練，可以有效提升模型性能，在兩種測試語料上模型的F1值均可有效提升10%左右，證明了本文方法的有效性和通用性;（2）本文的RL Co-Training方法表現效果要好于傳統的協同訓練方法，其F1值高于其他方法5%左右。

為了進一步比較分析三種協同訓練算法樣本選擇策略的性能，圖3和圖4分別給出了在兩種語料上，各方法在驗證集上F1值隨迭代次數的變化情況。在每種語料上分別展示了在協同訓練迭代過程中，兩種協同訓練模型CRF和BiLSTM，以及對兩個模型進行集成后的性能變化，橫軸表示迭代過程中添加進訓練集中的偽標注數據的句子數量，縱軸表示模型在驗證集上的F1值。

從中可以看出：（1）在添加句子數量相同的情況下，本文的RL Co-Training方法獲得了最好的效果，模型性能的提升最大，說明本文提出的協同訓練算法學習效率最高;（2）Standard Co-training隨機選擇添加樣本的方法造成了模型極強的不穩定性，CoTrade Co-training可以有效提升協同訓練效果，但是每次迭代只添加置信度高的樣本限制了模型的泛化能力。本文方法與兩者相比有顯著提升，證明了本文使用強化學習智能體來自動學習一種樣本選擇策略，替代傳統的預先定義的啟發式樣本選擇策略方法的有效性。強化學習智能體可以對樣本空間進行充分探索，選取更高質量的無標注數據，不僅可以幫助改善Standard Co-Training算法在隨機挑選樣本時發生的采樣偏移問題，還可以改善CoTrade Co-Training算法由于局部采樣造成的對模型泛化能力的限制。

此外，為了驗證本文方法的魯棒性，我們設計了如下實驗：首先，使用原始數據劃分訓練強化學習智能體Q-agent。在測試時，隨機生成另外五個訓練集，并將剩余數據按原比例劃分為測試集和無標注數據集，使用Q-agent已經學到的樣本選擇策略對兩個模型重新進行協同訓練，將兩個模型集成后在測試集上進行測試，結果如表3所示。結果表明，本文方法對不同的初始化訓練集具有魯棒性，我們模型中的強化學習智能體Q-agent可以學習到一個良好的魯棒的樣本選擇策略來選擇高質量的無標注子集，以幫助協同訓練過程。

5 ? 結論（Conclusion）

本文提出了一種基于強化學習的協同訓練框架，在少量標注數據的情況下，無須人工參與，利用大量無標注數據自動提升模型性能?？蚣苤械膹娀瘜W習智能體可以學習一種良好的樣本選擇策略，選擇高質量的無標注數據進行協同訓練。我們在兩種不同領域的語料上對模型進行了評估，實驗結果表明本文方法性能優于其他的協同訓練算法。我們還對強化學習智能體進行了測試，證明了學習到的樣本選擇策略對不同的初始化訓練集和數據劃分具有魯棒性。在未來的研究中，我們計劃將本文提出的框架擴展應用到其他不同類型的任務中去。

參考文獻（References）

[1] Grishman R，Sundheim B.Message Understanding conference-6：a brief history[C].Proceedings of the 16th International Conference on Computational Linguistics，1996：466-471.

[2] Finkel J R，Grenager T，Manning C.Incorporating non-local information into information extraction systems by Gibbs sampling[C].Proceedings of the 2005，43rd Annual Meeting of the Association for Computational Linguistics，2005：363-370.

[3] Lafferty J，McCallum A，Pereira F.Conditional random fields：probabilistic models for segmenting and labeling sequence data[C].Proceedings of the 18th International Conference on Machine Learning，2001：282-289.

[4] Collobert R，Weston J，Bottou L.Natural language processing（almost） from scratch[J].Journal of Machine Learning Research，2011，12：2493-2537.

[5] Chiu J P C，Nichols E.Named entity recognition with bidirectional LSTM-CNNs[J].Transactions of the Association for Computational Linguistics，2016（4）：357-370.

[6] Chapelle O，Scholkopf B，Zien A.Semi-supervised learning （chapelle，o.et al.，eds.;2006）[book reviews][J].IEEE Transactions on Neural Networks，2009，20（3）：542-542.

[7] Blum A，Mitchell T.Combining labeled and unlabeled data with co-training[J].Proceedings of the eleventh annual conference on Computational learning theory，1998：92-100.

[8] Zhang R，Rudnicky A I.A new data selection principle for semi-supervised incremental learning[C].IEEE，2006（2）：780-783.

[9] Minh V，Kavukcuoglu K，Silver D.Human-level control through deep reinforcement learning[J].Nature，2015，518（7540）：529-533.

[10] LIAO W，Veeramachaneni S.A simple semi-supervised algorithm for named entity recognition[C].Naacl Hlt Workshop on Semi-supervised Learning for Natural Language Processing，2009.

[11] Aryoyudanta B，Adji T B，Hidayah I.Semi-supervised learning approach for Indonesian named entity recognition （NER） using co-training algorithm[C].International Seminar on Intelligent Technology & Its Applications IEEE，2017.

[12] XIAO K.Chinese organization name recognition based on co-training algorithm[C].International Conference on Intelligent System & Knowledge Engineering IEEE，2008.

[13] ZHANG R，Rudnicky A I.A new data selection principle for semi-supervised incremental learning[C].18th International Conference on Pattern Recognition，IEEE Computer Society，2006：780-783.

[14] Chawla N V，Karakoulas G.Learning from labeled and unlabeled data：An empirical study across techniques and domains[J].Journal of Artificial Intelligence Research，2005，23：331-366.

[15] Mnih V，Kavukcuoglu K，Silver D，et al.Human-level control through deep reinforcement learning[J].Nature，2015，518（7540）：529.

[16] Silver D，Huang A，Maddison C J.Mastering the game of Go with deep neural networks and tree search[J].Nature，2016，529（7587）：484-489.

[17] Yu K，Jia L，Chen Y.Deep learning：yesterday，today，and tomorrow[J].Journal of computer Research and Development，2013，50（9）：1799-1804.

[18] Sutton R，Barto A.Reinforcement learning：An ?Introduction[M].MIT Press，1998.

[19] Lange S，Riedmiller M.Deep auto-encoder neural networks in reinforcement learning[C].The 2010 International Joint Conference on Neural Networks，2010，1-8.

[20] Rajaraman A，Ullman J D.Finding similar items[J].Mining of Massive Datasets，2010，77：73-80.

[21] Watkins C J C H，Dayan P.Q-learning[J].Machine learning，1992，8（3-4）：279-292.

[22] Zhang M L，Zhou Z H.CoTrade：confident co-training with data editing[J].IEEE Transactions on Systems，2011，41（6）：1612-1626.

作者簡介：

程鐘慧（1995-），女，碩士生.研究領域：自然語言處理.

陳 ?珂（1977-），女，博士，副教授.研究領域：時空數據庫，數據挖掘，數據隱私保護.

陳 ? 剛（1973-），男，博士，教授.研究領域：大數據管理.

徐世澤（1973-），男，本科，高級工程師.研究領域：電力系統及自動化.本文通訊作者.

傅丁莉（1988-），女，本科，工程師.研究領域：通信技術.