基于RoBERTa和多頭注意力的簡(jiǎn)歷命名實(shí)體識(shí)別方法

張玉杰　李勁華　趙俊莉

摘要：針對(duì)傳統(tǒng)簡(jiǎn)歷實(shí)體識(shí)別存在一詞多義和訓(xùn)練時(shí)間長(zhǎng)的問(wèn)題，提出了一種新的簡(jiǎn)歷命名實(shí)體識(shí)別模型。通過(guò)RoBERTa預(yù)訓(xùn)練模型獲取具有上下文關(guān)系的字向量，結(jié)合BiGRU和多頭注意力機(jī)制（Multi-head Attention， MHA）層提取全局信息和局部相關(guān)性信息，采用CRF層修正解碼確定最終標(biāo)簽，同時(shí)裁剪RoBERTa預(yù)訓(xùn)練模型。實(shí)驗(yàn)表明，該模型在中文電子簡(jiǎn)歷數(shù)據(jù)集取得95.97%的F1值，高于其他主流模型，且相較于未剪枝的模型提升0.43%，減少1/5訓(xùn)練時(shí)間。

關(guān)鍵詞：命名實(shí)體識(shí)別；RoBERTa預(yù)訓(xùn)練模型；多頭注意力機(jī)制；條件隨機(jī)場(chǎng)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

隨著信息與科技時(shí)代到來(lái)，電子簡(jiǎn)歷逐步替代紙質(zhì)簡(jiǎn)歷，如何從非結(jié)構(gòu)化文本中提取重要信息成為信息抽取領(lǐng)域亟待解決的關(guān)鍵問(wèn)題［1］。命名實(shí)體識(shí)別作為自然語(yǔ)言處理的一項(xiàng)基本技術(shù)，可從結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中提取需要的實(shí)體。公司通過(guò)命名實(shí)體識(shí)別技術(shù)提取簡(jiǎn)歷中學(xué)歷、工作單位、職位等個(gè)人信息，無(wú)需詳看簡(jiǎn)歷。命名實(shí)體識(shí)別相關(guān)研究經(jīng)歷了基于規(guī)則、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三個(gè)階段［2］。基于規(guī)則的方法依賴人工制定，可根據(jù)特定領(lǐng)域字典和句法—詞法模型設(shè)計(jì)規(guī)則［3］。當(dāng)字典詳盡時(shí)，基于規(guī)則的方法準(zhǔn)確率較高，但需要特殊專業(yè)領(lǐng)域?qū)＜抑贫ㄒ?guī)則，不容易遷移至其他專業(yè)領(lǐng)域［4］。命名實(shí)體識(shí)別通過(guò)機(jī)器學(xué)習(xí)轉(zhuǎn)換為序列標(biāo)注任務(wù)，常用方法包括隱馬爾可夫模型［5］、最大熵模型［6］和條件隨機(jī)場(chǎng)［7］。機(jī)器學(xué)習(xí)相較于規(guī)則方法，前者實(shí)體識(shí)別效果明顯提升，但仍需人工提取特征［3］。隨著深度學(xué)習(xí)興起，使用神經(jīng)網(wǎng)絡(luò)解決命名實(shí)體識(shí)別問(wèn)題成為研究熱點(diǎn)。深度學(xué)習(xí)不依賴人工提取特征和專業(yè)領(lǐng)域知識(shí)，能基于神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)和抽取特征。BiLSTM-CRF［8］模型使用雙向LSTM提取長(zhǎng)遠(yuǎn)距離信息，采用CRF模型修正解碼，成為命名實(shí)體識(shí)別經(jīng)典模型之一。由于LSTM不能并行計(jì)算，IDCNN［9］改進(jìn)CNN模型，以跳躍步長(zhǎng)方法增大感受野，解決了傳統(tǒng)RNN模型不能并行運(yùn)算，訓(xùn)練時(shí)間長(zhǎng)的問(wèn)題。相較于單一基于字符的方法，詞匯信息融入基于字符可提升識(shí)別效果，如融合LSTM輸入層字符和所匹配到的字符信息［10］、基于單詞—字符圖卷積網(wǎng)絡(luò)（WC-GCN）［11］。為獲取多級(jí)信息，可建立具有段級(jí)信息和詞級(jí)信息模塊化交互網(wǎng)絡(luò)模型用于NER［12］。以上神經(jīng)網(wǎng)絡(luò)字向量和字符為一一對(duì)應(yīng)，無(wú)法解決一詞多義問(wèn)題。大規(guī)模語(yǔ)料訓(xùn)練模型如ELMO［13］、BERT［14］、ALBERT［15］、RoBERTa［16］等逐步替代了以Word2vec［17］為主傳統(tǒng)預(yù)訓(xùn)練模型。預(yù)訓(xùn)練模型和深度學(xué)習(xí)模型相結(jié)合，可有效提升命名實(shí)體識(shí)別準(zhǔn)確率［18-20］。針對(duì)細(xì)粒度實(shí)體識(shí)別，可基于BERT模型和BiLSTM-CRF模型的結(jié)合［21］。但預(yù)訓(xùn)練模型參數(shù)過(guò)大，造成訓(xùn)練時(shí)間長(zhǎng)。綜上，本文基于BiGRU-CRF模型，添加RoBERTa預(yù)訓(xùn)練模型建立上下文關(guān)系，引入多頭注意力機(jī)制提取局部相關(guān)特征，通過(guò)裁剪RoBERTa以減少訓(xùn)練時(shí)間，提升識(shí)別效果。

1 模型構(gòu)建

新建模型由RoBERTa嵌入層，BiGRU長(zhǎng)遠(yuǎn)距離特征提取層，MHA局部特征提取層和CRF特征解碼層構(gòu)成（圖1）。RoBERTa層通過(guò)深層transformer架構(gòu)獲取動(dòng)態(tài)字向量；BiGRU層采用帶有重置門和更新門的雙向門控單元提取長(zhǎng)遠(yuǎn)距離特征；MHA層通過(guò)拼接多個(gè)子空間的自注意力提取局部相關(guān)特征；CRF層通過(guò)計(jì)算轉(zhuǎn)移矩陣，增加標(biāo)簽間約束關(guān)系，獲得最終標(biāo)簽。

1.1 RoBERTa嵌入層

傳統(tǒng)Word2vec和GloVe預(yù)訓(xùn)練模型所得字向量和字符為一一對(duì)應(yīng)，同一字符無(wú)法根據(jù)不同語(yǔ)境生成不同字向量。但RoBERTa［16］模型采用深層雙向transformer架構(gòu)能夠充分獲取輸入文本語(yǔ)法和語(yǔ)義信息，根據(jù)上下文語(yǔ)境不同，生成動(dòng)態(tài)字向量。RoBERTa是BERT的變體，基于BERT模型做如下改進(jìn)：

（1）動(dòng)態(tài)掩碼。數(shù)據(jù)預(yù)處理過(guò)程中，BERT對(duì)輸入文本中的單詞隨機(jī)掩碼，屬于靜態(tài)掩碼方式。模型訓(xùn)練階段中RoBERTa的掩碼位置會(huì)實(shí)時(shí)計(jì)算，實(shí)現(xiàn)動(dòng)態(tài)掩碼，提高數(shù)據(jù)復(fù)用效率。

（2）舍棄預(yù)測(cè)下一個(gè)句子（Next Sentence Prediction， NSP）任務(wù)。兩個(gè)句子通過(guò)BERT拼接為一個(gè)句子對(duì)，待輸入模型后，通過(guò)NSP任務(wù)預(yù)測(cè)兩個(gè)句子關(guān)系。由于該方法對(duì)于部分下游任務(wù)并無(wú)關(guān)聯(lián)，RoBERTa采用“跨文檔的整句輸入”，舍棄NSP任務(wù)。

（3）采用更大的預(yù)訓(xùn)練數(shù)據(jù)、預(yù)訓(xùn)練步數(shù)和批次，提升模型泛化能力。由于原始RoBERT模型參數(shù)量大，訓(xùn)練時(shí)間過(guò)長(zhǎng)，深層transformer架構(gòu)中不同隱藏層在預(yù)訓(xùn)練過(guò)程中所學(xué)信息不同，對(duì)于下游任務(wù)影響也不同［15］，基于12層RoBERTa-base剪枝RoBERTa，以保證識(shí)別準(zhǔn)確率同時(shí)減少訓(xùn)練時(shí)間。

1.2 BiGRU長(zhǎng)遠(yuǎn)距離特征提取層

LSTM能夠提取長(zhǎng)遠(yuǎn)距離特征，且不容易出現(xiàn)梯度彌散現(xiàn)象，但模型結(jié)構(gòu)比較復(fù)雜，參數(shù)量較大。門控制單元［22］（GRU）合并LSTM內(nèi)部狀態(tài)向量和輸出向量，統(tǒng)一為狀態(tài)向量。由LSTM的輸入門、遺忘門和輸出門減少為重置門和更新門，降低了模型復(fù)雜度（圖2）。

重置門通過(guò)門控向量gs控制上一個(gè)時(shí)間戳ht－1進(jìn)入當(dāng)前GRU的信息量

其中，sigmoid和tanh為激活函數(shù)；Ws和Wh為重置門權(quán)重矩陣；bs和bh為偏置項(xiàng)；xt為當(dāng)前時(shí)間戳輸入向量。

更新門控制上一個(gè)時(shí)間戳ht－1和重置門Ht輸出對(duì)于新?tīng)顟B(tài)向量ht的影響

其中，Wr為更新門權(quán)重矩陣，br為偏置項(xiàng)。單向GRU只能捕獲序列歷史信息，而命名實(shí)體識(shí)別任務(wù)中，實(shí)體標(biāo)簽和該實(shí)體上下文有關(guān)。因此，選取雙向門控單元（BiGRU）提取上下文信息。

1.3 MHA局部特征提取層

命名實(shí)體識(shí)別過(guò)程中，為識(shí)別句子局部相關(guān)特征，需加入自注意力機(jī)制。自注意力機(jī)制通過(guò)計(jì)算輸入文本字符之間關(guān)聯(lián)度，獲取字符之間聯(lián)系

其中，AttentionQ，K，V為計(jì)算所得注意力值；Q表示查詢向量矩陣；K表示鍵向量矩陣；V表示值向量矩陣；dk表示詞向量維度；由BiGRU的輸出分別乘以狀態(tài)矩陣Wq，Wk，Wv計(jì)算得Q，K，V。通過(guò)QKT計(jì)算查詢向量和鍵向量之間相似度，除dk以防結(jié)果過(guò)大，添加Softmax歸一化處理，乘以值向量得最終注意力值。

為捕捉多個(gè)維度特征，采取多頭注意力機(jī)制。將Q，K，V線性映射，形成多個(gè)子空間，拼接計(jì)算結(jié)果

其中，headj表示第j個(gè)注意力頭注意力計(jì)算結(jié)果；Concat表示拼接多個(gè)head；W為權(quán)重矩陣。

1.4 CRF解碼層

命名實(shí)體識(shí)別中標(biāo)簽之間具有連續(xù)關(guān)系，如“I-NAME”只能標(biāo)在“B-NAME”和“I-NAME”之后，而多頭注意力層只能對(duì)當(dāng)前狀態(tài)下最大概率標(biāo)簽完成輸出。條件隨機(jī)場(chǎng)（CRF）通過(guò)增加標(biāo)簽間約束關(guān)系，有效提高命名實(shí)體識(shí)別效率。

假設(shè)輸入序列X=x1，x2，…，xn，其對(duì)應(yīng)預(yù)測(cè)標(biāo)簽序列Y=y1，y2，…，yn，則預(yù)測(cè)標(biāo)簽序列得分函數(shù)

其中，M表示轉(zhuǎn)移矩陣；P表示BiGRU輸出的得分矩陣；Myi，yi+1表示標(biāo)簽i轉(zhuǎn)移為標(biāo)簽i+1分?jǐn)?shù)；Pi，yi表示輸入文本第i個(gè)字記為yi標(biāo)簽的分?jǐn)?shù)。基于維特比算法計(jì)算得分最高標(biāo)簽序列作為最優(yōu)標(biāo)簽序列

其中，y表示得分最高的標(biāo)簽序列，Yx表示所有可能標(biāo)簽序列，表示真實(shí)標(biāo)簽。

2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

2.1 數(shù)據(jù)來(lái)源

實(shí)驗(yàn)采用Resume［23］中文電子簡(jiǎn)歷數(shù)據(jù)集，8類實(shí)體包括國(guó)籍、人名、籍貫、學(xué)歷、組織名、專業(yè)名、民族和職位名（表1）。數(shù)據(jù)集按照8∶1∶1比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集（表2）。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)基于windows11操作系統(tǒng)，處理器為R7-4800H@2.9GHz，顯卡為RTX2060（6G），深度學(xué)習(xí)框架為Pytorch1.5，編譯環(huán)境為python3.6。采用的預(yù)訓(xùn)練模型為RoBERTa-base，輸出向量維度為768維；優(yōu)化器使用Adam，其中學(xué)習(xí)率為1e-3，Batch_size為64，Dorpout為0.3；最大序列長(zhǎng)度為128；MHA頭數(shù)為10。

3.2 消融實(shí)驗(yàn)結(jié)果與分析

3.2.1 實(shí)驗(yàn)一 為驗(yàn)證所提原始RoBERTa-BiGRU-MHA-CRF模型有效性以及添加RoBERTa層和MHA層對(duì)于模型整體性能的影響，設(shè)置BiGRU-CRF、BiGRU-MHA-CRF、RoBERTa-BiGRU-CRF和RoBERTa-BiGRU-MHA-CRF四組消融實(shí)驗(yàn)（表3）。對(duì)比BiGRU-CRF模型和BiGRU-MHA-CRF模型，后者F1值提升0.43%，表明添加多頭注意力機(jī)制能夠在多個(gè)子空間提取局部信息，提升模型性能。對(duì)比BiGRU-CRF模型和RoBERTa-BiGRU-CRF模型，后者F1值提升2.99%，表明RoBERTa預(yù)訓(xùn)練模型作為嵌入層字向量表示可充分提取文本間的語(yǔ)義特征，使預(yù)訓(xùn)練所得字向量能夠更好表征不同語(yǔ)境中語(yǔ)義和語(yǔ)法信息。RoBERTa-BiGRU-MHA-CRF模型相較于BiGRU-MHA-CRF模型和RoBERTa-BiGRU-CRF模型F1值分別提升3.30%和0.74%，表明同時(shí)添加RoBERTa層和MHA層可提升模型的整體性能。

3.2.2 實(shí)驗(yàn)二 基于RoBERTa-BiGRU-MHA-CRF模型，裁剪RoBERTa預(yù)訓(xùn)練模型，選擇1到12層對(duì)比實(shí)驗(yàn)，評(píng)價(jià)指標(biāo)見(jiàn)表4。可知，隨著隱藏層數(shù)增加，模型識(shí)別效果逐步提升，隱藏層數(shù)為8時(shí)達(dá)到最優(yōu)，其F1值為95.97%。相較于隱藏層數(shù)為12時(shí)，單輪訓(xùn)練時(shí)間減少8秒，F(xiàn)1值提升0.42%。相較于RoBERTa-BiGRU-MHA-CRF模型，裁剪模型既可減少訓(xùn)練時(shí)間又能提升性能。由表5可知，國(guó)籍、姓名和籍貫這三類實(shí)體識(shí)別效果最好，P、R和F1值為100%。組織名和職位名識(shí)別效果較差，因?yàn)檫@兩類實(shí)體邊界過(guò)長(zhǎng)且存在實(shí)體嵌套問(wèn)題。

3.3 對(duì)比實(shí)驗(yàn)

基于Resume數(shù)據(jù)集，對(duì)比新模型和Lattice-lstm、CAN、WC-LSTM等主流模型（表6）。Lattice-lstm模型改進(jìn)了LSTM模型，可編碼輸入字符序列以及與詞典匹配的所有潛在詞，對(duì)比實(shí)驗(yàn)中表現(xiàn)最差，F(xiàn)1值僅為94.46%。CAN模型包括基于字符的CNN和具有全局自注意力的GRU，F(xiàn)1值為94.94%。WC-LSTM模型通過(guò)對(duì)詞語(yǔ)起始符和結(jié)束符添加信息，獲取詞語(yǔ)邊界信息，并編碼詞語(yǔ)信息為固定大小以實(shí)現(xiàn)批量訓(xùn)練，該模型F1值為95.21%。相較于上述模型，本文模型命名實(shí)體識(shí)別效果最優(yōu)，F(xiàn)1值為95.97%。

4 結(jié)論

本文提出了一種基于RoBERTa和多頭注意力的簡(jiǎn)歷命名實(shí)體識(shí)別方法。RoBERTa模型作為嵌入層，可生成動(dòng)態(tài)字向量，解決一詞多義問(wèn)題；添加多頭注意力機(jī)制可提取BiGRU丟失的部分局部相關(guān)特征，裁剪RoBERTa模型可減少訓(xùn)練時(shí)間；采用Resume數(shù)據(jù)集實(shí)驗(yàn)表明，該方法的識(shí)別效果高于其他主流模型。由于Resume數(shù)據(jù)集數(shù)據(jù)較少，且存在實(shí)體嵌套問(wèn)題，下一步將考慮擴(kuò)充簡(jiǎn)歷數(shù)據(jù)集研究嵌套實(shí)體，提升命名實(shí)體識(shí)別效果。

參考文獻(xiàn)

［1］王傳濤，丁林楷，楊學(xué)鑫，等.基于BERT的中文電子簡(jiǎn)歷命名實(shí)體識(shí)別［J］.中國(guó)科技論文，2021，16（7）：770-775+782.

［2］劉瀏，王東波.命名實(shí)體識(shí)別研究綜述［J］.情報(bào)學(xué)報(bào)，2018，37（3）：329-340.

［3］LI J， SUN A X， HAN J L， et al. A survey on deep learning for named entity recognition［J］. IEEE Transactions on Knowledge and Data Engineering， 2020， 34（1）： 50-70.

［4］QUIMBAYA A P， MUNERA A S， RIVERA R A G， et al. Named entity recognition over electronic health records through a combined dictionary-based approach［J］. Procedia Computer Science， 2016， 100： 55-61.

［5］俞鴻魁，張華平，劉群，等.基于層疊隱馬爾可夫模型的中文命名實(shí)體識(shí)別［J］.通信學(xué)報(bào)，2006，27（2）：87-94.

［6］陸銘，康雨潔，俞能海.簡(jiǎn)約語(yǔ)法規(guī)則和最大熵模型相結(jié)合的混合實(shí)體識(shí)別［J］.小型微型計(jì)算機(jī)系統(tǒng)，2012，33（3）：537-541.

［7］燕楊，文敦偉，王云吉，等.基于層疊條件隨機(jī)場(chǎng)的中文病歷命名實(shí)體識(shí)別［J］.吉林大學(xué)學(xué)報(bào)（工學(xué)版），2014，44（6）：1843-1848.

［8］HUANG Z H，XU W，YU K. Bidirectional LSTM- CRF models for sequence tagging［DB/OL］. （2015-08-09）［2022-02-26］. https：//doi.org/10.48550/arXiv.1508.01991.

［9］STRUBELL E， VERGA P， BELANGER D， et al. Fast and accurate entity recognition with iterated dilated convolutions［C］// 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen， 2017： 2670-2680.

［10］ MA R T， PENG M L， ZHANG Q， et al. Simplify the usage of lexicon in Chinese NER［C］// 58th Annual Meeting of the Association for Computational Linguistics. Online， 2020： 5951-5960.

［11］ TANG Z， WAN B Y， YANG L. Word-character graph convolution network for Chinese named entity recognition［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2020， 28： 1520-1532.

［12］ LI F， WANG Z， HUI S C， et al. Modularized interaction network for named entity recognition［C］// 59th Annual Meeting of the Association for Computational Linguistics and 11th International Joint Conference on Natural Language Processing. Online， 2021： 200-209.

［13］ PETERS M E， NEMANN M， IYYER M， et al. Deep contextualized word representations［C］// 2018 Conference of the North American Chapter of the Association for Computational Linguistics. New Orlean， 2018： 2227-2237.

［14］ DEVLIN J， CHANG M W， LEE K， et al. BERT： Pre-traning of deep bidirectional transformers for language understanding［C］// 2019 Conference of the North American Chapter of the Association for Computational Linguistics. Minneapolis， 2019： 4171-4186.

［15］ LAN Z Z， CHEN M D， GOODMAN S， et al. ALBERT： A lite bert for self-supervised learning of language representations［DB/OL］. （2019-09-26）［2022-02-26］. https：//doi.org/10.48550/arXiv.1909.11942.

［16］ LIU Y H， OTT M， GOYAL N， et al. RoBERTa： A robustly optimized bert pretraining approach［DB/OL］. （2019-07-26）［2022-02-26］. https：//doi.org/10.48550/arXiv.1907.11692.

［17］ MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality［C］// 26th International Conference on Neural Information Processing Systems. New York， 2013： 3111-3119.

［18］ 李妮，關(guān)煥梅，楊飄，等.基于BERT-IDCNN-CRF的中文命名實(shí)體識(shí)別方法［J］.山東大學(xué)學(xué)報(bào)（理學(xué)版），2020，55（1）：102-109.

［19］ 孫弋，梁兵濤.基于BERT和多頭注意力的中文命名實(shí)體識(shí)別方法［J/OL］.重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2021：1-10［2022-02-26］. http：//kns.cnki.net/kcms/detail/50.1181.N.20211209.2010.004.html.

［20］ 李正民，云紅艷，王翊臻.基于BERT的多特征融合的醫(yī)療命名實(shí)體識(shí)別［J］.青島大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，34（4）：23-29.

［21］ 任妮，鮑彤，沈耕宇，等.基于深度學(xué)習(xí)的細(xì)粒度命名實(shí)體識(shí)別研究——以番茄病蟲(chóng)害為例［J］.情報(bào)科學(xué)，2021，39（11）：96-102.

［22］ CHUNG J Y， GULCEHRE C， CHO K H， et al. Empirical evaluation of gated recurrent neural networks on sequence modeling［DB/OL］. （2014-12-11）［2022-02-26］.https：//doi.org/10.48550/arXiv.1412.3555.

［23］ ZHANG Y， YANG J. Chinses NER using lattice LSTM［C］// 56th Annual Meeting of the Association for Computational Linguistics. Melbourne， 2018： 1554-1564.

［24］ ZHU Y Y， WANG G X. CAN-NER： Convolutional attention network Chinese named entity recognition［C］// 2019 Conference of the North American Chapter of the Association for Computational Linguistics. Minneapolis， 2019： 3384 -3393.

［25］ LIU W， XU T G， XU Q H. et al. An encoding strategy based word-character LSTM for Chinese NER［C］// 2019 Conference of the North American Chapter of the Association for Computational Linguistics. Minneapolis， 2019： 2379-2389.

Resume Name Entity Recognition Method Based on

RoBERTa and Multi-head Attention

ZHANG Yu-jie， LI Jin-hua， ZHAO Jun-li

（School of Computer Science and Technology， Qingdao University， Qingdao 266071， China）

Abstract： A new named entity recognition model for resumes was proposed to address the problems of multiple word meanings and long training time in traditional resume entity recognition. The word vectors with contextual relationships were obtained by RoBERTa pre-training model， the global information and local relevance information were extracted by combining BiGRU and Multi-head Attention （MHA） layers. The final labels were determined by corrective decoding using CRF layer， and the RoBERTa pre-training model was cropped at the same time. The experiment shows that the F1 value of the new model in Chinese electronic resume dataset is 95.97%， which is higher than other mainstream models. Compared with the non pruning model， the F1 value of the new model is increased by 0.43% and the training time is reduced by 1/5.

Keywords： named entity recognition; RoBERTa pre-training model; multi-head attention mechanism; conditional random fields

收稿日期：2022-04-14

基金項(xiàng)目：國(guó)家自然科學(xué)基金（批準(zhǔn)號(hào)：62172247）資助；山東省重點(diǎn)研發(fā)計(jì)劃重大科技創(chuàng)新工程（批準(zhǔn)號(hào)：2019JZZY020101）資助。

通信作者：李勁華，男，博士，教授，主要研究方向?yàn)橛?jì)算機(jī)科學(xué)、人工智能等。E-mail： lijh@qdu.edu.cn