淺談實(shí)體空間關(guān)系抽取方法的改進(jìn)

姜宜伯

摘要：三維場景的語音交互系統(tǒng)在語音交互的流程中，通過語音識別技術(shù)識別出的文本數(shù)據(jù)存在一詞多義、表述抽象、實(shí)體名稱缺乏統(tǒng)一標(biāo)準(zhǔn)等問題，這些問題給空間實(shí)體識別任務(wù)造成了困難，同時也給空間實(shí)體識別算法在模型訓(xùn)練時引入了噪音，從而降低了模型的準(zhǔn)確率。本文就空間實(shí)體關(guān)系抽取作出了一系列的改進(jìn)，以望為之后的研究者提供一定的參考和借鑒

關(guān)鍵詞：空間實(shí)體識別;長短期記憶網(wǎng)絡(luò);特征表示

中圖分類號：TP391.1文獻(xiàn)標(biāo)識碼：A文章編號：1672-9129（2020）13-0099-01

空間實(shí)體識別是面向三維場景的語音交互系統(tǒng)中自然語言理解模塊的一項(xiàng)基礎(chǔ)任務(wù)，是信息抽取流程的第一步。空間實(shí)體識別指的是從待處理的不規(guī)則文本中識別出文本中描述空間方位的空間實(shí)體。與傳統(tǒng)的命名實(shí)體不同，空間實(shí)體特指具有一定位置信息且參與到空間關(guān)系中、同時不屬于典型的地點(diǎn)或路徑范疇的實(shí)體。

1改進(jìn)后的空間實(shí)體識別模型框架

空間實(shí)體識別與命名實(shí)體識別相同，都是從不規(guī)則的文本中識別出符合任務(wù)需要的目標(biāo)實(shí)體。從文本中識別空間實(shí)體的過程，本質(zhì)上可以看作對不規(guī)則文本的序列標(biāo)注過程，因此，本文類比命名實(shí)體識別問題，將空間實(shí)體識別問題作為序列標(biāo)注問題進(jìn)行建模。

本文主要使用BiLSTM-CRF混合模型處理從不規(guī)則的文本中識別出描述空間關(guān)系的空間實(shí)體的任務(wù)。改進(jìn)后的混合模型主要由詞嵌入層、特征表示層和標(biāo)簽推理層三部分組成。其中詞嵌入層主要負(fù)責(zé)對文本中的單詞進(jìn)行處理，通過分布式表示的方式，將單詞轉(zhuǎn)換成向量;特征表示層主要負(fù)責(zé)對詞嵌入層處理后的數(shù)據(jù)進(jìn)行處理，通過雙向長短期記憶網(wǎng)絡(luò)和全連接神經(jīng)網(wǎng)絡(luò)獲取數(shù)據(jù)之間的特征信息;標(biāo)簽推理層主要負(fù)責(zé)對特征表示層提取的特征信息進(jìn)行處理，通過條件隨機(jī)場計(jì)算出概率最大的標(biāo)注序列。

改進(jìn)后的混合模型處理數(shù)據(jù)的過程與編碼器解碼器模型處理數(shù)據(jù)的過程類似。其對代表單詞信息和位置信息的詞向量進(jìn)行編碼，同時使用全連接神經(jīng)網(wǎng)絡(luò)，對代表單詞的詞性信息和位置信息的詞向量進(jìn)行編碼，再由一個線性層組合兩個模型的編碼結(jié)果，最后通過條件隨機(jī)場模型，從標(biāo)注序列的隨機(jī)分布中推理出最佳的標(biāo)簽序列。

2詞嵌入層

由于傳統(tǒng)序列標(biāo)注任務(wù)中的算法模型無法直接從不規(guī)則的文本信息中學(xué)習(xí)特征，所以需要將不規(guī)則的文本轉(zhuǎn)化為算法模型可以直接處理的形式，然后進(jìn)行后續(xù)的計(jì)算。在傳統(tǒng)的文本到向量的轉(zhuǎn)化過程中，主要是通過人工的方式根據(jù)任務(wù)要求和數(shù)據(jù)結(jié)構(gòu)，設(shè)計(jì)對應(yīng)的特征，然后機(jī)器學(xué)習(xí)模型根據(jù)這些特征生成對應(yīng)的向量。人工設(shè)計(jì)特征的方法耗時費(fèi)力，并且容易過擬合。后來，人們使用深度學(xué)習(xí)的方法，從文本中自動的提取數(shù)據(jù)的特征，將特征映射到向量的轉(zhuǎn)化，這一方法部分替代了傳統(tǒng)序列標(biāo)注任務(wù)中人工設(shè)計(jì)特征的方法。

在信息抽取流程中，詞語被認(rèn)為是具有表達(dá)句子語義信息能力的基本元素，BiLSTM-CRF混合模型中的詞嵌入層，主要使用深度學(xué)習(xí)的方法，將文本中的單詞轉(zhuǎn)換為表示單詞語義信息的詞向量。使用獨(dú)熱表示法表示出的詞向量有三個明顯的缺陷，一是詞向量的維度過高，隨著數(shù)據(jù)的增加，詞典維度會變得非常高，通過獨(dú)熱表示法表示的詞向量也隨之變得非常大。二是詞向量的信息密度低，在使用獨(dú)熱表示法表示出的詞向量中，只有一個維度是有信息的。三是詞向量之間相互獨(dú)立，使用獨(dú)熱表示法表示的詞向量之間沒有語義關(guān)聯(lián)性。

3特征表示層

在計(jì)算輸入序列的語義特征的階段，單層的長短期記憶網(wǎng)絡(luò)只能沿序列正向利用當(dāng)前時刻之前的序列信息，無法利用當(dāng)前時刻之后的序列信息。通過分布式表示方法訓(xùn)練的詞向量作為長短期記憶網(wǎng)絡(luò)的輸入，不能表示句子的全局信息。單層的長短期記憶網(wǎng)絡(luò)在訓(xùn)練的過程中，隨著序列的增長，序列后面的信息對模型當(dāng)前時刻狀態(tài)的影響越來越大，由于單層長短期記憶網(wǎng)絡(luò)不能獲取當(dāng)前時刻之后的后續(xù)序列信息，使得單層長短期記憶網(wǎng)絡(luò)的輸出在準(zhǔn)確率上，是隨著序列的增長而逐漸降低的。

BiLSTM中包含前向和后向兩個長短期記憶網(wǎng)絡(luò)層，其中的前向長短期記憶網(wǎng)絡(luò)可以獲取當(dāng)前時刻之前的序列信息;后向長短期記憶網(wǎng)絡(luò)可以獲取當(dāng)前時刻之后的序列信息。雙向長短期記憶網(wǎng)絡(luò)通過拼接前向和后向兩個長短期記憶網(wǎng)絡(luò)，可以利用序列的全局信息對當(dāng)前時刻的序列狀態(tài)進(jìn)行計(jì)算，這種雙向長短期記憶網(wǎng)絡(luò)的結(jié)構(gòu)提高了序列信息的利用率，同時使計(jì)算結(jié)果可以較為全面地表示文本中單詞的語義特征信息。

4標(biāo)簽推理層

本文使用處理序列標(biāo)注問題的方式，從文本中識別出空間實(shí)體。對文本序列中的元素進(jìn)行標(biāo)注時，常用的標(biāo)注規(guī)則有BIO規(guī)則和BIOES規(guī)則兩種，本文按照BIOES規(guī)則對文本中的元素進(jìn)行標(biāo)注。在BIOES標(biāo)注規(guī)則中，規(guī)定：B表示當(dāng)前的字符或單詞是空間實(shí)體標(biāo)簽的開始;I表示當(dāng)前的字符或單詞是空間實(shí)體標(biāo)簽的中間部分;E表示當(dāng)前的字符或單詞是空間實(shí)體標(biāo)簽的結(jié)尾;O表示當(dāng)前的字符或單詞不屬于空間實(shí)體;S表示當(dāng)前的單個字符或單詞是空間實(shí)體。

5總結(jié)

在自然語言理解模塊的信息抽取流程中命名實(shí)體識別，是其中一項(xiàng)重要的基礎(chǔ)任務(wù)。本文根據(jù)三維場景語音交互系統(tǒng)中交互數(shù)據(jù)的特點(diǎn)，針對傳統(tǒng)命名實(shí)體識別方法在處理空間實(shí)體識別任務(wù)時的準(zhǔn)確率低的問題，對傳統(tǒng)的命名實(shí)體識別方法做了改進(jìn)。當(dāng)然本文的研究還存在許多不足，命名實(shí)體識技術(shù)仍需要研究者們進(jìn)行進(jìn)一步的研究與改進(jìn)。

參考文獻(xiàn)：

[1]基于遷移學(xué)習(xí)和BiLSTM-CRF的中文命名實(shí)體識別[J]. 武惠，呂立，于碧輝.小型微型計(jì)算機(jī)系統(tǒng). 2019（06）

[2]基于SVM-BiLSTM-CRF模型的財產(chǎn)糾紛命名實(shí)體識別方法[J]. 周曉磊，趙薛蛟，劉堂亮，宗子瀟，王其樂，里劍橋.計(jì)算機(jī)系統(tǒng)應(yīng)用. 2019（01）

[3]基于CNN-BLSTM-CRF模型的生物醫(yī)學(xué)命名實(shí)體識別[J]. 李麗雙，郭元凱.中文信息學(xué)報. 2018（01）