基于多粒度信息的中醫(yī)文本關(guān)系抽取的研究

王亞文 王培 盧苗苗

摘要：中醫(yī)領(lǐng)域知識主要是以文本的形式存在，具有無規(guī)律的語言特性，中醫(yī)知識的有效挖掘?qū)Τ浞掷梦谋局刑N藏的經(jīng)驗知識具有重要作用，信息抽取任務(wù)是中醫(yī)知識管理的重要子任務(wù)，而關(guān)系抽取又是信息抽取任務(wù)中的重要環(huán)節(jié)。針對單粒度信息關(guān)系抽取方法中存在的句意傳遞錯誤和文本語義丟失的問題，提出將句子中的多粒度信息應(yīng)用于中醫(yī)文本關(guān)系抽取任務(wù)，構(gòu)建多粒度信息抽取模型，將詞語級信息整合到字符序列中，多種粒度的文本信息可以為模型提供更多的知識引導(dǎo)，更全面的挖掘語義特征。實驗結(jié)果證明，此方法能夠更加精確的抽取中醫(yī)文本關(guān)系，使模型具有更好的魯棒性，基本不受噪聲的影響。

關(guān)鍵詞：多粒度信息;關(guān)系抽取;深度學(xué)習(xí);中醫(yī)文本

中圖分類號：TP3? ? ? ? 文獻標(biāo)識碼：A

文章編號：1009-3044（2021）27-0015-02

1引言

中醫(yī)知識包含了中華民族千百年來在和疾病斗爭中總結(jié)的豐富診療經(jīng)驗，在長期發(fā)展的過程中也形成了一種獨特的診療體系，留下了大量對現(xiàn)代疾病診斷具有重要指導(dǎo)價值的文獻資料。然而，中醫(yī)文本信息尚未得到有效利用，關(guān)系抽取[1]技術(shù)是有效利用中醫(yī)文本信息的關(guān)鍵技術(shù)之一，目的是提取中醫(yī)文本實體對之間的語義關(guān)系[2]。例如：“若兼有氣虛者，身倦乏力，少氣自汗宜加黃芪，并加以重用，以補氣行血”，這句中的“黃芪”和“氣虛”是“治療”的關(guān)系。

隨著深度學(xué)習(xí)[3]的不斷發(fā)展，以其自動提取特征的優(yōu)勢被更多地應(yīng)用在關(guān)系抽取任務(wù)中[4]。目前大多數(shù)的關(guān)系抽取模型是基于字粒度或者基于詞粒度的單一粒度進行抽取。基于字符的關(guān)系抽取將每個輸入語句視為一個字符序列。這種方法不能充分利用詞語級信息，捕獲的句子特征較少，字符、語法和語義之間的關(guān)系較為松散，無法完整的表達出句子語義，比如“羌活”這個詞如果拆成字粒度就成了“羌”和“活”，這兩個字的單獨含義明顯與它們組合起來的詞的含義大相徑庭。所以利用字粒度信息捕獲的句子特征比較少，存在“文本語義丟失”的問題，完全依賴字符進行關(guān)系抽取效果不佳?；谠~粒度的關(guān)系抽取模型，首先要進行分詞，然后推導(dǎo)出單詞序列，再將每個詞語表示為詞向量，輸入到神經(jīng)網(wǎng)絡(luò)模型中，利用詞粒度信息容易引入詞語分割錯誤帶來的“句意錯誤傳播”問題。例如給定中醫(yī)句子：“酒黃疸，心中懊或熱甚而痛，梔子大黃湯主之，蓋為實熱之邪立法也”。句中黃疸和大黃是治療關(guān)系，但是經(jīng)過分詞操作之后“梔子大黃湯主之”被分為“梔子”“大”“黃湯”和“主之”，分完詞之后沒有得到“大黃”這個詞。

因此，基于單粒度信息的抽取方法會存在“文本語義丟失”和“句意傳遞錯誤”的問題。本文結(jié)合字符粒度信息與詞粒度信息的優(yōu)點，使用多粒度信息[5]對中醫(yī)文本進行特征學(xué)習(xí)，既利用了字粒度模型參數(shù)少和不依賴分詞算法的優(yōu)點，解決句意傳遞錯誤的問題，同時利用了詞語中包含的詞法、句法和語義等信息，捕獲更多的文本語義特征，解決文本語義丟失的問題。兩種粒度方法互為補充，提升了中醫(yī)文本關(guān)系抽取的效率。

2 多粒度關(guān)系抽取模型

對于基于字符級信息和詞語級信息訓(xùn)練的模型存在文本實體分割錯誤問題，不能夠充分利用句子的語義特征，限制了模型挖掘深層語義特征的能力。本文利用多種文本粒度的，為模型提供更多的知識引導(dǎo)，從而獲取句子更充分地語義信息，模型具有更好的魯棒性，基本不受噪聲的影響。多粒度關(guān)系抽取模型是在基于字符的雙向長短期記憶網(wǎng)絡(luò)[6]（Bidirectional long short-term memory network，Bi-LSTM）的結(jié)構(gòu)基礎(chǔ)上增加了詞粒度信息流，利用門結(jié)構(gòu)控制信息的嵌入。模型結(jié)構(gòu)如圖1所示。

基于多粒度信息的中醫(yī)文本關(guān)系抽取模型分為四層，分別是嵌入層、編碼層、注意力層和分類層。

2.1嵌入層

由于神經(jīng)網(wǎng)絡(luò)的輸入是數(shù)值類型數(shù)據(jù)，所以在對文本編碼之前需要將中醫(yī)文本數(shù)據(jù)轉(zhuǎn)換為數(shù)值數(shù)據(jù)表示。本文的多粒度信息包括字粒度信息和詞粒度信息，同時利用位置信息，因此在嵌入層需要將字符、詞語和相對位置信息進行向量化表示。

（1）字詞嵌入

在通過神經(jīng)網(wǎng)絡(luò)處理之前將預(yù)處理之后的中醫(yī)文本進行向量化表示，本文采用的是word2vec技術(shù)把文本中包含的字符和詞語分別映射成具有一定維度的實值向量，很好地表達了字和詞語的語義依賴關(guān)系。嵌入層中的[l]表示字符和[w]表示詞語分別映射為字向量[dl]和詞向量[dw]。

（2）位置嵌入

關(guān)系抽取是預(yù)測句子中兩個實體存在的關(guān)系，一般距離實體對越近的字隱含表達實體對的關(guān)系的貢獻越大。句子的每個字符都有兩個位置信息，分別代表與頭實體和尾實體的相對距離，例如給定中醫(yī)句子“若兼陽分氣虛，而脈微神困，懶言多汗者，必加人參”。此句子的頭實體是“脈微”，尾實體是“人參”，字“加”與頭實體的相對距離為10，與尾實體的相對距離是0。

2.2編碼層

本文使用基于網(wǎng)格結(jié)構(gòu)的雙向長短時記憶網(wǎng)絡(luò)（Lattice BiLSTM）作為編碼器，該模型是基于字符的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)（BiLSTM），將字符作為直接輸入，即將每個輸入句子作為字符序列，不同點在于增加了詞粒度信息流，在字符輸入的同時嵌入詞語信息，利用句子中包含的多種粒度信息。模型編碼層中[x]表示編碼層的輸入，[h]表示正向隱藏層，[h]表示逆向隱藏層，[h]表示匯總隱藏層。隱藏層計算如下公式所示，[hci]表示第i個隱藏單元狀態(tài)。

2.3注意力層

在實際應(yīng)用場景中，句子中有些字符對預(yù)測兩個實體關(guān)系具有更加重要的地位。例如給定中醫(yī)句子“黃疸腹?jié)M，小便不利而赤，自汗出，此為表和里實，當(dāng)下之，宜大黃硝石湯”，在預(yù)測“黃疸”與“大黃”之間的關(guān)系時，字“宜”比其他字對關(guān)系預(yù)測的貢獻更大。為了使模型能夠獲得對關(guān)系抽取貢獻較大的特征，本文通過給句子中的每個字分配權(quán)重，增強句子的局部特征。