基于文本詞特征加權LDA的疾病表征提取方法

余肖生，沈 勝，陳 鵬

(三峽大學 計算機與信息學院，湖北 宜昌 443002)

0 引 言

電子病歷(Electric Medical Record，EMR)是指存儲在計算機上的醫療信息記錄，如病人身份信息、問診記錄、體檢報告等，具有數據體量大、數據結構復雜多樣等特點。EMR已經成為健康醫療大數據中使用最廣泛、記錄信息最豐富、最復雜的數據類型之一。從復雜多樣的非結構化EMR文本數據中提取出疾病表證詞，是EMR文本數據處理及后續相關研究的關鍵。文本提取的方法主要分為兩類：(1)基于人工標注的數據集進行模型訓練，如CRF模型、深度學習模型等[1-2]。但由于醫療數據的專業性，在面對大體量的數據時，醫療數據標注是十分困難的；(2)基于統計聚類實現關鍵信息提取，如TF-IDF模型、詞袋模型等[3-4]。這類模型忽略了文檔詞之間的關聯性，難以有針對性地提取出電子病歷中的疾病表證詞。在基于統計聚類的方法中，LDA(Latent Dirichlet Allocation)模型[5]在統計文檔詞頻率的基礎上，結合文檔詞的共現關系，以實現對文本數據的無監督分類，進而提取出疾病所對應的疾病表證詞。但LDA模型是基于詞頻與詞語共現關系實現文本聚類的，忽略了詞自身的語義信息，這使其在處理復雜文本時不可避免地會出現語義稀疏的問題。

為了解決LDA模型忽略語義信息的問題，該文將詞特征加權引入了標準LDA模型，以提升LDA模型的語義可解釋性，實現對EMR文本數據的針對性挖掘；將詞性、詞長和詞義特征加權引入標準LDA模型，改變了LDA模型的詞分布狀態，提升了任務目標詞的共現頻率，約束了LDA模型的主題詞挖掘，增強了LDA模型的語義解釋能力，從而實現了任務目標詞的有針對性提取。

1 相關工作

1.1 文本數據挖掘

由于醫療領域數據記錄標準不一，往往都是內容形式復雜多樣的非結構化文本數據，因此需要一定的數據挖掘手段對這些文本數據進行提取、分析。其中，文本數據挖掘的手段主要有以下兩類：

(1)基于文本特征。文獻[6-8]基于詞特征的關聯規則與外部語義對文本語義進行擴展，提高了模型的文本分類性能。文獻[9-10]通過對文檔中心詞、關鍵詞、近義詞等進行分析，計算出文檔相似度，進而形成對文檔的分類。胡燕等人認為通常能標識文本特性的往往是文本中的實詞，如名詞、動詞、形容詞、副詞等；而文本中的一些虛詞，如感嘆詞、介詞、連詞等，則對于文本特征識別貢獻很小，因此可以通過詞性特征對文本進行提取[11]。文獻[12]基于語言習慣及句法依存來發現文本特征，進行文本挖掘。

由于EMR文本數據記錄標準不一，記錄形式多樣，且多呈現為百字以內短文本形式。因此，文本特征中的語義相似度、句法依存等方法很難直接應用于EMR文本數據的挖掘。

(2)基于機器學習與深度學習。機器學習算法在EMR文本的特征提取和利用上有著較好的表現，針對于不同的應用場景不同的機器學習算法都有著其獨到的表現[13-15]。而在處理序列化的數據時，機器學習方法通常無法很好地對時序數據進行解釋。為了更好地提取數據的時序特征，文獻[16-17]嘗試使用深度學習(如RNN、LSTM等)方法對文本數據進行建模分析。

機器學習與深度學習方法模型訓練的數據集往往是需要人工標注的。而EMR文本標注需要有專業的醫學知識儲備才能完成，因此對大數據量的EMR文本標注是困難的。

1.2 LDA模型

隨著文本數據挖掘領域的研究發展，文本挖掘任務對文本數據提取出的數據要求也愈發趨向多樣性。研究者開始基于標準LDA模型進行優化變形，以使得LDA模型可以更好地適應于所需求的文本挖掘任務。目前LDA模型優化研究多是圍繞對LDA模型詞分布的調整進行的，對LDA模型的詞分布調整方法主要分為以下兩種：

(1)基于文檔詞頻率的調整詞分布。彭云等人在標準LDA模型的基礎上引入了特征詞-特征詞、特征詞-情感詞和情感詞-情感詞三組語義關系約束，提出了SRC-LDA模型[18]。Fan Lin等人為了降低詞頻對低頻詞提取的影響，引入了TF-IDF特征加權和高斯特征加權，對詞分布進行調整，最終實驗證明高斯特征加權對主題提取結果有明顯的改善[19-20]。文獻[21-24]通過文檔詞之間的共現關系及時序相似性約束對詞分布進行調整，以降低主題分布之間的差異。

(2)基于語義或外部語義庫對詞分布進行調整。文獻[25-28]在對文檔進行建模時，將文檔描述對象的基本信息引入模型中，以便于模型更好地理解文檔內容。張勇等人[29]通過對不同詞性在文本中的重要性進行分析，去除重要性較低的詞性的詞，進而縮減原始數據集，優化計算性能，避免模型提取出詞頻高而重要程度低的詞語。文獻[30]利用網絡語義知識對文檔詞進行概念和命名實體的提取擴充。

上述LDA模型的優化模型，亦難以從EMR文本中有針對性地提取出疾病表征詞。為了更好地提取文本中任務目標詞(疾病表征詞)，該文將詞特征加權引入了LDA模型，使得模型可以適應于任務需求進行有針對性的提取。

2 詞特征加權

為了解決LDA模型忽略語義信息的問題，有針對性地對EMR文本中疾病表證詞進行提取，該文在標準LDA模型的基礎上引入了詞特征加權。詞特征加權是通過對文檔詞的詞性、詞長和詞義的語義特征進行提取，生成相應的文檔詞分布權重，進而生成帶有語義信息的文檔詞分布，從而使得LDA模型可以有針對性地提取文檔中的目標信息。

2.1 基于詞性的詞分布加權

一篇文檔通常是由不同詞性特征的詞組成，不同詞性特征的詞所攜帶的語義信息程度也是不同的。一般來說，文檔中名詞、動詞、形容詞、副詞帶有的語義信息較豐富，具備很好的文檔特性標識能力。而量詞、助詞、介詞等帶有的語義信息較少，且會較頻繁地出現在文檔中，這會對文檔信息提取造成較嚴重的干擾。

在確定提取任務情形下，為了排除低信息量詞的干擾，可結合任務目標對各詞性的信息量進行評估，然后按公式(1)對文檔詞進行加權。

(1)

其中，ρ1為詞性加權權重，v為詞性所對應的權重值。

此外，基于不同任務的文本提取，需獲取的文本信息內容是不同的，所需關注的詞性特征往往也是不同的。如，任務為知識圖譜時，會更關注文本中的實體名詞；任務為情感分析時，則會更關注文本中帶有情感信息的形容詞。因此，在處理確定目標的文本提取任務中，可根據任務所關注的詞性，對權重值進一步的細分，細分規則可參考公式(2)：

(2)

其中，v1,v2,v3,v4分別為一、二、三、四級詞性所對應的細分權重值，一級為關注等級最高的詞性。如，任務知識圖譜時，一級詞性便為名詞。

2.2 基于詞長的詞分布加權

一篇文檔常常會由不同長度的文檔詞組成，且呈現詞長越長其帶有的信息越豐富的特征。長詞主要呈現為兩種情況：(1)由長度短的詞組合而成，對短詞描述的信息進行了擴充或延伸。如，“頭”、“疼”與“頭疼”；(2)專業名詞，這類詞與文本主題關聯度較高，有較好的主題揭示性。如，文本中有詞：“原發性高血壓病”、“繼發性糖尿病”，那么該文本大概率是描述高血壓和糖尿病的電子病歷文本。一般來說，詞長越長的詞，其為專有名詞的概率越高。

在現代漢語中，單字詞多為助詞、介詞，詞信息相對單一；2、3字詞最為常見且應用靈活；4字詞多為成語等固定用詞，詞信息較為豐富；5字以上詞多為專有名詞，詞信息有較好的主題揭示性，且不同詞長的專業名詞應具備相近的主題揭示性。在處理中文文本時，考慮到詞長與主題的相關性，可以通過公式(3)確定不同詞長的文檔詞的加權權重。

(3)

其中，ρ2為詞長加權權重，l為文檔詞長度。

圖1為詞長加權擬合公式(即公式(3))，圖中用圓圈標記出了各詞語字數所對應的詞長加權權重值。圖中可以看出字數不大于5時，所對應的詞長加權權重值增長較快，與上述分析保持一致；而在詞語字數大于5時，不同字數的專業名詞所對應的主題揭示性相似，因此，詞長加權權重值增長緩慢。

圖1 詞長加權擬合公式圖

2.3 基于詞義的詞分布加權

在確定目標的文本提取任務中，所關注的文檔詞往往具有一定的相似性。這種相似性不單單體現在詞性特征上，也會體現在詞義上。即使是相同詞性的詞，在選擇時也會根據詞義的不同有所側重。如圖2中，名詞有“患者”、“昨日”、“狀況”、“今晨”、“我院”。若目標為實體關系的提取，則側重“患者”與“我院”；若目標為時序的提取，則側重時間名詞“昨日”、“今日”。

圖2 文檔詞性標注

文本中文檔詞詞義的識別是困難的，需要引入外部語義知識進行輔助識別。識別處理辦法主要分兩種：(1)構建任務側重外部語義知識庫時，對任務側重語義進行識別，提升所識別文檔詞的權重；(2)構建非任務側重外部語義知識庫時，對非任務側重語義進行識別，降低所識別文檔詞的權重。在構建外部語義知識庫后，可參考公式(4)確定對應詞義的加權權重。

(4)

其中，ρ3為詞義加權權重，w為文檔詞，pos為任務側重外部語義知識庫，cpos為文檔詞w在任務側重外部語義知識庫中所賦予的加權權重值，neg為非任務側重外部語義知識庫，cneg為文檔詞w在非任務側重外部語義知識庫中所賦予的加權權重值。

外部語義詞庫確定詞義加權權重具有一定的局限性，它無法對非詞庫外的文檔詞進行加權。在外部語義詞庫一定的情況下，隨著任務自身領域的發展，會出現詞庫外的新文檔詞。而現有的外語語義詞庫無法確定這些新文檔詞的語義加權權重，則會在一定程度上對主題的發現造成干擾。為了解決詞庫外文檔詞語義不確定的問題，在確定語義加權權重時，可以引入語句位置來推斷新文檔詞的加權權重。

文檔中處于不同位置的語句往往有著不同的重要性。通常，在多個語句組成的文本段落中，位于句首與句尾的語句可以較好地反映段落主題。而語句總是由文檔詞組成的，且位于同一語句中的文檔詞往往有著相似的主題揭示性。因此，在進行長文本多語句文本處理時，可以根據語句的位置對文檔詞進行加權，關注主題揭示性好的語句。長文本多語句文本計算方法可參考文獻[31]。

短文本語句數較少，且文檔內容結構相對松散，很難從語句的位置順序去判斷其主題揭示性。但同一語句的文檔詞仍具有相似的主題揭示性，由此，可以通過對語句中的詞進行采樣，以推斷該語句的主題揭示性，計算方法見公式(5)：

(5)

其中，npos,nneg分別為語句中在pos和neg中的文檔詞個數，deg為語句的主題揭示性，值越大主題揭示性越好。

在確定了文檔詞所在語句的主題揭示性后，可通過公式(6)計算語句中文檔詞的主題加權權重。

(6)

其中，sem為不在外部語義詞庫中的文檔詞主題加權權重，N為語句中的文檔詞總個數。

由公式(4)和公式(6)，確定詞義加權權重，如公式(7)：

(7)

3 FW-LDA模型

標準LDA模型的詞分布是通過詞頻共現關系所生成的，其忽略了文檔語義信息，很難有針對性地完成EMR文本中的疾病表征詞提取任務。通過詞特征加權改變詞分布狀態提高主題相關性詞語權重，從而實現任務的有針對性主題提取。在對EMR文本中的疾病表征詞進行提取時，詞特征加權方式可有詞性加權、詞長加權和語義加權，其對應的權重確定方式如下：

詞性加權權重的確定。疾病表征詞在文本中對應的詞性主要為名詞與動詞，因此一級詞性為名詞與動詞。形容詞與副詞主要伴隨一級詞性出現，對疾病表征狀態進行修飾，為二級詞性。此外，在對疾病表征進行狀態修飾時，會出現一定的重復，使得二級詞性的詞頻偏高。因此，在計算一級詞性的權重時需給予適當的系數，以減輕詞頻偏高帶來的影響。

由于其他詞性權重值為0，即在文檔主題提取時不起作用。故為了降低詞分布的復雜度、提升計算性能，在數據預處理時，去除標注為其他詞性文檔詞。處理后數據集保留詞性有：名詞、動詞、形容詞和副詞。然后，基于疾病表征詞提取任務的特點，將四種詞性分為兩級，其中名詞與動詞為一級詞性，形容詞與副詞為二級詞性。

EMR文本中的疾病表征詞詞性加權權重可由公式(8)確定。

(8)

詞長加權權重的確定。獲取EMR文本中文檔詞的長度，參照公式(3)確定文檔詞對應的詞長加權權重。

詞義加權權重的確定。EMR文本中提取疾病表征時，應側重病癥描述詞，如圖3中的“頭昏”、“發熱”、“呼吸”，及疾病表征狀態修飾詞，如“不暢”、“輕微”。為了對文檔詞語義進行識別，筆者收集了疾病表征的常用詞，并根據EMR文本數據特點，構建了對應的外部語義詞庫，結合公式(7)確定詞義加權權重公式：

(9)

由公式(3)、公式(8)和公式(9)，確定EMR文本中的疾病表征詞提取的加權權重公式：

ρ=ρ1ρ2ρ3

(10)

圖3 文檔詞性標注

3.1 FW-LDA模型結構

LDA模型受限于語義解釋性，很難有效地提取出文本數據中的任務目標詞。為了提升LDA模型的語義可解釋性，實現有針對性地提取EMR文本疾病表證詞，該文將詞性加權、詞長加權和詞義加權引入標準LDA模型中，形成FW-LDA(feature weighting LDA)模型。FW-LDA模型結構如圖4所示，符號說明具體見表1。

表1 FW-LDA模型符號說明

圖4 FW-LDA模型結構

3.2 生成文檔過程

FW-LDA模型的生成文檔過程如下：

for主題 k∈[1,K] do 采樣生成主題文檔詞分布Φk～Dir(β) Φ'k=ρ?Φkend for for文檔m∈[1,D] do 采樣生成主題文檔分布θm～Dir(α)for文檔詞n∈[1,Nm] do 采樣生成主題Zm,n～Mult(θm) 采樣生成詞語Wm,n ～Mult(Φ'Zm,n)end forend for參數與變量說明: Φk:主題k的詞分布Φ'k:主題k的詞特征加權詞分布θm:文檔m的主題分布Nm:文檔m的文檔詞數Zm,n:文檔m的第n個詞對應的主題Wm,n:采樣最終生成文檔詞

4 實驗分析

4.1 數據集

實驗采用了某市疾病防控中心提供的心血管疾病數據，該數據字段主要為主訴、現病史、既往史和診斷四個部分。研究的主要目的是從EMR文本數據中提取出疾病對應的疾病表征，以輔助醫生的診斷工作。考慮到患者自述的可能的不完善性與該數據本身的質量，本研究選取了字段為現病史的數據，共有3 678條數據。為了保證每條數據的信息質量，刪除了少于50字的記錄，最終得到3 595條數據樣本。實驗使用jieba分詞工具對數據集文本進行分割，并保留了分詞后各詞對應的詞性。此外，實驗結合數據集的特點進行了詞性信息量評估，在預處理時去除了動詞、名詞、形容詞和副詞以外的低信息量詞性的詞。最終樣本的數據統計信息如表2所示。

表2 數據集信息統計

4.2 評價指標

以人工標注的方式，標注出每條樣本對應的疾病表征詞，并以人工標注的數據作為實驗評價的基準，采用提取疾病表征任務下的主題一致性(Topic Consistency)[24,31]來評估模型提取主題詞與人工標注的疾病表征詞的一致性性能。

主題一致性計算公式見公式(11)～公式(13)：

(11)

其中，TC為主題一致性， 為點互信息，PMIK為主題K的主題一致性，ntop為主題詞數，w為相同主題下主題概率最大的前ntop個詞的集合，p(wi)為詞wi出現的概率，p(wi,wj)為詞wi、詞wj共現的概率，K為主題個數。TC的值越大，則提取的主題詞與人工標注的疾病表證詞的一致性越好。

精確率(Precision)計算公式為：

(14)

其中，P為精確率，TP為提取詞為疾病表征相關詞數，FP為提取詞與疾病表征不相關詞數。

4.3 實驗設置

模型參數采用Gibbs采樣估計，采樣次數為1 000；主題數K，主題詞數ntop=10；文檔-主題服從參數為α(α=50/K)的Dirichlet分布，主題-詞語服從參數為β(β=0.01)的Dirichlet分布。

根據任務目標與EMR文本數據特點，本實驗構建了對應的任務側重和非任務側重的外部語義詞庫。實驗中，任務側重外部語義詞庫包含有64個詞，共78個字；非任務側重外部語義詞庫含有45個詞，共50個字。

4.4 結果分析

實驗固定了模型中除主題數以外的其他參數，主題數參數取值范圍為[5,100]。圖5為僅基于詞性、詞長、詞義加權的LDA模型、LDA模型和FW-LDA模型的主題一致性對比圖。

圖5 不同主題數下的主題一致性對比圖

從圖5中可以看出：

(1)僅基于詞性加權的LDA模型(pho1 + LDA)與LDA模型的主題提取性能相似。

(2)僅基于詞長加權的LDA模型(pho2 + LDA)比LDA模型的主題提取性能略有提升。

(3)僅基于詞義加權的LDA模型(pho3 + LDA)比LDA模型的主題提取性能有較顯著提升，且隨著主題數增加主題一致性有遞減的趨勢。

(4)在主題數值為20附近時，FW-LDA模型的主題一致性會有較好的表現，而主題數大于30，FW-LDA模型較僅基于詞義加權的LDA模型主題一致性下降較快。

原因分析：由于數據預處理時去除了其他詞性，因此僅基于詞性加權的LDA模型與LDA模型的主題一致性性能相似。此外，僅基于詞長加權的LDA模型在一定程度上，降低了單字詞的出現率，提高了電子病歷中專有名詞的出現率，因此其較LDA模型的主題一致性有所提升。隨著主題數的增加，模型提取出的主題詞的數也在增加，會出現較多的與任務目標詞無關的主題詞，因此，主題一致性會出現較快的下降趨勢。僅基于詞義加權的LDA模型會根據所建立的側重與非側重外部語義知識庫進行主題詞篩選，在外部語義知識庫較為完善的情形下，可以較好地提高任務目標詞的出現概率，提高主題一致性性能。在模型所提取主題詞數較多情況下，任務相關性較低的主題詞會隨之增多，那些字數較多的低相關性主題詞將會在一定程度上，降低提取任務的性能。此外，由于現有分詞工具分詞存在一定的誤差，也會對模型性能造成一定的干擾。因此，隨著主題數增多，僅基于詞義加權的LDA模型收到的干擾較小，主題相關性下降趨勢也較緩。

這些結果都表明了基于詞特征加權對文本提取任務性能提升的有效性。其中，基于詞義特征加權有著較好的表現，并且外部語義詞庫質量的好壞將直接對模型結果產生影響。利用外部語義詞庫對模型注入文本提取任務相關領域知識，可以幫助模型更好的完成目標任務。

實驗分別統計了主題數取值范圍為[5,65]時兩種模型提取詞中疾病表征相關詞數，表3給出了實驗統計結果的疾病表征詞提取的正確詞數和精確率。

表3 疾病表征詞提取精確率

其中，1表示LDA；2表示FW-LDA。

圖6 不同主題數下的疾病表征詞提取精確率對比圖

從圖6中可以看出：

(1)FW-LDA模型對疾病表征詞的提取精確率明顯優于標準LDA模型。且從表3的統計值可知，在主題數值范圍[5,65]上，與LDA模型相比，FW-LDA模型的疾病表證詞提取平均精確率提升了48.5%。

(2)主題數值偏大時，標準LDA模型的提取精確率呈提升趨勢，而FW-LDA模型則相反，兩模型的提取精確度差距趨小。在對提取出的主題詞特點進行分析后，對該現象進行了解釋：當主題數偏大時，模型提取主題詞的規模將會變大，主題相關性弱的詞被提取的概率也將隨之變大，提取精確率便會隨之減小。此外，在主題數值大于40后，提取的主題詞有明顯的重復，重復的主題詞會使得兩模型的精確率向中間值(0.5)靠攏，造成兩模型的提取精確度差距趨小。

由于EMR文本本身的特點，如“無”、“有”、“就醫”、“就診”、“治療”等詞在文本中會有較高的共現頻率。標準LDA模型是基于詞共現頻率進行提取的，故這些非疾病表征詞會頻繁出現在模型提取的主題詞中，造成模型疾病表征詞提取精確率偏低。FW-LDA模型基于詞特征處理會針對性地降低這些任務無關詞的共現頻率，降低任務無關詞在所提取的主題詞中出現的概率。

由實驗結果的主題一致性、疾病表征詞提取的精確率可知：(1)將詞性、詞長和詞義特征加權引入LDA模型可以有效提升模型的語義可解釋性；(2)在電子病歷的疾病表征詞提取任務上，與LDA模型相比，所提出的FW-LDA模型表現更優越。

5 結束語

由于LDA模型忽略了語義信息，缺乏語義揭示性，在EMR文本提取任務中，很難有針對性地實現疾病表征詞的提取。該文提出的FW-LDA模型將詞性、詞長和詞義特征加權的形式引入了標準LDA模型，改變LDA模型的詞分布狀態，提高LDA模型對任務目標詞的發現概率，進而實現模型對任務目標詞的針對性提取。

實驗結果表明：FW-LDA模型在EMR文本數據中提取疾病表征詞的任務中，與標準LDA模型相比在主題數值小于30時主題一致性有著更優越的性能；此外，在主題數值范圍[5,65]上，發現FW-LDA模型與標準LDA模型相比疾病表征詞提取平均精確率提升了48.5%。

下一步工作將進一步完善外部語義詞庫，強化模型的疾病表征詞的提取能力，進一步提升模型任務主題詞的精確率。此外，將嘗試其他領域任務中應用FW-LDA模型，研究其在不同領域任務中的性能。