基于癥狀權重自適應調整機制的醫學領域問答技術研究

摘 要：在線醫學智能問答系統技術挑戰主要在于癥狀語義理解和用戶描述表示。本文提出了癥狀權重自適應調整機制的注意力模型（SFA）。使得注意力權重可以根據歷史病例庫的更新而自適應調整，集成了本文提出的問答模型的醫學領域的問答系統性能也得到了顯著的提升。

關鍵詞：問答系統;注意力機制;權重自適應調整機制

DOI：10.16640/j.cnki.37-1222/t.2019.04.202

1 引言

調查顯示，35%的人表示在去看臨床醫生之前他們會選擇上網來試圖找出他們或他人可能擁有的醫療狀況[1]。可見社區問答系統為患者和醫生提供了一個便利的方式去交流。然而，與搜索引擎相比，盡管傳統的社區問答能夠為用戶提供專業簡潔的遠程醫療問診服務，但是由于平臺上的醫生大多利用業余時間參與問診工作，無法進行實時回復。因此一個實時且高質量的醫學領域智能問答系統對于用戶來說是必要的。

2 相關工作

隨著自然語言技術與深度學習的快速發展，對QA的研究已經變得活躍而富有成效。智能問答系統作為一種便利的交互方式替代了人工已經被應用到各大領域，例如IBM研發的智能認知系統Watson幫助一位在日本東京大學醫學院治療的60歲女性患者診斷出了罕見的白血病類型。商業的QA產品例如 Google Assistant， Apple Siri， Amazon Alexa， Facebook M， Microso Cortana， Xiaobing in Chinese， Rinna in Japanese， and MedWhat 已經在過去幾年中發布[2]。

在QA系統中，關鍵步驟是如何表示和理解自然語言查詢[3]。 本文將針對詞匯差距和句子向量化代表的問題展開深入探討。主要有以下兩個方面的研究。（1）將基于中文詞林的近義詞主詞替換的機制應用于核心詞和相應主詞之間的映射。（2）對目前最先進的注意力機制進行優化。采用自適應權重分配技術，增強對疾病典型癥狀的關注，構建基于癥狀頻率的注意力模型。

3 模型描述

3.1 基于核心詞-普通詞替換的語義歸一化

大多數以前的研究采用單詞或單詞嵌入（如word2vec）作為模型的輸入。 這些模型可以被視為“字級”語義模型。 然而，單詞級模型可能會導致語義損失，因為當這些單詞組合為短語時，某些單詞具有不同的含義。為了解決“字級”無法全面理解語義的缺陷，研究者將語義模型擴展到“短語級”。在這項研究中，我們以“短語級”語義模型為基礎，結合漢語語言特性，利用word2vec和語義詞林相結合的方法提出語義歸一化表示方法（領域核心詞和領域一般詞匯）。具體來說，我們將問答對中的所有詞按照語義進行分組劃分，并在每一組中選取一個核心詞，其余詞為普通詞，提出核心詞與普通詞之間的語義映射機制，并用此語義映射機制將所有問答中的普通詞替換為語義核心詞，實現了語義表示的歸一化。同時，利用該機制建立了疾病和癥狀的模型，并確立疾病與癥狀之間的對應關系。

3.2 模型構建

我們所提出的醫學領域的智能問答系統（CQA），可以看作為（在線描述）-（歷史描述）-（歷史診斷）三元組的形式，分別表示用戶通過系統進行的癥狀描述或提問，歷史病例中的用戶描述以及相應的來自醫生的診斷結果。框架分為兩個階段，第一階段利用傳統的注意力機制生成初始的新描述代表（rnd）、歷史病例描述代表（rhd）以及歷史病例診斷結果（rha）代表。第二階段利用我們提出的SFA生成最終的代表，分別為rnd， rhd， rha。為了有一個更好的比較，我們將基于傳統的注意力機制用來生成rhd。由于問答系統要求對用戶的提問做出快速的反應，在保證效果的前提下，線上程序中盡可能使用相對快捷的算法。因此我們采用LSTM模型對用戶提交的新的癥狀描述句子建模，將訓練好的詞嵌入作為輸入，并且生成隱含層的向量。

3.3 基于歷史病例的癥狀權重列表生成策略

在本小節中，我們將詳細介紹SFA模型。同時我們將說明提出的CQA系統的線下程序以及系統的問答匹配機制。

我們開發的CQA系統主要目的是對用戶提出的疾病癥狀描述做出準確快速的診斷回答或診斷建議。我們提出了一個基于（在線描述）-（歷史描述）的兩階段匹配策略。

具體來說，第一階段為線下程序：（1）利用傳統的注意力機制得到歷史用戶描述和相應的診斷答案的句子代表rhd，rha。其中rhd的注意力只關注癥狀名稱和疾病名稱，而rha的注意力只關注疾病名稱。（2）計算相似度，將具有相同rha的歷史病例分為一組。（3）統計并生成各組的癥狀單詞列表。（4）定位癥狀單詞在歷史描述句中的位置。（5）運用我們提出的位置感知影響的傳播策略來傳播癥狀單詞對其他單詞的影響（利用所在疾病組的癥狀列表）。（6）通過傳播影響生成每一個單詞的基于位置感知影響的向量。（7）將這些基于位置感知影響的向量與傳統的注意力機制相結合得到最終的歷史描述代表rhd。

第二階段為線上程序：（1）利用與rhd相同的注意力機制得到用戶提交的在線描述句子代表rnd。（2）計算rnd與rhd的相似度，從匹配分數最高的疾病分組中獲得SFA。（3）利用與rhd相同的SFA機制得到最終的在線句子代表rnd。（4）計算rnd與匹配組中各rhd的相似度，分數最高的rhd所對應的rha即為最佳答案。

有很多的相似度函數可以被利用來測量句子之間的相關性，在這項研究中我們利用L1-范數的曼哈頓距離相似度函數 （見公式1）， 它比其他替代方法（如余弦相似性）略勝一籌。

4 結論

在這篇論文中，我們提出了一個基于癥狀權重自適應調整機制的注意力模型，該模型將癥狀單詞的位置上下文包含在用戶描述的注意力表示中;同時，通過將近義詞映射為主詞的近義詞主詞替換機制有效的為詞匯差距建立了橋梁。集成了本文提出的問答模型的醫學領域的問答系統性能也得到了顯著的提升。證明我們提出的SFA機制具有更高的性能比起那些傳統的注意力機制。在未來的研究中，我們想要在不同的任務中評估我們的模型并且試著去改善我們的模型。

參考文獻：

[1]Abacha A B，Zweigenbaum P.MEANS：A medical question-answering system combining NLP techniques and semantic Web technologies[J].Information Processing & Management，2015， 51（05）：570-594.

[2]Li H，Min M R，Ge Y，et al.A Context-aware Attention Network for Interactive Question Answering[J].2016.

[3]Yin J，Zhao W X，Li X M.Type-Aware Question Answering over Knowledge Base with Attention-Based Tree-Structured Neural Networks[J].Journal of Computer Science and Technology，2017，32（04）：805-813.

作者簡介：畢銘文（1994-），男，山東威海人，碩士研究生，主要研究方向：自然語言處理、人工智能。