基于多模態智能對話機器人的糖尿病健康管理服務平臺應用研究

高逸佳，林靖生，楊海俊，滕曉燕

1. 上海交通大學醫學院附屬瑞金醫院 a. 門診辦公室；b. 學科規劃與大設施管理處；c. 數字醫學創新中心，上海 200025；2. 谷歌公司，上海 200120

引言

人工智能技術在完成人類日常復雜工作時擁有更高效、更敏捷、使用成本更低的突出優點，使人工智能和機器人技術在醫療健康領域有巨大的潛力，并越來越成為醫療健康生態系統的一部分，在糖尿病病程管理中也有著重要的應用前景。Elhadd等[1]將一種機器學習人工智能算法XGBoost應用到高血糖偏移的預測中，肖薇[2]將機器學習算法應用在糖尿病的預測中，張永亮等[3]將人工智能應用于糖尿病視網膜病變智能識別的SCSDN泛化性增強方法中，吳天柱[4]用人工智能構建了基于深度學習的糖尿病視網膜病變分級模型，陳超等[5]將人工智能用來設計糖尿病視網膜病變的眼底圖像輔助診斷系統，于偉泓等[6]將人工智能應用于糖尿病視網膜病變眼底彩照的標準數據庫建設規范中，齊琳等[7]將人工智能應用在糖尿病診療中，王楨等[8]利用人工智能開展糖尿病患者遠程管理，張華驛等[9]將人工智能應用于2型糖尿病患者自我管理中，蔡淳等[10]則將人工智能應用在糖尿病的全程健康管理中。

本文以糖尿病健康管理平臺和人工智能引入糖尿病病程管理[9,11-14]為主線，從糖尿病專病防治領域出發，通過深度學習+對話機器人+大數據+物聯網技術與病程管理的結合，實現一對一個性化地對患者進行藥物、飲食、運動、胰島素使用、并發癥的預防、應急情況的處理等的指導，糾正患者不良習慣、改變重“醫”輕“防”的觀念，建立糖尿病防治新模式，并形成有效示范。

1 平臺系統設計

1.1 設計思想

基于多模態智能對話機器人[5]的糖尿病健康管理服務平臺實現多種類人聲選擇、多種類角色模擬的智能健康助理，通過語音、文字等對話方式以及電話、社交軟件等載體為患者提供一對一的個性化健康服務。對話機器人將搭配居家健康智能設備套裝為患者提供全方位的服務，套裝包括智能血糖監測裝置、智能藥盒、運動監測手環，實現健康干預計劃中的智能感知[2]、智能干預全鏈條閉環統籌，見圖1。

圖1 基于多模態智能對話機器人的糖尿病健康管理服務平臺架構圖

1.2 系統設計

多模態智能對話機器人基于混合云平臺實現，具有通過本地和云端服務迅速創建項目需要的計算、存儲、網絡、安全等模塊的能力，平臺可以根據業務量動態調整部署規模[15]。

多模態智能對話機器人的糖尿病健康管理服務平臺應用與示范項目后臺服務主要采用公有云服務搭建，通過公有云平臺實現操作系統、網絡服務、互聯網加速、內容分發、通知服務、人工智能大數據服務、備份和恢復服務，并搭建應用需要的Web服務和APP應用服務。

前端設備包含手機、平板、個人計算機、智能語音機器人、智能血糖儀、可穿戴設備如智能手環等，通過這些設備實現和患者的交互，并搜集患者生命體征信息，將一些后臺經過人工智能計算的建議反饋給患者，如用藥建議、運動建議、飲食建議等。

2 平臺功能設計

本項目的建設目標是構建先進的糖尿病專病知識圖譜系統、智能對話機器人平臺，并通過應用前端為患者提供功能完善、使用方便的多模態智能對話機器人糖尿病健康管理服務。本項目包含三個主要平臺模塊。

（1）應用前端。患者可以使用文本、交互卡和語音與機器人聊天。

（2）多模態融合的知識圖譜系統。此系統包括專病知識圖譜、運動健康知識圖譜、飲食知識圖譜等，可為平臺提供有價值的決策支持。

（3）多角色智能健康助理對話機器人。其中，包括對話管理、自然語言處理[16]、自然語音識別等子模塊。提供針對醫療行業領域定制的語音識別功能、針對家庭護理事項形成高準確率的語義識別功能，并利用各類知識圖譜推理引導患者及回答事實型問題。

2.1 應用前端

糖尿病患者可使用網站、手機APP、數字助理設備及人工智能技術獲取個性化的幫助，連接各種醫療資源，獲取管理健康狀況的信息與新工具[14,17]。通過智能對話機器人與醫院糖尿病健康管理知識圖譜數據庫對接，在應用前端為患者提供日常的咨詢溝通服務，包括四個重要領域：① 診斷：有關糖尿病癥狀、治療和統計的所有信息；② 生活方式：包括運動、習慣和生活服務等主題；③ 飲食：患者面臨的主要問題之一，如可以吃的食物種類和數量；④ 預防和并發癥：有關預防糖尿病的信息以及可能的后果。如管理不當，可能會導致嚴重的后果。

2.2 多模態融合的知識圖譜系統

基于語義網（Semantic Web）技術實現糖尿病知識圖譜。作為一種語義網絡，知識圖譜由節點（實體）和標注的邊（實體間的關系）組成。糖尿病的全面知識圖譜借助人工智能方式，在充分吸收專家經驗的基礎上加強數據反哺機制、提煉糖尿病自身成因機理，為多模態智能對話機器人對糖尿病的預測、干預、監控、教育等實現閉環管理，完成患者的問答起到內容支撐作用。例如用戶詢問“糖尿病”，系統應該能夠準確地將其病因、病癥、如何治療、怎樣檢查、并發癥、如何健康飲食以及和其他相似疾病的比較等相關信息反饋給用戶。

由于糖尿病臨床數據具有時效性的特點，時間越久，患者就診記錄越多，因此糖尿病知識圖譜需要不斷地更新與維護。雖然圖譜數據需要擴充，然而擴充數據依舊屬于糖尿病領域，因此糖尿病知識圖譜概念層模板仍然能被復用。因此，本系統采取模板復用的方法，經過新數據與原數據的融合完成更新。

2.3 智能對話機器人

智能對話機器人包括與前端應用和糖尿病知識圖譜平臺的集成、語音數據管理平臺、權限管理平臺、安全管控平臺，并在語音智能平臺基礎上增強對話機器人的交互能力，了解患者真實目的，正確反饋患者的問答請求，依據行為設計的各個階段確保對話機器人盡可能對患者具有吸引力、說服力和可操作性[18]。

本項目加強平臺與患者的交互能力，為此智能對話機器人系統集成了語義識別與理解技術。語義識別與理解系統的邏輯架構如圖2所示。

圖2 語義識別理解系統的邏輯架構

基于多模態智能對話機器人通過自然語言理解和人工智能技術了解患者意圖并提供準確信息，引導用戶進行癥狀簡單自查。自然語義識別系統根據當前知識庫模型，對輸入信息進行語義識別。語義識別的結果提交給人工智能規則治理系統，由人工智能規則治理系統根據已有規則模型進行語義的合規計算。合規的患者會話將根據已有規則模型生成一組工作流與患者進一步交流；不合規會話根據知識圖譜生成對應問答引導患者。

3 平臺應用分析

3.1 平臺應用效果

瑞金醫院現有糖尿病臨床數據分析應用系統實現了預處理數據、多維分析和診斷事件關聯分析等功能，主要對糖尿病用藥、生化指標和診斷進行統計，缺乏糖尿病輔助診療的深度應用。此外現有系統加重了醫護人員操作負擔，同時也無法開展糖尿病輔助診療的深度應用。通過多模態智能對話機器人平臺的實驗性應用，達到了以下應用效果。

3.1.1 消除慢病管理中醫護人員重復工作、解決醫療服務輻射面窄的問題

對話機器人可以回答不需要醫生介入的常規醫療問題。例如，糖尿病患者可以用轟炸式問題與對話機器人交流，使用語音對話機器人作為虛擬助手，可以為患者康復和基本醫療問題提供答案，而不需要醫療專業人員干預，以此節省醫護人員的時間和醫療資源，見圖3。

圖3 智能語音助理與患者的對話示例

3.1.2 模擬醫護人員的情感、性格和語氣，及時切換到人工模式

實用、面向任務的目標對話在醫療聊天機器人中占主導地位，但聊天機器人很少了解人類社會和情感線索。本研究在設計中考慮到通過對話腳本語庫模塊和知識圖譜[19]，使智能對話機器人可以提供某種程度上對患者的情感呵護，這在醫療健康管理過程中是必不可少的。比如在診斷和預防場景，智能語音機器人如果使用醫療健康領域的醫學專用詞匯，應改進描述使患者易于理解。智能對話機器人需改進談話的社交和情感方面，適應用戶的健康知識素養。缺少這些能力會造成用戶體驗不協調、錯誤期望，從而導致患者拒絕使用[19-20]。此外，在整個語音交流的一些環節中，切換到人工模式即醫生或護士介入是非常必要的，見圖4。

圖4 智能對話機器人與人工模式切換架構圖

3.2 核心技術效果評估

作為對話機器人的核心模塊之一，深度對話會話語言理解（Conversational Language Understanding，CLU）模塊可在執行特定任務的對話上下文中解釋用戶的自然語言話語[20]。通過給定語音的話語、當前對話的對話歷史和其他多模態上下文，CLU將話語解析為由“意圖”和“槽”描述的語義框架，然后將其輸入到下游的深度對話組件中。

準確率和召回率是用于CLU評估計算的主要數值[20]。使用兩者的調和平均數即F1值作為CLU的評估指標，F1值越高越好，見表1。

表1 CLU 單域模型與多域模型測試結果（F1值）

和醫院其他對話場景相似，糖尿病健康管理使用多域模型（不同域涵蓋糖尿病知識圖譜以及日常健康管理如鍛煉、飲食等其他領域內容）可以使智能對話機器人更好地理解患者并與患者交流。

4 討論

糖尿病病程管理是防治糖尿病的核心，是實現良好代謝控制的重要組成部分，要求患者能夠在專業醫護團隊的指導下進行有效的自我管理，有針對性地進行健康生活方式的干預，實現控制血糖、延緩并發癥發生及康復治療的目標。然而這一目標在醫患比例嚴重失衡的今天，不依托有效的技術手段將難以實現。

在滿足臨床和科研需要的基礎上，多模態智能對話機器人平臺通過“人體代謝艙”、人工智能、機器學習等技術推動醫學技術迭代，通過對不同環境和行為狀態下人體生物學數據的挖掘與分析，嘗試優化慢病管理醫療解決方案，并依托多種新型醫學技術實現安全可靠的醫工結合技術轉化平臺：① 通過知識圖譜構建技術及深度學習算法研發糖尿病個性化健康干預計劃（處方）輔助制定系統；② 充分利用人工智能技術（基于神經網絡的自然語言理解技術），在智能健康助理對話機器人無法處理部分服務內容時主動加入人類醫護人員的協作，以此解決醫患比例嚴重失調導致的缺乏有效溝通的醫患矛盾的核心問題；③ 醫療健康智能設備結合人工智能干預手段，通過多模態交互，讓平臺同時具備感知和干預能力，極大地提高了糖尿病患者個性化生活方式指導的落地性，提高健康干預的可及性。

基于實踐，我們也認識到從技術角度構建的醫療智能語音機器人的自然語言處理功能雖然強大，但在如何將機器人聊天體驗有效整合到醫療機構和患者溝通的業務流程中，還有一些不足需要提升。未來的研究方向可以是在保護患者隱私的前提下，智能對話機器人使用IoT設備和傳感技術，對患者進行連續性的隱式數據收集，從而更好地實現語音機器人（作為醫護人員角色）和患者的有效對話。隨著人工智能技術的發展迭代，可能還有其他更優的解決方案。

5 結論

本文基于多模態智能對話機器人設計了糖尿病健康管理服務平臺，該平臺可以快速推廣應用到2萬多糖尿病患者群中，還將聯合帶動形成“研＋學＋產＋用+醫”一條龍產業鏈，推動國家級醫學科技創新體系建立，推動本地醫療服務創新，提升患者對代謝性疾病的關注度和認知度，引導患者轉變生活方式，大大降低社會衛生健康的成本。瑞金醫院會將該模式擴大到其他代謝性疾病及慢病的防治中去，從總量上降低慢病管理工作對基層醫生資源的依賴程度，提供低成本、個性化的慢病管理服務。