智能預診系統結果準確性的評價研究

姜英玉 鐘源 李前慧

摘要：目的? 評估國內App中常見的智能預診系統結果準確性。方法? 截止2018年1月1日，在Apple App Store中篩選包含智能預診功能的、免費的、面向公眾的、針對人群的、針對全病種的7個App，在標準化病人案例中篩選內科病例7例，外科病例4例，婦科病例2例，兒科病例2例。按照病例所述病情逐一輸入所篩選出的智能預診系統中，記錄系統出示的預診結果，統計正確的診斷是否列在第一項、正確的診斷是否列在前三項、是否列出正確診斷。結果? ①所有APP中僅App A詢問用戶的身高、體重，App C并未詢問用戶的身高、體重、性別、年齡就開始問診，有3個系統允許用戶在查找癥狀時同時輸入多個癥狀;②預診結果準確率為64.76%，正確診斷列在第一項占26.67%，正確診斷列在前三項的占39.05%。結論? 當前現有的預診系統結果準確性仍較低，用戶應理性看待智能預診系統的預診結果，不能盲目依賴。

關鍵詞：智能預診系統;預診結果;準確性

中圖分類號：TN929.53;TN911.7? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：B? ? ? ? ? ? ? ? ? ? ? ? ?DOI：10.3969/j.issn.1006-1959.2019.15.007

文章編號：1006-1959（2019）15-0019-04

Abstract：Objective? To assess the accuracy of the results of intelligent pre-diagnosis systems commonly found in domestic App.Methods? As of January 1， 2018， the Apple App Store was selected to include free， public-facing， population-oriented， 7-case-wide App with intelligent pre-diagnosis capabilities， and to screen medical cases in standardized patient cases. There were 7 cases， 4 cases of surgical cases， 2 cases of gynecology， and 2 cases of pediatrics. According to the condition of the case， input the selected intelligent pre-diagnosis system， record the pre-diagnosis results presented by the system， and check whether the correct diagnosis is listed in the first item， whether the correct diagnosis is listed in the first three items， and whether it is listed correctly diagnosis.Results? ① In App， only App A asks the user's height and weight.App C does not ask the user's height， weight， gender， and age to start the consultation. There are 3 systems that allow the user to input multiple symptoms at the same time when searching for symptoms;② The accuracy rate of pre-diagnosis results was 64.76%， the correct diagnosis was listed in the first item accounting for 26.67%， and the correct diagnosis was listed in the first three items accounting for 39.05%.Conclusion? The accuracy of the current pre-diagnosis system results is still low. Users should rationally look at the pre-diagnosis results of the intelligent pre-diagnosis system and cannot rely on blindly.

Key words：Intelligent pre-diagnosis system;Pre-diagnosis results;Accuracy

智能預診系統是指利用互聯網技術將傳統的分診過程開發成可供用戶直接使用的方法，根據用戶自身的癥狀，詢問用戶相應問題，應用分支邏輯、貝葉斯推理或其他方法完成對用戶病癥的早期判斷。預診結果可為用戶提供病情的初步診斷，該結果通常是將符合用戶描述癥狀的全部疾病按可能性進行排序。隨著互聯網醫療的飛速發展，國內外的相關企業、醫療機構、政府部門等也投入到智能預診系統的開發上，智能預診系統的準確性決定了其使用價值。國外學者對此展開較多的質量評價，但是國內學者尚未針對智能預診系統的準確性開展研究，因此本研究選擇國內常見的7種智能預診系統，開展準確性評價研究，現報告如下。

1對象與方法

1.1智能預診系統的選取? 于2017年10月～2018年10月在Apple App Store 中，以“智能預診”“智能自診”“智能導診”“癥狀自查”作為檢索詞，篩選出于2018年1月1日服務器在運營中的213個App，逐一下載，納入標準為App中的智能預診系統是免費的、面向公眾的、針對人群的、針對全病種的系統，共計納入7個App，用字母A～G表示。

1.2標準化病人選取? 從中國“標準化病人”實踐教學指導委員會主持編寫的《標準化病人培訓實用教程》以及委員會官方網站（http：//www.chinesesp.com）的SP腳本中選取本研究所需病例，共選15例，其中內科7例，外科4例，婦科2例，兒科2例。

1.3預診結果的評估方法? 將標準化病人病例輸入到每個App中，記錄預診結果。系統出示的預診結果最多提到了10項可能的疾病，但有很多用戶只關注列出的重要診斷，因此本研究在判斷預診結果準確性時，分三種情況進行統計：①正確的診斷列在第一項;②正確的診斷列在前三項;③列出正確診斷。

2結果與分析

2.1智能預診系統基本情況? 納入研究的7個智能預診App均提供明確的疾病診斷。所有App中僅App A詢問用戶的身高、體重，App C并未詢問用戶的身高、體重、性別、年齡就開始問診，有3個系統允許用戶在查找癥狀時同時輸入多個癥狀，各預診系統基本情況見表1。

2.2預診系統診斷結果的準確性? 除App F外，其他智能預診系統一般會將用戶可能存在的疾病，按照可能性的大小依次列出。總體來說，研究納入7個智能預診系統的預診結果準確率為64.76%，其中正確診斷列在第一項的占26.67%，正確診斷列在前三項的占39.05%。按標準化病人所屬科目來分，內科類疾病預診結果準確率為69.39%，正確診斷列在第一項的占34.70%，正確診斷列在前三項的占46.94%;外科類疾病預診結果準確率為50.00%，正確診斷列在第一項的占10.71%，正確診斷列在前三項的占14.29%;婦科疾病預診結果準確率為85.71%，正確診斷列在第一項的占14.29%，正確診斷列在前三項的占57.14%;兒科疾病預診結果準確率為57.14%，正確診斷列在第一項的占50.00%，正確診斷列在前三項的占50.00%，見表2。

3討論

3.1與現有研究的對比? 近幾年，國外學者傾向于針對某一個智能預診系統進行實證研究，考察智能預診系統的準確性。Bisson LJ等[1]在患有膝關節疼痛的患者中進行了一項隊列研究，328例患者使用某智能預診系統進行自我診斷，系統根據患者癥狀生成一個潛在疾病的診斷列表，患者在其中選擇貼切的診斷，再接受臨床醫師的檢查，二者一對比，發現有58%的患者在智能預診系統的幫助下可以正確了解引起其膝關節疼痛的原因，該研究肯定了該智能預診系統對患者的幫助，但仍應繼續著眼于提高診斷精確度。Semigran HL等[2]使用45個標準化病人病例對23個智能預診系統的準確性進行研究，將標準化病人病例中的癥狀輸入所檢驗的系統，在系統根據癥狀生成的診斷列表中尋找正確的疾病診斷，結果顯示僅有51%的智能預診系統在其列出的前三個可能出現的疾病中給出了正確的診斷結果，認為智能預診系統的診斷結果的準確性還需要進一步提高。Powley L等[3]使用WebMD智能預診系統、英國國家醫療服務體系（NHS）對34例關節炎的患者進行預診。WebMD智能預診系統會按可能性大小提供5個鑒別診斷，病癥名稱及出現次數分別為：痛風（n=28）、類風濕關節炎（n=24）、銀屑病關節炎（n=22）、骨關節炎（n=18）和手指脫臼（n=10）。其中，在21例類風濕性關節炎患者中，只有4例的第一個診斷為正確診斷。雖然第一個診斷的準確性很差，但診斷列表通常包含正確的診斷。該研究認為NHS診斷結果有風險規避傾向，僅有56%的患者得到符合疾病狀態的分診建議。因此，Powley L認為網上的診斷往往是不恰當的，會導致醫療服務使用不合理。

一項關于將互聯網數據應用于國家綜合檢測系統的研究提取了2012年8月1日～2013年7月1日英國國家醫療服務體系（NHS）在線智能預診系統的預診數據，對用戶預診的癥狀類別進行了時間序列分析，結果顯示智能預診系統相對于電話分診可以提供額外的疾病早期預警信息[4]。Poote AE等[5]評估了一個大學生健康中心的自我評估分類系統，154例患者分別接受自我評估系統和全科醫生的診斷，兩種診斷結果一致率為39%。與全科醫生評估相比，自我評估系統傾向于規避風險，建議56%的患者需要緊急就醫，但是也存在評估系統正確鑒別出患者需要緊急護理，而全科醫生卻未診出的案例。

Luger TM等[6]采用有聲思維方法（Think-Aloud）將關注重點投向評估老年人使用智能預診系統的過程及如何找到準確診斷的過程。研究給予79例50歲以上的老年人一段關于病情癥狀的描述，讓其使用互聯網預診（Google、WebMD）思考該癥狀的疾病，并大聲說出思考過程。研究者記錄這些思考過程，找尋老年人判斷疾病的策略。結果顯示41%的參與者找到了正確診斷，在判斷過程中參與者傾向于從預診系統給出的癥狀中使用假設-演繹法推斷正確診斷，并輔之以現有的醫學知識和疾病經驗。

Marcoruiz L[7]等對挪威一款Erdusyk智能預診系統開展質量評價測試。第一階段由大樣本用戶（n=53）填寫基于技術接受模型設計的調查問卷，采用主成分分析法分析用戶界面對技術接受的貢獻。第二階段采用有聲思維方法使測試者（n=15）使用Erdusyk，并結合測試過程的思考進行訪談。結果發現Erdusyk的主要使用障礙是記錄強度的量表級別的選擇，導航方式的接受度、一些癥狀屬性的量化以及癥狀的特征選擇。其研究結果顯示大多數用戶認為智能預診系統會幫助自己避免受到網頁（谷歌）上免費搜索到的低質量信息的干擾。

North F等[8]研究了可查詢癥狀的網站是否提供足夠的信息，以滿足用戶的緊急護理、就診需求。該研究在120個網站中搜索胸痛、呼吸急促等潛在的危險癥狀，33%的網站沒有嚴重癥狀指標，在確定關鍵癥狀指標的病例中，42%沒有提出進一步護理建議。該研究指出依靠互聯網搜索來確定癥狀的緊急程度是存在一定風險的。由此可見，在用戶預診需求激增的當下，有必要完善智能預診系統，給用戶提供可靠的、科學的智能預診工具。

North F[9]等的另一項研究評估了互聯網預診和電話預診的差異，其結果表明互聯網用戶尋求成人癥狀的頻率是兒童癥狀的13倍，而電話預診中僅為2.1倍;兩種方式詢問的癥狀具有相似頻率;互聯網用戶對慢性病的評估更感興趣，電話詢問者更多關心急性癥狀。

將本研究得出的智能預診系統預診結果準確性與現有文獻進行對比，發現本研究的所有系統預診結果平均準確性較高，為64.76%。但不可否認正確診斷列在第一位的比例僅為26.67%，這與系統運行背后需要的醫學大數據和智能算法相關。國外智能預診系統發展較早且成熟，醫學數據庫較完備，而我國醫療數據較分散，會影響預診結果準確性。

3.2建議? 智能預診系統是以醫學數據庫為依托，以智能算法為技術支撐的醫療服務系統，因此想要爆發真正的生命力，需要不斷擴充醫學數據庫，以開發完備的智能算法，進一步提高系統準確性。

醫學是在不斷發展中的學科，ICD-10收錄了26000多種疾病，不斷有疾病被治愈甚至消滅，但隨著環境的變化，又會有新的疾病被發現，因此醫學數據庫不僅數據量龐大而且在不斷更新，群體層面的疾病預防及診療體系的評價[10]、特定疾病的機制闡釋[11]以及個體患者的疾病診療決策支持[12]都將依靠醫療大數據不斷發展。美國規模最大的健康險公司Wellpoint早已將醫療大數據運用在商業活動中，其啟用IBM超級計算機“Watson”輔助醫生的醫療診斷。若要不斷提高智能預診系統的準確性，就要最大程度的獲取和積累醫學數據，尤其是中國醫學數據，更符合中國人的身體狀況。

醫學數據不僅數量龐大，而且相互關聯，錯綜復雜，要最大化地利用好醫學大數據庫，還需要進行數據挖掘和智能算法的開發。數據本身會受到樣本量、環境、抽樣、偏倚等因素的影響，醫療大數據是宏觀的，以宏觀評價微觀難免會出現問題，因此使用醫療大數據評價個體時出現誤診的可能無法避免。例如哮喘的臨床表現[13]就存在顯著的異質性，在發病年齡、性別、肥胖、氣道高反應性的嚴重程度等方面都有個體性差異。如何將多個維度的數據進行整合，為患者提供精細化、個體化的診療指導，還需要在數據挖掘上下功夫，并研究可行的智能算法。隨著計算機硬件性能的提升，數據庫技術的發展，醫學數據會呈幾何式增長，數據挖掘可用的數據條目會越來越多。數據挖掘工具也將不斷更新，數據挖掘算法也會越來越智能化，使自動選擇算法、自動調優參數等成為可能，將數據的潛力充分開發出來[14]。總之，提高智能預診系統準確性的關鍵在于擴充醫療大數據庫，通過大量的疾病數據挖掘其中診斷規律、特點等，建立預測模型，提高預診結果準確性，幫助用戶完成預診行為，輔助臨床醫學診斷。

4總結

智能預診系統作為預診工具，其診斷結果的準確性雖然無需也無法達到醫療診斷的精確度，但是仍要以不斷提高預診結果準確性為發展目標，才能滿足用戶預診需求，提高用戶滿意度，實現系統使用價值。而用戶在使用智能預診系統時，還是要理性看待，智能預診系統的結果只能作為醫學輔助信息，不可作為醫療診斷結果，若有需要仍建議尋求專業醫師的幫助。

參考文獻：

[1]Bisson LJ，Komm JT，Bernas GA，et al.How Accurate Are Patients at Diagnosing the Cause of Their Knee Pain With the Help of a Web-based Symptom Checker[J].Orthopaedic Journal of Sports Medicine，2016，4（2）：2325967116630286.

[2]Semigran HL，Linder JA，Gidengil C，et al.Evaluation of symptom checkers for self diagnosis and triage：audit study[J].BMJ，2015（351）：h3480.

[3]Powley L，Mcilroy G，Simons G，et al.Are online symptoms checkers useful for patients with inflammatory arthritis[J].BMCMusculoskeletal Disorders，2016，17（1）：362.

[4]Elliot AJ，Kara EO，Loveridge P，et al.Internet-based remote health self-checker symptom data as an adjuvant to a national syndromic surveillance system[J].Epidemiology & Infection，2015，143（16）：3416.

[5]Poote AE，French DP，Dale J，et al.A study of automated self-assessment in a primary care student health centresetting[J].Journal of Telemedicine & Telecare，2014，20（3）：123-127.

[6]Luger TM，Houston TK，Suls J.Older adult experience of online diagnosis：results from a scenario-based think-aloud protocol[J].Journal of Medical Internet Research，2014，16（1）：e16.