真實世界電子病歷數據評價研究綜述*

張麗鑫 孫海霞 唐明坤 錢 慶

(中國醫學科學院/北京協和醫學院醫學信息研究所 北京 100020)

1 引言

真實世界數據(Real World Data，RWD)是指研究者通過真實世界研究獲取的數據，是從傳統臨床試驗以外其他來源定期獲取的患者健康狀態或與健康服務相關的數據[1]。RWD來源范圍廣泛，既可以是研究數據也可以是非研究數據，主要包括在真實醫療環境下診療過程的記錄數據以及觀察性研究數據等。電子病歷(Electronic Medical Record，EMR)即計算機化的病案系統或基于計算機的患者記錄，美國國立醫學研究所將其定義為：基于一個特定系統的電子化患者記錄，能夠提供用戶訪問完整準確的數據、警示、提示和臨床決策支持系統的功能[2-3]。EMR作為個人健康記錄和健康檔案的電子化載體成為RWD的重要組成部分。近年來我國陸續發布《國務院辦公廳關于促進和規范健康醫療大數據應用發展的指導意見》《“健康中國 2030”規劃綱要》等文件[4-5]，將以EMR數據為代表的醫療大數據作為我國重要戰略資源，積極布局EMR數據產業，助力我國醫療健康領域發展。EMR數據作為醫療數據的重要組成部分，其質量對RWD進一步發展成為真實世界研究證據至關重要，可以說沒有高質量、適用的EMR數據支持，真實世界研究便難以推進和深入。因此探索真實世界EMR數據評價方法和體系對于科學研究和數據價值挖掘具有重要意義。張強、邵明義和劉奕兵等[6]采用傾向性評分法和工具變量法評價異質性高、分散性強的原發性肝癌真實世界中醫臨床數據；袁莎和沈麗寧[7]依據原始質量、過程質量、結果質量3個維度進行指標層次分解，形成醫療數據質量評價指標體系。目前針對醫療數據評價方法研究較多，但是針對EMR數據評價的研究較少且不夠深入。調研發現由于研究側重不同，與EMR數據評價相關的內容分散在不同研究和政策規范中，不利于梳理EMR數據評價思路。為此本文將從評價主體、評價應用場景、評價依據和評價方法4方面對已有研究成果進行綜述，以期為進一步探索EMR數據科學評價體系提供參考。

2 評價主體研究

2.1 總體情況

電子病歷數據評價主體是指誰來評價電子病歷數據。從已有文獻和法律規范分析結果來看，EMR數據評價主體主要有政府相關管理部門、EMR數據擁有者[8]、EMR數據使用者、業內學者專家等。總的來看評價主體逐漸向多元化方向發展，彌補了單一評價主體的弊端，有利于探索科學的評價方式，但是目前缺乏從患者主體角度進行評價的研究。在評價過程中如果能將患者需求與實際應用相結合將有益于優化評價流程、提高EMR數據使用率。

2.2 國內評價主體構成

政府相關管理部門包括國家藥審中心、醫療器械技術評審中心、國家衛健委統計信息中心等，評價目標在于規范EMR數據以及基于EMR數據開發的產品質量規范和監督管理，促進政策實施和落地。國家有關部門為規范和引導EMR數據評價工作發布了一系列文件，如2021年《國家衛生健康委醫院管理研究所關于印發電子病歷系統應用水平分級評價工作規程和專家管理辦法的通知》和2018年《關于印發電子病歷系統應用水平分級評價管理辦法(試行)及評價標準(試行)的通知》明確要求由國家衛健委負責管理全國EMR系統評價工作，具體工作由國家衛健委醫院管理研究所承擔[9-10]。另外從EMR數據擁有者和使用者角度進行評價，可以更好地反映數據使用情況和實際需求。通常認為EMR數據為患者和醫療機構共同擁有[11]，醫療機構通常需要對EMR數據進行合規性和相關性評價，以“評”促進電子病歷系統建設。EMR數據使用者包括科研機構、醫療相關智能產品開發商，如醫院信息系統(Hospital Information System，HIS)開發商、高校等，側重EMR數據質量評價，挖掘數據價值。業內專家是EMR數據評價研究的重要主體，包括以健全法律法規體系為導向的政策研究專家、以促進現代醫療領域信息化和智能化發展為目標的醫療信息化專家、以規范醫院醫療活動和提高醫院運行效率為重點的醫院管理研究專家[7]等。業內專家評價重點在于促進EMR數據應用，探索不同場景科學評價和管理方法。

2.3 國外評價主體構成

國外評價主體同樣包括醫療機構、科研機構、數據使用企業和業內學者專家等，但存在差異。以美國為例，其政府相關部門評價主體主要是衛生部醫療保險和醫療補助服務中心(Centers for Medicare and Medicaid Services, CMS)[12]，同時第3方機構參與評價的場景較多。此外美國醫院信息管理協會主導了電子健康記錄應用推進刺激計劃等一系列促進EMR數據評價的措施[13]。國外評價主體較國內更加多元，各主體參與度和配合程度較高，為構建成熟的評價體系奠定了良好基礎。

3 評價應用場景研究

3.1 定義及研究價值

EMR數據評價應用場景是指需要EMR數據評價活動參與的場景。EMR包含患者病程記錄、檢查檢驗結果、醫囑、手術記錄、護理記錄等診斷治療的原始數據[14]，是臨床就診過程中最為完整且詳細的臨床資源[15]，因此應用范圍十分廣泛。應用場景分析有助于明確電子病歷數據評價的具體需求和目標，以特定場景需求為導向，構建科學的EMR數據評價指標體系。隨著信息時代的發展，EMR數據評價應用場景由傳統的與醫療相關場景延伸到應用EMR數據的產品管理和科學研究等方面，豐富的應用場景同時突顯出EMR數據評價的重要性。但是目前的評價體系存在通用性，缺乏滿足不同場景特殊需求的評價方法。

3.2 研究現狀

一是面向科學研究的EMR數據評價。為提高應用效率，科研工作者通常會對EMR數據結構、質量、應用價值等方面進行評估。如Hemingway H、Asselbergs F W和Danesh J等[16]通過評價數據質量、結構、可擴展性以及數據科學勞動力能力等方面內容后，提出EMR數據用于早期和晚期轉化心血管研究的挑戰。二是對基于EMR數據開發的人工智能產品進行審評審批。肺結節篩查、醫學影像和疾病風險預測等基于EMR數據開發的人工智能產品在審批和管理時需要嚴格評價訓練集、測試集等數據集的完整性、代表性、準確性等。王浩、孟祥峰和王權等[17]在探索人工智能醫療器械評價方法時，強調從數據收集、標注、歸檔等全流程評價數據集的真實性、完整性、可用性、可追溯性等。三是面向醫院管理的EMR數據評價。在醫院管理中對EMR數據進行評價有助于提升診療效率和水平。沈美玲、謝小朋和李建云等[18]將策劃-實施-檢查-改進(Plan-Do-Check-Action，PDCA)循環質量控制機制應用于心內科電子護理病歷質量管理活動后，通過對照組和實施組的EMR數據評價結果對比，提升了EMR數據管理質量。此外EMR數據評價在合理用藥系統升級建設、醫療質量管理效果提升等方面均得到應用[12-13]。四是面向醫療數據治理的EMR數據評價。EMR數據評價將促進醫療數據共享和使用，從而規范醫療數據治理。阮彤、邱加輝和張知行等[19]基于EMR數據的元數據和主數據標準規范提出數據治理評估基本框架，以評估推動高質量醫療大數據智能分析中的數據建設。

4 評價內容研究

4.1 相關標準規范

數據質量評價是發現數據質量問題的有效途徑，而不同標準規范面向不同應用場景的評價側重點不同。通過對含有EMR數據評價內容的相關政策進行梳理，選用官方正式文件(政府發布文件以.gov.cn結尾為準)，從每個文件的核心評價內容中對EMR數據的規范出發，總結已發布標準規范對評價體系的要求，從而為指標體系構建提供相應政策依據，見表1。《用于產生真實世界證據的真實世界數據指導原則(試行)》和《真實世界數據用于醫療器械臨床評價技術指導原則(征求意見稿)》側重于用于產生真實世界證據的EMR數據評價，指出RWD是產生真實世界證據的基礎，因此要求用于產生真實世界證據的EMR數據需基于特定研究目的和監管用途，首先進行適用性評價，主要評價內容為RWD相關性和可靠性，將從可及性、規范性、完備性、相關性、可靠性和數據治理機制等維度分階段依次進行，以最終評價結果為導向進行數據治理。《深度學習輔助決策醫療器械軟件審評要點》和《人工智能醫療器械質量要求和評價第2部分：數據集通用要求(征求意見稿)》中的評審和評價對象是基于EMR數據開發的人工智能醫療產品，其中基于EMR數據開發的決策支持系統等人工智能產品占據較大份額，成為審評審批重點。政策明確提出重點考慮數據采集、標注等流程合理性，數據質量評價的測度包括完整性、唯一性、時效性、依從性等指標，同時進行包括效率、精度、可追溯性和可移植性等指標在內的數據質量符合性評價。《醫院信息互聯互通標準化成熟度測評方案》和《中醫住院電子病歷數據質量控制標準》中，EMR數據評價在醫院管理中的應用可以達到以“評”促“建”的目標，促進醫院信息系統和工作站更新。《醫院信息互聯互通標準化成熟度測評方案》由國家衛健委統計信息中心發布，旨在通過數據結構規范性、內容可及性和共享性等評價來促進醫院互聯互通信息化。在中醫藥領域，中國中醫藥信息學會頒布的《中醫住院電子病歷數據質量控制標準》重視對數據完整性、正確率等指標的評價。

表1 國內外部分EMR數據評價相關標準規范

4.2 維度與指標研究

4.2.1 概述 本研究基于已有文獻、法律法規及標準的分析，嘗試歸納EMR數據評價兩方面依據：評價指標和評價標準規范，兩者共同構成考量EMR數據評價研究的關鍵要素。由于目前研究涵蓋EMR數據眾多方面，針對不同方面的評價指標有所不同，因此通過梳理文獻和規范標準，從數據格式、數據內容、可利用性、安全和隱私以及其他幾個維度選取部分具有共性的指標進行歸納和總結，見表2。

表2 EMR數據評價維度及主要評價指標

4.2.2 數據格式 常用評價指標有規范性、多樣性和可移植性等。規范性是指數據格式是否滿足相關標準和法律法規政策要求；多樣性是指能否滿足門(急)診報告、影像報告、心電圖等多種數據形態的格式要求；可移植性是指數據格式能否滿足其交換、聚合、處理和存儲等活動需求，從而衡量數據從某一環境到另一環境移植的難易程度。Kharrazi H、Gonzalez C P和Lowe K B等[20]通過評價已有數據格式的成熟度預測未來功能成熟度，林帥、林紅和饒春梅等[21]建設護理臨床決策支持系統，進行EMR數據格式評價和結構化工作。

4.2.3 數據內容 內容評價是EMR數據評價的核心，常用指標包括一致性、完備性、準確性等。一致性是指相同來源EMR數據之間的相關性，如同一數據元在數據集生命期不同階段應保持一致；完備性是指數據應包含入院、出院、診療等完整信息，避免信息空白、遺漏或丟失；準確性指數據內容和元數據是真實、可信的。熊興江[22]在構建醫療大數據質量評價指標體系時運用相關性、準確性和可靠性、及時性和準時性、一致性和可比性、可獲得性和可解釋性作為2級指標進行質量評價。

4.2.4 可利用性 包括可比性、可重用性、可獲得性和互操作性等指標[23-24]。可比性是指來自不同數據源數據應可比較，同一數據源的不同生命期數據應可比較；可重用性是指能夠實現數據重復利用和加工；可獲得性要求EMR數據以便于正確解釋和有比較意義的形式進行有效傳播；互操作性是指不同角色、部門、計算機系統、網絡等一起工作并共享數據。有學者[25]在挖掘關聯數據應用價值時，利用可比性、一致性等指標進行評價。王雯璟[26]將可重用性、可復制性等應用于中醫EMR數據的應用符合性評價。

4.2.5 安全與隱私 可追溯性、保密性和隱私性是評價EMR數據安全與隱私常用指標。可追溯性是保證數據訪問蹤跡和變更蹤跡的可審計性；保密性明確信息安全策略，建立EMR數據安全保護機制；隱私性是指維護患者隱私信息安全。Chen H、Hailey D和Wang N等[27]在進行公共衛生數據評價時提出建立數據可追溯機制，在使用、收集數據等活動中保障數據安全和患者隱私。

4.2.6 其他 除以上指標外有學者提出客觀性、可理解性、及時性等指標來評價用于科研活動的臨床數據[28]。客觀性是指EMR數據所記錄內容真實、嚴謹，無偏離事實的主觀描述和評議；依從性要求數據格式、脫敏和加密等符合相關標準規范、專家共識和其他參考文獻；及時性要求對已經發生的EMR數據活動及時進行確認、記錄和報告，不得提前或延后。

5 評價方法研究

5.1 總體情況

目前EMR數據評價方法逐漸增多，定量評價方法的良好實踐彌補了以往定性評價缺乏客觀性和準確性的不足，有利于探索科學的EMR數據評價體系。但是目前定量評價方法研究較少，已有文獻多以定性評價方法為主。EMR數據評價方法按類別可分為定性評價、定量評價以及定性與定量評價相結合3種。

5.2 定性評價

定性評價是指在EMR數據評價過程中不采用數學方法，經過觀察、分析、歸納與描述后，利用相關知識、經驗和判斷最終得到評價結果的方式。定性評價常采取的步驟包括：首先運用文獻調研法選取理論模型、篩選出指標；其次運用德爾菲法和層次分析法構建并改進指標體系；最后以實證分析驗證指標體系有效性。如袁莎和沈麗寧[7]在醫療數據質量評價指標體系研究中，依據“原始質量-過程質量-結果質量”模型，構建包含數據源規范性、數據采集實時性及準確性、數據定義一致性、數據分析效率、數據結果可理解性和數據價值等16個2級指標、若干3級指標的定性評價指標體系，以此指標體系作為定性評價工具，以問卷形式分發給醫院和研究機構相關人員，問卷回收統計后完成EMR數據評價。

5.3 定量分析

定量分析法是指采用數學方法收集和處理數據資料，對EMR數據做出定量結果的價值判斷。目前常用的醫療數據定量分析典型方法有統計分析法和本體法。統計分析法即通過一定統計指標計算得到數據質量結果。如卜擎燕[33]以臨床研究數據為評價對象，提出計算EMR數據差錯率和殘差率統計指標的方法。差錯率是指檢查到的錯誤數除以檢查字段總數，通常表示為每10 000字段多少個錯誤，是最有效、常用的質量評價指標；殘差率可用于分析現有數據與同源數據庫數據核對的差錯數，反映數據結果的可靠程度。本體法是指首先構建基于數據質量的知識本體，其次基于本體應用相關算法計算可用性、完整性和準確性等指標[34]。

5.4 定性與定量評價相結合

為充分結合定性與定量評價優勢，有學者嘗試將二者結合應用，通過定量評價結果修正和消除定性評價中的主觀性。例如Johnson S G團隊基于本體評估過程評價EMR數據，研究使用數據質量本體，該本體引用獨立的數據質量、領域和任務本體并根據相應約束比例計算度量指標，這些數量表明數據符合域的程度以及其適合任務的程度。最后將結果與定性指標結果相結合，實現自動化數據質量評估活動[35-36]。該研究為探索可重復、高效率的EMR數據評價方法提供良好借鑒。

6 結論

目前國內外學者在以EMR為核心的醫療數據評價方面進行了多角度研究，多側重于評價指標體系構建，但是暫未形成系統的量化指標體系，尚未區分在特定功能和用途場景下的評價特點，針對具體應用場景需求的EMR數據適用性量化評價研究較少，同時已有政策較為泛化和宏觀，可操作性不足，指標體系內容寬泛，未形成嚴密的EMR數據評價體系。未來應在以下幾方面強化研究：一是構建多主體、多場景評價體系，關注具體場景評價需求。如在人工智能醫療軟件審評審批場景中進行EMR數據適用性評價，需了解此類產品對EMR數據的需求，以探索適用性評價的量化指標體系。二是加強EMR數據評價應用性研究。從目前政策文件看，多從宏觀層面進行規范和約束，缺乏具有可操作性的行動指南，評價應用性研究尚有不足。應積極探索可操作性強的評價指南和指導規范，引導評價工作順利推進。三是定性評價和定量評價方法相結合，建立科學的評價方法體系。目前EMR數據評價指標仍以定性指標為主，定量指標使用較少，應探索構建完備的評價指標體系，提升定量指標使用占比，以人工智能技術輔助提升定量指標的科學性，從而建立定性與定量相結合的科學評價指標體系。