健康信息技術(shù)評估工具及方法的研究進展

王楨絮，顧 鶯，傅唯佳，沈偉杰

健康信息技術(shù)(health information technology,HIT)在醫(yī)療健康領(lǐng)域已經(jīng)廣泛應(yīng)用[1]。從以電子病歷為里程碑式代表的信息通信技術(shù)在臨床的普及，到具備人工智能算法的決策支持系統(tǒng)的嵌入，醫(yī)院信息系統(tǒng)(hospital information system,HIS)被賦予更加豐富的功能，包括提高醫(yī)務(wù)人員工作效率、為醫(yī)務(wù)人員提供臨床決策支持、減少醫(yī)療衛(wèi)生支出及保證病人安全等[2-4]；移動健康(mHealth)應(yīng)用程序具有為病人或普通人群提供健康咨詢、改變健康行為、健康數(shù)據(jù)的收集及用藥提醒等功能[5]；二者均為近年來健康信息學(xué)領(lǐng)域的研究熱點。HIS和mHealth應(yīng)用程序大量開發(fā)和應(yīng)用的同時，需要科學(xué)有效的工具及方法對其進行評估。HIT的衛(wèi)生技術(shù)評估已發(fā)展為一門成熟的科學(xué)，評估工具和方法種類豐富，相互補充，覆蓋了健康技術(shù)產(chǎn)品從開發(fā)到臨床應(yīng)用的各個階段。盡管如此，許多研究對醫(yī)療信息產(chǎn)品的評估內(nèi)容較為簡單，評估維度較為單一，或使用自制的未經(jīng)驗證的評估工具使評估結(jié)果不能真實全面地反映醫(yī)療信息產(chǎn)品的質(zhì)量，進而影響了實際應(yīng)用效果。本研究旨在對健康信息技術(shù)相關(guān)產(chǎn)品，包括mHealth應(yīng)用程序、HIS以及嵌入HIS的電子病歷(EHR)和臨床決策支持系統(tǒng)(clinical decision support system,CDSS)等產(chǎn)品開發(fā)后的可用性(usability)、可接受性(acceptability)及整合性3個維度的評估工具及方法進行綜述，以期為相關(guān)臨床醫(yī)療信息系統(tǒng)、信息化平臺、移動應(yīng)用程序等產(chǎn)品開發(fā)后的評估及應(yīng)用研究提供參考。

1 可用性評估

國際標(biāo)準化組織(international standard organization,ISO)將可用性定義為特定用戶可以使用某種系統(tǒng)、產(chǎn)品或服務(wù)，在指定的使用環(huán)境中有效地、高效地、滿意地達到指定目標(biāo)的程度[6]。可用性是用戶與健康技術(shù)交互時體驗質(zhì)量的重要指標(biāo)，可用性評估可使醫(yī)療信息系統(tǒng)開發(fā)者及時發(fā)現(xiàn)在用戶與系統(tǒng)交互時出現(xiàn)的如界面設(shè)計缺陷等問題，及時加以改進，以滿足用戶的需求。可用性評估方法被廣泛歸類為基于專家的可用性測試方法，例如啟發(fā)式評估和認知走查等，以及基于終端用戶的可用性測試方法，例如現(xiàn)場觀察、訪談、焦點小組和問卷調(diào)查等。現(xiàn)根據(jù)研究類型不同列舉如下。

1.1 定量評估 在進行臨床信息系統(tǒng)可用性評估時，常常會面臨物質(zhì)成本、人力資源及研究時間等限制[7]，量表及問卷調(diào)查法可在短時間內(nèi)收集大量可用性評價數(shù)據(jù)，且經(jīng)濟成本低、收集方法簡單[8]，是可用性評估研究中最常使用的評估方法，目前應(yīng)用較多的可用性評估量表如下。

1.1.1 系統(tǒng)可用性量表(System Usability Scale,SUS) SUS是信息技術(shù)評估領(lǐng)域應(yīng)用最經(jīng)典的可用性評估工具，SUS的使用可以建立廣泛的可用性度量標(biāo)準，以此比較不同健康技術(shù)產(chǎn)品或信息系統(tǒng)之間的可用性[9]。SUS共有10個條目，分數(shù)為0～100分，得分越高表示系統(tǒng)可用性越好，85分以上視為具有十分出色的可用性。SUS是一種基于自我報告的測量工具，兼具簡便性和全面性，在信息產(chǎn)品評估領(lǐng)域應(yīng)用極為廣泛，隨著健康技術(shù)的發(fā)展，在醫(yī)療領(lǐng)域也不斷有應(yīng)用報道。Mathews等[10]向美國327所醫(yī)院實驗室信息系統(tǒng)(laboratory information system,LIS)的使用者以電子郵件的形式發(fā)送SUS進行了可用性調(diào)查，結(jié)果表明LIS的總體SUS平均得分顯著低于基準評分，LIS系統(tǒng)的整體可用性很差，SUS的各項得分有效指導(dǎo)了后續(xù)系統(tǒng)可用性的改進。目前SUS已被譯為多種語言，在可用性評估領(lǐng)域具有重要價值。

1.1.2 研究后系統(tǒng)可用性量表(Post-Study System Usability Questionnaire,PSSUQ) PSSUQ是由美國IBM公司開發(fā)的一種包含19個條目的可用性評估量表，旨在評估系統(tǒng)的可用性、性能和用戶滿意度[11]。PSSUQ最早用于評估商業(yè)信息系統(tǒng)，近年來不斷有研究將其應(yīng)用于健康信息技術(shù)的可用性評估。PSSUQ的維度包含了與可用性相關(guān)的信息系統(tǒng)的5個特征，即快速完成工作、易于學(xué)習(xí)、高質(zhì)量的文檔和信息、功能豐富和提供快速支持，評估維度包括了系統(tǒng)整體運行情況和特定使用場景的運行表現(xiàn)等。PSSUQ與SUS開發(fā)時間相近，但PSSUQ條目數(shù)量較多，評估維度更廣，且為Likert 7級量表，也是一種被研究者廣泛使用的經(jīng)典可用性評估工具[12]，在許多mHealth應(yīng)用程序[13]、疾病診斷互聯(lián)網(wǎng)平臺[14]、網(wǎng)絡(luò)干預(yù)平臺[15]等的可用性評估中作為主要的研究工具使用。

1.1.3 健康信息技術(shù)可用性評估量表(Health Information Technology Usability Evaluation Scale,Health-ITUES) 可用性評估量表種類繁多，各有優(yōu)缺點。Yen等[16]綜合了幾種經(jīng)典的可用性評估量表，基于美國某大型醫(yī)院應(yīng)用的護士排班系統(tǒng)Bidshift開發(fā)了一種針對健康信息技術(shù)產(chǎn)品的可用性評估量表(Health-ITUES)，該量表對SUS、PSSUQ等量表的評估維度進行了綜合，同時彌補了其他量表中缺乏基于任務(wù)評估條目的缺陷。經(jīng)過心理計量學(xué)測量，Health-ITUES最終版為20個條目的Likert 5級量表，包括工作質(zhì)量、感知有用性、易用性、用戶控制4個維度，評估內(nèi)容更加全面。在該課題組后續(xù)一項艾滋病病人癥狀自我管理應(yīng)用程序的可用性測試研究中[17]，Health-ITUES作為研究工具表現(xiàn)出了較好的性能。

1.1.4 mHealth應(yīng)用程序可用性問卷(mHealth Application Usability Questionnaire,MAUQ) SUS、PSSUQ等經(jīng)典的可用性量表為普適性量表，適用于所有信息技術(shù)產(chǎn)品的可用性評估，但鑒于應(yīng)用程序的設(shè)備尺寸、電池容量、計算能力以及安全性和隱私問題等均有特殊性，Zhou等[18]開發(fā)了一種僅針對mHealth應(yīng)用程序的可用性問卷(MAUQ)。MAUQ包含易用性滿意度、界面滿意度以及有效性3個維度，根據(jù)用戶為病人或醫(yī)務(wù)人員、是獨立式應(yīng)用程序或交互式應(yīng)用程序，MAUQ又提供了4種不同的版本，供開發(fā)者選用。不同版本的MAUQ條目數(shù)為18～21個。計量學(xué)分析表明，MAUQ的總體Cronbach′s α系數(shù)為0.914，其包含的3個子量表內(nèi)部一致性很高，與另兩種經(jīng)典可用性量表(SUS和PSSUQ)也有較強的相關(guān)性。Zhou等[18]也比較了MAUQ與Health-ITUES在mHealth應(yīng)用程序可用性評估中的優(yōu)勢，認為與Health-ITUES需要修改某些詞語才能用于mHealth應(yīng)用程序的可用性評估相比，MAUQ對mHealth應(yīng)用程序可用性評估的準確率更高。

1.2 定性評估 定性研究使用非結(jié)構(gòu)化數(shù)據(jù)來揭示問題，可以更好地挖掘用戶的真實體驗。可用性評估中常用的定性研究方法如下。

1.2.1 啟發(fā)式評估(heuristic evaluation) 啟發(fā)式評估是一種基于專家的可用性評估方法，通過有可用性評估及產(chǎn)品設(shè)計背景的專家評估，找出使可用性降低的潛在原因、不必要的和過于復(fù)雜的步驟、信息不一致性和界面導(dǎo)航等問題，每位評審員可發(fā)現(xiàn)35%左右的可用性問題[19]。啟發(fā)性評估常以Nielsen[20]在1995年提出的10條可用性原則為標(biāo)準。①系統(tǒng)可見性原則，即讓用戶看到系統(tǒng)的狀態(tài)；②系統(tǒng)與現(xiàn)實匹配，即信息要遵循邏輯并減少術(shù)語的使用；③用戶的控制度和自由度；④一致性和標(biāo)準化；⑤預(yù)防錯誤；⑥讓用戶識別而不是記憶；⑦使用的靈活高效性；⑧審美和簡約的設(shè)計；⑨幫助用戶識別并修正錯誤；⑩具備幫助文檔。

啟發(fā)式評估的局限性之一是專家的主觀性，增加評估者的數(shù)量、對評估原則加以解釋和說明、獨立評分后的專家討論等措施可以盡可能地減少啟發(fā)式評估的偏倚。但啟發(fā)式評估也具備其獨特優(yōu)勢，如不需要昂貴的實驗室設(shè)備、不需要招募測試人員、甚至可以在未使用過產(chǎn)品的情況下進行評估等。

1.2.2 認知走查法(cognitive walkthrough) 認知走查是可用性評估中的一個重要環(huán)節(jié)，通過布置一系列模擬任務(wù)對真實應(yīng)用情景的呈現(xiàn)，記錄屏幕點擊次數(shù)、完成時間及任務(wù)完成過程中存在的問題等重要數(shù)據(jù)，對可用性的改良有重要意義。使用認知走查法進行設(shè)計評估的目的是評估用戶很少或不需要正式指導(dǎo)或非正式指導(dǎo)即可執(zhí)行任務(wù)的難易程度[21]。認知走查法常與其他可用性評估方法相結(jié)合[10]，Khajouei等[22]將認知走查法和啟發(fā)式評估進行對比，為受試者設(shè)置了3個模擬臨床情景，每個臨床情景包含3項任務(wù)。情境一是為1名12歲的流感病人設(shè)置醫(yī)療計劃，任務(wù)：①選擇該病人；②進入醫(yī)療計劃界面；③提交治療計劃。情景二為查詢2周前入院的住院號為9264的病人的醫(yī)囑，任務(wù)：①搜索病人姓名或住院號；②選擇病人；③搜索病歷。情景三為將1名婦女整形手術(shù)前后的圖像存檔，任務(wù)：①選擇病人；②將圖片添加進病人病歷；③上傳圖片。結(jié)果顯示，認知走查法與啟發(fā)式評估的評估結(jié)果和準確度整體上沒有很大差異，但認知走查法在識別“可學(xué)習(xí)性”方面表現(xiàn)出色，啟發(fā)式評估則更側(cè)重于用戶的滿意度。

1.2.3 訪談法 訪談法是最常用可用性評估方法之一，可直接收集用戶的真實使用體驗。Hultman等[23]對一種非結(jié)構(gòu)化電子病歷文檔查詢系統(tǒng)(NLP-PIER)進行了定性的可用性評估，研究者在測試者完成給定的文檔查詢?nèi)蝿?wù)后進行半結(jié)構(gòu)式訪談，訪談的具體條目包括“您覺得NLP-PIER系統(tǒng)的有用程度如何？”“您有什么建議使其更有用嗎？”“您認為使用NLP-PIER的難易度如何？”“您有什么建議使其操作更容易嗎？”“您是否有任何當(dāng)前或?qū)淼捻椖靠梢允褂肗LP-PIER進行設(shè)想？”“關(guān)于您使用NLP-PIER的經(jīng)驗，您還有哪些建議？”Chew等[24]根據(jù)Nielsen[20]的可用性原則設(shè)計了一種半結(jié)構(gòu)化訪談提綱，對一種提高馬來西亞門診病人用藥依從性的手機應(yīng)用程序(Med-Assist)進行了定性的可用性評估。Chew等[24]認為將該兩種模型結(jié)合的訪談可確保得到用戶界面和用戶體驗2個維度的用戶使用體驗。

1.2.4 民族志 民族志方法在可用性評估研究中可通過專業(yè)觀察員的視角準確而真實地還原產(chǎn)品的使用場景，可收集到使用者與產(chǎn)品交互時的活動和言語、交互的順序以及用戶間的交流合作等細節(jié)，由于民族志研究往往是前瞻性的，因此其結(jié)果具有十分重要的意義。Rizvi等[25]為比較兩個醫(yī)療單位的EHR可用性，采用民族志研究法對12名住院醫(yī)生與兩種EHR的每日使用過程進行現(xiàn)場觀察，觀察者在每日自然真實的臨床情境中收集醫(yī)生使用EHR的情況，并將觀察到的人機交互行為概括為文本輸入與文本檢索兩大類，又細分為模板生成、錯誤提醒、屏幕導(dǎo)航等子類別，并將這些觀察到的交互行為評價為“好、差、一般”3個等級，現(xiàn)場觀察結(jié)束后再結(jié)合研究者自行設(shè)計的調(diào)查問卷對觀察結(jié)果進行補充。Leslie等[26]對美國3所ICU的HIT使用情況進行了一項大型民族志研究，2名非參與式觀察者在1年的時間內(nèi)對3所ICU進行了446 h的觀察，保留了詳細的現(xiàn)場記錄。在民族志研究開始后的4個月和6個月，半結(jié)構(gòu)式訪談以及系統(tǒng)使用頻率和使用時間等描述性研究也分別進行。結(jié)果顯示，現(xiàn)有的HIT可能會帶來醫(yī)療團隊間的信息孤島，不利于醫(yī)護技間的信息共享，其可用性亟待提升。

訪談法及民族志等定性研究方法可以深度挖掘用戶在使用信息系統(tǒng)時的真實體驗，符合信息技術(shù)開發(fā)中“以用戶為中心的設(shè)計(user centered design,UCD)”理念，是信息技術(shù)可用性評估中廣泛應(yīng)用的研究方法。二者常常在可用性評估研究設(shè)計中共同使用，作為定量數(shù)據(jù)的重要補充，可以更好地了解臨床醫(yī)務(wù)人員的可用性需求。

1.2.5 出聲思維法(think-aloud) 出聲思維法是可用性評估研究中一種有效的定性研究方法，出聲思維法可分為即時性和回顧性，前者是在測試者完成指定系統(tǒng)任務(wù)的同時口頭說出自己的想法和體驗，后者是測試者在完成給定任務(wù)后對自己的想法進行口頭總結(jié)回顧[27]。Richardson等[28]運用出聲思維法對一種計算咽炎和肺炎風(fēng)險預(yù)測模型評分以進行診斷、醫(yī)囑項目自動推薦、病歷填充的CDSS進行了可用性評估。受試醫(yī)生根據(jù)標(biāo)準化病人扮演的不同嚴重程度和臨床表現(xiàn)的咽炎或肺炎病情使用該CDSS進行病情評估、診斷、下醫(yī)囑等操作，在與系統(tǒng)交互的同時大聲說出自己的想法，由研究者對這些語言進行逐字記錄，運用內(nèi)容分析法進行提煉、歸類和編碼。Richardson等[28]認為出聲思維法在提高信息系統(tǒng)的視覺效果、內(nèi)容、理解難易度和界面導(dǎo)航等方面有積極效果，而這些內(nèi)容正是提高用戶接受度的關(guān)鍵因素。出聲思維法可以直接反映用戶的真實使用感受，節(jié)約研究成本，較少受時間空間限制，是一種可行性較高的方法，適用于小樣本可行性評估。

1.3 客觀生理指標(biāo) 眼動追蹤技術(shù)(eye-tracking)是測量注視點和/或眼睛相對于頭部的運動的過程，通過提供有價值的眼動數(shù)據(jù)來改善可用性，其在醫(yī)療培訓(xùn)領(lǐng)域應(yīng)用較多，通過眼動儀對視線運動及視線分配的測量，可以得知測試者的注意力分配情況[29-30]。眼動追蹤是一種新穎的可用性評估方法，與“大聲思考”法有所不同，眼動追蹤法可以提供客觀量性的數(shù)據(jù)，二者相結(jié)合可以彌補非結(jié)構(gòu)化的定性數(shù)據(jù)的某些缺陷，例如測試者在口頭表達想法的間隙時的短暫沉默，該部分數(shù)據(jù)可以利用眼動追蹤法獲取。Jayachander等[31]將醫(yī)生以性別分為兩組，利用眼動追蹤儀對EHR的可用性進行了測試，結(jié)果顯示不同性別醫(yī)生EHR的可用性評價比較差異無統(tǒng)計學(xué)意義，但屏幕元素的設(shè)計和布局對2個用戶組的搜索效率有重要影響。Mosaly等[32]將眼動追蹤等客觀的可用性評估措施與出聲思維法、啟發(fā)式評估等相比較，發(fā)現(xiàn)眼動追蹤具有更高的準確性和測試穩(wěn)定性。眼動追蹤技術(shù)通常在實驗室進行，具有一定的硬件設(shè)備要求，因此在可用性評估研究中應(yīng)用較少，但相關(guān)研究數(shù)量也呈增加趨勢。

2 可接受性評估

2.1 信息技術(shù)接受模型(TAM)及其衍生工具 用戶可接受性即用戶對信息技術(shù)的接受程度，是健康信息系統(tǒng)研究領(lǐng)域中的一項成熟內(nèi)容，較高的用戶接受度可極大提升健康技術(shù)的使用效率[33]。信息技術(shù)接受模型(technology acceptance model,TAM)由學(xué)者Davis[34]于1989年提出，是健康保健技術(shù)領(lǐng)域被廣泛采用的理論模型。TAM中用戶對信息系統(tǒng)的接受程度取決于用戶的行為意圖(behavior intention,BI),BI受用戶使用態(tài)度影響，而用戶使用態(tài)度則由用戶感知易用性(perceived ease of use,PEoU)和用戶感知有效性(perceived usefulness,PU)共同決定[35]。Davis[34]在綜合了自我效能、偶然決策和創(chuàng)新采用曲線理論的基礎(chǔ)上提出TAM，根據(jù)其內(nèi)容開發(fā)了分別測量感知實用性和感知易用性的Likert 5點量表，每個量表6個條目，兩個量表共同構(gòu)成了技術(shù)可接受性量表。其中感知實用性量表Cronbach′s α系數(shù)0.97，感知易用性量表Cronbach′s α系數(shù)為0.91，同時采用多特質(zhì)-多方法矩陣測量了量表的聚合效度和區(qū)分效度，結(jié)果顯示良好，該量表已在健康技術(shù)評估領(lǐng)域廣泛應(yīng)用。

2.2 可接受性評估方法 可接受性評估以量表或問卷調(diào)查法為主。Grout等[36]用6年時間對一種計算機自動化兒童健康促進(child health improvement through computer automation,CHICA)的CDSS進行了反復(fù)的用戶可接受性測試。CHICA的主要功能為在患兒等待室等待就醫(yī)時自動生成預(yù)篩查表，待病人信息收集完畢后與病人之前的個人健康記錄整合，將分析結(jié)果呈現(xiàn)給醫(yī)生。研究者根據(jù)TAM中的功能和用法兩個維度設(shè)計了一個包含12項核心條目以及一般資料的調(diào)查表，功能維度條目：①CHICA有時使我想起否則會忘記的事情；②CHICA簡化了文檔編制；③CHICA經(jīng)常犯錯誤；④CHICA已發(fā)現(xiàn)我可能無法找到的病人問題。用法維度條目：①我經(jīng)常不同意CHICA的建議；②CHICA產(chǎn)生的講義很有用；③CHICA會犯很多錯誤；④我很少(如果有的話)使用CHICA；⑤CHICA會減慢診所的速度；⑥我寧愿不使用CHICA；⑦CHICA有太多技術(shù)問題；⑧CHICA的技術(shù)支持非常好。6年的反復(fù)評估顯示，CHICA功能和用法的可接受性隨著使用時間和熟悉程度的提高而上升。

3 整合性評估

3.1 DeLone和McLean信息系統(tǒng)成功模型 DeLone和McLean信息系統(tǒng)成功模型(簡稱D&M模型)由美國學(xué)者DeLone和McLean[37]于1992年提出并于2003年進行修訂，是用于評估信息系統(tǒng)的理論模型，該模型提供了信息系統(tǒng)成功的6個相互關(guān)聯(lián)的維度：系統(tǒng)質(zhì)量、信息質(zhì)量、服務(wù)質(zhì)量、使用意圖、用戶滿意度和凈收益。很多研究也證實了D&M模型在發(fā)達國家及不發(fā)達國家的健康信息系統(tǒng)成功性評估方面均具有有效性[38]。D&M模型在信息技術(shù)領(lǐng)域應(yīng)用已久，但近年來才開始在護理信息學(xué)領(lǐng)域應(yīng)用[39]。Bossen等[40]以D&M模型為框架構(gòu)建了調(diào)查問卷對我國臺灣地區(qū)21所大中型醫(yī)院的護理在線學(xué)習(xí)系統(tǒng)進行了評估，結(jié)構(gòu)方程模型分析結(jié)果表明，護理人員的使用意愿僅受信息質(zhì)量的影響，護理人員對護理電子學(xué)習(xí)系統(tǒng)的滿意度和使用意愿會影響培訓(xùn)效果并產(chǎn)生凈效益，護理人員的滿意度也會影響使用意圖。

3.2 DeLone和McLean信息系統(tǒng)成功模型衍生工具 除了臨床應(yīng)用，也有研究者聚焦于D&M模型衍生工具的開發(fā)。趙永信等[41]基于D&M模型開發(fā)了一種評價臨床護理信息系統(tǒng)有效性的Likert 5點量表，包括D&M模型中的全部6個維度，共29個條目。Yu等[42]為評估澳大利亞養(yǎng)老院中老年人的健康記錄系統(tǒng)的質(zhì)量，開發(fā)了一種基于D&M模型的包含24個條目的測量工具。D&M模型及其衍生工具對臨床信息系統(tǒng)的評估內(nèi)容涉及了可用性、可接受性、成本效益等元素，可以看作是一種簡便臨床醫(yī)療信息系統(tǒng)評估的框架，可在短時間內(nèi)較全面評估臨床醫(yī)療信息系統(tǒng)的質(zhì)量，適用于小樣本、小規(guī)模的信息系統(tǒng)評估研究。

4 小結(jié)

目前對健康技術(shù)產(chǎn)品的評估維度主要包括可用性、可接受性和整合性評估，其中可用性評估具有最為成熟多樣的評估框架和評估工具。許多醫(yī)療信息系統(tǒng)或mHealth應(yīng)用程序的評估研究采用研究者自制的評估工具，而非選用經(jīng)過計量學(xué)驗證的成熟工具，后者的開發(fā)過程更加嚴謹，具有更好的可靠性和推廣性。一些研究在進行評估時將可用性、可接受性等概念混淆，或評估維度較單一，或評估內(nèi)容不充實，只重視臨床應(yīng)用效果卻忽略了用戶即醫(yī)務(wù)人員或病人的使用體驗，也忽略了對系統(tǒng)本身性能的評估，使評估結(jié)果不能真實全面地反映健康信息技術(shù)產(chǎn)品的質(zhì)量，既不符合以用戶為中心的設(shè)計理念，對遠期的應(yīng)用效果也有不利影響。未來相關(guān)產(chǎn)品的開發(fā)者在進行評估時應(yīng)盡量選取多種評估維度、高等級的研究設(shè)計及高質(zhì)量的評估工具，以此更全面地反映醫(yī)療信息系統(tǒng)的質(zhì)量，使其更高效地為用戶所使用。