基于項目反應理論的計算機自適應測試系統在醫護領域的應用思考

黃躍師 張雯 楊瑒 黃青梅 成磊 袁長蓉

(復旦大學護理學院，上海 200032)

測驗，是檢測被試者能力和知識掌握程度的手段。目前國內大部分考試還停留在筆試階段。即便是在線考試系統，也只是利用計算機對考試過程進行管理和實現自動閱卷，無法突破經典測試理論(Classic test theory，CTT)的瓶頸。現代測量理論——項目反應理論(Item response theory，IRT)出現后，基于項目反應理論的計算機自適應測驗系統(Computerized adaptive testing，CAT)應運而生，并且開始向醫學測量領域拓展。本文基于文獻回顧，對計算機自適應測驗的概念、特點、理論基礎、結構流程和應用現狀進行總結回顧，并結合醫療領域中計算機自適應測驗的應用展開論述，現報告如下。

1 計算機自適應測驗的概述

1.1計算機自適應測驗的概念 計算機自適應測驗又叫計算機自適應測試、計算機自適應考試[1]，是一種適應被試者能力的測試[2]。它是以IRT為核心和指導，通過精心設計的計算機系統，依據被試者上一道題目的答題情況，主動適應被試者的能力水平，有針對性地、適應性地給出下一道題，做到因人施測、“量體裁衣”，直至能夠精確地估算出被試者的能力水平(或潛在特質)的一種方法。對CAT的評價主要包括屬性判斷的信效度、題庫安全性、測試效率等[3]。這主要是針對能力水平測試領域，在醫學癥狀評估領域應該要有更合適的考量標準。

1.2CAT的實施過程 (1)根據對個體體驗的特質水平、或者預測試人群等以往被試者的特質水平平均值，從題庫中選擇第一個項目對被試者施測，第一個項目的難度一般是中等。(2)根據受試者對前一個題目的反應，估計他的能力范圍。(3)根據估計到的反應評估值，按最大測驗信息自動選擇下一個項目。(4)當符合終止策略規則時，終止測試，給出最終的評估值[4]。(5)做好測試結果的綜合審查、專業反饋和儲存管理[5]。

1.3計算機自適應測驗的特點 計算機自適應測驗相對于傳統的筆試或非自適應測試有以下優點：(1)出題更有針對性，強調和尊重受試者的個體性和獨立性。(2)依托計算機和互聯網，施測不受時空的過多限制。(3)系統建立以后每次出題、施測和評分都比較省時省力。(4)出題的隨機性和適應性可規避很多傳統的作弊手段。(5)測試過程中受試者不會因題目超過自己的能力水平而感到沮喪、也不會因為題目過于簡單而高估自己的能力水平，有利于把控受試者的答題節奏[5]，給予受試者較好的答題體驗。(6)不易漏答。(7)測量精度相對更有保障。(8)后期可以借助虛擬化技術，使測驗情境更加真實立體[2]。(9)測驗結果反饋較及時，方便受試者和干預者及時作出調整。(10)提高隨機組卷的合理性。(11)方便保存、查詢和分析測試相關的信息。

但CAT的建立和完善較為復雜，如題庫質量要求高、試題參數計算復雜，研究成本高、開發耗時長。被試端主要以計算機、iPad或智能手機等設備為依托；目前的計算機自適應測驗系統多以封閉式的客觀題為主，不過也慢慢開始出現更多樣化的測驗形式[6]；當題庫更新過慢時，可能會有試題流出；當前社會對于計算機自適應測試用能力值估算代替傳統分數作為測試結果的認同度還有待提高。

2 計算機自適應測驗的應用

2.1計算機自適應測驗在非醫學領域的應用 計算機自適應測驗常被應用于教育領域，如學生能力測驗或人員資格測試，目前相關的計算機自適應測驗項目有美國研究生入學考試(GRE)、美國全國教育進展評估(NAEP)、美國(工商)管理類研究生入學考試(GMAT)、美國士兵職業傾向成套測試(ASVAB)、美國教師資格考試(Praxis)、美國建筑師考試、美國的俄勒岡州還率先將計算機自適應測驗系統應用于視障學生的考試。很多世界500強公司也都在大量采用計算機自適應測驗來測試職工或應聘者行為能力和邏輯思維水平[7]。可見目前在教育領域的計算機自適應測驗在美國已經相對成熟。相比之下，國內的應用還在起步階段，目前我國已將計算機自適應測驗應用于漢語水平測試(HSK)[8]及篩查心理缺陷的軍隊入伍考試[2]。全國大學英語四六級考試也在抓緊準備應用中。江西師范大學是國內計算機自適應測驗在教育領域應用研究的首要陣營[9]。

2.2計算機自適應測驗在醫學領域的應用

2.2.1計算機自適應測驗在醫學教育中的應用 目前美國已成功將計算機自適應測試應用于美國護士執照或資格系列考試(National council licensure examination，NCLEX)。國內也開始有學者提出在醫學教育中引進計算機自適應測驗的具體思路，比如有學者[7]構想了計算機自適應測驗在心理咨詢師診斷技能考試中的應用，對題庫建設的統計理論、題庫內容的構建、計算機自適應測驗的心理咨詢師診斷技能考試的功能與應用提出了設想。王佳等[10]從心理測評方法的視角對醫學生醫學人文素養的各種測評方法進行系統的評價后，認為將計算機自適應測驗應用于醫學人文素養評價具有信度高、效度高、針對性強、靈活性強、形式多樣、反饋及時等優點，主要可用于知識、能力、心理素質等一般領域的測試。龐慧等[11]則探討了將計算機自適應測試于大型開放式網絡課程(MOOC)在高等醫學教育中聯合應用的優勢和實施模式。

2.2.2計算機自適應測驗在中醫學中的應用 廣州中醫藥大學有團隊[12-13]正致力于將中醫的證候量化與計算機自適應測驗相結合，并獲得含國家自然科學基金等的有力資助。他們首先對中醫證候量化分析與多維計算機自適應測驗結合的可行性進行了探討，提出基于多維計算機自適應試驗的中醫證候量化的研究思路，認為這樣可以很好地利用量表工具及多維潛變量研究方法在定量化、多維度測量方面的優勢，提高中醫證候測量的精準度。且自適應的測量靈活性更高、測量效率更好，其系統的擴展性也使得后續在臨床應用過程中的持續優化成為可能；其中，侯政昆等[14]基于項目反應理論、計算機自適應測驗及數據模擬，研制出15條目的胃痞患者報告結局量表(簡短版)，并進行了測評。結果顯示量表的單維度性、局部獨立性和單調性均較好，有較好的IIC和ICC，難易跨度合理，與受試者交互良好，大多數條目的閾值順序滿足測評要求，認為該量表可用于成人胃痞患者癥狀和疾病影響的臨床和科研評價。

2.2.3計算機自適應測驗在心理學中的應用 目前主要將計算機自適應測驗應用于危險心理癥狀如抑郁、焦慮、自殺傾向、人格障礙等的篩查，以期提前發現異常心理、防止悲劇發生。Loe等[15]開發了一個計算機自適應測驗版本的抑郁量表，并用美國樣本驗證了該系統的效度和準確性，證明該系統比固定長度的測量工具更加準確和有效。國內同樣有學者[16]為中國人群的抑郁癥測量開發了計算機自適應測驗系統，經測試，該系統具有合理的、可接受的邊際信度、效標效度、靈敏度和特異度效度。鄧遠平等[17]對特質焦慮量表模擬使用計算機自適應測驗，結果表明計算機自適應測驗系統有效地提高了測試效率，對被試的分辨能力更強，測試結果的展示也更直觀、更有利于使用者解讀。Gibbons等[18]基于在匹茲堡大學精神科門診病人和社區衛生診所收集到的數據，開發了用于測量潛在自殺維度的計算機自適應患者自測系統，該系統能夠在大約2 min內平均用10個條目準確測量潛在自殺維度。Sunderland等[19]開發一個用于測量社區樣本患精神疾病風險的廣泛和特定內化因素的計算機自適應測驗系統，證實其測量具有有效性，且更為高效，答題負擔更小。Kavish等[20]采用計算機自適應人格障礙測驗模型，對美國社區居民和澳大利亞大學生進行測試，成功驗證了該模型的可用性。

2.2.4計算機自適應測驗在生理癥狀或功能測量中的應用 有研究者將重點發在某特殊疾病人群生理癥狀或功能的測量，也有研究者專注于總體人群的健康反應或生命質量的測量。國內學者[21]基于計算機自適應測驗技術構建了成人斜視患者報告結局測評系統，并在臨床上與紙質版的測評工具進行隨機對照試驗，結果發現系統測評組所用的測評時間更短，患者對測評的滿意度和依從性更高，差異具有統計學意義。國外研究者[22]對某減肥和塑性手術術后患者癥狀測量的常用量表“Body-Q”進行了改進，結果發現計算機自適應測驗形式的Body-Q平均比原始量表少實施了36.9%的測驗題量，測量結果與原始量表的相關性平均為0.99，說明計算機自適應測試形式的Body-Q同時兼顧了測量的準確性和高效性，可以大大減少患者的答題負擔。生理功能的測量方面，已有用于假肢使用者行動能力測量的CAT[23]，還有分別用于評估嬰幼兒精細運動功能[24]和粗大運動功能[25]的CAT；用于評估腦卒中患者上下肢活動功能、姿勢控制能力及日常生活活動能力的CAT[26]。其適用于6個月到12歲有發育障礙患兒家屬報告患兒自我照顧能力的CAT[27]，適用于兒科康復醫院患兒康復期傷殘評估的CAT[28]，還有用于評估燒傷患者日常生活受影響情況的CAT[29]。這些計算機自適應測試系統都經過驗證，測量性能理想，對特定的人群具有可用性，且大多具有反應性和靈敏性高、無上下限效應、答題負擔小等優點。

2.2.5計算機自適應測驗在生命質量測量中的應用 歐洲的癌癥研究和治療組織(EORTC)開發了用于癌癥患者報告生活質量的QLQ-C30量表的計算機自適應測驗系統[30]，并已經進行到國際性獨立大樣本的驗證階段。Michel等[31]開發了一個用于測量精神分裂癥患者生命質量的CAT，經測驗，該系統具有可用性，其測量的信效度良好，與傳統紙質測量的結果相關度高，且答題負擔更小。Lai等[32]比較了CAT形式和簡表形式對腦腫瘤患者生活質量和癥狀的測量效果，結果發現兩種方法測量出來的相關度較高，但簡表具有上限效應，研究者更推薦用CAT形式進行個性化的縱向監測。另外，還有專門給神經系統疾病或功能障礙的患者報告生活質量的Neuro-QoL CATs，以及專門給鐮狀細胞貧血成年患者報告生活質量ASCQ-Me CATs。

2.2.6計算機自適應測驗在患者報告醫療結局中的應用 美國國立衛生研究院資助研發了較為一套成熟、嚴謹的患者報告結局測量信息系統(Patient-reported outcomes measurement information system，PROMIS)的計算機自適應測驗工具(PROMIS CATs)[33]，適用于普通人群和不同病種的患者自我報告醫療結局，目前已被多個國家的醫療機構引進和應用。PROMIS CATs具有很高的測量效率，其可行性也在廣泛的實踐[34-37]中被證實，只需要很少的施測時間及更少的施測條目，就可以實現更精準、更敏感的測量，有利于對患者的治療結局實現標準化、常規化和個性化的監測。患者可以在醫院或家中利用電子界面完成作答并得到及時的反饋，患者報告結局的數據也會被流線化地儲存和管理[38]。

3 計算機自適應測驗在醫學領域的應用思考

3.1我國醫學領域首先應該大膽嘗試計算機自適應測驗的實現 計算機自適應測驗除了在教育領域得到較為成熟的應用，該技術現在也開始向醫學領域遷移。國內醫學領域對計算機自適應測驗的應用尚處于探索階段，主要多是理論和思路的探討，多集中在中醫和心理學測量領域。有個別學者嘗試用計算機自適應測驗對醫學量表的測量進行模擬改造，如江西師范大學學者們對焦慮特質量表的模擬CAT設計[17]，但這次嘗試并未真正實現計算機自適應測驗的適應性。卞薇等[21]以患者報告結局國際開發標準作為指南，形成了118條目的成人斜視自我報告條目，以Microsoft Visual Studio 2013軟件集成開發工具作為開發平臺，使用C語言，設計并開發出“成人斜視患者報告結局測評系統”。該系統分模塊測評并根據患者做答情況選擇適應性最強的題目作為下一道題，從而減少患者的做大負擔，答題量可減少一半左右，且該系統能對患者的作答情況進行統計和分析，最終以報表形式輸出結果。該系統應該是國內第一個應用于醫療測量的、開發過程相對完整、并真正實現計算機自適應測驗適應性的初嘗試。雖然該條目庫規模還較小，部分參數的設置、臨界值和適用范圍等還需要不斷修訂和驗證，但不可否認這是一次積極的嘗試。

3.2構建計算機自適應測驗系統的過程應該遵循嚴謹的開發流程 國內不少學者已經意識到計算機自適應測驗在醫學領域的應用價值和前景。需要注意的是，構建一個為醫患所用的計算機自適應測驗系統，是需要嚴謹的開發流程的。具體包括準備階段、題庫建設、CAT算法確定、信度和效度驗證、正式使用與題庫維護更新五個基本階段[39-40]進行。其中，在對計算機自適應測驗的模擬研究時應該使用真實的數據，以免對項目庫的效率和精度的估計過于樂觀[41]，從本次文獻回顧來看，現在國外醫學測量領域大部分系統的開發都有使用真實世界數據進行校準。計算機自適應測驗系統可以考慮分成五個模塊：患者在線登錄/管理、患者在線報告、題庫/項目管理及算法模塊、后臺管理員系統、報告結果分析反饋。具體在每一個模塊，都有很多細節值得在實踐中進一步嘗試和研究，以期讓醫學領域的測量更加高效的同時獲得最大測量信度，并不斷優化用戶的使用體驗。未來也期待有系統的評價指標來指導醫學測量領域計算機自適應測驗系統的研發、應用和完善過程。

3.3對計算機自適應測驗相關理論的研究還需進一步深入 由于多維項目反應理論和計算機自適應測驗可以確保測量的準確性、有效性和針對性[42]，允許更快速、更完整地收集數據[43]，推廣性和通用性也較強，目前已漸漸被引用于醫學教育與測量領域[41-44]。研究[45]也證實，將計算機自適應測驗應用于醫學領域的測量，不僅能提高測評的準確度，還能減少答題負擔，也更易于整合到電子健康記錄中。目前，國內醫學領域對計算機自適應測驗的應用多停留在理論研究、開發設想或項目庫開發等早期試驗階段，尤其多維計算機自適應測驗方面的研究有待進一步提高。構建、完善和管理計算機自適應測驗平臺及其項目庫需要一定的計算機技術成本，故必須跨學科團隊合作。

將計算機自適應測驗應用于醫學測量與應用于教育考核其實還是存在一些區別的。比如醫學測試領域對項目曝光率也即測驗安全性的要求不高，對于題庫的試題量也沒有很高的要求[40]。最初的計算機自適應測驗系統是不允許被試者返回上一題修改答題的，目前已有學者[40,46]致力于研發可修改答案的計算機化自適應測驗(Revisable CAT，RCAT)，這種技術在應用過程中的效果如何以及是否適用于醫學測量也有待進一步驗證和探討。

4 小結

隨著5G時代的到來，基于項目反應理論的計算機自適應測驗系統在醫學領域的應用必將得到更好的發展。中國在這一領域的研發更應該加快步伐，大膽嘗試從傳統醫學測量到計算機自適應測驗系統的轉變，借助多學科交叉團隊的力量，在做中學、在學中做，注意開發流程的改進和理論研究的深入。我們期待計算機自適應測驗與醫學領域的結合，能夠碰撞出不一樣的火花，最終改變對治療結局的評估標準、促進疾病與健康的監測、提高國內患者的照護質量、改善患者的就醫體驗。