基于整合視角的省級新農合信息系統建設效果評價模型研究*

中國醫學科學院醫學信息研究所（100020） 郭珉江 劉鴻燕 王冰倩 陳慶錕 胡紅濮

基于整合視角的省級新農合信息系統建設效果評價模型研究*

中國醫學科學院醫學信息研究所（100020） 郭珉江 劉鴻燕 王冰倩 陳慶錕 胡紅濮△

目的構建省級新農合信息系統建設效果評價模型，為管理者深入了解新農合信息系統的建設效果，持續完善信息系統建設提供參考工具。方法從技術－服務－業務支撐的整合視角出發，采用德爾菲法對17名專家進行兩輪專家咨詢建立省級新農合信息系統建設效果評價指標體系，并運用層次分析法確定指標權重。結果兩輪專家咨詢的問卷回收率分別為94%和88%，17名專家中50%以上為在相關工作領域工作10年以上的省級新農合業務管理人員，是信息系統的直接用戶，其權威程度為0．83。最終構建的指標體系包括6個一級指標和24個二級指標。結論指標體系體現了對新農合信息系統建設不同層面效果的測量，為全面分析新農合信息化建設存在問題和改進方向奠定基礎。

省級新農合信息系統 建設效果 整合視角

隨著新農合業務信息的海量增長，管理信息系統在輔助新農合業務管理中的作用日益凸出，全國三分之二的省份已建立了省級新農合信息平臺［1］，為提高新農合業務管理水平和服務效率提供了重要支撐，90%的新農合統籌地區實現了省內異地就醫即時結算［2］。然而，受系統架構、數據標準、信息管理等多方面因素影響，我國許多地區在新農合信息化建設方面難以達到理想效果［3］。如何科學、客觀地判斷和測量新農合信息系統建設的實際效果，及時發現系統存在的問題，明確改進方向，對于確保其制度支撐能力以及公共投入績效具有重要意義。本研究在系統分析衛生領域信息系統建設效果內涵的基礎上，從技術－服務－業務支撐的整合視角出發構建省級新農合信息系統建設效果評價模型，以期為各省新農合管理人員科學管理信息系統提供參考。

建設效果內涵

在衛生領域，效果是指規劃執行后解決某一衛生問題或改善不良衛生狀況取得的實際成果，通常用于衡量與實施活動直接相關的結果［4］。在信息領域，信息系統效果常常以效用、績效等概念的形式出現，如馬費成［5］等認為信息系統效用是指信息系統所具有的、可以通過用戶的使用改變用戶績效的能力。肖希明［6］等認為信息資源共享系統的績效涉及系統運行的效果和效率、系統建設和維護的投入產出、系統提供的服務所產生的經濟效益和社會效益、用戶獲取和利用信息資源的滿意度等諸多方面。DeLone和M cLean［7］借用了Shannon和Weaver對信息交流系統的研究，認為成功的信息系統能夠在三個不同等級下進行測度或評價：技術性等級，即生產信息系統的準確性和高效性；語義性等級，即信息傳達它本意的成功性；有效性等級，即信息對于接收者的影響，由此提出了經典的“信息系統成功模型”，包括系統質量、信息質量、服務質量、使用意愿、系統使用、用戶滿意度和凈收益七個指標。由此可見，衛生領域所探討的“效果”更多關注于結果，而信息領域所探討的“效果”則同時關注于過程和結果兩個方面。這主要是因為信息系統是一個復雜的社會技術系統，其實施不僅帶來了信息產品的誕生，也意味著一種新的業務環境和運行模式，因此它的效果存在演變和時滯等問題，需要通過過程研究來分析收益的傳遞和評估［8］。綜上所述，衛生領域信息系統建設效果評價既應包含對作為信息產品的系統性能的評價，也應包含其建成后在用戶和業務層面產生的效益的評價，是一個整合技術有效性、服務有效性和業務支撐有效性三方面的綜合評價，需要摒棄傳統的“唯技術論”的評價視角，從整合視角出發構建評價模型。

新農合信息系統建設效果評價框架

本文以省級新農合信息系統為研究對象，根據省級新農合業務需求，以“信息系統成功模型”為基礎，從技術有效性、服務有效性和業務支撐有效性的整合視角構建建設效果評價框架。

1．技術有效性

技術有效性主要從信息系統開發者的角度進行評價，它關注的是信息系統作為信息產品的屬性，隨著城鄉居民基本醫療保險制度的逐步整合，業務并軌對信息系統的基礎支撐作用要求更高，其核心即為保證技術層面的有效性。因此技術有效性是評價新農合信息系統建設效果的最為核心的內容。根據信息論的“信源、信道、信宿”三階段理論，技術有效性重點從信息產品的生產即系統層和信息產品結果（即信息層）兩個層面對技術有效性進行分析，包括“系統質量”和“信息質量”兩個維度。

2．服務有效性

服務有效性主要從新農合業務人員的角度進行評價，它關注的是信息系統作為操作工具的屬性，可以從服務提供與使用兩個層面對服務有效性進行分析，包括“服務質量”、“使用意愿”、“系統使用”和“用戶滿意度”四個維度。這里的分層與“信息系統成功模型”略有不同，這是因為“信息系統成功模型”重在分析信息系統成功的因果關系，因此將“服務質量”、“系統質量”和“信息質量”作為基礎，探討其對系統使用的影響；而本研究重在分解信息系統建設效果的構成要素，從評價對象角度劃分有效性的內涵，因此將“服務質量”與系統使用相關維度歸為一類。

3．業務支撐有效性

業務支撐有效性主要從新農合管理人員的角度進行評價，它關注的是信息系統作為管理工具的屬性。許多研究表明，新農合信息系統在提高管理效率、服務管理質量和輔助決策方面具有重要作用，因此本研究也主要從“結報管理”、“基金管理”和“報表管理”三個關鍵業務節點的效率、質量和決策支持程度進行有效性評價。

德爾菲法篩選指標

1．專家遴選

本研究旨在分析省級新農合信息系統有效性，咨詢專家需要同時具有省級新農合管理經驗和系統建設經驗，因此我們選擇專家主要來自于信息化建設較好省份的新農合業務管理人員及信息化管理人員，同時選擇了具有相關項目建設經驗的專家學者，共遴選專家17人。其中省級新農合業務管理人員7人，省級新農合信息系統管理人員4人，衛生信息管理專家6人。17名專家均為本科以上學歷，其中具有高級職稱者8人（47%），中級職稱者4人（23．6%），其他職稱者（行政人員）5人（29．4%）。

2．問卷內容

第一輪專家咨詢問卷包括一級指標8個，二級指標28個。第二輪專家咨詢時，向專家提供初步擬訂的指標體系和上一輪專家咨詢的統計結果。兩輪咨詢均要求專家就指標進行刪減、調整和修改。本研究要求專家對每個指標進行重要性評價，評價標準采用9分制，9分為很重要，7分為較重要，5分為一般，3分為較不重要，1分為很不重要，8分、6分、4分、2分為兩相鄰程度的中間值。通過計算指標的得分、均數、標準差及變異系數作為進一步篩選指標的判斷依據。

3．專家咨詢可靠性分析

專家咨詢的可靠程度一般用專家積極系數、專家權威程度和專家意見的協調程度這三個指標來衡量。專家積極系數一般用問卷回收率來表示。專家的權威程度用權威系數表示。權威系數一般由兩個因素決定，即專家對指標的熟悉程度和判斷依據。其中專家熟悉程度和判斷依據的賦值如表1～2所示。結果顯示，專家對評價指標熟悉程度的平均系數為0．75，專家的判斷依據的平均系數為0．91，專家的權威程度平均為0．83，表明所選專家在行業內具有較高的權威性。專家意見的協調程度用協調系數W（Kendall和諧系數）表示，其值為0～1，越接近于1，意味著專家協調程度越高，通過計算協調系數并進行顯著性檢驗（卡方檢驗），判斷專家對各項指標的評價是否存在較大分歧［9］。本研究結果顯示，全部檢驗結果P值均小于0．05，有統計學意義（表3）。檢驗結果表明專家意見的協調性較好。

表1 指標熟悉程度量化表

表2 指標判斷依據及影響程度量化表

表3 Kendall和諧系數W檢驗結果

4．指標篩選結果

遴選出的指標需要較高的得分均值且變異系數小，本研究以均值得分大于滿分的70%（6．3分），變異系數小于0．3為篩選標準進行指標刪減。根據第一輪各項指標的得分均數和變異系數兩項指標，結合專家提出的意見，第一輪咨詢后，刪除1個一級指標、2個二級指標，并修改4個指標，增加1個指標。第二輪專家咨詢后，專家的意見穩定，協調性好，結果良好，對第二輪指標未調整，經研究組成員反復討論篩選后，最終確立了省級新農合信息系統建設效果評價模型，其中一級指標6個，二級指標24個（表4、5）。

表4 一級指標遴選結果

表5 二級指標遴選結果

層次分析法確定指標權重

本文通過層次分析法進行指標權重計算。邀請德爾菲咨詢中第二輪專家對矩陣中的指標進行兩兩對比，構建兩兩比較判斷矩陣，利用層次結構反映因素間的關系，并根據衡量目標的重要程度給出標度［10］。按照Satty的1～9比例標度賦值，通過層次單排序及一致性檢驗、層次單總排序及一致性檢驗、綜合群組判斷矩陣得到各級指標的權重系數，見表6。

表6 使用層次分析法確定的新農合信息系統建設效果評價指標權重系數

實證檢驗

通過問卷調查和現場調研，我們收集了四個省級新農合信息系統的相關數據，其中兩個省份為東部省份，兩個省份為中部省份。采用綜合指數法構建綜合評價模型，對評價對象采取正向累積的方式計分，最后通過SPSS21．0軟件進行信度分析。

1．數據無量綱化處理

對于無量綱化處理，目前經常使用的有極差正規化法、標準化法和均值化法。有研究表明，對于沒有統一標準的指標，可采用平均值作為標準，其中高優指標為X/M（M為各指標的標準，X為各指標的實測值），低優指標為M/X［11］。本研究均為高優指標，因此數據無量綱化計算方式如下：

xij為j指標的原始數值為j指標的均值，yij為標化處理后數值。

2．計算綜合指數值

將各個指標無量綱化處理后的數值乘以該項指標的組合權重可以得到綜合指數值，計算方式如下：

其中y為綜合指數值，wi是指標i的權重，xi是指標i的標化值，n為指標個數。為更清楚地區分各地差異，可將y值乘以100，得到綜合評價參考得分。

3．結果

調研省份的綜合指數如表7所示。

表7 四省新農合信息系統綜合評價得分

4．模型驗證

本研究通過計算克朗巴赫α系數對評價指標體系的信度進行檢驗。結果顯示，省級新農合信息系統指標體系總體信度克朗巴赫α系數標準值為0．924，F＝46．219，P＜0．001，可以認為指標體系內部的一致性較好。由于本研究所選指標并未涉及效標關聯效度，同時本研究的樣本量較小，結構效度測量受限，因此本研究只考慮內容效度。內容效度一般靠經驗、推理和判斷來進行評估，本研究中依據文獻回顧制定評價框架和指標內容選擇標準，之后進行兩輪德爾菲專家咨詢進行指標的遴選和修改，可以認為評價指標基本包含了所要評價的內容，具有較好的內容效度。

討 論

從綜合評價結果來看，中部地區新農合信息系統建設效果普遍優于東部，系統使用情況和用戶滿意程度也普遍高于東部。由于樣本量較小，難以從統計學上分析這一結果的可靠性，從實際經驗來看，這一結果主要有兩方面的可能原因：一是由于自2006年起，中央財政持續對中西部省份的新農合信息化建設投入，中西部省份在新農合信息系統建設、組織建設、政策制定等方面起步較早，系統建設與應用相對成熟。二是由于本研究所選取的中部省份均為農業大省，參合農民占當地人口數量非常高，因此新農合管理服務對信息化的需求更為迫切，對信息系統建設起到了很大的促進作用。

本研究從技術－服務－業務支撐的整合視角出發建立了省級新農合信息系統建設效果評價模型，不僅確保了有形和無形的建設效果都得以測量，引導管理者在注重技術效果的同時，也要注重系統服務、業務支撐等效果；同時體現了建設效果作為技術水平和業務績效的中間過程的特點，避免簡單地將投入作為衡量衛生信息系統建設效果的傾向，將建設效果的原因和結果區別開來，從而為管理者明確系統的薄弱環節和潛在需求提供了參考依據。在指標篩選和權重確定過程中，綜合運用了德爾菲法和層次分析法。一方面考慮了操作的可行性，另一方面考慮了結果的客觀性，為開展具體的評價工作提供了有效的實施方法。限于研究對象的數量，缺乏大樣本實證檢驗，后續研究將以縣級系統為對象進行更大范圍的實證研究以驗證模型的實用性。

［1］郭珉江，錢慶，胡紅濮．我國省級新農合信息平臺建設狀況研究．中國衛生信息管理雜志，2014（1）：57-60，64．

［2］國務院：深化醫改2015年重點工作任務．http：//www．cn-healthcare．com/article/20150510/content-473661．htm l．［3］謝莉琴，李亞子，那旭．基于各級新農合信息系統實現異地就醫管理實踐與問題研究．中國數字醫學，2014（12）：6-8．

［4］程曉明，羅五金，劉國祥．衛生經濟學．北京：人民衛生出版社，2012．

［5］馬費成，宋恩梅．信息管理學基礎．武漢：武漢大學出版社，2011．

［6］肖希明，李卓卓．信息資源共享系統績效評估研究．北京：學習出版社，2013．

［7］Delone WH，M clean ER．The DeLone and M cLean model of information systems success：a ten-year update．Journal of Management Information Systems，2003，19（4）：9-30．

［8］肖靜華．企業信息化水平評價理論與方法．北京：電子工業出版社，2010．

［9］劉歡，吳晶，劉軍安，等．村衛生室基本藥物制度績效評價指標體系構建研究．中國衛生統計，2015，32（6）：935-938．

［10］朱鳳梅．基于模糊綜合評價方法的醫療衛生體制改革評價研究．中國衛生統計，2016，33（2）：267-270．

［11］李玉革，陳訪賢，岳一姬，等．TOPSIS法在新疆艾滋病綜合防治工作評價中的應用．中國衛生統計，2014，31（4）：658-660．

（責任編輯：郭海強）

中央級公益性科研院所基本科研業務費課題項目（2016RC330017）

△通信作者：胡紅濮，E-mail：hu．hongpu＠imicams．ac．cn