我國醫學類本科院校綜合評價指標體系構建研究

許新月，杜曉莉，劉 斌，嚴 立，劉 利

1 重慶醫科大學公共衛生與管理學院，醫學與社會發展研究中心，健康領域社會風險預測治理協同創新中心，重慶，400016； 2 重慶醫科大學校辦公室，重慶，400016；3 重慶市教育評估院辦公室，重慶，400020

教育評價事關教育發展方向。長期以來，由于評價中盛行的管理主義、技術和效率至上，高校圍繞單一標準辦學，導致大學面臨“去特色化”困境以及人才培養趨同性與社會需求多樣性分離等問題。面對高校綜合性評價中日益凸顯的問題，2020年發布的《深化新時代教育評價改革總體方案》要求系統推進教育評價改革，扭轉不科學的教育評價導向，同時推進高校分類評價，引導不同類型高校科學定位，辦出特色和水平。醫學類本科院校是高等教育體系的重要組成部分，其既存在與其他類型高校共有的特征，也存在眾多個性因素[1]。單獨構建富有特色的醫學類本科院校綜合評價指標體系對于引導醫學類本科院校特色辦學，推動醫學高等教育高質量內涵式發展十分必要。目前國內外關于醫學院校評價方面的研究多集中于對醫學院校構成的某一方面的評價，例如對醫學院校科技人才勝任力的評價[2]、對醫學院校研究生導師的評價[3]、對醫學院校生源質量的評價等[4]，缺乏對于醫學院校的綜合評價。此外，一些第三方機構以大學排行榜形式構建的醫學院校綜合評價指標體系也多是在綜合大學評價指標體系基礎上篩選部分指標構成，甚至完全照搬綜合大學評價指標體系，不利于對醫學院校進行科學評價。本研究旨在篩選綜合大學與醫學類本科院校共性指標的基礎上，加入醫學院校特色指標和新時代大學評價特色指標構建醫學類本科院校綜合評價指標體系，為大學分類評價提供新思路，同時推動醫學教育創新發展。

1 資料來源與方法

1.1 資料來源

本研究廣泛參閱《深化新時代教育評價改革總體方案》《國務院辦公廳關于加快醫學教育創新發展的指導意見》《教育部關于加快建設高水平本科教育全面提高人才培養能力的意見》政策方針和高等教育評價相關文獻資料[5-6]，以泰晤士高等教育世界大學排名、Quacquarelli Symonds 世界大學排名、U.S.News世界大學排名、軟科世界大學學術排名、武書連中國大學排行榜、校友會中國大學排名為參照，篩選大學評價基礎指標。以國務院辦公廳發布的三級公立醫院績效考核指標體系為基礎，篩選醫學院校附屬醫院評價重點指標。以中共中央、國務院發布的《深化新時代教育評價改革總體方案》為引導，篩選新時代教育評價特色指標。在此基礎上確定醫學類本科院校綜合評價指標維度。

1.2 研究方法

1.2.1 德爾菲法。德爾菲法是一種針對不同領域專家開展的匿名反饋函詢法，專家的選擇對數據結果的質量有著較大影響，因此研究中選擇的專家不僅要具備較高的理論水平和豐富的實踐經驗，還要有一定的權威性和代表性，一般以8-20人為宜[7]。課題組于2021年3-6月以電子郵件形式向15位專家發放問卷進行了兩輪咨詢。咨詢問卷主要包括3個部分：第1部分主要介紹課題研究背景、研究內容和問卷整體情況；第2部分為專家對整體指標熟悉程度及判斷依據調查，以判斷指標體系科學性；第3部分包括各級指標重要程度評價表。量表采用Likert 5級評分法，從不重要到非常重要依次賦值1-5分，同時問卷后留有空白部分，以供專家提供建議。

1.2.2 層次分析法。采用美國學者Saaty提出的層次分析法來解決權重設置問題[8]。借助層次分析法輔助軟件yaahp 12.6，以第二輪德爾菲專家咨詢重要性評分結果為基礎計算各指標權重。首先建立遞階層次結構，然后采用Saaty1-9標度法根據專家組對同一層次中各指標的兩兩比較賦值得到兩兩比較判別矩陣，得出單層次排序，同時對矩陣進行一致性檢驗。以一致性比率CR<0.10判定判斷矩陣一致性合格，若CR>0.10，則需要對判斷矩陣進行調整，直到滿意為止。最后將各指標在各層的權重系數連乘得到最終的組合權重。

1.3 統計學方法

每輪專家咨詢過后，采用Excel 2019進行數據錄入，并使用SPSS 25.0對數據進行統計分析，計算專家積極系數、專家權威系數、專家意見協調系數來保證專家決策的科學性；計算指標均值、標準差、滿分比、變異系數進行指標的刪減。其中專家積極系數以問卷回收率表示，專家權威程度取決于專家對問卷的熟悉程度和判斷依據。采用肯德爾和諧系數(Kendall's W系數)表示專家協調程度。以P<0.05代表差異有統計學意義。

2 結果

2.1 初步構建評價指標體系

柏林原則要求“大學排名應該認識到組織機構的多樣性，考慮他們各自的使命和目標”[9]。因此，本研究將大學的人才培養、科學研究、社會服務、文化傳承與創新、國際交流與合作五大基本職能設為一級指標，同時基于任何一所大學的發展都離不開辦學要素的支撐，資源保障是高校運行的必要條件，所以將資源保障也列入一級指標。二級、三級指標方面，在大學評價常規指標的基礎上，添加了醫學院校特色指標，包括醫學院校自身特色指標醫師資格考試通過率等，醫學院校附屬醫院特色指標醫療服務數量、醫療服務質量、附屬醫院畢業后醫學教育投入等。同時根據《深化新時代教育評價改革總體方案》具體要求，突出思想政治教育、生師比、用人單位滿意度等指標，初步確定了由6個一級指標、18個二級指標、64個三級指標構成的醫學類本科院校綜合評價指標維度。

2.2 專家質量指標

2.2.1 專家基本情況。咨詢專家的年齡在39-72歲，工作年限均大于11年；有博士學歷的專家占73.33%，正高級職稱專家占80.00%；在研究領域方面，由于指標體系涉及多個學科內容，所以在選擇專家時，以學校行政管理領域專家為主，臨床醫學專家和衛生事業管理領域專家為輔；所咨詢專家工作單位包括同濟大學、重慶醫科大學、新疆醫科大學、內蒙古醫科大學、遵義醫科大學、溫州醫科大學、廣東醫科大學、廣州醫科大學等，高校分布區域涉及華東、華南、華北等地。見表1。

表1 專家基本情況

2.2.2 專家質量系數。本研究共邀請了15位專家參加德爾菲專家咨詢，全部專家均完成了兩輪咨詢且所反饋咨詢表有效，兩輪專家積極系數均為1。兩輪專家咨詢中均有專家提出指標體系修改建議，表明專家對本研究的熟悉度和關注度較高。兩輪咨詢中專家權威程度分別為0.81、0.85，專家權威程度較高。兩輪專家對指標重要程度評分的Kendall's W系數分別為0.272、0.361，均在0-1之間，且兩輪數據結果經χ2檢驗P值均小于0.001，差異具有統計學意義，說明專家意見協調性較好，結果可取。

2.3 評價指標篩選

指標篩選依據主要是專家對各指標的重要性賦值及專家的具體建議，以重要性賦值均數大于3.50且變異系數小于0.25作為保留標準，若存在指標只滿足其中一個條件，則參考專家意見決定是否保留。

2.3.1 第一輪專家咨詢結果。第一輪專家咨詢中，所有指標均滿足均數大于3.50。二級指標中E1學生國際化，三級指標中A11本科生數、F12社會捐贈收入的變異系數大于0.25。本輪咨詢中，共有4位專家對指標修改提出了意見：專家1建議將一級指標資源保障改為學科基礎條件；專家2建議將二級指標師資隊伍建設單列；專家3建議科研國際化下增加科研成果國際化轉化力三級指標；專家4建議將圖書資源與數字資源進行區分，增加數字資源三級指標。基于專家意見和指標篩選界值標準，在第一輪專家咨詢后共對5項指標進行了調整，其中刪減了1項二級指標和2項三級指標，分別為學生國際化、本科生數、社會捐贈收入；增加了2項三級指標，分別為數字資源、科研成果國際化轉化力。

2.3.2 第二輪專家咨詢結果。第二輪專家咨詢中，所有指標均滿足變異系數小于0.25，三級指標 E12外籍教師人數、E21來華留學英語授課品牌課程數、E22引進課程數均值分別為3.47、3.33、3.20，均小于3.50。本輪咨詢中，有一位專家對指標的修改提出了建議，即在“國際交流與合作”一級指標下保留學生國際化?；趯＜乙庖姾椭笜撕Y選界值標準，在第二輪專家咨詢后共對兩項指標進行了調整，即刪減了兩項三級指標，分別為外籍教師人數、引進課程數，無新增指標。

經過兩輪專家咨詢，最終確定了由6個一級指標、17個二級指標、60個三級指標構成的醫學類本科院校綜合評價指標體系(表2)。

表2 我國醫學類本科院校綜合評價指標體系

表2(續)

2.4 指標權重確定

利用yaahp 12.6工具根據評價目的對所有指標進行歸類，構造出了一個各因素間相互關聯的遞階層次結構，共4層，最上層的為總目標，即醫學類本科院校綜合評價指標體系，以一級指標為制約層，二級指標為要素層，三級指標為指標層。同時，計算得到同一層次中兩兩比較判斷矩陣的CR值均小于0.1，具有較好的一致性。最終根據單層次權重結果得到了醫學類本科院校綜合評價指標體系的層次總排序(表2)。

3 討論

3.1 本研究構建的指標體系具有一定科學性

本研究經過專家咨詢和小組討論，按照定量與定性相結合、過程與結果相結合、投入與產出相結合、共性與個性相結合等原則初步構建了適合我國的醫學類本科院校綜合評價指標體系，具有一定的科學基礎。指標體系初步建立后，通過德爾菲法經兩輪專家咨詢確立了指標維度。兩輪專家咨詢中，本研究就爭議指標回訪了專家意見， 就指標增減進行了反復論證。第一輪專家咨詢建議刪除3個指標，即學生國際化、本科生數、社會捐贈收入；建議增加2個指標，即數字資源和科研成果國際化轉化力；建議修改2個指標，即資源保障和師資隊伍建設。根據教育部《學校招收和培養國際學生管理辦法》《來華留學生高等教育質量規范(試行)》兩項文件要求，不盲目追求來華留學生規模，相較于國際化學生數量，培養質量才是核心指標，所以刪除學生國際化指標；醫學生本科培養是衡量醫學類本科院校綜合水平十分重要的指標，但本科階段更注重基礎知識和學習能力的培養，目前培養已走向同質化，綜合考量本科生人數這一指標不適合作為差異化指標進行院校比較，所以刪除本科生數指標；社會捐贈收入是社會自愿捐贈行為，并不是高校穩定收入，用來衡量高校經費保障水平并不可行，所以刪除社會捐贈收入指標；科研成果國際化轉化力是反映高校創新能力和科研國際化水平的重要指標，有必要增加；近年來，數字資源以其方便、快捷、更新快等優勢已經成為教師、學生等獲取信息的主要載體，有必要增加數字資源指標；考慮到資源保障比學科基礎條件更具概括性，所以仍保留資源保障指標名稱；師資隊伍建設相關指標經過總結已歸納到培養條件二級指標下，綜合考慮不單設師資隊伍建設指標。第二輪專家建議刪除兩項指標，即外籍教師人數和引進課程數；增加一項指標，即學生國際化。外籍教師人數指標與海外引智人數指標有一定的概念重疊，引進課程數量指標與來華留學英語授課品牌課程數指標也有一定的概念重疊，但對國外優秀課程的引進是評價教學國際化的重要指標和常用指標，引進課程數指標的重要性評分均值小于來華留學英語授課品牌課程數指標，綜合考慮下決定刪除外籍教師人數指標和引進課程數指標；由于第一輪專家咨詢中專家對學生國際化二級指標意見分歧較大，不再重新增加學生國際化指標。

研究遴選了來自國內不同層級不同區域院校從事臨床醫學、衛生事業管理、醫學教育發展規劃等研究的專家15名。研究進程中專家參與積極性和專家權威程度較高，專家意見協調性雖受到指標總體數量較大和極個別指標專家意見不統一的一定影響，但相關系數在第二輪專家咨詢中仍有明顯提升且兩輪檢驗都具有統計學意義，仍可認為專家意見有較好的協調性[10]。同時，研究基于專家主觀評價，通過層次分析法客觀確定了指標體系各層級權重，主客觀方法相結合，總體上保證了所構建評價指標體系的科學性與合理性。

3.2 指標維度設計具有一定創新性和應用價值

在構建評價指標體系之前，本研究對國內外知名大學排行榜評價指標體系進行了分析，發現并無一項大學排行榜是完全基于大學基本職能構建的。大學基本職能是對高校進行評價的基礎維度。本研究以大學五大基本職能以及資源保障為一級指標建立醫學類本科院校綜合評價指標體系。其中，人才培養是醫學院校的首要職能和根本任務[11]；科學研究是提高醫學院校綜合實力的基石[12]；社會服務是醫學院校的重要使命[13]；傳承文化與創新文化是醫學院校的崇高使命與責任[14]；國際交流與合作是醫學院校文化融合、科技協作和知識傳播的重要載體[15]；資源保障是醫學院校平穩運行的必要條件[16]。高?；韭毮苁且粋€有機整體，以高校基本職能為基礎，從多角度切入醫學類本科院校綜合評價，能夠更加全面準確地反映醫學類本科院校的綜合辦學水平和發展潛力。

共性指標與個性指標相結合是構建高等教育評價指標體系的重要原則之一。目前國內外鮮有單獨針對醫學院校構建的綜合評價指標體系，極少數現存的醫學院校綜合評價指標體系也多是在綜合大學評價指標體系的基礎上擇取部分指標構成，無法體現醫學院校的特色性。本研究在二級、三級指標設計過程中，除師生比例、論文引文數、國際合作等體現高校質量的共性指標外，還加入了體現醫學院校特色的個性指標。其中，醫療服務數量和質量是附屬醫院全部工作所取得的醫療效果的集中表現，是醫學院校附屬醫院工作的核心[17]；醫師資格考試是醫學從業人員行業準入的門檻，醫師資格考試通過率反映了醫學院校和附屬醫院的培養質量[18]；造就醫學人才是醫學院校培養高層次人才的代表性指標[19]；醫療聲譽反映了醫學院校附屬醫院在社會服務中得到人民群眾的認可程度。同時，根據《深化新時代教育評價改革總體方案》具體要求，突出了學生思政表現、師德師風情況等指標，以服務醫學教育發展和進步為導向，契合國家教育評價改革方針和政策。綜上，本研究所建立的指標體系在指標維度的設計上具有一定創新性和應用價值。

3.3 指標權重設置具有一定合理性

權重體現的不僅是某一因素或指標所占的百分比，更強調因素或指標的相對重要程度。醫學類本科院校綜合評價指標體系中人才培養應為首要指標。本研究中人才培養指標占比38.39%，遠遠超過其他一級指標。評價格局的整體性決定著功能的有效性[20]。人才培養是高校的主體功能，培養什么樣的人才、怎樣培養人才是高校所要面對、思索與完成的基本任務。對于醫學類本科院校來說，人才培養更是教育工作的出發點和落腳點?！渡罨聲r代教育評價改革總體方案》中提到立德樹人是高等教育的宗旨，立德樹人成效是高校評價的根本標準。因此，將人才培養指標設置為醫學類本科院校評價指標體系中權重值最高的指標符合國家戰略發展要求，具有一定的合理性。此外，一級指標資源保障權重為12.36%，醫學類本科院校綜合評價指標體系是在投入指標與產出指標相結合的原則下構建的，作為投入類指標，資源保障在高等教育評價的作用越來越重要。資源保障是高校平穩運行的必要條件，尤其是人財物等核心資源的占有份額和使用效率，不僅直接反映了一所高校的綜合實力，更會影響到這所學校的人才培養能力與辦學水平，最終影響到學校的生存與發展[16]。資源保障納入醫學院校綜合評價指標且占比較大，表達了評價者對投入指標的重視?？傮w上看，本研究設置的指標權重值具有一定合理性。