理科專業認證標準的指標設計與元評估結果統計與分析*

代昭 馬明 紀妍妍 李穎 孫玉

（1.天津工業大學化學工程與技術學院；2.天津工業大學生命科學學院）

隨著工程教育認證在我國的逐步推行，已經形成了對工科專業的標準化、量化、可持續監督與改進的有效教學建設手段。工程教育認證標準的核心是“畢業要求”，要求學生通過專業培養方案的學習獲得處理“復雜工程問題”的能力，具有明顯的以成果為目標導向（OBE）特征。這要求工程類高等教育從業者具備良好的逆向思維與設計能力，在整體教學過程按照工程教育認證標準與流程進行設計與執行，并得到可持續改進的“畢業能力”量化分析結果。這為高校重新檢視本科教學的角色，加強專業建設間的橫向對比奠定了良好的基礎與第三方監督建立了良好的基礎。截至2021 年底，全國共有288 所普通高等學校1977 個專業通過了工程教育認證，涉及機械、儀器等24 個工科專業類[1]。

目前對于理科專業的建設與評估并未形成一套類似的、可量化的第三方機制，這對于理科類專業的建設是不利的。隨著工程教育認證逐步獲得學生、高校和社會的承認，以及工程教育認證積累了足夠多的積累，對整體全部本科類專業進行標準化、量化、可持續改進的第三方評估是未來的建設方向。這對整體掌握本科教育建設基本信息，對我國高校建設進行整體規劃至關重要[2-3]。

自2022 年起，隸屬于理學化學類的應用化學專業可以申請工程教育認證，這是由于應用化學專業可以授予工學學位。而應用化學專業申請工程教育認證的難點在于，整體學生培養方案更偏向于理科，工科的課程并不多，因此針對工程教育認證標準的支撐較弱。因此，本文擬從工程教育認證標準和CDIO 國際認證標準中提煉出來適用于理科專業的認證標準，對其核心內容“畢業要求”進行分解，設計元評估量表，邀請專家依據元評估量表對畢業要求進行評估，并使用數學模型對元評估數據進行分析。

一、CDIO 國際認證標準

CDIO 國際認證標準屬于典型的OBE 教育理論，將學生應獲得的能力分解為Conceive、Design、Implement、Operate（即，構思-設計-實現-運作）四個基本模塊，構筑成畢業能力的主體。與中國工程教育認證中各專業可自主分解畢業要求不同，CDIO 認證標準詳細的列出了各級分解能力的要求，如表1 所示。

表1 CDIO 認證標準中的一級與二級畢業能力要求

雖然CDIO 國際認證依然屬于工程教育認證，但其OBE 內核值得各認證參與者借鑒與學習，但是在對應申請者來說，CDIO認證的要求較為全面，申請者的靈活性明顯低于中國工程教育認證，尤其是CDIO 認證標準詳細的規范到了三級能力的要求，這對申請認證提出了極高的要求。

二、理科專業認證標準的畢業要求

中國工程教育認證只規定了12 個“畢業要求”，與CDIO 國際教育認證相比，這十二個“畢業要求”相當于CDIO 的二級能力要求。而在申請工程專業認證時，申請者可以自行對畢業要求進行觀測點分解，這是CDIO 與中國工程教育認證標準的主要區別。

經對課題組對天津工業大學應用化學專業進行調研，依據中國工程教育認證標準和CDIO 國際認證標準，依據OBE 教育理念，設計了理科專業認證標準，并采用CDIO 國際認證標準的模式，將核心內容 “畢業要求”設計為6 個一級能力，9 個二級能力，23 個三級能力，如圖1 所示。

圖1 理科認證標準中的“畢業要求”與相應分解能力

在整體“畢業要求”的設計上，借鑒CDIO 認證標準的模式，將一級能力設計為“構思”“設計”“操作”“實施”“交流”“發展”六大基礎能力。其中，以提高理科專業在解決復雜專業問題領域的實際能力為OBE 理念，提出以“構思-設計-操作-實施”作為解決復雜專業問題的四大核心能力。以“交流”和“發展”作為個人素質和職業發展的能力要求。

在三級能力的設計上，注重從“自然科學基礎”到“專業基礎”的整體理科專業素養的培養，再從能力全面性角度考慮，設計了“人文素養”和“通識教育”。在解決復雜專業問題的具體環節要求上，設計了“文獻查閱”“問題分析”“信息綜合”等的信息獲取能力，還設計了“方案設計”“合理性評估”“流程設計”的規劃設計能力，然后通過使用“實驗操作”“分析數據”，結合“選取現代工藝”，從而正確對結果進行分析。

三、元評估量表

對于一個認證標準是否合理進行事前評估，是目前國際上常用的評估手段。Scriven 等人提出了“元評估”這一概念與方法，即對某個評標準進行評估。 Scriven 提出，元評估應以實用性、可行性、合理性和準確性作為四個評估指標[4-5]。隨著元評估領域的應用逐漸推廣，在美國等注重標準化的國家，已經廣泛涉及教育、醫療等領域對使用標準進行評估。本文擬采用Stufflebeam 的11 項 指 標 對[6]表2 中的23 項能力進行元評估分析，基于這11 項指標的元評估量表如表2 所示。

表2 元評估量表

課題組邀請專家10 位，其中5 位來自本單位，5 位來自外單位，組成元評估專家團，在對評估指標打分時采用百分制，60分為基本合格，70 分為合格，80 分為良好，90 分為優秀，對本課題組設計的“理科教育認證標準”中的“畢業要求”進行了元評估。每位專家依據表1 對“畢業能力”中的23 項三級能力依據11 項元評估指標要求進行評分。將10 位專家的所有數據統計記錄后，從統計學的一致性、信度、效度三個方面對所有數據進行統計分析。

四、元評估結果分析

（一）一致性評估

對于認證標準的元評估來說，來源不同的專家對認證標準的一致性評估是非常關鍵的指標，所得評估結果是否具有一致性是對評估結果的是否具有普遍認同性的代表性指標，其結果代表評審專家是否取得了共識，本文采用肯德爾和諧系數法（Kendall W）對評估結果的一致性進行分析[7]，其公式為：

式中Rw 為Kendall W 系數，K 為評審專家人數，N 被評價的指標數，Ri 為每一個被評價的指標方差和。

采用統計分析軟件SPSS 25對所有專家的23 項指標評估結果進行統計分析，所得結果為，一致性最低的指標為能力18（人文素養）的“重要性”，Rw=0.875；一致性最高的指標為能力15（科學方案實施），Rw=0.968。所有指標的顯著性P均＜0.05，具有明顯的顯著性和統計學意義，這表明所設計23個能力合理，具有明顯的一致性。通過與評估專家進行溝通，部分專家認為，“人文素養”與“跨學科交流”存在部分內容重疊，可進行優化設計。

（二）信度評估

信度評估一般采用克朗巴赫系數（Cronbach's α），具體公式為[8]：

使用SPSS 25 軟件對10 位專家的評估結果進行統計，所得結果為，信度最低的指標為能力20（跨文化交流）的“關聯性”，α=0.713；一致性最高的指標為能力10（分析數據），α=0.882。所有指標的顯著性P均＜0.05，具有明顯的顯著性和統計學意義，這表明所設計23 個能力的設計合理，具有明顯的一致性與可信性。

（三）效度評估

內容效度（content validity rate, CVR）是一種經常使用的效度評估參數，它是指被評估的樣本是否取樣范圍是否合適，由于所有的評估都無法完全覆蓋真實的被評估內容，也就是所有的評估都存在取樣行為，而無法實現全內容考核，對于本文來說，就是對10 位專家的評估結果是否能覆蓋認證標準的全部內容，達到評估的目的，其計算公式為[9]：

式中ne為所有評估專家中，認為某個認證指標達到了所認真標準設計時的要求或可以很好的促使學生獲得該項“畢業能力”的同時并達到元評估11 項標準中的某一項；N 為參與評估的評估專家總數。

以基本認同（>70 分）作為基準，若某項指標被評估專家認同，則ne 數+1，若全部專家對某項指標的評分小于70 分，則CVR 為-1；若一半專家不認同某指標，則CVR 為0；若全部專家認同該指標，則該指標的CVR 為1。此外，評審專家人數對內容效度比有一個最小接受參考值，當評價專家在10 人左右時，其最小可接受參考值分別可設為0.62[10]。

對10 位專家的評估結果進行內容效度比分析，所得結果為，效度最低的指標為能力19（跨學科交流）的“可信度”，CVR=0.6；一致性最高的指標為能力10（分析數據），CVR =1。所有指標的顯著性P 均＜0.05，具有明顯的顯著性和統計學意義，這表明所設計23 個指標合理中，能力19 的設計還可以進一步優化。

五、結論

針對目前國內沒有理科教育認證體系與標準的情況，本文通過研究國際CDIO 認證標準與中國工程教育認證標準，設計了符合OBE 理念和理科教育特點的“理科教育認證標準”的核心內容“畢業要求”。并參考CDIO認證理念將“畢業要求”設計成了三級，并使用“元評估”理論建立元評估量表，對23 個三級能力進行評估分析，依照統計模型對評估結果的可靠性進行研究，結果表明，所設計的23 個三級能力均通過了評估，表明所設計理科專業認證標準的較為科學有效。