基于輸出的本科工科教育評估

Said+Easa+陳寶春+趙秋

摘要：基于輸出的評估（ OBA ）是為確保工科專業畢業生獲得成功職業生涯所具有的技能和知識的一種新的評估方法。目前，有15個國家或地區簽署了執行這種評估方法的“華盛頓協議”。中國已經開始應用這種評估方法，可以預見在未來的幾年也將執行這樣的協議。除了傳統的以輸入為基礎的評估標準，OBA代表一種新的工科專業教育的評估標準。文章首先介紹了國外在執行OBA過程中的經驗，并簡短地描述了評估過程原理，包括管理組織機構、評估原理、評估設計、數據收集和分析，以及通過反饋進行持續的改進。福州大學土木工程學院將OBA應用于評估路橋專業學生的口述表達能力。由于OBA在各個國家是相似的，當中國科技協會強制要求各高校執行OBA時，這篇文章將有助于中國各地高校順利地實施。

關鍵詞：工程教育；教育評估；華盛頓協議

中圖分類號：G64922 文獻標志碼：A 文章編號：1005-2909（2014）04-0009-06

基于輸出的評估（OBA）利用以往的經驗慎重地選擇用于評估的結果，包括一系列在本科生畢業時應獲得的知識和技能。當他們即將畢業準備開始自己的職業生涯時，這些技能和知識將給予他們幫助。OBA補充了側重于提供學生資源的以輸入為基礎的傳統評估，例如，對特定的知識點，學生在課堂上花費的課時數。

華盛頓協議（WA）要求其簽署國或地區執行以輸出為基礎的教育模式 [1]。該協議于1989年由6個國家（美國、加拿大、英國、澳大利亞、愛爾蘭和新西蘭）首先簽定。WA是一個國際認可的協議，任何簽約國或地區的畢業生通過該協議的評估，都會被其他簽約國或地區承認具有符合進入工程實踐能力的學歷要求。許多國家為了加入該協議轉變為以輸出為目標的評估，以便在全球工程師的流動中受益。在1995—2006年期間，有4個國家或地區加入了該協議（中國香港、南非、日本和新加坡），隨后于2007—2012年，又有5個國家或地區（中國臺灣、韓國、馬來西亞、俄羅斯和土耳其）也加入了該協議。目前的15個簽署成員和其代表組織見表1。

WA同時還包括6個具有臨時身份的成員（孟加拉國、中國、印度、巴基斯坦、菲律賓和斯里蘭卡）。這些國家表明，他們的認證系統和上述簽署國家或地區相類似，有潛力發展成為以輸出為基礎的評估體系。作為臨時身份的成員需要有多于2/3的正式成員認可。臨時身份成員要成為正式成員之前需要為OBA制定標準、政策和規程，另外，申請必須獲得兩個正式成員國家或地區推薦。該過程還包括需要到申請國家或地區進行考察訪問并給出考察報告。接受新的正式成員需要所有成員一致認可。需要注意的是，中國是持有“華盛頓協議”臨時身份的國家，代表組織是中國科學和技術協會（CA）。

一、管理組織機構

在學院或學校層面上，評估過程的管理組織機構包括：質量保證（QA）委員會、工作組和QA協調人。QA委員會包括學院院長或學校校長、聯系人、分管本科教學和研究的副院長、學院或學校的代表（圖書館、計算機中心、科研和教學辦公室、健康和安全辦公室、學生）。工作組（任何一個工程系）將包括系主任、副主任和選定的將進行評估的教師，也可根據需要設立其他工作組。例如，所有公共專業基礎課程工作組。

在協調人與該委員會合作的過程中，主要職責包括：監督評估過程；負責與一些工作組的協調會議，作為代表提供指導和回答問題；響應委員會提出的倡議，接收反饋信息（約每月一次）；為解釋一些評估品質作準備；在評估過程中解決可能出現的問題；為一些評估教師解釋有關評估方面事宜。

二、評估流程

在評估的第一年，評估過程包括以下任務（圖1）：

（1）確定專業目標和計劃；

（2）制定畢業生品質要求和指標；

（3）制定總課程圖；

（4）制定評估時間表；

（5）評估方案設計；

（6）收集和分析數據；

（7）結果反饋與教學改進。

在隨后的幾年中，任務（2）～（5）是重復的，指標、總課程地圖和評估方案可以修改，評估時間表要落實。任務（1）每三年修訂一次。

圖1中有陰影的任務是以學院或學校的層面來執行，而其他活動以專業或系的層面來進行。學院層面的活動包括制定和每一個品質相關的共有指標，制定一個共同的評估時間表和共同的間接評估方法。重要的是要得到委托方和利益相關者（包括顧問委員會和教職工）的反饋信息。

（一）制定專業目標和計劃

專業目標和計劃與以輸出為基礎的評估是沒有直接關系的。然而，他們將根據工科專業的變化和評估信息的反饋而進行檢驗和修訂。許多加拿大大學對那些與畢業生評估品質有聯系的專業目標進行內部審查。在美國，專業教育目標大致描述畢業生在畢業后的幾年內有望達到什么樣的程度。工程與技術認證委員會（ABE）需要一個專業教育目標的定期審查和修訂的正式記錄過程[4]。

（二）制定畢業生品質和指標

在加拿大和美國，畢業生品質（學生的學習成果）被CEAB和ABE分別指定。預計中國科學技術協會將指定一組共性輸出用于中國所有的大學。這個輸出說明學生在畢業時應該知道和能夠做什么。性能指標所代表的知識和能力，通過學生的展現可以建立能力與品質之間的聯系。引用CEAB對畢業生品質的鑒定標準[2] 如下文所述。

（1）工程基礎知識：具有大學水平的數學、自然科學、工程基礎知識和專業工程知識。

（2）問題分析：為了得到需要證實的結論，使用適當的知識和技能去識別、歸納、分析和解決復雜工程問題的能力。

（3）調查：具有對一個復雜問題進行調查的能力，為了得到可靠的結論，應用的方法包括適當的實驗、分析和數據解釋，以及信息綜合法。

（4）設計：解決復雜、開放式的工程問題能力。設計具有特殊要求的體系、組成或工藝的能力，如健康和安全風險， 適用的標準， 經濟、 環境、 文化和社會等方面的特殊要求。

（5）工程工具使用：基于對限制條件的了解，具有創造、選擇、應用、擴展適用技術、資源和現代工程工具的能力，以應用于從簡單到復雜的工程活動。

（6）個人和團隊的工作：最好是在一個多學科的設置下，作為團隊成員和領導者具有高效工作效率的能力。

（7）溝通技巧：在行業內和社會中溝通復雜、大型工程事務的能力。包括閱讀、寫作、交談、傾聽、理解，以及設計文檔和撰寫報告的能力，并能給予有效、明確的指示。

（8）職業素質：了解專業工程師在社會中的角色和責任，特別是保護公眾和公眾利益方面的主要角色。

（9）工程對社會和環境的影響：分析工程活動對社會和環境影響的能力。這種能力包括了解工程和經濟、社會、健康、安全、法律、社會文化方面的相互作用，了解這種相互作用在預測中的不確定性，了解可持續發展設計和環境管理的概念。

（10）道德與公平：具有職業道德，遵守義務，堅持公正原則。

（11）經濟項目管理：適當地融入經濟和商業做法，如進行策劃、風險管理和改變工程管理習慣，以及了解他們的局限性。

（12）終身學習：能夠識別和應對學生的教育需求，充分保持為知識提升作貢獻的能力。

正如前面提到的，在學院或學校層面，每個工科專業可以指定一個或兩個特定的品質并要求制定相應的指標。每個品質都可以有許多方面指標的建立（例如溝通技巧，可以通過“書寫”“口語”“交流工具”“圖形”展現 ）。所開發的指標可以用于全部工科專業中作為公共的學院或學校的文件進行討論和準備。作為道德與公平品質的指標例子如下（學生具有的）：識別和理解商業管理的相關基本法律原則和法律制度、侵權行為、合同，以及其他工程師所面臨的法律問題；評估競爭的法律規定，并對這些原則問題進行分析；評估道德風險和工程師職業道德專業規程方面的情況；評估和運用公平原則。

（三）制定總課程地圖

總課程地圖是一個矩陣，矩陣的行是具體課程，列是畢業生品質。除了課程，也可以包括其他學習經歷（如實習、合作社和課外活動）。如果有與課程相對應的品質，相當于在總課程矩陣對應單元上做一個復選標記。每個專業教師將被邀請認可其所負責課程在矩陣行中的復選標記。這個矩陣可以用來確保將每個品質輸入到所有課程中的至少一門課程中。總課程地圖可以識別專業的優缺點。建立總課程地圖所需的資料可以參考UFW [5] 和麥格納出版物 [6] 。

（四）制定評估時間表

并非所有的品質都在一年內評估，最好將評估時間延長3年以上。表2顯示了CEAB評估畢業生品質的6年認證周期（2014—2020年）的例子。如前所述，每個品質在評估周期過程中進行兩次評估（每3年一次），這將提供兩輪監測，在CEAB訪問前可對每個品質進行修改。此外，評估的第一年，通常需要更多關注工科專業中最弱的技能品質。

（五）制定評估設計

此任務涉及兩個方面的內容：選擇用于評估的課程和確定評估方法。在第一個方面，除了公共專業課程和可能在第一學年進行評估的課程，每個專業選擇5～6個分散在大學四年的課程。總課程地圖是用來選擇進行評估的專業課程。在2011—2012年期間對瑞爾森大學的土木工程課程中的第一年和中間學年的課程進行了評估。CVL313：結構分析；CVL420：材料力學II ；CVL553：環境科學與工程；CVL755：高級設計工程Ⅰ； CVL800：空間圖像處理和分析；CVL853：空間信息管理系統2；CVL855：高級設計工程II。對兩個公共專業課程同樣進行了評估，CEN100：工程概論和CEN800：工程實踐的法律和道德。

評估方法（或手段）分為兩類：直接法和間接法。但是，每個品質必須由一個或多個直接方法評估。直接法指期末考試、口試、題目測試、檔案分析、情景模擬和其他能通過直接詢問和行為觀察了解學生知識或技能等有關指標的方法[7]。間接法包括對他人評價或自我報告的評估以及離校面談、校友調查、檔案記錄查閱等。Easa等人提出了評估大班的所有學生的新方法 [8-9]。

（六）收集和分析數據

在考試、作業和小測驗等過程中通過遇到的問題可以收集到大多數品質的數據。其他品質可以應用量規進行更好地評估。例如，報告可以用來評估溝通技能品質。量規包括三個等級（優秀、一般、差）和五個要點（寫作風格、報告重點和流暢性、語法、軟件的使用和圖形的使用）。以下是數據收集的一些技巧：（1）只進行可以幫助改善專業教學的必要數據收集；（2）應該向參加評估的教師強調評估的重點是課程本身，而不是教師；（3）采樣是可以接受的，尤其是在人數多的班級里，因為評估對象是課程，而不是個別學生；（4）即使OBA要求演示學生在畢業時達到畢業品質，但所選進行評估的課程應跨越大學四年。

評估數據分析以圖表的形式呈現。例如，口頭報告可以使用量規評估，如在后面所描述的初步研究。每一個指標量規后，結果顯示學生獲得的差、中和優的百分比。對結果進行評估，考慮閾值（規定指標最低可接受的水平）與目標值（學習能力指標期望的水平）是十分必要的。如果表現是小于閾值時，將針對這個指標對專業教學進行改善。在同一個指標內的工科專業中和不同的工科專業中，閾值和目標水平可能會有所不同。這些指標水平可以進行討論，并由工科專業教師確定。評估數據可以使用在工科專業中應用比較成熟的電子表格進行量規評估。評估數據輸入后，電子表格可以自動計算相關的統計數據，并輸出對評估指標有用的圖表。

（七）改進課程

OBA的主要目標是不斷提高工科專業教學水平，確定專業教學的優點，提出改善建議方案并實施改進。根據評估結果，可以對所有專業課程進行改進 [8]：（1）修改課程內容；（2）在一個課程內改變所用資料順序；（3）改變課程的順序或添加新課程；（4）在一個課程內增加實驗或討論的次數。此外，可以改變評估方案，包括指標、課程地圖、量規評分、直接和間接的方法、數據分析和教師培訓。

三、在福州大學的試點評估

雖然中國的大學還不需要正式的以輸出為基礎的評估，但是福州大學土木工程學院已決定進行試點研究，評估畢業品質中溝通技巧的一部分——口述表達能力。評估過程在道路與橋梁工程系生產實習考核環節進行。學生在匯報時需要有九個方面的展示。按下面口頭陳述程度進行量規評估：組織、內容深度、語法和拼寫、溝通輔助、幻燈片視覺效果、語境、表現風格和效果、連續性、時限性，圖2中分別用1～9來表示。評價有三個等級（優秀、中等、差） ，每個等級包括相應標準的描述。以時限性為例，如果學生的演講與規定的時間相差控制在2分鐘內，評為優秀；如果相差在2～5分鐘內，評為中等；如果與規定的時間超出5分鐘，則評為差。口頭陳述由14個教職工來判斷。如果學生表現為差、中等、優秀，每一位教師給出的量規得分分別為1分、2分和3分，以此來完成量規評估。

這項評估對每個方面提供了126個數據點（14名教師，9個報告）。其結果如圖2。A代表表現優秀和中等學生的百分比，B代表表現差的學生百分比。如前所述，表現較差的學生在五個方面（2，3，4，5和7）小于5%，在三個方面（6，8和9）約10%～20%，在一個方面超過20%。如果閾值是20%，那么學生將需要改進的方面主要集中在第1項（組織），或第6項（語境）和第9項（時限性）。在組織方面表現優良學生的標準為：（1）提出一種合乎邏輯、有趣的信息。（2）使用吸引人的或深思的結局。（3）總能平順地從一個環節轉移到下一環節。基于這些結果，道路與橋梁工程系打算為即將畢業的學生準備一次或多次關于口頭陳述技能的講座，并且將口頭陳述作為1～3年級課程安排的必要條件。應該指出的是，學生沒有了解評價內容或量規的標準，需要向學生介紹他們口頭陳述得到反饋信息的情況。

四、結語

本文簡要介紹了本科工程教育以輸出為基礎評估的內容。在評估過程中突出以下幾個重點非常必要。

（1）在早期應進行簡單的評估，一旦教師對評估過程比較熟悉以后，可以稍后進行高級任務和過程驗證。此外，后期工作主要集中在修改和微調評估內容上。

（2）有些持續活動有助于評估過程，包括QA協調員和教師之間的持續互動，QA理事會例會制度，也可安排參與評估的教師幾次休假。

（3）在評估過程中，可能會遇到一些新的挑戰，包括教師對改變的抵觸。學院或學校可以尋求管理或機構改革專家的幫助。在評估過程中涉及的不僅是程序和方案的問題，也包括人的問題。在這方面，讀者可能會發現霍伊和Nault[10]所寫的關于成功地掌握改變帶來的負面影響，是一篇非常有用的文章。

（4）一旦中國成為“華盛頓協議”的成員，中國大學將必須執行這個評估過程。筆者希望此文將提供一個工科專業基于輸出評估的框架。

參考文獻：

[1]International Engineering Alliance[EB/OL].[2013-03-02]. Washington Accord. http：//www.washingtonaccord.org/Washington-Accord.

[2]Canadian Engineering Accreditation Board . Accreditation Criteria and Procedures. Ottawa， Ontario， Canada，2012.

[3]Easa . Framework and guidelines for graduate attribute assessment in engineering education[J]. Can. J. Civ. Eng.， 2013（40）：547–556.

[4]Accreditation Board for Engineering and echnology. Criteria for accrediting engineering programs. Baltimore， Maryland， 2011.

[5]University of West Florida.[EB/OL].[2013-03-02]. Guidelines for curriculum maps. http：//uwf.edu/cutla/curriculum_maps.cfm.

[6]Magna Publications. Enhance learning in your courses through curriculum mapping[EB/OL]. [2013-02-20] http：//www.magnapubs.com/about-us/press-releases/110310PR/.

[7]purlin J， Rajala A， Lavelle J P. Designing better engineering education through assessment[M]. tylus Publishing， 2008.

[8]Easa M， Rosen M A， D Robert， Beaumont D R. Innovative assessment of CEAB graduate attributes in large class： Law and ethics in engineering practice[C]. Canadian Engineering Education Association Conf.

[9]Easa M. Assessing graduate attributes in large classes without sampling[Z]. Australian Association for Engineering Education， Gold Coast， Qeensland， Australia.

[10]oey J， Nault E. Barriers and challenges to assessment in engineering education[M]// Designing better engineering education through assessment. tylus Publishing， 2008.

（編輯 周 沫）