□孫芳芳 趙志群 李紅敏
職業教育專業建設的授權評價研究
□孫芳芳 趙志群 李紅敏
評價是質量改進和質量保障的重要前提條件。傳統評價模式在應對多元化的社會需求和高度不確定的外部競爭環境等方面已顯得力不從心,迫切需要汲取國際先進的評價理念進行完善。實證研究表明,授權評價對改革我國傳統職業教育質量評價工作具有重要的借鑒價值。建議從以下幾方面深入開展工作:探索先進評價工具、開展相關典型試驗、構建監控與評價體系、完善政策建議。
職業教育;專業建設;授權評價;質量
科學合理的評價制度對職業教育質量保障起著重要的作用。近年來,教育部通過多種方式開展了職業教育的教學評價工作,這在一定程度上促進了院校發展和人才培養質量提高,但是評價實踐仍然存在一些問題未能得到有效解決。教育部曾對全國31個省份進行過調研,結果顯示,“行業企業參與職業教育評價機制不足、學校自我評估機制欠缺、學校內部治理結構有待完善”等問題仍然比較突出[1],這些問題歸根結底是評價觀念落后和評價機制不健全所致,嚴峻的現實使尋找更加合理的評價范式更為迫切。2015年,教育部《關于深入推進教育管辦評分離促進政府職能轉變的若干意見》提出“推動學校積極開展自我評價,…擴大行業協會、專業學會、基金會等各類社會組織參與教育評價,…健全多元化評價標準,積極采用現代化評價方法和技術,保證教育評價的科學性、規范性、獨立性”[2],從政策層面明確了評價改革的方向。國際上起源于西方的授權評價理論作為第四代評價①的主流模式,正在引發大家的關注。授權評價理念建立在建構主義(第四代評價的本質特征)范式基礎上[3],因能夠更好地滿足多元價值的需求,被認為是解決前三代評價長期面對的難題的有效途徑[4]。本研究利用授權評價的理論和工具,對職業院校的專業建設質量評價進行了實踐探索。
“授權評價”是國內學者對Empowerment Evaluation(EE)的普遍譯法。1993年,美國評價協會前任主席、斯坦福大學評價專家費特曼(Fetterman)教授在美國評價協會的年會上首次就EE這一主題發表演講并引發了激烈對話。EE的本意是“通過評價理念、技術、成果的應用,促進自我決策和發展[5]”,筆者認為EE不僅強調“授予權利”,更關注自我評價能力建設,因此,翻譯成“賦能評價”更為貼近其本質內涵,但考慮到國內研究者的習慣,最終還是譯為授權評價。
授權評價理論起源于群體心理學(Community psychology)和行動人類學(Action anthropology)。 群體心理學認為授權是某一個人、組織或群體獲得個人掌握自身事務權利的過程或機制[6];行動人類學對授權評價的影響主要在于人類學家如何幫助群體通過自我決策來達成目標[7]。因此,授權評價不是一個單一的原則、概念或方法,其本質是系統化的思維方式,旨在改變被評價者依賴和受他人控制的角色地位,幫助參與者提高“自我決策”能力。隨著授權評價理論的發展,萬德斯曼(Fetterman&Wandersman)等人豐富了授權評價的內涵,認為授權是一種綜合運用質性和量化研究的方法論,通過提供工具給利益相關者用來評價計劃、實施計劃及自我評價,用以協助項目參與者將授權評價內化為他們項目計劃與管理的一部分,以利于項目成功”[8]。這個概念強調了項目成功的關鍵內容,是對原始概念的拓展和補充,而非完全替代。
授權評價理論模型是一個從期望實現的結果、評價當前能力水平、制定相關策略到實際達成結果的持續改進的循環過程(見圖1)。

圖1 授權評價理論模型
這一模型同時涵蓋了費特曼教授提出的授權評價過程的四個階段,即確立目標、評價現狀、發展策略、記錄通向未來的證據[9]。首先,期望實現的結果是確立目標階段;其次,對當前能力水平的把握即評價現狀階段;最核心的部分是發展策略階段,每一個發展策略的制定都需要相關證據的支持;最后通過實際達成的結果確立未來發展目標。每個階段的進行都需要項目參與者通過頭腦風暴、對話、協商等機制共同確定,整個過程需遵循授權評價的十大原則,包括促進、集體共有、包容、民主參與、社會正義、群體知識、基于證據的策略、能力構建、組織學習、問責。授權評價理論的核心之處在于通過互相學習建立起一種評價文化,組織成員在進行評價的同時將評價的邏輯和價值內化,逐步滲透到組織的日常活動當中,使授權評價文化為解放②個人、小組、組織乃至社會的潛力提供了可能。
目前,國內對授權評價的研究很少,且僅有的研究多集中在理論介紹層面,實證研究匱乏。自2014年起,教育部哲學社會科學研究重大課題攻關項目 “中國現代職業教育質量保障體系研究”引入授權評價理論,對廣州市某學院的專業建設情況進行了實證研究。
本研究選取廣州某高職學院汽車運用與維修技術專業為評價對象,其目的是通過組織評價會,評價小組對專業建設目標的明確性、指標的可行性、課程與教學安排的合理性、實施的可操作性等內容展開對話,從而完善該專業的人才培養方案。
評價工具采用一個在Excel上開發的基于授權評價理論的數據統計和計算工具EE-TOOL。該工具可以根據評價小組成員獨立給出的權重打分,自動計算其最高值、最低值、標準差、平均值等數據,并根據每一位評分小組評定的分數,自動生成數據對應的雷達圖或柱形圖[10]。
1.評價小組。授權評價會要求參加評價的人員由外部專家和利益相關者參與,外部專家包括專業建設理論研究者、職業教育課程研究者、熟悉授權評價方法的職業教育專家擔任。利益相關者包括企業實踐專家、學院領導、相關專業正副主任、學院汽車運用與維修技術專業教師代表,另需一名主持人主持評價會議,主持人不參與打分,人員構成比例均衡,具有代表性。
2.評價步驟。根據授權評價思想,評價會分為四個階段。(1)前期準備階段。包括授權評價理論介紹、解釋評價方法及指標、負責人匯報專業建設目前狀況。(2)開展評價階段。評價參與者對一級指標和二級指標進行首次打分,對同一指標打分差值較大的,需要陳述打分理由,吸納他人觀點,然后進行二次打分(以下稱“妥協打分”)。(3)評價分析階段。對第一次和第二次打分結果進行分析和對比,總結評價結果。(4)評價反饋階段。根據統計結果,分析專業建設存在的問題,明確下一步改進措施。將授權評價的四個階段加以細化,還可以分為以下十個環節(如圖 2)。

圖2 授權評價過程的主要環節
3.確定評價指標及權重。考慮到時間和成本問題,初始評價指標由專業建設質量管理部門提交。根據評價步驟,評價組成員根據自己所理解的每一項指標的重要性,對專業建設的一級指標和二級指標所占的權重進行賦值,經過兩次打分形成的一、二級指標及權重如下(見表1)。
4.獨立評分。權重確定之后,評價小組成員根據評分標準對一、二級指標進行評分,評分標準從1到10分為十個等級,五個分值段,分別是指標對所評價內容沒有意義(1分),指標幾乎沒有意義或很不重要(2-3分),某些方面達到了這個指標的要求(4-6分),在多數方面都達到了指標的要求(7-8分),在所有方面都達到了指標的要求(9-10分),評價成員根據自己所了解到的專業建設情況,對每項指標進行獨立打分。

表1 汽車運用與維修技術專業建設賦能評價指標與權重(節選)③
所有的打分都將錄入授權式-TOOL表格,6個一級指標項的評價分值會自動計算最高值、最低值和平均值,并自動生成柱狀圖,對一級指標的首次和妥協打分的處理結果分析如下(見圖3)。

圖3 一級指標妥協評分結果
通過分析圖3可以看出:
1.六個指標中,第1-5個指標前后兩次評分的平均值的差距都在0.1以內,而妥協打分與首次打分的最高值與最低值的差距有所縮減,說明首次評分后各評分人員對專業建設過程中出現的問題討論行之有效。同時差距縮減不明顯也說明了評價成員的態度、立場都比較堅定,難以接受他人觀點。
2.從兩次打分結果來看,指標“1.人才培養目標”、“2.核心課程設計”、“5.人才培養效果”這三項得分明顯高于其他指標,說明這三項的指標內容對各個利益相關者都很重要,普遍受到評價人員的肯定。
3.從妥協打分結果分析得出,評分偏差仍然較大的有指標“2.核心課程設計”,最高分是8.87,最低分是5.99,差值2.88;其次是指標“6.專業發展支持”,最高分是7.25,最低分是4.65,差值2.6。這說明即使是經過討論協商后,評價人員仍然堅持個人立場。對核心課程設計和專業發展支持兩方面存在很多分歧,若要達成共識,還需要開展很多的工作。

圖4 二級指標妥協評分結果
二級指標從較微觀的層面分析了專業建設工作中的情況。根據評價人員的對二級指標的首次評分結果,評價人員對部分二級指標的評分差異較大,主持人需要組織評價成員對其進行協商討論,然后進行妥協打分,妥協打分結果通過授權式評價工具自動生成了包含33個二級指標的柱形圖 (如圖 4)。
妥協打分后,33項二級指標的標準差只有一項是大于0.9,首次打分是33項二級指標的標準差中有15項大于0.9(圖略),大部分指標項差距都有所妥協,并且各項指標都比較均衡且分值較穩定。首次評分中分值差距較大的指標 5、6、27、30,經過第二輪評分,分別從分值 5、5、6、5 降低為 3、4、3、3。說明評價成員經過協商與討論后,對某些問題基本能夠形成共識,體現出成員間溝通與交流的重要性,但仍存在一些問題,如:
1.指標16“學生認同課程的理念并具備相應的學習基礎”這一項指標,平均值只有6.74分,究其原因,課程改革倡導以學生為中心,要求學生在“做”中“學”、“學”中“做”,但部分學生學習基礎較差,難以適應新型的課程與教學模式,故教師采用行動導向法等教學方法進行授課時存在一定的困難。
2.指標27“學生畢業后就業與創業發展能力強”這一項指標,平均值只有6.68分,說明學生的就業與創業能力還有待提高。根據討論,該專業在后期階段組織學生參加隨崗實訓3個月,但部分學生不愿意從事勞動強度較大且薪金收入起步較低的汽修崗位,這一點需要從學校和家庭兩方面著手,共同培養學生形成正確的擇業觀。另外,學校也應增加一些有關創業的教學內容,拓展學生就業渠道。
3.指標32“專業的社會服務(如培訓)能力強”這一項指標,平均值只有6.79。分析原因,可能是因為學校與廣汽集團的合作日漸深入,每年為社會培養出大批優秀的汽車行業技能人才,還為集團提供培訓場地和師資力量,在社會培訓量方面還有較大的提升空間,需要相關部門積極開拓技能培訓市場。
評價會尾聲,評價參與者對本次評價活動進行了再評價。每個人分別從不同的角度對評價活動總結經驗、提煉不足和分享收獲,這個階段為評價者和參與者提供了更多的思考,有利于下一輪評價活動的開展和完善。同時,本次達成的評價結果將作為下次評價活動衡量項目進步與否的基線。最后,需要有關人員撰寫評價報告,報告內容要求詳實完整,包括評價理論介紹、評價指標解釋及權重賦值、項目匯報、統計打分、討論過程、結果比較與分析、評價反饋及改進措施幾個部分。評價報告完成后要反饋給教育主管部門、學校管理部門及相關領導,以期從頂層設計層面規范并建立學校質量持續改進的監控機制。
在以上的授權評價實踐中,所有利益相關者代表都要參與整個評價過程,評價者和參與者的角色與傳統評價相比發生了革命性的轉變,突破了傳統的評價者與被評價者二元對立的關系,這與國家目前倡導的多元組織參與評價、自我評價模式的理念不謀而合。授權評價強調學習是“社會化”的,即通過從別人經驗中學習來提高整個組織學習能力[11],因此而顯示出其強大的生命力。具體表現在:第一,授權評價通過持續的分享個人及團體智慧,建立了一種學習文化,并將其內化和制度化為組織管理的一部分。第二,通過短短一天的評價活動說明,授權評價理論簡潔、普適,方案可操作性強。第三,授權評價倡導以質性和量化相結合的方法開展評價,強調在數據分析的基礎上進行意義解釋。第四,授權評價通過環境的民主性和開放性、參與者的全面性、較大樣本的評分矩陣、資料的真實性等保證了評價過程的真實和有效[12]。
盡管授權評價能夠有效彌補傳統評價范式的不足,但是受到我國傳統的文化影響,若大規模推廣仍有可能會遇到一些困難,例如:受官本位思想的影響,目前建立一個完全的民主評價環境還很困難。此外,與傳統的評價相比,授權評價需要較多的時間和較長的(循環)周期。在我國目前客觀情況及某些急功近利的大環境下,這也可能阻礙它的廣泛實施。建議今后從以下幾方面深入開展相關工作:(1)引進多種基于第四代評價理念的評價工具,開展更大范圍的“典型試驗”,在實踐基礎上積累更多的成功經驗,為形成適應我國國情的現代職業教育質量評價制度奠定基礎。(2)在實踐基礎上,建立院校以及專業、課程和教學的質量監控與評價體系,形成一個能夠隨時向有關人員反映組織運行狀況、隨時發現問題并及時調整的動態機制。(3)借鑒國內外成功經驗,提出建立和完善職業教育質量評價的政策建議,為形成一個更為民主、開放的評價環境提供政策保障。
注釋:
①根據美國評估專家古貝和林肯的分類,評價理論經歷了測量、描述、判斷、建構四個階段。我國目前的職業教育評價基本停留在以描述和判斷為主的傳統評價階段。
②解放(Liberation)是授權評價的主要特征,指評價者和被評價者超越傳統的角色定位和限制,轉向一種平等、合作的關系。
③因篇幅所限,文中僅列出部分指標的權重。同理,對一、二級指標的首次評分結果圖也予以省略。
[1]教育部.職業教育專題評估報告有關情況介紹[EB/OL].[2015-12-03].http://106.37.166.229/zgzcw/gndt/201512/9f8475cbbcd54030917e43f12fae3b66.shtml.
[2]教育部.關于深入推進教育管辦評分離促進政府職能轉變的若干意見[EB/OL].[2015-05-04].http://www.jyb.cn/info/jyzck/201505/t20150508_62 1609.html.
[3][美]古貝,林肯.第四代評估[M].秦霖,等譯.北京:中國人民大學出版社,2008:2,9.
[4][瑞典]胡森,[德]T.N.波斯爾斯韋特[M].張莉莉,譯審.重慶:西南師范大學出版社,2011(4):61-62.
[5]Fetterman,D.M.(2001).Foundations of empowerment evaluation.Thousand Oaks,CA:Sage,3,3-4,147.
[6]Rappaport,J.(1987).Terms of Empowerment/Exemplars of Prevention:Toward a Theory for Community Psychology[J].American Journal of Community Psychology,15(2):121-148.
[7]Tax,S.The Fox Project(1958).Human Organization,17(1):17-19.
[8]Fetterman,D.M.,&Wandersman,A.(2007)Empowerment Evaluation:Yesterday,Today and Tomorrow.American Journal of Evaluation,28 (2):179-198.
[9]Fetterman,D.M.(1994).Steps of empowerment evaluation:From California to Cape Town.Evaluation and ProgramPlanning,17(3):305-313.
[10]趙志群.職業教育工學結合一體化課程開發指南[M].北京:清華大學出版社,2009:124-129.
[11]阿基里斯,組織學習:理論、方法與實踐[M].姜文波,譯.北京:中國人民大學出版社,2011:4-12.
[12][美]大衛·菲特曼.使能性評價原理[M].張玉鳳,譯.北京:教育科學出版社,2015:90.
孫芳芳(1982-),女,河北滄州人,北京師范大學教育學部2014級博士研究生,河北科技師范學院職業教育研究所講師,研究方向為職業教育管理、課程與教學論;趙志群(1966-),男,山西陽泉人,北京師范大學職業與成人教育研究所所長,博士生導師,研究方向為課程與教學論,國際職業教育;李紅敏(1982-),女,河北邯鄲人,河北科技師范學院助教,研究方向為教育史學理論與方法。
教育部哲學社會科學研究重大課題攻關項目“中國現代職業教育質量保障體系研究”(編號:13JZD047),主持人:趙志群;河北省社會科學發展研究課題“現代職業教育內部質量生成與監控研究(編號:2015040405),主持人:孫芳芳;河北職業教育研究基地河北科技師范學院資助及秦皇島市社科聯課題“農村中職教師專業化發展及路徑優化研究”(編號:2014WT010),主持人:孫芳芳。
G710
A
1001-7518(2016)03-0020-06
責任編輯 殷新紅