基于德爾菲法的高職院校同行評教指標體系構建

張路遙

(無錫職業技術學院 質量監督與控制部, 江蘇 無錫 214121)

黨的二十大報告指出辦好人民滿意的教育要深化教育領域綜合改革,完善學校管理和教育評價體系。科學有效的教學質量評價是促進高職教學改革,提高高職教學質量和水平的重要手段。多元教學質量評價能發揮各個評價主體的優勢,取長補短,保證評價更真實、科學,同行作為教學質量評價的一種重要方式,為分析評價教師教學水平提供了依據。其中,公平有效的同行評價可以促進教師的職業發展,便于教學質量診斷改進,有助于提高教師教學質量,提升學生獲得感。

教師考核破“五唯”的新政策環境,對高職教師考核評價要求“體現技能水平和專業教學能力的‘雙師’素質”,使教學質量考核的地位重新凸顯,高職教師也更加重視同行評價指標體系的合理性、科學性與公平性。有些教師擔心同行評議的結果可能會對自己的職業發展產生負面影響,如影響晉升和升職等;有些教師可能認為評估標準過于死板,評估方法不夠全面。因此,在教師和管理者之間進行充分的溝通和協商確保同行評議的公正性和有效性,適時構建更符合當下考核政策、教學方法的同行評價指標體系是保證同行評教工作順利開展的前提,具有一定的理論和實踐意義。

一、評價指標體系的初步建立

高校教學同行評議是最有資格評價教師教學質量的方式之一,其核心理念主要包括基于數據和證據、著重教學質量和效果、促進教師專業發展、以學生為中心。同行評教是一種量化的對教師的教學質量和效果進行評價的同行評議方法,用于評估教師的教學表現。在實施同行評教時,一方面應注重教學質量和效果,即是否能夠達到預期的教學目標和學生學習的需要;另一方面還要關注教師專業發展,即通過評估教師的教學表現給予反饋和建議,幫助教師改進教學技能和知識水平。除了以教師為中心評估教師的素質、能力、行為,同行評價還應該要以教學為中心評估教學內容、方法和過程。同時,以學生為中心評估學生的學習成果,這是因為高校教師教學的最終目標是促進學生的學習和發展。

本研究借鑒國外大學同行評議[1]的評價內容和指標體系,綜合國內大學理論類、實踐類、體育類、在線類同行評價指標,通過文本分析形成指標體系草案,經過小組成員討論修訂后形成初步的指標體系,主要包括五個方面。一是教學素養,包含為人師表、寓教于學、學術支持和教研反思4個二級指標。其中,“為人師表”評價教師基本素質,“寓教于學”評估教師教學育人理念,“學術支持”和“教研反思”通過教師學術素養成果及其對教學的反思和改進情況來評估教師能否通過學術研究不斷提高教學水平。二是教學態度,主要包括教師對待課堂、學生和教學三個方面可感知的態度。對待課堂的態度評價教師對待課堂是否能夠嚴格遵守教學計劃,認真備課,組織好課堂秩序;對待學生的態度考查教師是否尊重學生、關愛學生,認真傾聽學生的問題和建議,并及時解決學生在學習中遇到的問題,關注學生的個性差異和成長需求,幫助學生實現自我提升和全面發展;教師對待教學的態度主要考查教師是否具有敬業精神,是否對教學工作充滿熱情和責任心。三是教學內容,主要有教學目標、基本內容、前沿轉化等方面。其評估教師的教學目標、內容組織是否能夠滿足學生的學習需要并緊跟前沿。四是教學方法,主要包括方法設計、課堂表達、示范操作、技術應用、教學引導、指導反饋、進度節奏和時間把握等方面。其評估教師是否能夠靈活運用教學方法和技巧,是否能夠有效地促進學生的學習。五是教學效果,包括教師的講授效果、課堂上的學生響應和課堂效果、學生的學習收獲。通過學生參與度和課堂效果評估教師是否能夠鼓勵學生積極參與教學活動;通過教師反饋情況評估其是否能夠及時聽取和回應學生的意見;通過學生學習收獲情況評估教師是否能夠有效地促進學生的學習,是否能夠幫助學生提高學習能力和學習水平。

二、研究設計

(一)研究方法

本研究基于同行評教理念,通過文本分析構建初步的同行評教指標,運用德爾菲法進行專家意見征詢達成共識來構建科學的同行評教指標體系。德爾菲法通過多次匿名反饋,充分發揮了專家組成員的獨立主觀判斷能力和專業知識經驗,特別適合受多種因素影響的信息分析、評價評估[2],可以將分散的意見協調一致,其結果具有統計學意義,因此,適用于科學化、民主化地構建同行評價指標體系。

(二)專家選擇

在專家選擇上,德爾菲法要求專家對咨詢的問題有相關的研究或者工作背景,權威程度高,有獨到的見解、豐富的經驗和較高的理論水平,從而提供正確的意見和有價值的判斷。專家數量一般依據研究具體的課題性質和問題設定規模來確定,通常研究文獻中專家人數大多為8～20人[3]。本研究從高職院校邀請了13位教師作為咨詢專家,他們擔任教學院長或教學督導,同時具有教學和管理經驗,對本研究話題有深入了解和相關工作經驗,在教師素養、教學能力、教學質量方面具有豐富的專業知識和經驗感知,比較有權威性。

(三)研究步驟

本研究以國內同行評價現有指標體系為基礎,借鑒國外大學同行評議理念和指標體系,通過文本分析法歸納形成初始指標體系,經過研究小組討論和修改后進行第一輪德爾菲法調研。通過電子郵件的方式將函詢問卷一對一發送給專家,廣泛征集專家的意見和建議,對指標重要度、專家意見協調程度進行統計,剔除低重要度指標。根據專家建議對指標進行修改、合并后再次將征詢問卷發送給指定專家,獲得專家一致同意后調查結束。

三、評價指標體系的構建

(一)第一輪函詢

第一輪函詢發放的問卷分為三部分。一是個人基本信息(教齡、職稱、角色等)。二是基于本研究的初始問卷要求專家按照李克特5點計分法進行認同打分并給出修改意見。本研究通過文獻研究、文本分析形成的初始指標體系,包含一級指標5項,2級指標22項,具體評價描述若干。三是專家權威程度自評。問卷反饋后匯總計算評價指標的相關統計量,依據統計結果和專家反饋意見修訂指標體系。

本研究第1輪專家函詢發放問卷17份,回收有效問卷13份,有效回收率76.5%,其中8位專家提出了共30條建議和意見,專家基本情況詳見表1。專家權威系數表示研究結果的可靠程度,是專家熟悉程度、判斷依據系數和學術水平的算術平均值,一般認為專家權威系數≥0.7即研究可靠。本次函詢專家熟悉程度均值0.908,專家判斷依據系數均值0.958,由職稱換算的學術水平均值0.915,綜合計算專家權威系數0.927,本次專家函詢可靠。

表1 專家樣本基本情況 人

以往的德爾菲研究中主要由描述性統計、主觀分析、推斷性統計這三類方法來定義專家達成一致[4]。主觀分析法,一方面規定反饋輪數(研究表明,三次迭代通常足以達成一致),另外一方面確認專家反饋的意見是否明顯減少且無強烈異議。在使用五級李克特量表重要度的德爾菲法研究中常用均值、變異系數、共識度,即重要或非常重要等描述性指標作為檢驗一致性的標準。一般認為無明顯反對意見時均值大于4較為理想;變異系數比標準差更有說服力,通常認為變異系數小于0.25是一個較好的指標;共識度的評判標準尚沒有統一意見,有的研究者建議共識度大于51%即可,也有建議60%、70%甚至80%的,標準越嚴格,專家組就越難達成共識,因此,本研究選取70% 作為共識度標準,即如果 70% 以上的受訪專家對該指標評分為 4(重要)或 5(非常重要),那么指標保留,否則考慮修改或刪除。推斷性統計主要通過肯德爾和諧系數衡量,它是計算多個等級變量相關程度的一種相關量,其數值為0～1,系數越大專家協調程度越高。一般認為肯德爾協調系數≥0.2且顯著性檢驗p<0.05意味著參與的專家在判斷問題的重要性時使用了本質上相同的標準,結果可取,反之則表示結果不可取。

本研究利用 SPSS 軟件進行數據分析,綜合考查均值、變異系數和共識度三項指標,對第一輪德爾菲專家意見反饋結果進行整理和分析。第一輪專家函詢結果見表2。

表2 第一輪專家函詢結果

按照篩選標準,對滿足重要度均值大于4、變異系數≤0.25且共識度大于70%的指標予以保留,并結合專家意見,對初始指標進行刪除、修改、合并及增加新指標。見表2,第1輪函詢一、二級指標重要度均值均高于4,變異系數均小于0.015,共識度均大于70%,不需要刪除指標,但專家對指標體系有較多修改意見,結合專家的質性反饋意見對各級指標進行修改,具體操作如下。一級指標由5個簡化為4個,將教學素養和教學態度合并為素養態度。二級指標刪除學術支持、教研反思;將“寓教于學”并入“為人師表”的描述中;刪除二級指標“對待課堂”以及“對待教學”中課前準備部分,“對待教學”詳細描述中的“教學嚴謹、考評嚴格公正”并入二級指標“對待學生”;前沿轉化——“教學中能緊跟最新發展,吸收新成果,反映新信息,注意介紹學科發展前沿的新動向,理論聯系實際,不斷充實新的教學內容”——簡化為“教學中能緊跟最新發展,吸收新成果,介紹學科發展前沿的新動向,理論聯系實際,充實教學內容”,再將其與二級指標“基本內容”合并為“內容組織”;“技術應用”納入“方法設計”;“課堂表達”“示范引導”合并為“講解示范”;“教學引導”和“指導反饋”合并為“教學指導”;“進度節奏”和“時間把握”是同類問題,合并為“節奏把握”。“學生響應”和“講授效果”并入“課堂效果” ,“學生收獲”改為“學習效果”,從課堂和學生兩個角度反映教學效果。修改后的指標體系共4個一級指標,10個二級指標。

(二)第二輪函詢

將修訂后的問卷定向一對一發送給第一輪中有效反饋的專家,請他們再次對指標重要性進行打分,如果對修改后的指標有異議可以提出修改意見。第2輪專家函詢發放問卷13份,回收有效問卷12份,有效回收率92.3%,其中僅有2位專家給出共3條關于指標詳細描述的微調建議。從表3可以看出,第二輪咨詢中兩級指標的肯德爾系數均高于第一輪,說明按照第一輪專家函詢意見對指標進行簡化修改后,專家意見的協調程度提高,且有統計學意義(p<0.05)。同時,表4數據顯示全體專家在第二輪問卷中對4項一級指標、10項二級指標的一致性較高,形成共識。至此結束專家意見征詢,確定本研究最終指標體系。

表3 專家意見協調程度

表4 第二輪專家函詢結果

四、結論

本研究通過德爾菲法構建了高職院校同行評教的指標體系,體系包含4個一級指標、10個二級指標以及對應的二級指標內涵描述。該指標體系從“素養態度”“教學內容”“教學方法”“教學效果”四個維度進行同行評教,全面覆蓋了教師、教學、學生三個評價中心。該指標體系科學合理、專家共識度高,可作為評價高職院校教師教學水平的框架,并有助于推動教師進行同行評教,促進其教學水平的提高。德爾菲方法的使用也促進了教師同行評教向民主、公正、科學化轉變。

本研究發現專家對同行評教“教學內容”“教學方法”“教學效果”的意見一致性較高,而對教師教學素養的初始意見不一致,分歧主要集中在是否應該將教師的學術水平納入考核范圍。教師的教學素養既是教師教學的前提,包括為人師表、關心學生、寓教于學等指標點,又是評價教師以身作則、教學育人的出發點。職業素養高的教師可以讓學生更信賴甚至當作榜樣,而職業素養低的教師會讓學生產生厭學心理。

在我國教師評價體系中,科研評價一直是評價的重點,占據非常大的比重,在有些高校的同行評價中,學術支持、教研反思等教師學術研究水平的相關維度也納入同行評教考核。本研究的初始指標體系也包括這兩個維度。然而,通過專家函詢反饋意見可知,部分教師反對在同行評教中評價學術水平。一方面,教師認為同行對教師學術水平的評價缺乏公正統一的標準,不具有權威性。另一方面,同行評教主要評價教學質量,應以教學為主,而教師分科研型和教學型,二者的學術基礎和學術投入不同,在教學評價中交叉考核學術維度,對教學型教師不公平,也容易誤導教師重科研、輕教學。當下“破五唯”考核制度和注重教師分類發展的環境,本研究綜合考慮專家意見,最終在指標體系中刪除了關于學術水平的評價維度,這一修改在第二輪函詢中也得到專家的認可。

高校教師評價的核心難題是公平與公正。盡管本研究通過德爾菲法提高了評價指標的民主公平性,并盡力確保德爾菲法的合理性和科學性,但該方法仍然存在主觀性和不確定性。特別是在指標篩選和重要性評定的過程中,可能存在個人偏見和專家意見的不一致。由于時間和資源限制,本研究僅選擇了部分高職院校教師作為研究對象,因此所得結論可能不適用于所有高職院校。另外,本研究未考慮不同類型課程之間的差異。在信息技術的支持下,后續研究可以基于評價系統研制針對不同類型課程的同行評教指標體系,更有針對性地促進教師教學質量的提高。盡管存在這些局限性,本研究仍然為同行評教指標體系的構建提供了一定的參考價值,并為后續相關研究提供了有益的借鑒。