張學波 林書兵 王宏媛
基于數據的教學診斷:數據表征、問題指向與教學處方*
張學波1,2林書兵3[通訊作者]王宏媛4
(1.華南師范大學 教育信息技術學院,廣東廣州 510631;2.華南師范大學 腦認知與教育科學教育部重點實驗室,廣東廣州 510631;3.北京師范大學 人文和社會科學高等研究院,廣東珠海 519087;4.汕尾市教師發展中心,廣東汕尾 516600)
教學診斷是教師對教學活動中的各種現象進行檢查、分析、反饋、調節,以使其不斷優化的過程。傳統教學診斷活動容易陷入形式化、套路化的境地,難以切中教學問題的本質。雖然數據為教學診斷提供了確鑿憑證,但具體如何通過數據分析來確診教學問題,卻鮮少有研究提及,相應的實踐也缺乏深入總結。對此,文章首先根據數據表征,梳理教學問題的診斷入口;然后根據問題指向,提出精準導向的診斷程序;最后總結教學處方,提出數據驅動的教學干預原則。文章試圖構建數據呈現與診斷結果之間的行動路徑,以期為基于數據的教學診斷實踐提供操作指引。
教學診斷;數據驅動;診斷程序
教學診斷是指教師對教學活動中各種現象進行檢查、分析、反饋和調節使其不斷優化的過程[1],其為教學問題的發現和解決提供了專門途徑。但由于人們認識的局限性和技術發展的限制,傳統教學診斷主要采取同伴聽課、評課或課堂觀察等形式,以看、聽和問等主觀方式進行,這導致人們對教學問題的理解也多來自思辨、經驗以及部分碎片化的感性認識,缺少針對現實問題的深入思考、理論追問和依據構建[2]。近年來,隨著教育大數據和人工智能技術的飛速發展,數據作為貫通教學全過程的關鍵要素,逐漸成為教學診斷活動的主要依據。當前,教學診斷實踐活動正處于蓬勃興起的階段,但該領域一直缺乏成熟的教學診斷理論指導,對于具體如何由數據推導出結論,以及如何開具有針對性的教學處方等問題,診斷主體在實踐中往往缺少明確的理論依據,也尚未對已有的實踐經驗進行系統總結。因此,如何通過數據表征發現教學問題診斷的突破口,構建精準導向的教學診斷程序,提煉數據驅動的教學干預原則,明確從數據到問題再到對策的教學診斷路線,實現教學診斷的有理有據是這一領域面臨的主要問題。為此,本研究對一過程的相關規律和方法進行總結,試圖構建數據呈現與診斷結果之間的行動路徑,以期為基于數據的教學診斷實踐提供操作指引。
當前,隨著各類教育大數據平臺的推出,傳統的教學數據采集變得更加方便精準,同時也使數據獲取的方式和種類更加多樣,數據的體量和類型由此發生巨大的變化,進而促進了教學診斷多模態數據的形成,教學診斷任務演變成如何從多維的數據中尋找問題、在零散的數據中發現問題、在瑣碎的數據中描述問題以及借助系統的數據來解釋問題?;诖?,本研究以當前一線教學實踐中常見的學業數據分析為例,對其常見數據指標和分析視角進行梳理,以歸納數據呈現特征與診斷分析維度之間的關系,總結教學質量問題發現的基本方法。
目前,課堂教學診斷已經形成了師生行為轉化率、師生語言互動比、師生行為互動分析和教學模式分析等常見診斷指標,據此可對教學過程中的探究深度、合作效度、生成高度和自主程度等進行深入分析,讓課堂教學觀察和教學環節分析結論更具說服力,轉變了僅憑聽課、觀課的傳統診斷模式。與此同時,在當前各類智能教學平臺的支撐下,針對學生學業的診斷活動,教師可以在多個渠道采集相關數據,建立包括學生認知、行為、生理、態度、活動、獎勵、能力、作業和測試等在內的多維觀測指標,從而真正實現基于多模態學業數據的綜合診斷。
教學是一個復雜的系統,單純的數據收集并不會對教學問題的探究有實質性幫助。面對大量堆積的數據,有必要掌握一些典型的數據分析維度,以厘清其主要作用關系和關鍵矛盾。以學校使用頻率最高的學業測試數據為例,它一般可以從常模和標準兩個維度進行解釋:前者是從統計學角度對考生個體或特定考生群體的所處位次、位次變化情況進行統計,后者主要對統計信息與考試相關學科的內容、考生能力和未來學習或工作崗位的需求進行綜合評價后作出判斷[3]。而在實際的教學活動中,往往需要兩者的結合,即通過對照標準檢查教學目標的達成程度,同時分析得失分所代表的不同知識內容和能力水平及其背后的原因,如有的學生是因為計算失誤,而有的是因為基本概念模糊,這反映了學生掌握知識和技能的差異,同時也暴露了教師在教學中的薄弱環節。但一次考試分數往往不能完全說明問題,只有在多次、多維和多方比較中分數才有意義,這時就需引入常模的比較。因此,從數據涉及的類別、差異、層次和群體等方面特征出發,數據分析可以演化出不同的比較分析視角,在這些視角下進一步甄別數據的薄弱之處,就可以定位教學工作的不足,從而有針對性地提出教學改進舉措。
(1)三角驗證視角
三角驗證視角是指從聯系與辨別的角度對多維數據進行整體分析,形成對教學問題的綜合判斷。常規的考試數據分析主要關注學生學習的一些基本指標,如信度、效度、覆蓋度和難度等,但影響學習發生的因素是多維的,基于學生群體的綜合分析并不能有效透視學生個體層面的具體學業問題。同樣,僅僅側重學生某一知識點達成度的單點分析,而忽視學生學習行為與影響要素之間的作用關系,即便相關數據量大,往往也很難據此提出切實有效的舉措。例如,作業數據由于存在刷題和無效練習屬性,因此該數據雖然數量龐大但實際評價功能不強,數據價值密度低,很難全面、真實地反映個體的學習過程。相較而言,雖然場景較為嚴肅的考試數據可以準確地記錄學生學習的關鍵節點,但僅有考試數據也是不夠的,要全面評價學生的學習質量,還需要來自多維和多渠道的數據進行相互佐證、協同評價,這其中包括學生上課時回答問題、作業情況和在校期間的綜合表現等??傊槍W生的學業質量分析應采取三角驗證的視角,注重各類別數據、不同要素之間的聯系與驗證關系。
(2)差異比較視角
差異比較視角是通過不同角度的對比對數據進行分析。如表1所示,通過從教學數據的不同比較視角對學業數據進行對比分析,可以反映數據的基本面貌及其背后的基本問題。其中,以答題情況對比為例,通過答題得分情況對比,可以很容易地診斷不同學生對問題和知識的理解程度,有助于教師對學情的準確判斷;通過對比不同題項的得分情況,可以定位試題講解需求,判斷試題講解的價值;通過對比不同答題方法,可以診斷學生的思維水平,探索不同解法和最佳解法的可能性;通過對比不同答題情況,可以診斷學生的意志品質,估計學生的學科潛力,預判學生的學習能力。
此外,在這些比較視角中,針對不同水平和起點的學校而言,以增值比較的方式開展教學質量評價,可以真實地反映其工作績效,讓其得到公正的對待,從而促進學校間更加公平、更為規范地競爭與合作,也有利于推動不同學校追求特色化發展模式和道路[4]。對學科教學而言,增值比較可以直觀地呈現學生每學期的學科發展狀況和進步幅度,教師據此可以及時調整教學策略,從而使這個變量最大限度地轉變為增量。對學生個體而言,增值比較是一種能夠體現公平和績效的比較視角,能夠將學生的發展起點和終點同時納入評價活動之中,以起點預測終點,以終點來計量超出預期的程度,從更為長期、全面且符合教育規律的視角來評判教育活動的成效與意義。

表1 教學數據的不同比較視角

表2 不同層級數據關注點及利用價值
(3)層級劃分視角
層級劃分視角是從不同數據利益相關方視角對數據進行分析。不同層級的教育主體,往往只關注對應層面的數據指標,如地區教育主管部門主要關注整體教學質量,校級教學處和年級主任主要關注年級、學科、班級的教學質量,班主任主要關注本班的基本情況,學科教師主要關注本學科的教學質量狀況及各班級教學優勢和不足,而學生則主要關注自身的學習狀況。為了滿足不同主體的利益需求,學校也可以制定相應的教學診斷層級指標,重點分析與自身利益切身相關的數據來分別制定應對措施,具體如表2所示。
(4)個性特色視角
個性特色視角是從數據呈現的單獨性和奇異性對其進行精細分析。不同學校、班級和性別的學生在不同的學科模塊、能力和題型上表現不一樣,對應的教學、復習、練習的時間分配、容量、難度等需求也就不一樣。教師可通過重點關注不同類別學生的數據情況,精準定位優秀學生、待提高學生和學科短板學生,還可以通過數據識別不同性別、臨界狀態學生的基本狀況,發現其優勢和不足,并根據“培優、扶中、補弱”的原則,有針對性地開展后續的分層教學和個性化指導。例如,教師可以關注優等生的“易錯點”,提升其細節處理能力;重視中等生的最近發展區,挖掘其潛力;重視后進生的“易得點”,進一步夯實其學習基礎,從而使全體學生都能在原有基礎上不斷進步和提高。此外,通過進一步對群體進行精細劃分和個性數據挖掘,教師還可識別定位一些特殊人群,如班主任可協同任課教師進行個體分析,通過總分入圍、單科入圍、單科小題得失分、單科小題得失分等橫向比較數據來了解每位學生的優勢與短板學科。此外,教師還可在常規數據分析的基礎上,盡量挖掘一些個性特色的數據點,如“掌握較好的”“計算題錯率高的”和“重復出現問題的”題目,以及班級總分入圍、年段分解目標的正負差情況、各學科貢獻度等特色統計項目。通過對這些個性化數據的統計分析,可以深入挖掘教學的薄弱點,并充分吸收既往的教學成功經驗,從而實現精準診斷與補救。

圖1 精準導向的教學問題診斷程序
依據上述數據觀測指標和視角,針對發現的數據突變點,診斷工作可以指出教學問題的大致方位,從教學的角度對其變化特征提出科學合理的解釋,并給出具體的診斷原因,這直接決定著后續的教學改進方向和舉措。之前,由于缺乏科學合理的診斷理論指導,一線學校在教學診斷的問題指向環節主要采取一種經驗沿襲式的做法,如采用試卷分析、卷面分析、錯誤原因分析和命題分析的形式,召開學業質量分析會和總結會,依據學業分析報告展開成績分析、經驗分享和下一步教學舉措研討。這種問題診斷過程更多呈現的是一種固化的教學常規,缺少嚴謹規范的診斷程序,導致在實踐中,往往因為問題分析過程過于隨意和空泛,而使結論抽象且復雜,進而使教學調整和改進工作很難具體落地。另外,如果診斷過程缺乏科學的理論指導,即使數據收集非常全面,也可能導致分析結果因為診斷主體經驗的局限性和片面性,而無法呈現數據背后的深層重要信息,從而使教學診斷落入形式審查的巢穴,陷入數字辨別的認識誤區。這就需要教學診斷者構建精準導向的問題診斷程序,從感性歸因過渡到以理性推理為主導的方式,通過規范的解釋性程序,厘清關鍵問題和主要因素,找準切實合理的教學改進著力點來解決相應問題。為此,本研究在參考一般教學診斷包含的數據分析、問題分析和對策制定等基本流程的基礎上,提出如圖1所示的精準導向的教學問題診斷程序,并重點就中間診斷的三個環節(虛框部分)予以詳細說明。
標準參照主要指依據相應教學標準進行問題識別的過程。教學診斷過程對數據的解讀主要采取常模比較和標準比對兩種方式,常模的建立往往取決于樣本量和代表性,一般依賴于現實中教學數據庫的完善程度,因此在現有的教學條件下,一般采用標準比對形式。其中,作為教學實施綱領性文件的新課標,是當前教學實踐中最為重要的標準,也是教學診斷的基本依據?;跀祿慕虒W診斷,應在學業考試的基礎上,將學生的實際表現、具體測試的內容目標與課程標準規定的要求進行比較,重點關注學生預期的學科核心素養水平,依據課標辨別學生不理解問題的主要原因,參考相關考試說明探索相關問題的解決策略。另外,一線教師往往還會利用課標來制作相應的診斷工具,如雙向細目表,通過運用教育統計分析理論與方法,融合學科教師的教學經驗和對教學實際的把握能力,對教學質量、學生水平和命題質量進行分析和價值判斷,從而為學校教學提供參考依據。再者,針對具體的教學問題診斷還需建立專門的分析標準,如當前各類教學過程中廣泛使用的各類觀察量表、記錄表和評價表,這些特定的教學診斷工具也是后續基于數據進行問題查找的主要依據。
依托標準參照,診斷工作可以進一步對搜集的數據做相應的分類處理。其中,針對一些非量化問題的分類,教師應透視問題背后隱含的學生認知操作過程,盡量保證分類框架完整無遺漏。例如,在數學課程中進行教學問題診斷時,教師如果只是簡單地按照卷面結果進行統計,則只能將其分為計算正確和不正確兩個類別。但在數學問題求解過程中,試題往往不僅考查學生的運算思維,還涉及問題分類以及方法識別能力。因此,相應的錯題原因剖析就可主要歸為會分類、計算正確,會分類、計算不正確,不會分類、計算正確和不會分類、計算不正確四個類別。對于相應問題的類別設定,教師需要與教學團隊進行深入研討。與此同時,教師也要引導學生生細心觀察,發現自身思維的隱蔽性錯誤,并挖掘錯誤背后的深層問題,如表層問題背后存在的深層知識漏洞,進而完善相應的教學問題診斷分類框架。
問題分類之后,就需要進行性質編碼,也就是分析影響教學問題的根本性原因,并從程度或層級方面對其進行精細描述,從而達到教學精準施策的目的。影響教學運行規律的因素種類多樣、錯綜復雜,包括資源環境、教學管理,以及學生自身認知和行為狀態等。要想在眾多的因素及其交互作用關系當中,精準識別和定位影響教學成效的關鍵因素,既需要深入的歸因分析,也需要借助相關認知理論的指導。首先,歸因理論認為,教師會調用一個或多個心理模型進行數據感知,每種心理模型都涉及軌跡、穩定性和可控性等維度,并概括了對學生數據呈現問題背后原因的解釋。其中,軌跡是指從內部(自我)到外部(某人或某物)的原因探尋學生;穩定性是指個體對原因是持久的還是暫時的認知;而可控性是個體對自我控制結果能力的信念。教師主要使用這些模型來快速理解數據,并為教學決策提供信息[5]。從歸因過程來看,教師應同學生一起開展教學反思,強調主觀歸因,即從自身角度進行積極歸因。唯有如此,師生才能找到協同改進教學的動力。另外,認知診斷理論也可以提供一種縱向深入的分析視角,它從認知心理學的角度分析學生在問題解決過程中所采用的知識與技能,并深入探究其內在心理加工過程,充分肯定學生取得的學習成就,揭示存在的學習問題,進而使診斷主體能夠就如何改進和優化學習思想、策略、方法及措施等問題達成共識,從而對學生的學習狀況做出比較深入的測評和診斷[6]。
教學診斷的終極目標是提出診改措施并將其付諸實踐。但是,由于不同參與主體所站視角和評價理念不同,以經驗和直覺作為主要支撐的教學診斷活動在應該改進什么、采取什么改進策略、如何評估改進以及誰負責改進等問題上,一直存在很大的分歧,以至于出現了“診出多門”“各自為診”和“一診百了”的局面,往往不能帶來教學的實質性改進。當前,數據雖為教學診斷提供了改進路徑,但也并非一用即靈,屢試不爽。為此,在建立精準導向診斷程序的基礎上,還需進一步明確教學診斷處方執行的基本原則,即從目的上強調改進、從過程上強調優化、從手段上強調聚集、從策略上強調協同,以確保這一改進機制能夠持續有效。
應當明確教學診斷的首要目的是改進,而不是成績問責和結果比拼,更不是分數。對于教學診斷結果的公布,教學改進措施的落實、教學診斷效果的追蹤都需要學校提供配套的策略和方法,營造積極正向的診斷氛圍和文化。為達到教學改進的目的,學校既要尊重診斷教師的主體性,促進教師個人理性的發展,同時也要認真聽取被診斷師生的觀點和意見,營造平等、真實的教學診斷氛圍,促使每一次教學診斷活動都成為教師之間思維碰撞、觀點交鋒以及理念生成的思想盛宴,每一次教學診斷過程都成為診斷教師和被診斷教師共同學習和成長的心路歷程,讓教師形成積極樂觀的診斷理念。
由于診斷數據來源和人們認識的局限性,教學診斷通常無法涵蓋教學的全貌。因此,任何診斷結果都有進一步優化的空間,教學診斷流程不應只是單次的線性過程,而是伴隨著整個教學過程從階段性測試到每一個模塊教學的多次迭代循環。與此同時,教學診斷應建立診斷跟蹤機制,強調連續性,注重教學過程不同階段的發展和變化情況,突出前后多次診斷效果的對比分析,及時掌握教學過程的運行情況并加以調整。按照這一優化原則,教學診斷應更多地提倡教學的“回環”操作,如對講評課反饋問題的個別學生再補救、命題改編之后的試卷難度再改進、疑難教學問題的再度尋因等。在教學設計環節,教研團隊可以通過“個體初備—集體研討—個性修改—課后反思”等流程實現教學方案的多重調整??傊瑢W校通過建立“教學—檢測—分析—改進”的教學診斷循環機制,可以進一步幫助教師形成數據驅動的教學優化意識。
數據既是教學診斷的依據,也是實現診斷功能的基礎,發揮區校多層級協同共建共享模式,構建各類數據庫,通過數據的不斷累積形成聚集效應,可以不斷凸顯數據的反哺功能。例如,對數據庫進行深度分析,通過因素關聯分析挖掘數據價值,開展教學預測,可以提高教學反思的科學性;利用各類題庫分析,形成測試“知識圖譜”、總結有效認知規律,可以指導學生學習進展,避免其盲目、機械和重復性學習;依托高質量題庫完成知識點組卷(基于教學進度推送該章節下的特定練習題目,確保內容不超綱、不超教學進度)和學情組卷(基于班級、學生學情布置適合不同班級、學生的分層和個性化練習)等多種組卷方式,可以更好地發揮作業的效用;此外,可以構建增值比較數據庫以實現快速分析,通過對個體學生成績的多維比較,全面和科學評價學生的學業進步情況。
除了數據的聚集,還需要多方人員協同,從家、校、社會以及學生自身出發,建立教學問題改進聯盟,形成合力診斷模式。為此,學校應建立良好的教學診斷制度和文化,以數據分享和分析作為紐帶,以學生為中心,通過全體診斷人員集體會診、共讀報告和專家門診(借助專家名師的力量)等方式,將數據診斷結果反饋給各個相關主體,通過教學改進的多方聯動機制,實現多管齊下和內外同步。例如,浙江地區部分學校通過整合人員隊伍,采取診、研、改三方協同的數據調研和反饋方式,教研團隊負責教學調研,評價團隊負責學科數據收集,教研員進班聽課反饋調研,評價組成員核對數據解讀報告,教研員與評價組協同會診,調研報告和學科數據報告結合反饋,三方力量共研改進措施。這種協同教學診斷方式不僅實現了團隊意見的集中協同,凸顯了各方人員所長,而且通過機制創新實現了多方數據的相互佐證,不失為一條學校教學診斷變革的切實舉措。
基于數據的教學診斷實踐,為教學問題的發現由經驗化向精準化轉變提供了一條切實可行的路線。本研究提出抓住教學質量發展的數據表征,采用精準導向的診斷程序和遵循數據驅動的干預原則的具體行動方案。一線學??蓳藰嬛詳祿^教學、以教學導數據,依數據促改變和憑數據做評估的教學診斷價值生態圈。而隨著各類數據在教學領域的不斷浸潤,如何進一步明晰各類數據驅動的教學變革實際路線,有待學術界與一線教師共同深耕和及時總結。
[1]代天真,李如密.課堂教學診斷:價值、內容及策略[J].全球教育展望,2010,(4):41-43、66.
[2]岳欣云,董宏建.教師教學診斷能力:內涵、價值及提升策略[J].教育理論與實踐,2015,(26):3-5.
[3]王煥霞.發展性學生評價:內涵、范式與參照標準[J].山東師范大學學報(人文社會科學版),2017,(1):105-110.
[4]邊玉芳,林志紅.增值評價:一種綠色升學率理念下的學校評價模式[J].北京師范大學學報(社會科學版),2007,(6):11-18.
[5]Bertrand M, Marsh J A. Teachers’ sensemaking of data and implications for equity[J]. American Educational Research Journal, 2015,(5):861-893.
[6]劉聲濤,戴海崎,周駿.新一代測驗理論—認知診斷理論的源起與特征[J].心理學探新,2006,(4):73-77.
Data Based Teaching Diagnosis: Data Representation, Problem Orientation and Teaching Prescription
ZHANG Xue-bo1,2LIN Shu-bing3[Corresponding Author]WANG Hong-yuan4
Teaching diagnosis is a process in which teachers check, analyze, feedback and adjust various phenomena in teaching activities to continuously optimize them. Traditional teaching diagnosis activities are easy to fall into the situation of formalization and routinization, and it is difficult to get to the essence of teaching problems. Data provides solid evidence for teaching diagnosis, but there is little research on how to diagnose teaching problems through data analysis, and the corresponding practice lacks in-depth summary. In this regard, the article first combs the diagnosis entrance of teaching problems according to the data representation. Then, according to the problem orientation, we propose a precision oriented diagnostic procedure, and finally summarize the teaching prescription, propose the data driven teaching intervention principle, and try to build an action path between the data presentation and the diagnosis results, in order to provide operational guidance for the data based teaching diagnosis practice.
teaching diagnosis; data driven; diagnostic procedure

G40-057
A
1009—8097(2022)12—0041—08
10.3969/j.issn.1009-8097.2022.12.005
本文為全國教育科學規劃一般課題“數據驅動下中小學教師智能教育素養提升路徑與機制研究”(項目編號:BCA220207)、2022年華南師范大學哲學社會科學重大培育項目“數據驅動的教學決策理論與實踐研究”(項目編號:ZDPY2207)、廣東省教育廳重點科研平臺“智能教育重點實驗室”(項目編號:2020WSYS002)的階段性研究成果。
張學波,教授,博士,研究方向為數據驅動的教學決策,郵箱為zhangxb@126.com。
2022年7月19日
編輯:小時