劉玉俠 梁春繪 王迎
【摘要】常見的課程考試數據分析是利用教育統計學和測量學原理對考生參加考試的試題參數、試卷參數以及全體考生成績參數和參與單位的成績參數進行的統計、分析、比較,進而迅速發現和查到某個學生在全體中的位置和某個單位在整體中的位置,以期發現個體的優劣、好壞。本文進行了一次大膽的嘗試,試圖通過人才培養各要素的數據統計,利用數據統計原理和相關統計分析軟件,尋找人才培養結果與人才培養過程的關聯性,論證了“六網融通”人才培養模式的合理性,并搭建了“六網融通”人才培養數據結構模型。“六網融通”人才培養模式是國家開放大學于2013年提出的新的辦學理念和辦學模式,為論證這種理念和模式的科學和理性,本文以國家開放大學推行的網絡核心課程試點實踐構建出“六網融通”人才培養的結構模型,并通過2017年春、秋兩學期試行結果找出“六網融通”人才培養結構模型數據,通過宏觀、中觀、微觀三個視角對數據進行分析,論證了“六網融通”人才培養理念和模式的科學和理性,并結合“六網融通”人才培養實踐現狀提出一些改進建議。
【關鍵詞】? 六網融通;人才培養;數據結構;數據分析;宏觀分析;中觀分析;微觀分析;科學合理
【中圖分類號】? G420? ? ? ?【文獻標識碼】? A? ? ? ?【文章編號】? 1009-458x(2019)6-0061-10
一、引言
(一)數據分析
考試數據分析主要是利用一定的測量理論對考試數據進行的統計分析,常見的測量理論主要包括經典測量理論、概化理論和項目反應理論。常用的考試數據測量理論是經典測量理論,于20世紀初提出,至50年代臻于完善。該理論假設觀測分數X是由真分數T及隨機測量誤差E所組成。根據這些基本假設,提出信度和效度的概念(戴海崎, 等, 2001)。信度等于真分數變異數與實得分數變異數之比,效度等于有效分數變異數與實得分數變異數之比。在此基本理論框架基礎上,經典測驗理論常用的統計數據包括試題難度和區分度、試卷信度和效度。概化理論是克倫巴赫于20世紀60年代~70年代提出的,在考試統計中常用的是通過樣本特征反映總體特征的概率,我們主要是用來解決根據學生多次考試結果推斷他的真實學習水平或者根據兩個班級的考試成績來推斷兩位任課教師教學效果的差異性(凌云, 2002)。項目反應理論是通過被試個體某一個項目上的答題情況來推斷其不同層面的真實水平。
基于這三種測量理論編制的書籍有很多,如張厚粲主編的《心理與教育統計學》、漆書青主編的《現代測量理論在考試中的應用》、凌云主編的《考試統計學》、戴海崎等主編的《心理教育測量》等。基于這三種理論的統計分析軟件也大批涌現,有辦學單位根據各自的管理需求研發出不同版本的試卷分析軟件,如中央廣播電視大學2003年研發的“廣播電視大學試卷分析系統”,也有企業研發的通用版本的試卷分析軟件,如華軍軟件園開發的試卷分析軟件。
(二)人才培養
人才培養是教育的本質目的,而人才培養與社會經濟發展、政治發展、科技發展等具有十分密切的關聯(廖平勝, 2003)。人才培養模式是動態、變化和發展的(張旺, 等, 2015),而高等教育開展內涵建設的核心又是人才培養模式的改革(鐘秉林, 2013)。隨著網絡技術的飛速發展,現代教育技術正在進行著一次史無前例的變革,特別是最新科學技術的新發明、新創造對人才培養的方式和方法產生了巨大的影響(周洪宇, 等, 2013),第三次工業革命所需的高素質勞動者和創新型人才給全球的人才培養模式帶來了嚴峻挑戰(萬鋼, 2012)。開放大學作為中國一種新型高等學校,面臨著同樣的研究課題,人才培養質量直接決定著開放大學的發展命運,經歷了人才培養模式不斷更新和改革的歷程。
原中央廣播電視大學的人才培養模式是1999年教育部批準的“中央廣播電視大學人才培養模式改革和開放教育試點”項目確立的。該項試點主要是中國遠程開放大學的人才培養模式、教學模式、管理模式和運行機制的一個探索,在某種程度上極大地推動了廣播電視大學的改革和發展,“對我國‘現代遠程教育工程的實施,產生了重大影響”(中央廣播電視大學, 試點項目組, 2006)。但從發展的角度看,該項目試點還存在著一些問題和不足:第一,師生分離、教考分離導致教育教學的互動性、融合性偏低,學習者學習呈現更多的個體性行為,出現學習的孤獨感較強;第二,已有的網上學習資源呈現單向的信息傳輸方式,缺乏學生學習效果信息的及時反饋渠道和途徑,學習資源呈現方式也相對單一;第三,對于全國性的辦學組織體系,師資隊伍管理相對隔離,各級辦學單位的師資較難實現共享共用;第四,課程測評采取“五統一”的形式,對于工學矛盾突出的學生出現較高的留考率和缺考率;第五,教學教務管理數據平臺較多,數據各自獨立,沒有互通共享,導致管理效率不高。
2012年戰略轉型后的國家開放大學(The Open University of China, OUC)在原中央廣播電視大學的基礎上建立,試圖解決存在的問題與不足,于2013年提出了“六網融通”人才培養模式,以現代信息技術為支撐,著力構建一個多元多化主體參與、集約集團辦學、共建共享的開放式辦學共同體,以“云路端”為網絡技術支撐,試圖構建一個通過網絡實現數據共享,集教學、測評、服務、管理為一體的基于互聯網的人才培養模式 (楊志堅, 2013)。經過幾年的發展,國家開放大學“六網融通”人才培養已經取得豐碩的成果,初步搭建了集網絡學習空間、網絡學習課程、網絡教學團隊、網絡學習支持、網絡學習測評、網絡教學管理為一體的國開學習網平臺,截至2017年秋有249門課程在這個平臺上運行,平均每天的訪問量約達7,000萬次,云平臺的使用產生了大數據庫。為此,利用大數據的信息挖掘來論證“六網融通”人才培養模式的科學合理性。
二、“六網融通”人才培養數據
結構模型構建
(一)模型建構
為了更好地表達“六網融通”,我們借助其內涵的界定搭建了對應的數據模型結構。“六網”指基于互聯網進行人才培養必不可少的六個要素:網絡學習空間、網絡學習課程、網絡教學團隊、網絡學習支持、網絡學習測評和網絡教學管理。其中,網絡學習空間是基礎要素,網絡學習課程是核心要素,其他四個是支撐要素。“六網”既相對獨立又相互支撐,融通配合,構成了一種特定結構(國家開放大學項目研究組, 2018)。由于核心要素和基礎要素與四個支撐要素聯系緊密、難以區分,為統一口徑、便于比較,以四個支撐要素作為“六網融通”人才培養數據結構模型的四個建構指標。其中,網絡學習測評按照課程考試方式將考試數據結構按照形成性考核、終結性考試和綜合成績三個二級指標,原因主要在于在“六網融通”人才培養過程中,形成性考核主要是嵌入教學過程在國開學習網實現了教學評測的一體化實施,目的在于一方面考查形成性考核和終結性考試的相關程度,另一方面考查形成性考核與網絡學習支持的關聯。根據“六網融通”人才培養數據結構指標,結合國開學習網的大數據庫搭建“六網融通”人才培養數據結構模型(如表1所示)。
(二)數據處理
根據“六網融通”人才培養數據結構模型收集到的數據類型多樣,統計口徑不一,為此需要進行數據處理,形成統一口徑的數據。數據處理方法是:對于按照百分比計數的數據直接計分;生師比是數值最小的為100分,數值最高的為0分,進行等比打分;對于數量類的數據按照最高數值為100分,數值最低的為0分,進行等比打分;管理行為成績是對應指標的平均分作為最終成績;學生行為成績是對應指標的平均分作為最終成績;教師行為成績是對應指標的平均分作為最終成績;終考成績是終考及格人數占終考人數的百分比直接作為最終成績;形考成績是形考及格人數占形考人數的百分比直接作為最終成績;綜合成績是綜合及格人數占綜合考試人數的百分比直接作為最終成績;所有成績不全的分部不作為有效數據。
(三)研究方法
本研究主要采用數理統計和邏輯推理法,根據人才培養模式搭建數據統計模型,通過收集各要素第一手數據源進行數據整理、歸納、統計,形成統計基本數據模型,形成多重“證據源”。根據統計分析數據結果,結合人才培養基本理論尋找出各要素之間的邏輯關系,并找出不足之處,與最終人才培養模式改進工作的建議形成“證據鏈”。
(四)研究對象
以目前在國開學習網運行的249門網絡核心課程為“六網融通”的核心要素,以國家開放大學辦學組織系統中參與網絡核心課程試點的分部的全體學生學習空間作為“六網融通”的基礎要素,提取2017年春、秋兩學期“六網融通”的四個支撐要素相關指標的原數據。
(五)數據模型
根據“六網融通”人才培養數據結構模型,對研究對象獲取的原數據進行數據處理后得出2017年春、秋兩學期“六網融通”人才培養的數據結構模型的實踐數據,如表2。考慮到各分部名稱的保密性,對2017年春、秋兩學期參加網絡核心課程試點的單位名稱通過數字進行了隨機編碼。
三、大數據分析實證研究
(一)“六網融通”模型初步呈現
“六網融通”最為核心的內涵是相互融通。從2017年春秋兩學期模型結構數據的分布來看,六要素相互融通的趨勢較為明顯,特別是網絡形成性考核、終結性考試與網絡教學管理之間具有高度的融合性,網絡學習支持與網絡教學團隊具有高度的融合性。網絡學習課程與網絡學習空間是核心與基礎要素,所有數據都是基于249門網絡核心課程的學習空間提取的,自然具有高度的融合性(如圖1和圖2所示)。
通過數據分析發現,在“六網融通”的六要素中,網絡學習支持與網絡教學團隊屬于弱項,也是國家開放大學“六網融通”人才培養模式改革之重,這與目前正在推行的教育教學改革政策是相吻合的。網絡學習支持和網絡教學團隊均表現出極個別分部表現較為突出,通過對這些分部的實地考察發現這些分部改革力度較大,在制度建設、人力財力投入、師資隊伍建設等方面較為優秀。
(二)“六網”各要素之間聯系程度強弱不同
如表3所示,雖然學生行為、教師行為和管理行為的其中一個指標呈漸增趨勢,但是形考成績和終考成績并沒有呈現漸增趨勢,而且波動比較明顯。在形考成績漸增的情況下,大多分部的終考成績波動趨勢與學生行為、教師行為和管理行為的波動趨勢大致相同,但三個行為指標并不是呈現漸增趨勢。在終考成績漸增的情況下,形考成績波動趨勢與學生行為、教師行為和管理行為的波動趨勢不相似,而且分數都特別高,這說明形考成績與三個指標關系不大。
由此可見,網絡學習支持與網絡教學團隊聯系較為緊密,網絡教學管理與網絡學習測評聯系較為緊密,網絡學習測評中的終結性考試成績和網絡教學管理的聯系較為緊密,網絡學習測評中的形成性考核成績與網絡終結性考試聯系和網絡教學管理聯系稍弱,而網絡學習支持和網絡教學團隊均與網絡學習測評和網絡教學管理呈現較弱的聯系。由此可見,“六網”的四個支撐要素之間具有必然的聯系,但是這種聯系并不是均等分布的。044、003、045、038、030和039六個分部兩個學期的教師行為、學生行為和管理行為得分都較高,因此也可以進一步作為一個整體進行各項指標統計分析。
(三)分部個案數據結構分析
為更深入地挖掘“六網融通”各要素之間的聯系,我們通過春秋兩學期“六網融通”整體成績較高的六個分部作為個案進行分析(如表4)。2017年春季,038分部較其他五個分部的形考成績偏低,而對應的學生行為和教師行為得分也偏低;039分部的終考成績相對最低,對應的學生行為、教師行為和管理行為三個指標得分也都是最低的;030和003的形考成績和終考成績都是較高的,所對應的三個指標得分也都較高。2017年秋季,030分部的三個指標都較高,對應的形考成績和終考成績也都遙遙領先;045分部三個指標得分也非常高,但是終考成績卻偏低,對應的形考成績也偏低;038分部和039分部三個指標得分都較低,所對應的終考成績也都偏低。
從優秀分部個案分析結果來看,“六網融通”人才培養中四個支撐要素具有比較緊密的聯系,網絡學習測評、網絡學習支持、網絡教學團隊、網絡教學管理呈現出同時較高或者較低的現象,說明這四個支撐要素具有一定的內在關聯性,能夠隱約顯示出“六網”融通的趨勢,這對于“六網融通”人才培養模式的實證是比較有利的。
(四)網絡學習測評內部分析
網絡學習測評是“六網融通”人才培養質量的一個重要檢測指標,包括網絡學習空間、網絡學習課程、網絡教學團隊、網絡學習支持、網絡學習測評和網絡教學管理。其中,網絡學習空間是基礎要素,網絡學習課程是核心要素,其他四個是支撐要素。
針對網絡學習測評這一要素我們作了較為詳細的分析。網絡學習測評是由網絡形成性考核和終結性考試兩部分組成的,為了更好地分析網絡學習測評內容要素的聯系,我們針對網絡形成性考核和終結性考試作了對比分析(如圖3所示)。兩個學期形考成績普遍都很高,基本都在90分以上,而終考成績都普遍偏低,基本都在80分以下。在46個分部中,兩個學期大多分部的形考成績和終考成績基本一致。
由此可見,網絡形成性考核與網絡終結性考試具有較為密切的關系,但是兩者之間的關聯程度屬于中等程度,并不是十分吻合。形成性考核對學生的區分能力較弱些,大部分分部的形成性考核成績及格率都偏高,根據數據顯示也能發現這一現象,如春季有50%的分部及格率在97%以上,秋季有60%的分部及格率在97%以上。國家開放大學“六網融通”人才培養的目標之一是培養學生的學習能力,形成性考核的目的也是為了鞏固學生學習的知識、幫助和引導學生學習而設計的。可見,國家開放大學培養的人才都具有較強的學習能力,特別是通過網絡自學的能力。
四、結論與建議
(一)結論
根據總體數據分析結果來看,可以得出如下結論:“六網”既相對獨立又相互支撐,融通配合,目前基本形成了“六網融通”的數據結構模型。通過“六網融通”數據結構模型建構以及實證數據分析,“六網融通”人才培養模式的理念是正確、科學的,也是切實可行的。
由于在國家開放大學各級辦學系統內實施“六網融通”人才培養模式的程度不同,可能會出現個別分部執行不到位或者落實異常的現象。雖然根據形考成績和終考成績與管理行為、學生行為和教師行為的相關關系還不穩定,但是通過個案樣本數據結構分析我們還是找到了六網融通各要素相關的數據論證。
(二)建議
1. 加強個別分部“六網融通”人才培養模式的落實工作
從部分分部基礎數據分析結果來看,存在個別分部“六網融通”相關數據不合理的現象,這也是導致考試成績與網絡管理、學習、教師行為相關程度不合理的重要原因。比如,038分部在形考成績有所上升的情況下,其管理行為、學生行為和教師行為得分都有所下降,比較反常;042分部在終考成績下降的情況下,其管理行為得分基本持平,學生行為卻明顯提升;045分部管理、學生和教師行為三個指標得分非常高,但是終考成績和形考成績卻偏低,等等。通過這些分部的個案分析,可以發現個別分部存在考試成績與“六網融通”的要素不成正相關的現象,可能存在管理漏洞。分析個別訪談結果也發現,個別分部存在管理者代替學生點擊上網學習行為的現象等,希望個別分部切實落實“六網融通”人才培養模式,確保“六網”要素數據的真實性。
2. 加強形成性考核與終結性考試內容的關聯度
分析可知,形考成績與終考成績的皮爾遜相關系數在0.5左右,兩者之間存在一定的關聯,但這種相關程度屬于中等程度。從“六網融通”人才培養模式的教育理念和學習者需求來看,形成性考核與終結性考試期望達到高度相關,形成性考核不僅在考試內容上與終結性考試具有高度關聯性,而且在考試形式上應該也具有高度關聯性。建議命題教師在形成性考核任務和終結性考試內容之間注重兩者的關聯性,增加終結性考試內容在形成性考核內容中的比重,以期實現學習者通過形成性考核任務的練習提高終結性考試成績的目的,增加兩者的關聯度,也有助于通過形成性考核推動教學內容學習的目的。
3. 關注形成性考核的區分能力
根據春季和秋季考試計劃安排,春季有59%的課程形成性考核比例在50%以上,秋季有74%的課程形成性考核比例在50%以上。由此可見,形成性考核任務不僅承擔著培養學生自學能力的任務,同時還具有較高的檢測學生學習效果的目的。基于此,希望能夠關注對學生能力考查的區分能力,否則很可能形成性考核會流于形式,成為送分的武器。從形成性考核成績與各分部管理行為得分、學生學習行為得分、教師行為得分的相關性來看,也證實了這一點,分部管理松或嚴、學生是否上網學習、網絡教師是否加強學生的輔導和教學,都與形成性考核成績呈現不相關的現象,而且學生上網學習行為得分與形成性考核成績呈現負相關現象,更加證實了形成性考核需要改革,需要關注考核內容的區分能力。這種高比例和高通過率不利于學生綜合能力的培養,影響教學效果和教育質量的提高。提高形成性考核的區分能力主要是通過改革考試內容、考試形式、考試題型等來進行,打破原有的簡答和客觀題的八股式命題模式,鼓勵形成性考核的創新,切實培養和考查學生綜合能力,特別是形成性考核比例超過50%的課程,要探索適合高比例的新的考核形式。
4. 加強教學內容改革進程,切實提高網絡教學效果
從網絡管理行為、學生學習行為、教師教學行為的相關性統計結果來看,三者之間具有較高的正相關關系,這種關系也是比較符合現實工作實際的。一個辦學單位的網絡教學管理越嚴,教師的網上教學和輔導行為發生越高,也推動學生網絡學習行為的發生。根據這一數據論證和客觀推理,在“六網融通”人才培養模式實踐中加強網絡教學管理有利于推動網絡教學和網絡學習的發生,但這也只能是更多地推動這種行為的發生,提高教學行為的工作效率,不能保證教學行為的工作效果。這一結論是由學生學習行為和教師教學行為與形考成績和終考成績呈弱相關得出的。為了切實提高學生學習和教師教學的效果,必須從教學內容改革這一根本抓起,讓學生學習和教師教學落到實處。
[參考文獻]
戴海崎,等. 2001. 心理教育測量[M]. 廣州:暨南大學出版社.
凌云. 2002. 考試統計學[M]. 武漢:華中師范大學出版社.
廖平勝. 2003. 考試是一門科學[M]. 武漢:華中師范大學出版社.
鐘秉林,趙應生,洪煜. 2011. 中國特色現代大學制度建設——目標、特征、內容及推進策略[J]. 北京師范大學學報(社會科學版)(4).
鐘秉林. 2013. 人才培養模式改革是高等學校內涵建設的核心[J]. 高等教育研究(11).
周洪宇,等. 2013. 第三次工業革命與人才培養模式變革[J]. 教育研究(10):4-5.
張旺,等. 2015. 人才培養模式的現實反思與當代創新[J]. 教育研究(1):28.
萬鋼. 2012. 新型工業化最根本的是要靠科技力量[N]. 經濟參考報2012-6-15.
楊志堅. 2013. 國家開放大學建設:改革與創新[J]. 中國遠程教育(4).
中央廣播電視大學試點項目組. 2006. 中央廣播電視大學人才培養模式改革和開放教育試點總結性評估自評報告[R].
國家開放大學. 2016. 國家開放大學綜合改革方案[R].
國家開放大學項目研究組. 2018. 國家開放大學“六網融通”人才培養模式的實踐創新——“互聯網+”遠程開放教育探索. 國家教育成果獎申報材料[R].
收稿日期:2018-07-04
定稿日期:2018-11-29
作者簡介:劉玉俠,碩士,助理研究員,國家開放大學教務部副部長;梁春繪,碩士,助理研究員,國家開放大學教務部(100039)。
王迎,博士,研究員,國家開放大學現代遠程教育研究所所長(100039)。
責任編輯 韓世梅