從標準化到數據化：基于大數據的大學生學習評價研究方法論轉向*

劉 進 高勝寒 林松月

從標準化到數據化：基于大數據的大學生學習評價研究方法論轉向*

劉 進1高勝寒1林松月2[通訊作者]

（1．北京理工大學 人文與社會科學學院，北京 100081；2．香港中文大學 教育學院，香港 999077）

傳統大學生學習評價方法面臨嚴峻的方法論困境，而新的學習評價理論方法有望在大數據時代形成。文章首先通過梳理大學生學習評價研究方法論的研究現狀，發現傳統大學生學習評價研究方法論存在一些不足，由此提出基于大數據的大學生學習評價研究方法論。之后，文章提出用大數據替代小數據、用過程性數據替代橫斷面數據、用非參與式數據替代參與式數據、用多元常模替代簡單常模、用開放式假設替代封閉式假設，并根據上述大學生學習評價研究方法論的轉向重點進行案例分析，驗證了基于大數據的大學生學習評價研究方法的可行性。最后，文章從大數據庫建設、新模式開發、研究成果利用等角度，提出大學生學習評價研究方法論的轉向策略，以期探求大學生學習評價研究方法從標準化到數據化的轉向。

大數據；學習評價；學業表現；方法論；獨立性

大學生學習評價是高等教育研究的中心議題。進入高等教育普及化階段之后，進一步提高質量、走內涵式發展道路、精細化開展大學治理，成為我國高等教育發展的主要方向，而在此過程中能否科學、精準、動態、系統、全面地開展大學生學習評價至關重要。過去20年來，我國高等教育研究領域開展了一大批以標準化量表為主要工具的大學生學習評價研究，提升了學習評價研究的行業關注度，在一定程度上提高了中國高校的教育教學水平，但這些研究同時也面臨嚴峻的方法論困境。進入大數據時代，新的大學生學習評價技術、方法和理論體系有望形成，這將有助于從根本上解決大學生學習評價研究的方法論問題。

一 大學生學習評價研究方法論的相關研究

學習評價是對學生學習發展和個人成長的重要反饋。隨著大學生學習評價研究逐漸成為全球高等教育領域的重要議題，相關研究在數量上逐年增加，在模式上突破了某一國家或地區、單一教育體系的限制，研究方法呈現出新的發展趨勢。

1 大學生學習評價研究的主要方法

社會科學研究中的具體方法和技術是指在研究過程中研究者使用的各種資料收集方法、資料分析方法、特定的操作程序和技術，具有專門性、技術性、操作性的特點[1]。其中，用于大學生學習評價研究的主要方法有：

①調查研究，是指針對正在發生或剛剛發生過的教育現象、教育觀念進行的實證研究[2]。當前，學習評價領域“標準化問卷——基于問卷的多維度分析”的基本思路較為普遍。例如，美國加州大學伯克利分校SERU調查組設計的“研究型大學學生就讀經歷調查問卷”，經漢化后形成了包括學術參與、生活和目標、個人背景三大核心問題在內的大學生學習標準化問卷。

②訪談研究，是指研究者通過研究性的“交談”和“詢問”，從被研究者一方收集或建構第一手資料的研究方法[3]，通常與扎根理論共同使用。例如，王媛等[4]通過對訪談大學師生的文本材料依次進行開放式、關聯式、核心式編碼，探索了學習投入與大學生發展之間的聯系。

③文獻計量研究，是指使用Citespace、VOSviewer等文獻計量分析軟件，實現梳理研究基礎、分析學科結構、了解主流作者和機構、展望研究前沿任務的過程[5]。例如，曾家延[6]通過文獻計量研究，嘗試構建中國語境的大學生學習評價標準化測量工具。

④案例研究，適合用于回答“為什么”和“怎么樣”類型的問題[7]。案例研究可以深入校園情境，更系統地分析大學生的學習評價活動。例如，謝曉宇[8]以美國威斯康星大學為個案，研究大學生的學習結果評估計劃及其實施過程。

2 大學生學習評價研究的方法論取向

學術界對高等教育領域研究成果的質疑長期存在，甚至出現了本學科學者對某些“領地內”問題的研究深度不及外行的尷尬情況。因此，研究者在研究高等教育問題時有必要關注其背后深層次的方法論取向。當前，大學生學習評價研究主要涉及以下方法論——

①實證主義方法論：通常被認為是被社會科學研究領域所接納的主流方法論，試圖以定量和計量等手段，客觀、實證、定量地研究社會議題。在實證主義方法論的指導下，大學生學習評價研究貫徹“大膽假設”和“小心求證”的思路，相關研究成果具有一定的科學性、有效性、可重復性。但與此同時，當前學術界對實證主義研究范式也存在批評意見，認為此方法論導向雖然在一定程度上提高了學術產出效率，但對高等教育學科的理論貢獻甚微，研究更多的是“就事論事”，其積累性、繼承性、延續性十分薄弱，無法從根本上推動學科的縱深發展。

②人文主義方法論：是指研究者使用實地參與、訪談、觀察等方法研究社會現象的行為[9]。該類研究設計和方法在實施過程中多遵循以下步驟：明晰分析框架和訪談提綱→確定訪談對象并最大化以保證代表性→編碼分析訪談文本→歸納研究發現和結論。

③批判主義方法論：作為近年來新出現的社會研究方法論，體現在教育研究領域主要是指研究者深入每一個具體的教育活動場域，對其中發生的實際教育問題進行價值層面和倫理層面的深刻討論，而不是完全站在價值中立的研究立場。開展批判性研究對科研人員的哲學思辨能力要求較高：即使在無法獲得直觀具體研究材料的情況下，科研人員也要能通過觀察隨處可感的教育現象而獲得深刻的哲學思考。

除了上述三種方法論取向，大數據和人工智能技術支持下的新型學習評價方式也逐漸成為研究前沿。例如，桑德拉·米麗根等[10]使用人工智能技術分析慕課數據評價大學生參與度并預測學業表現。這種學習評價方式既彌補了已有研究方法的短板，也體現了研究方法論的新轉向。

二 大學生學習評價研究方法論的轉向發生

1 傳統大學生學習評價研究方法論的不足

傳統大學生學習評價研究方法論多為實證主義方法論，通過主觀引入相應的理論，采用一定的計量方法對有限數據進行小樣本分析，容易導致研究結論的科學性不強、研究結果出現偏差等問題。雖然近年來以標準化量表為代表的大學生學習評價研究大幅提高了教育研究的科學性水平，實現了對高校教育教學管理的直接指導，但從方法論層面來看，其仍然存在一些不足：

①對研究目標的達成度不足。標準化量表往往試圖通過成組變量的設定，分類考察大學生的主動與合作學習、生師互動、支持性的校園環境、學業挑戰度等情況[11]。但由于標準化量表嚴重受限于問卷篇幅，而問卷調查往往只涵蓋大學生學習的某些方面，且問卷在畢業生能力測評方面也存在嚴重困難。另外，用少數變量涵蓋大學生學習的某些方面如同“隔靴搔癢”而無法直接觸及學生學習動機、過程和結果本質，故導致研究目標不易達成。例如，SERU問卷中有關大學生深層學習方面的調查，就難以完全反映學生對知識學習的理解、綜合、創新等情況。

②對縱向數據信息的負載不足。大學生的學習活動本質上是一種過程性變量，其以時間為軸，往往通過以年度為單位、橫斷面式的標準化量表來測量，既無法全面反映大學生動態學習狀況，也沒有時效性，因此研究者無法在研究過程中及時發現大學生的學習問題并給予合理建議。此外，一些連續多年的橫斷面標準化問卷調查嘗試通過跨年度調查、追蹤、比較得到研究結論，但往往調查對象已經完全改變，對不同人、不同年度大學生的橫斷面與碎片化信息調查更是難以還原出大學生的真實學習狀況，故相關研究結論存疑。

③自我填答式調查的真實性不足。大學生學習標準化調查多采取學生自我填答式調查的形式，其中除部分客觀性題項之外，絕大多數是主觀自我評價類題項，往往通過四分變量、五分變量方法，讓學生對“滿意度”“有效性”等進行自我評價。這種自我填答式調查既存在個體間較大誤差，也存在群體間較大誤差，原因主要在于個體的學習背景、學習動機、學習過程和結果、偶發性事件等和群體的高校類型、層次、年級、地域等都可能會影響調查結果。

④常模設置的科學性不足。一些標準化問卷往往試圖通過常模設置，對高校間、學科間、地域間的差異進行比較。常模設置具有重要的方法論創新價值，拓寬了傳統問卷調查的分析維度，并實現了對院校教育教學管理的直接指導。但是，常模設置的科學性不足，如簡單地以“985”高校、“211”高校、工科類高?；蛭鞑扛咝５葹閱挝辉O置常模，而去掉絕大多數可能影響大學生學習的其他變量，僅對有常模設置的高校與其他類別的高校進行比較，其結果的科學性難以保證。

⑤面向未知學習規律的開拓性不足。標準化大學生學習評價往往囿于問卷本身，無法超越問卷框架進行開拓性研究。尤其是問卷調查為匿名形式，無法與學生真實的學習數據（如家庭數據、學業表現數據等）進行匹配，也無法開展原有理論、假設、框架之外的其他開拓性研究。

事實上，大學生學習標準化問卷已經在傳統問卷調查的基礎上進行了重大創新，其大規模連續性調查、常模設計與比較等已經代表了問卷調查的前沿理念。上述五個方面不足的產生不是大學生學習標準化問卷本身的問題，而是問卷調查這一傳統方法面臨的方法論困境。但是，在大學生學習領域，標準化問卷面臨的方法論困境并非無法被破解——本研究認為，基于大數據的大學生學習評價研究方法論將有望全面消除上述不足。

2 基于大數據的大學生學習評價研究方法論的提出

伴隨現代信息技術的發展，大數據、人工智能等技術逐漸應用于教育領域，形成了海量的教育數據。對這些教育數據加以分析，可有效提升學習評價的效率。而基于大數據的大學生學習評價研究方法論主要指通過非參與方式方法，客觀收集大學生學習的各類數據資源，實現對大學生學習研究問題的數據化追蹤、挖掘、匹配、計算和分析，得到各類相關性、（準）因果性、（準）實驗性乃至開拓性研究結論[12]。在教育實踐中，開展基于大數據的大學生學習評價能較好地呈現學生的學業表現、進展和成效，有助于提升學習效果和教學質量；而注重過程化評價和個性化學習有助于實現教育公平，形成的學習過程數據、學情數據等為學習評價與分析提供了豐富的原始資料[13]。因此，基于大數據的大學生學習評價研究方法論轉向的發生具有合理性。

三 大學生學習評價研究方法論的轉向方向

1 大學生學習評價研究方法論的轉向重點

在大數據、人工智能等技術的支持下，大學生學習評價研究方法論的轉向應重點關注：

①用大數據替代小數據。運用大數據技術有望系統收集學生的各類數據信息（包括家庭背景、寢室分配等客觀性信息，從中學、高考一直到大學入校后的各科學業表現信息，以及消費習慣、就醫狀況、圖書館借閱記錄、社會活動等學習生活信息），形成包含全方位信息的大數據庫，取代以往只圍繞某項條目如學業成績為單位所采集的小樣本數據，以此作為分析學情的核心依據。以某“雙一流”高校為例，本項目組對其4個書院學生的各類數據進行采集，數據量接近1億條。對這些海量數據進行收集、清洗、匹配等，可以得到大量有用信息用于研究。

②用過程性數據替代橫斷面數據。運用大數據技術可以全過程動態采集大學生的各類學習數據資源，并實現對這些資源的長線追蹤，也可以大幅提高研究的時效性，還可以在教育教學活動中動態發現和解決大學生的學習問題。以同伴關系與大學生的學業表現為例，通過對學生整個學期中日常就餐、出入圖書館、出入寢室等方面的全過程數據進行分析，可以清晰地刻畫出某同學與其他室友的日常關聯，從而對“不合群”“被孤立”的學生及時做出寢室調整；同時，可以有效預測某些寢室成員學習成績集體下滑的趨勢，及時進行原因分析并提出解決方案；也可以通過對不同時間段內的實時數據進行分析，探討學生各類狀態的動態變化。用過程性數據替代以往研究中圍繞某個時間的橫斷面數據（如期末考試成績），通過全線采集的過程性、實時性數據，可以有效開展全方位、動態性的大學生學習評價研究。

③用非參與式數據替代參與式數據。大數據技術在采集數據的過程中不直接接觸學生，避免出現學生的應激反應或“霍桑效應”。將收集的這種非參與式數據用于分析，得到的結論更具客觀性，有望提升傳統自我填答式調查結果的科學水平。例如，通過分析學生與室友共同進餐的情況，可以對學生與他人的伙伴關系在一定程度上進行定義，無需通過問卷調查、深度訪談等問詢學生關于其對同伴關系的看法，從而降低學生參與式數據的主觀性。

④用多元常模替代簡單常模。運用大數據技術可以根據研究需要，動態構建各類常模模型，從而突破了傳統標準化問卷簡單常模模型的弊端。具體而言，可以寢室為單位構建常模模型，比較不同寢室學生的學習表現；也可基于學科、專業、年級、年齡、性別、高校類別、籍貫所在地、高考表現等構建常模模型，為高校大學生學習分類的比較研究提供精細化證據支持。

⑤用開放式假設替代封閉式假設?；诖髷祿拇髮W生學習評價研究方法論與其他方法論的最大不同，在于其可以采取開放式假設方法展開各類研究活動，即不需要借助傳統的理論基礎、文獻綜述等也可提出假設，并運用大數據資源進行驗證，這大大突破了傳統研究活動“理論（文獻）—假設—證據—驗證”等基于封閉式假設的研究方法論。未來真正進入大數據時代之后，甚至可能會逐漸瓦解、坍塌傳統的學生學習理論基礎，而進入無理論、碎片化的時代，基于大數據技術形成新的研究范式。

2 大學生學習評價研究方法論的案例分析

為進一步呈現基于大數據的大學生學習評價研究方法論的轉向方向，本研究根據上述大學生學習評價研究方法論的轉向重點，以基于校園卡大數據進行的大學生獨立性行為研究為例進行案例分析。該案例基于學生在食堂刷卡信息模擬學生的獨立性行為，通過分析其是否與室友一起進餐進行獨立性評價，并據此分析學生獨立性與學業表現之間的關系。

本研究以2020年9月～2021年6月期間北京市B大學全體在校本科生的所有一卡通消費記錄為研究樣本，共提取10,285,494條數據進行大數據分析。根據研究需要，本研究從中篩選出563,683條食堂刷卡記錄作為研究大學生獨立行為的數據樣本。在此基礎上，本研究運用Python語言對這些數據樣本進行處理：①定義三餐時間范圍，抓取同一寢室學生在三餐時間范圍內的消費記錄；②以寢室為單位，分別篩選三餐時間范圍內每人的第一條刷卡信息，剔除同一進餐時間范圍內的其他刷卡記錄；③觀測每位學生該條刷卡信息時間前后10分鐘是否有其他室友的消費記錄，每有一位室友在同一地點進行過消費則計分為1（該大學本科生寢室為4人間，每名學生有3位室友，因此該計分項最低得分為0、最高得分為3）。

按上述三個步驟對B大學1.6萬名本科生的相關數據進行處理，共累計10個月的數據信息，得到每名學生的獨立性得分——分數越低，說明該學生的獨立性越強、其與室友的親密關系越弱，反之亦然。對相關數據進行分析，本研究得出以下結論：女生獨立性比男生高、漢族學生獨立性比少數民族學生高、單親家庭學生獨立性比非單親家庭學生高、轉專業學生獨立性較低，具體如圖1、表1所示。此外，為探討大學生同伴關系與學業表現的深層次聯系，本研究進一步將學生獨立性與學業表現進行相關性分析，結果表明：學生的獨立性得分與學業平均分呈顯著正相關關系（Sig.值為0.000），即獨立性得分越高（說明獨立性越弱、與室友的親密關系越強），其學業表現越好。

圖1 學生獨立性得分差異情況

表1 學生獨立性得分差異的相關性分析

獨立性評價性別是否漢族是否單親家庭是否轉專業 斯皮爾曼Rho獨立性評價相關系數1.000-.081**-.036**-.065**0.057** Sig.(雙尾)---0.0000.0000.0000.000 N103891038910031340810031

注：**表示在0.01水平上顯著。

本研究通過具體的案例分析，驗證了基于大數據的大學生學習評價研究方法的可行性，為促進大學生學習評價研究方法論的轉向提供了一個參考方向，有利于激發并豐富未來大學生學習評價研究方法論的轉向策略。

四 促進大學生學習評價研究方法論的轉向策略

基于大數據的大學生學習評價研究方法論，有望成為未來大學生學習評價研究的基礎性方法，研究者應切實采取相關策略推動大學生學習評價研究方法論的轉向。

1 盡快建設大學生學習評價研究大數據庫

基于大數據的大學生學習評價研究的基礎，在于大數據庫建設。系統收集各類大數據資源，形成動態大數據庫，是未來大學生學習評價研究的關鍵所在。當前，不同高校對大數據評價的重視程度不同，高校不同部門之間的數據壁壘仍然較為堅固，少數部門的數據信息化收集手段仍然落后，個別部門的某些年份數據已經丟失，這為后續研究工作帶來了困難。為此，各高校應盡快構建學生學習大數據框架，搶救性保護各類數據資源，全面引入信息化數據管理手段，建成以學號為單位的全樣本、全過程、全周期大數據庫，為大學生學習評價提供基礎性支持。

2 系統開發基于大數據的大學生學習評價新模式

當前，運用大數據開展大學生學習評價研究仍在起步階段，既缺乏規范化的操作標準、流程和技術，也缺乏專業化的研究人員。為此，研究者應將理論與實踐緊密結合，系統開發基于大數據的大學生學習評價新模式，涉及的內容主要包括：①基于大數據的大學生學習評價基本框架；②主要評價方法、評價維度、技術手段；③評價結果可視化呈現相關方法與技術；④評價結果使用的科學流程與規范；⑤大數據評價與傳統評價方法的融合使用方法與技術。

3 切實利用好基于大數據的大學生學習評價研究成果

①應不斷提升基于大數據的大學生學習評價結果的科學性。具體來說，應不斷擴大數據源，以提高相關評價模型的訓練質量；應引入不同大數據源，對有關框架、方法、技術等進行交叉驗證；應開發基于大數據的大學生學習評價結果有效性評價指標體系；應注意大數據研究方法與傳統研究方法的混合使用，以多方驗證大數據方法的可靠性。②應穩步推進基于大數據的大學生學習評價結果在高等教育管理中的日常使用，通過“大數據模型訓練→實踐結果檢驗→高教管理運用”形成良性閉環，反向促進基于大數據的大學生學習評價系統的構建與完善。

[1]風笑天.社會研究方法(第五版)[M].北京:中國人民大學出版社,2018:10.

[2]劉良華.教育研究方法專題與案例[M].上海:華東師范大學出版社,2007:8.

[3]陳向明.質的研究方法與社會科學研究[M].北京:教育科學出版社,2000:165.

[4]王媛,劉陽.自我選擇與環境塑養:本科生學習投入的養成邏輯——基于H區高校本科生的實證考察[J].當代教育與文化,2020,(5):106-116.

[5]韓雙淼,謝靜,肖曉飛.國際高等工程教育研究方法與主題的演進[J].高等工程教育研究,2020,(6):148-155.

[6]曾家延.指向大規模測量建構的學生參與研究評析[J].比較教育研究,2017,(4):46-53.

[7](美)羅伯特·K.殷著.周海濤,史少杰譯.案例研究:設計與方法(第5版)[M].重慶:重慶大學出版社,2010:10.

[8]謝曉宇.美國大學學生學習結果評估個案研究——以威斯康辛大學麥迪遜分校為例[J].比較教育研究,2017,(4):54-60.

[9]陳向明.王小剛為什么不上學了——一位輟學生的個案調查[J].教育研究與實驗,1996,(1):35-45.

[10](澳大利亞)桑德拉·米麗根,張忠華,高文娟.大數據、人工智能與學習評價方式[J].北京大學教育評論,2019, (4):45-57、185.

[11]何明炳.校園支持對大學生學習收獲的影響:生師互動的中介效應[J].高校教育管理,2016,(5):99-106.

[12]趙磊磊.人工智能賦能高校數據治理:邏輯、挑戰與實踐[J].重慶高教研究,2022,(1):71-79.

[13]顧小清,鄭隆威,簡菁.獲取教育大數據:基于xAPI規范對學習經歷數據的獲取與共享[J].現代遠程教育研究,2014,(5):13-23.

From Standardization to Digitalization: The Research Methodology Turn for College Students’ Learning Evaluation Based on Big Data

LIU Jin1GAO Sheng-han1LIN Song-yue2[Corresponding Author]

The traditional college students’ learning evaluation methods face severe methodological difficulties, and new theoretical methods for learning evaluation are expected to be formed in the era big data. Firstly, this paper sorted out the research status of the research methodology for college students’ learning evaluation, and it was found that there were some shortcomings in the traditional research methodology for college students’ learning evaluation. Thus, the research methodology for college students’ learning evaluation based on big data was put forward. Then, this paper proposed to replace small data with big data, replace cross-sectional data with process data, replace participatory data with non-participatory data, replace simple norm with multivariate norm, and replace closed hypothesis with open hypothesis. In addition, a case study was conducted according to the mentioned transformation emphases of the research methodology for college students’ learning evaluation, and the feasibility of research methods for college students’ learning evaluation based on big data technology were verified. Finally, from the perspective of large database construction, new model development and research results utilization, this paper put forward the turning strategy of the research methodology for college students’ learning evaluation, expecting to explore the turn of the research methodology for college students’ learning evaluation from standardization to digitalization.

big data; learning evaluation; academic performance; methodology; independence

G40-057

A

1009—8097（2022）09—0031—07

10.3969/j.issn.1009-8097.2022.09.003

本文受國家自然科學基金面上項目“政府獎學金能否提升來華留學生質量——基于機器學習方法的‘一帶一路’國家因果推斷”（項目編號：71974012）、國家自然科學基金面上項目“‘一帶一路’學術人才向中國流動的開放式‘推-拉模型研究——人工智能方法的運用’”（項目編號：71774015）資助。

劉進，副研究員，博士，研究方向為高等教育國際化、教育大數據與人工智能，郵箱為liujinedu@bit.edu.cn。

2022年1月24日

編輯：小米