特征工程：學習分析中識別行為模式的重要方法*

歐陽嘉煜 范逸洲 羅淑芳 紀九梅 汪 瓊

?

特征工程：學習分析中識別行為模式的重要方法*

歐陽嘉煜 范逸洲[通訊作者]羅淑芳 紀九梅 汪 瓊

（北京大學 教育學院，北京 100871）

學習分析作為學習科學的子領域，其關注的核心問題就是對學習過程的理解與優化，而這離不開對學習者學習行為數據的收集和對行為模式的分析。特征工程作為一種基于底層數據設計特征集的系統方法，為行為模式的分析提供了新的技術支持與研究路徑。文章通過介紹特征工程實施的四個步驟，系統梳理了目前使用特征工程方法識別出的典型行為模式，如投機取巧、挫折、疑惑等，可為行為模式的相關研究提供參考。同時，文章基于對有效的技術支持和實踐意義兩個話題的討論，指出了未來的研究取徑與研究重點。

學習分析；特征工程；行為模式；學習科學

一問題引入

學習分析作為學習科學的子領域，正受到越來越多研究者的關注與重視[1]。學習分析起源于智能導師系統（Intelligent Tutoring Systems，ITS）的相關研究。一般而言，學習分析被定義為：為了理解、優化學習過程和學習環境，對學習者及其所在情境的數據進行的測量、收集、分析和匯總工作[2]。這一定義明確了學習分析關注的主要問題之一是理解和優化學習過程，而這離不開對學習過程數據的收集和對行為模式的分析。通過揭示行為模式產生的深層次原因，進而為學生提供優質的支持服務，這是學習分析在教育領域應用的核心價值所在[3]。

早期對于學習過程和行為模式的研究大多采用實地課堂觀察、訪談法、問卷調查法等，這些方法關注的數據類型相對有限，并且以主觀數據為主。過于關注主觀數據而忽視學習者學習過程中產生的客觀數據，教學研究就易受到研究者自身價值判斷或研究工具信效度的影響，導致研究結論的客觀性和可推廣性較低。20世紀90年代之后，隨著數據收集和分析技術的發展，以及人們對教學的理解更為深入，研究者開始收集學習者在學習過程中產生的細節數據，并進一步從客觀數據中挖掘出學習者的行為模式。

近年來，對于學習者行為模式的研究希望建立精確的預測分類算法或模型，雖然大多數算法在預測能力方面均能取得令人滿意的效果，但致力于優化算法準確度的研究并沒有取得實質性的突破。這樣一種困境引發了研究者對預測算法特征之有效性的思考：如果基于底層數據提取的行為模式特征不夠理想，那么建立在行為特征數據之上的預測算法或模型自然就難以進行較大優化，因此，如何選取能夠有效反映學習者行為模式的特征是一個值得探討的話題。特征工程作為一種基于底層數據設計特征集的系統方法，正是解決這一困境的良方。正如Asker等[4]所說，在一個學習系統中，想要創造出一個高的分類準確度，好的特征工程通常比一個特別的分類算法更為重要。

綜上可知，如何基于客觀行為數據來運用特征工程識別行為模式是一個值得研究的問題。因此，本研究嘗試回答以下兩個問題：特征工程的一般步驟是什么？目前學習分析領域中使用特征工程方法所識別出的典型行為模式有哪些？本研究期待通過討論特征工程的技術意義和教學意義兩個話題，來指出未來學習分析領域使用特征工程技術可能開展的研究方向和研究問題。

二什么是特征工程？

特征工程（Feature Engineering）也稱為變量消除（Variable Elimination），是機器學習領域的一個重要概念[5]。Arroba等[6]將特征工程定義為一種非常有用的技術，用于選擇最優的特征集，這些特征最能描述并優化問題。而Turner等[7]認為特征工程就是選擇適當的特征，避免包含不相關參數的過程。一般來說，可以認為特征工程是為機器學習應用而設計特征集的相關工作[8]，重點關注如何設計出符合數據本身特點和所處情境的數據特征。特征工程可分為四個階段[9][10]：

①特征構建（Feature Construction）階段，也稱為頭腦風暴階段，是根據研究問題初步構思數據特征集的過程。如當我們探討和描述學習者不認真學習的行為模式時，可能會構思出一些特征：回答問題總是錯誤、作業完成不認真、測驗完成不認真等。此過程主要可運用三種方法：方法一是研究者自己思考得出一些特征；方法二是向他人詢問，補充一些自身沒有想到的想法，可以采用向專家詢問或者閱讀相關文獻等手段；方法三則是擴展到“群體”，讓更多的人群加入到思維發散構建特征的過程，也稱為眾所提議的特性[11]。

②特征提取（Feature Exaction）階段，是將前一階段初步構思的特征與數據本身相結合，嘗試提取出與抽象特征對應的原始數據，是一個提取相關特征形成特征向量的過程[12]。如上文針對學習不認真行為模式構思出了一些特征，而如何將這些抽象特征與數據本身建立聯系并進行表征，往往是特征提取階段的重點。特征提取階段遵循“物盡其用”的原則，盡可能多地囊括與特征相關的數據，但這并不代表所有數據都是重要的且相互關聯的相關且重要的。

③特征選擇（Feature Selection）階段，需要排除一些無關或者影響甚微的因子，常用的方法有篩選法（Filter Methods）和包裝法。這個階段的重點是有效地描述輸入數據，同時減少噪聲和無關變量的影響，盡可能地保證納入到特征集的特征數據都是較為高效的。

④特征評估（Feature Evaluation）階段，主要利用經上述步驟選擇后的特征進行建模，并使用一些真實數據評估模型精度，從而不斷修正、循環迭代，以期得到最適合該數據的特征集。

在大多數情況下，數據集是龐大而混亂的，想要建立一個規范的特征集往往不能一蹴而就，通常需要經歷上述四個階段螺旋迭代進行。因此人們常說，特性工程是一個高度迭代的、反復的、試錯的過程。

三典型的行為模式

目前，在智能導師系統和MOOC相關研究中使用特征工程探測出的行為模式，主要包括投機取巧、挫折與疑惑、注意力集中與粗心、心不在焉與不假思索等行為。但對于這樣一些抽象的行為模式，研究者是如何從真實數據中探測出學習者產生了上述行為模式呢？這是一個基礎而又關鍵的問題。下面將根據上述提到的特征工程四階段，詳細介紹如何利用特征工程的方法識別“投機取巧”這一行為模式，并簡略介紹其它行為模式。

1 投機取巧（Gaming the System）

“投機取巧”行為最初發現于認知型導師系統（Cognitive Tutors）的教學應用中，由Baker等[13]提出，指的是在交互式學習環境中，學習者通過系統性試錯或濫用幫助，獲得學習成功的行為模式。Baker等為了開發一個能夠探測投機取巧行為模式的算法，在一個使用了認知導師系統、有70名學生參加的數理統計課程中進行了實驗，具體如下：

①在特征建構階段，Baker收集了來自認知導師系統的日志文件，每個學生在使用認知導師系統的過程中產生了71～478次的行為數據。根據系統記錄的日志文件，針對記錄下的每一次行為，研究者初次建立了一個包含24個特征的特征集，由行為動作細節（如學生選擇下列菜單、輸入字符串等行為）、知識點評價（如學習前已經掌握的技能、在學習過程中沒有掌握的技能）、時間（如每個行為所花費的時間、持續的5～8個行為所花費的時間）、先前的互動（如學生完成某一具體問題步驟時錯誤的總次數、在持續的8個行為中學生尋求幫助的次數）等四個維度組成。

②在特征提取階段，Baker等借助一組潛在響應模型（Latent Response Models），將所有行為表征為參數αi×Xi（Xi2或XiYi）的形式，其中Xi、Xi2和XiYi是根據上面討論的24個特征、24個特征的二次效應（特征平方）和23×24的特征間的交互效應（特征A×特征B）設置而成，統稱Xn。然后，使用Pm作為預測某一行為是否為投機取巧這一行為模式的變量，Pm=α0X0+α1X1+α2X2+α3X3+…+αnXn，每一個預測值Pm通過階躍函數（Step Function）來設置閾值，假設閾值＝0.5，如果Pm≤0.5，那么P'm=0，反之P'm=1。再將所有行為與學生相對應，得到每個學生產生投機取巧這一行為模式與該學生總行為次數的占比，標記為G'0…G'69。同時，Baker等收集了觀察人員在真實課堂中的觀察數據，可提供學生在課程中產生投機取巧行為與總行為的時間占比信息，標記為G0…G69，并與G'0…G'69進行對比。

③在特征選擇階段，Baker等采用基于相關性的快速過濾法（Fast Correlation-Based Filtering）中的迭代梯度下降法（Iterative Gradient Descent），尋找每個參數（αi）的最佳值，并進行參數剔除，再使用向前選擇法（Forward Selection）逐個驗證參數，以確保現有參數會影響平均值的絕對偏差。

④在特征評估階段，Baker等采用LOOCV（Leave One Out Cross Validation）交叉驗證法驗證上述建構的模型是否有效，第一次剔除70名學生中的1名，將剩余69名學生作為測試數據集進行測試并修正模型，之后每次再剔除1名，如此循環進行70次。

表1 篩選后的4個主要特征

經上述四個階段后，Baker等最終篩選出4個主要特征用于探測投機取巧這一行為模式，如表1所示。正如上文所說，評估階段的結束并不意味著特征工程的結束，Baker等[14]為了驗證特征及算法的擴展性，重新收集了同樣使用了認知導師系統的另外三個班級的數據，依照上述步驟，再次進行驗證。Baker等[15]發現，當探測出學習者頻繁出現投機取巧的行為模式時，很可能是因為當前學習任務難度過高或者學習者對當前的學習系統產生了厭惡情緒，使學習者難以利用自身掌握的知識點解決問題，退而選擇利用系統的相關屬性完成學習任務。因此，教師和課程設計開發人員應該考慮重新設計學習任務，吸引學習者再次參與到學習任務中，或提供相應的學習支持[16]。

2 挫折與困惑（Frustration and Confusion）

挫折是一種認知的不平衡狀態，是對于接下來要做什么的一種不確定性，常表現為猛擊鍵盤或鼠標、拉頭發、長嘆、說一些類似“發生了什么？”的話語等行為[17]。困惑則常表現為撓頭、重復看著機器界面上的元素、向老師或同學請教、看看其他同學的情況來決定接下來如何做等類似的行為[18]。從概念角度來說挫折與困惑是相似的，但兩者也存在顯著區別：挫折包含消極的影響，常常與不滿或憤怒的表達相關；而困惑的消極體驗程度相對弱一些。但是，如果學習者的學習問題沒有得到解決，困惑可能會導致挫折或者無聊的行為產生，學習者可能會選擇從學習任務中脫離，從而導致低效學習。

3 注意力集中與粗心（Engaged Concentration and Careless）

注意力集中指的是學習者集中注意力，高度參與學習活動，是一種積極的行為模式[19]。在運用智能導師系統的教學中，教師可以通過合理安排、設計任務難度來提高學生的參與度與集中度。只有任務難度和學生自身能力之間達到了一定的匹配，才能發揮出最大的激勵作用，才能讓學生專注集中于學習，如此沉浸學習才有可能會發生，才有可能獲得最佳的學習體驗。因此，識別這類行為模式，對于設計在線學習課程內容與任務難度都具有一定的參考價值。

粗心指的是學習者知道正確答案也掌握了解題技巧，卻依然回答錯誤[20]，其與高度集中的行為模式存在一定的相關性。往往是那些在線上學習中表現出參與度很高、注意力非常集中的學生更容易因粗心而犯錯，而那些注意力不集中、參與度不高的學生則較少因粗心而犯錯，因為他們本身就沒有掌握知識點，不能將做錯的原因歸結為粗心。研究發現，目標明確、掌握能力強的學生往往比缺乏明確目標的學生更加粗心，但隨著學習時間的推移，學習者的錯誤率會逐漸下降[21]。

4 心不在焉與不假思索（Off-Task and Without Thinking Fastidiously）

“心不在焉”指的是學習者的學習行為不以從材料中學習為首要目標，而從事一些與學習任務無關的事情，其與學習者的動機和付出的努力關系密切[22]，常表現為產生格外快或格外慢的行為、尋求幫助的次數過多、在已經掌握的知識點犯錯等行為特征。以往研究發現，學生對教師和所用系統的消極態度會導致心不在焉行為出現的可能性增大，學習者難以將注意力集中在學習任務上，從而導致低效學習[23]。“不假思索”這一行為模式與分心都屬于不積極參與型的行為模式，但不假思索側重于學習者表面上雖然與學習環境進行互動，實質上并不帶有任何學習目的，因此也易造成低效學習的產生[24]。

當然，通過特征工程所識別的行為模式并不僅限于上述七類，還有幫助尋求和幫助避免、探索行為、厭煩和興奮等行為模式，本研究在此不展開論述。

四討論與展望

1 引入學習分析領域的主流技術之一：特征工程

“數據驅動決策，分析變革教育”的大數據時代推動了技術與教育的深度融合[25]。傳統基于自我報告式問卷調查法所收集的數據難以客觀地反映學習者的學習過程，大數據時代下，學習分析領域中為學習行為的分析提供了新的研究路徑，基于客觀數據對學習過程進行評量成為了未來的研究趨勢之一。從本研究綜述的文獻來看，特征工程所需的數據源大多來自學習系統或平臺中的日志文件，其數據較為客觀，且學習管理系統和MOOC等研究情境都能提供類似的數據支持。

學習分析領域不乏有大量計算機科學家的研究成果，但他們關注的研究重點大多是對算法或者模型的優化，對學習過程本質的理解程度在某種層面上會啟發或制約算法的優化。特征工程強調數據本身所處的情境特性，不僅僅把數據看作是“不會說話的符號”，其需要研究人員具有較為豐富的領域知識與智慧，能夠敏銳地發現數據背后可能蘊含的學習本質。綜上所述，本研究認為，在大數據時代，作為基于底層數據進行分析、適用于不同研究情境的分析方法——特征工程，有可能成為學習分析領域今后的主流技術之一。

2 聚焦新的研究重點：教學支持與學情預警

既然使用特征工程方法能夠有效探測學習者在學習過程中表現出的行為模式，那么，今后的研究重點應該是什么？本研究認為，應將研究重點由優化各類行為模式探測器轉向學情預警和有效的教學支持，以能為學習者提供更好的教學服務。

從教師和課程開發人員的角度看，學習者產生不同類型的行為模式是教學支持的影響結果。以往研究提供了一些教學支持方式，如使用動畫代理呈現負面情緒，給予學習者警示；提供即時信息反饋，鼓勵學習者努力嘗試或尋求幫助；給予持續的可視化反饋，客觀表征學習者目前的學習情況，幫助教師和學習者了解學習進度等——這些方式都顯示能夠降低投機取巧、分心等行為模式出現的頻率[26][27]。因此，特征工程技術應從教學支持的角度出發，提取出有助于改進教學支持服務的有效特征，從而改進教學支持服務。

基于特征工程技術總結出有效特征集，研究者可以進一步建構相應的算法或模型，從而辨識學習者在學習過程中產生的各類行為，并提供學情預警，以幫助教師和學習者更好地掌握目前的學習情況，這也是人工智能在教育中應用的基礎研究。因此，如何根據探測出的行為模式提供相應的學情預警與教學支持，并促進有效學習，是后續研究的重點之一。與此同時，后續研究還需考慮探索相應的教學原理、完善教學的設計環節等內容。

[1]魏順平.學習分析技術:挖掘大數據時代下教育數據的價值[J].現代教育技術,2013,(2):5-11.

[2]Siemens G, Long P. Penetrating the fog: Analytics in learning and education[J]. Educause Review, 2011,(5):31-40.

[3]趙慧瓊,姜強,趙蔚,等.基于大數據學習分析的在線學習績效預警因素及干預對策的實證研究[J].電化教育研究,2017,(1):62-69.

[4]Asker L, Maclin R. Feature engineering and classifier selection: A case study in venusian volcano detection[A]. Fourteenth international conference on machine Learning[C]. Morgan Kaufmann Publishers Inc. 1997:3-11.

[5]Chandrashekar G, Sahin F. A survey on feature selection methods[J]. Computers & Electrical Engineering, 2014,(1):16-28.

[6]Arroba P, Zapater M. Enhancing regression models for complex systems using evolutionary techniques for feature engineering[J]. Journal of Grid Computing, 2015,(3):409-423.

[7]Turner C R, Fuggetta A, Lavazza L, et al. A conceptual basis for feature engineering[J]. Journal of Systems & Software, 1999,(1):3-15.

[8]李林,吳躍,葉茂.基于概率圖模型的圖像整體場景理解特征工程綜述[J].計算機應用研究,2015,(12):3542-3550.

[9]Liu D, Hua G, Viola P, et al. Integrated feature selection and higher-order spatial feature extraction for object categorization[A]. Computer vision and pattern recognition[C]. IEEE, 2008:1-8.

[10]Anderson M, Antenucci D, Bittorf V, et al. Brainwash: A data system for feature engineering[OL].

[11]Veeramachaneni K, O’Reilly U M, Taylor C. Towards feature engineering at scale for data from massive open online courses[OL].

[12]Sharma O P, Ghose M K, Shah K B, et al. Recent trends and tools for feature extraction in OCR technology[J]. International Journal of Soft Computing & Engineering, 2013,(6):220-223.

[13]Baker R S J D, Corbett A T, Koedinger K R, et al. Detecting student misuse of intelligent tutoring systems[A]. Lester J C, Vicari R M, Paraguacu et al, International conference on intelligent tutoring systems[C]. Springer-Verlag Berlin, 2004:531-540.

[14]Baker R S J D, Corbett A T, Roll I, et al. Developing a generalizable detector of when students game the system[J]. User Modeling and User-Adapted Interaction, 2008,(3):287-314.

[15]Baker R S J D, Roll I, Corbett A T, et al. Do performance goals lead students to game the system?[A]. Looi C K, McCalla G, Bredeweg et al. Artificial intelligence in education-supporting learning through intelligent and socially informed technology[C]. IOS Press, 2005:57-64.

[16]Baker R S J D, Corbett A T, Koedinger K R, et al. Adapting to when students game an intelligent tutoring system[J]. 2006,4053:392-401.

[17]Sidney K D, Craig S D, Gholson B, et al. Integrating affect sensors in an intelligent tutoring system[OL].

[18]Baker R S J D, D’Mello S K, Rodrigo M M T, et al. Better to be frustrated than bored: The incidence, persistence, and impact of learners’ cognitive-affective states during interactions with three different computer-based learning environments[J]. International Journal of Human-Computer Studies, 2010,(4):223-241.

[19]Pedro M O C Z S, Rodrigo M M T, Baker R S J D. The relationship between carelessness and affect in a cognitive tutor[A].DMello S, Graesser A, Schuller B, et al. International conference on affective computing and intelligent interaction[C]. Springer-Verlag, 2011:306-315.

[20]Clements M A. Careless errors made by sixth-grade children on written mathematical tasks[J]. Journal for Research in Mathematics Education, 1982,(2):136-144.

[21]Hershkovitz A, Baker R S J D, Gobert J, et al. Discovery with models: A case study on carelessness in computer-based science inquiry[J]. American Behavioral Scientist, 2013,(10):1480-1499.

[22]Baker R S J D. Modeling and understanding students’ off-task behavior in intelligent tutoring systems[A]. ACM. Conference on human factors in computing systems[C]. Assoc Computing Machinery, 2007:1059-1068.

[23]Arroyo I, Murray T, Woolf B P, et al. Inferring unobservable learning variables from students’ help seeking behavior[A].Lester J C, Vicari R M, Paraguacu F. Intelligent tutoring systems, proceedings[C]. Springer Berlin Heidelberg, 2004:782-784.

[24]Wixon M, Baker, Ryan S. J. D, et al. WTF? Detecting students who are conducting inquiry without thinking fastidiously[J]. Lecture Notes in Computer Science, 2012, 7379:286-296.

[25]曹帥,王以寧,徐鵬.學習分析技術的研究現狀與未來趨勢——基于2011-2015年LAK會議論文的分析[J].中國電化教育,2016,(5):78-84.

[26]Arroyo I, Ferguson K, Johns J, et al. Repairing disengagement with non-invasive interventions[A]. Luckin R, Koedinger K R. Artificial intelligence in education: Building technology rich learning contexts that work[C]. IOS Press, 2007:195-202.

[27]Roll I, Aleven V, Mclaren B M, et al. Can help seeking be tutored? Searching for the secret sauce of metacognitive tutoring[A]. Luckin R, Koedinger K R, Greer J. Artificial intelligence in education: Building technology rich learning contexts that work[C]. IOS Press, 2007:203-210.

編輯：小西

Feature Engineering: The Method of Detecting Learner Behavior Patterns in Learning Analytics Field

OUYANG Jia-yu FAN Yi-zhou[Corresponding Author]LUO Shu-fang JI Jiu-mei WANG Qiong

As a subfield of Learning Science, the key issue of learning analysis is to understand and optimize learning and the environment, which is significantly associated with data collection of learning behaviors and analysis of behavior patterns. As a method designing the feature set based on the underlying data, the feature engineering system provides new technical support and research path for the analysis of behavior patterns. This paper introduces the fundamental steps of feature engineering, and further systemically reviews some typical types of behavior patterns distinguished by feature engineering, such as gaming the system, frustration and confusion. Finally, this paper hopes to provide references for future studies of behavior patterns. Meanwhile, it points out the possible research direction and research focuses by discussing the effective technical support and practical significance.

learning analytics; feature engineering; behavior patterns; learning science

G40-057

A

1009—8097（2018）04—0013—07

10.3969/j.issn.1009-8097.2018.04.002

本文受教育部在線教育研究中心2O16年度在線教育研究基金(全通教育)重點項目“基于學習分析的MOOC教學設計原則研究”（項目編號：2016ZD101）、國家自然科學基金項目“大規模在線課程中用戶流失問題的研究”（項目編號：61472006）、國家自然科學基金項目“MOOC數據模型及其對課程與學習評價的效用研究”（項目編號：61472013）資助。

歐陽嘉煜，在讀碩士，研究方向為教學設計，郵箱為jiayu5177@163.com。

2018年1月19日