Prefix-LSDPM：面向小樣本的在線學習會話退出預測模型

陳 芮， 李 飛， 王占全

（華東理工大學信息科學與工程學院, 上海 200237）

在智慧教育領域中，學生輟學預測(Student Dropout Prediction, SDP)[1]研究被廣泛重視，研究者們使用定量和定性方法分析學生的整體學習過程，并預測其課程輟學概率。然而目前針對在線學習會話退出預測（Learning Session Dropout Prediction, LSDP）任務的相關研究仍然較少[2]。Lee 等[3]在2020年經調研發現當時還未有關于MOOC 中學習環節退出的預測研究，因此對移動學習環境下的學習環節輟學預測問題進行了定義。LSDP 旨在預測學習者在智能輔導系統（Intelligent Tutoring System, ITS）中的學習退出行為，能夠挖掘學習者退出學習的具體時機。與SDP 相比，LSDP 能夠提供更細粒度的結果，有助于智能輔導系統及時采取干預措施以維持學習者的學習狀態，輔助學習者繼續完成當前學習項目或推薦學習路徑的下一個學習項目，提高學習者的學習效率。已有的LSDP 相關研究中仍存在以下難點：（1）與SDP 相比，LSDP 對預測的即時性和準確率要求更高；（2）LSDP 是基于實時產生的學習行為數據進行預測，缺乏大規模的平行數據，難以訓練高質量的模型；（3）學習會話相較于課程，退出頻率更高，學習行為數據更具有碎片性，預測難度更高。

本質上，LSDP 任務屬于學習序列分析問題。在近期研究中，同屬于該類問題的知識追蹤[4-5]、教育資源推薦[6-7]等任務在基于預訓練-微調范式的方法中取得了較好的效果。微調（Fine-tuning）是在大型預訓練模型的基礎上訓練下游任務的主流范式[8]，需要在預訓練的基礎上進一步更新和存儲模型的所有參數，需要為每個任務存儲完整的模型參數副本。即使預訓練模型已經能夠獲得不錯的詞向量表示能力，在不同的下游任務中也需要通過對應的訓練數據進行微調。為了在下游任務上獲得優異的性能，Fine-tuning 需要的數據規模與預訓練模型的參數規模成正相關。因此，預訓練-微調范式模型訓練所需的參數量和數據量是巨大的，例如基礎的BERT 模型需要108 M 參數[9]，經過大幅度降參優化后基礎的ALBERT（A Lite BERT）模型也需要12 M 參數[10]。在缺乏足夠平行數據的情況下，基于預訓練-微調范式的模型難以達到理想的預測效果。而在實際的ITS（Intelligent Tutoring System）場景中，學習者的在線學習行為的平行數據往往很少，導致通過微調的方法訓練得到的模型的準確率較低。

最近，基于提示學習的訓練范式[11]在多個任務上展現了出色的小樣本性能。提示學習凍結預訓練模型的部分參數并添加極少量的可訓練參數用于適配不同的下游任務，從而大幅減少了訓練下游任務時需要更新的參數量，降低了對訓練數據量的要求，即使在極少的訓練數據情況下也能夠達到較好的效果。因此，基于提示學習的訓練范式更能夠適應在線教育平臺的小樣本學習要求。由于LSDP 任務將學習者在線學習會話行為特征序列化后作為輸入，無需采用自然語言形式的提示模板，因此，采用連續提示向量的前綴提示(Prefix-tuning)[12]是提示學習范式中最適合LSDP 任務的方法。Prefix-tuning 在原始輸入的詞中嵌入向量和在預訓練模型中的Query 和Key 向量之前添加額外的連續提示向量，從而影響后面的向量表示。與微調全部預訓練模型的參數相比，Prefix-tuning 只需訓練額外添加的提示參數，能夠保證小樣本條件下的預測效果。

為了解決現實場景中因訓練數據不足導致的在線學習會話退出預測準確率較低的問題，本文提出了一種基于Prefix-tuning 的小樣本學習會話退出預測模型(Prefix-Learning Session Dropout Prediction Model,Prefix-LSDPM)。該模型利用Prefix-tuning 學習框架在大規模預訓練語言模型的基礎上挖掘并建模同一學習行為特征間的關系和連續學習行為間的上下文隱含關聯，實現了小樣本場景下高準確率的在線學習會話退出預測。

1 基于Prefix-tuning 的在線學習會話退出預測模型

1.1 任務定義

在LSDP 任務中，不僅要關注學習者執行同一動作的特征上下文，也要注意學習者前后動作上下文。在此設置下，將學習者在線學習會話相關屬性進行形式化定義。學習者Un在學習過程中會產生多個學習會話Sm(m∈{1,2,···,M} )，在一個學習會話過程中，學習者連續參與學習活動，對在線教育平臺中各模塊進行訪問和交互，進行連續請求動作。每個Sm由多個學習行為At(t∈{1,2,···,T} )組成。每個學習行為At包含多個學習行為特征fi(i∈{1,2,···,I} )。

在每個學習階段中，當學習者在足夠長的時間內不出現新的學習動作和活動時，代表發生了學習中途退出，標志著學習會話的結束，記為學習會話退出。Halfaker 等[13]研究了各個領域的用戶行為數據，提出了一種用于識別用戶活動集群的方法，研究得出對用戶行為聚類效果最好的時間閾值為1 h。本文引用其研究結果作為學習會話退出的閾值，即當用戶最后一次交互行為發生后1 h 內仍未發生新的交互時，則標記該交互行為為退出行為。LSDP 任務即對學習者在線學習過程中執行當前行為時退出概率的估計，如式(1)所示。

其中dt表示會話退出狀態。當學習者Un在當前發生行為At時退出當前會話，則At對應的dt取值為1，否則取值為0。將學習者連續學習行為特征以鍵值對的形式序列化為x，由k個行為組成的序列x包含k組學習行為特征，其中以鍵值對的形式輸入，如式(2)所示。

由θ參數化的LSDP 模型建模為Pθ(dt|x)。當輸入為x時，取Pθ(dt|x)最大時的dt作為輸出。

1.2 Prefix-tuning

Fine-tuning 與Prefix-tuning 框架對比如圖1 所示。其中：X、Y分別為模型的輸入和輸出序列，eX為輸入向量經過3 種嵌入轉換的嵌入向量，e[P+X]為提示序列與輸入序列的組合序列經過3 種嵌入轉換的嵌入向量，P為提示序列。在預訓練參數權重的基礎上，Fine-tuning 針對下游任務訓練并重新調整所有參數。與Fine-tuning 模式不同的是，Prefix-tuning 凍結預訓練權重參數，僅通過調優前綴向量Prefix 以適應下游任務，大幅降低調優訓練所涉及的參數量。

圖1 微調和前綴提示框架對比Fig.1 Comparison of fine-tuning and prefix-tuning frameworks

Transformer 是預訓練-微調范式與預訓練-提示范式的基本結構，它由L層堆疊塊組成，每層包含多頭注意(Multi-Head Attention, MHA)和全連接前饋網絡(Feed-Forward Network, FFN)，注意函數由查詢Q∈Rn×dk和鍵值對K∈ Rm×dk、V∈ Rm×dk映射得到，如式(3)所示，其中n和m分別是查詢Q和鍵值對K、V的數量。

Prefix-tuning 將r個可調前綴向量Pk、Pv∈Rr×e與Transformer 本身的K、V連接，設置于每一層Multi-head 的鍵K和值V之前，對新的向量K'、V'進行多頭注意，如圖2 所示。

圖2 Prefix-tuning 在Transformer 結構上的優化Fig.2 Optimization of Prefix tuning on Transformer structure

式(4)中headi的計算優化為式(6)，其中和表示第i個頭部提示向量，Concat 表示矩陣拼接。

1.3 Prefix-LSDPM

Prefix-LSDPM 的主要架構如圖3 所示。Prefix-LSDPM 將提示序列作為前綴設置于學習行為特征輸入序列之前，將學習會話退出狀態目標序列設置于輸入序列之后。凍結預訓練模型參數權重，在改進的Transformer 網絡中通過雙向、單向混合注意模式對合成序列進行掩碼，充分挖掘學習者單個學習行為內部特征及連續學習行為之間的隱含關聯，生成激活函數后以最大化退出狀態預測正確概率為目標更新迭代前綴提示參數。以下分別從提示模板設置、小樣本掩碼學習、退出狀態預測映射三方面對Prefix-LSDPM 進行詳細描述。

圖3 Prefix-LSDPM 主要架構Fig.3 Main framework of Prefix-LSDPM

1.3.1 提示模板設置 將連續學習行為特征組以鍵值對的形式序列化為x，提示序列記為Prefix，x對應的學習會話退出狀態目標序列記為dt。將Prefix 作為前綴序列與輸入序列x和目標序列dt依序串聯為序列z= [Prefix;x;dt]，作為Prefix-LSDPM 的輸入序列，如圖3 中的輸入token 所示。其中[SOS]作為起始符添加在每個輸入序列前，[ACT]定義為不同行為之間的特殊分隔符，[EOS]用于標記每段序列的結束以分隔三段序列。

將z以token 嵌入(token embeddings)、分段嵌入 (segment embeddings)和位置嵌入 (position embeddings)這3 種方式嵌入embeding。其中token embedding 將各個行為特征值轉換成固定維度的token 向量；segment embeddings 將學習行為序列分段標記為向量表示，以區分不同學習行為；position embedding 的向量表示使模型學習到輸入序列token 的順序屬性，不同位置上的向量可能存在相同token 內容，但具有不同的含義。嵌入后，得到連續提示序列矩陣Pe、輸入序列矩陣Xe和目標序列矩陣De連接組成的輸入矩陣[Pe;Xe;De]∈，該合成矩陣框架即為Prefix-LSDPM 的提示模板。其中Pidx、Xidx、Didx分別為Prefix、x、dt的token 索引，|Pidx|、|Xidx|、|Didx|表示對應序列包含的token 數。

1.3.2 小樣本掩碼學習 合成矩陣[Pe;Xe;De]輸入圖2 所示的L層Transformer 網絡，將一定比例的輸入token 隨機掩碼為[MASK]，通過預測這些掩碼token 以學習和理解行為特征序列關系。在如圖3 所示的L層Transformer 網絡中利用多頭注意力學習行為特征隱藏向量的深度雙向表示。掩碼矩陣M決定一對token 是否可以相互關注，如式(7)所示，其中自注意力掩碼方式如圖4 所示。

圖4 自注意力掩碼Fig.4 Self-attention mask

掩碼矩陣M的Prefix 列全部設置為0，表示Prefix 內部能夠互相關注，且能夠注意到后續x和dt的token 內容。x列中，Prefix 行設置為 -∞ ，x行與dt行設置為0，表示x無法關注到Prefix 中的token，x內部向量能夠互相關注，且能注意到后序dt的token。dt列中，Prefix 行與x行全部設置為 -∞ ，dt行右上角部分設置為 -∞ ，表示dt無法關注到Prefix 和x中的token，且在dt內部單向注意。基于該掩碼矩陣M的注意模式，將dt作為監督信號，凍結預訓練參數，僅更新提示參數矩陣Pe以最大化dt的概率。

時間步s對應的激活函數hs∈ Rd，其中，hs=表示時間步s第j層的激活向量。沿用預訓練模型的參數權重PLMφ，以z的第s個token 及左側上下文中的激活函數來計算hs，如式(8)所示：

其中Pθ∈R|Pidx|×dim(hs)為由參數θ形成的前綴激活函數矩陣。PLM 的參數 ? 是固定的，只有參數θ為可訓練參數。相比于整體微調，前綴提示調優減少了總體訓練涉及的參數量，為小樣本學習的快速收斂提供了基礎。將提示序列設置于序列前端，即使參數?固定不變，提示后序的所有激活函數仍然能夠受到前綴提示激活函數的影響。因此，每一個hs均能夠影響并訓練Pθ。hs的最后一層用于計算下一個token 的概率分布。

其中W?為將激活函數映射至詞匯表的矩陣。以最大化當前學習行為對應的學習會話退出狀態正確概率Pθ(dt|z)作為目標，優化提示參數θ，訓練得到Prefix-LSDPM。

1.3.3 退出狀態預測映射 在下游任務進行學習會話退出預測時，模型按照提示模板以前綴形式與輸入學習行為特征序列連接，并在輸入序列后端進行Mask 掩碼，基于參數θ生成激活函數，通過softmax分類器映射生成退出狀態預測的概率分布，將概率最大的退出狀態映射至[MASK]作為預測輸出。例如，給定一組學習特征序列，模型按照提示模板將提示序列p以前綴形式與輸入序列連接，將學習退出狀態進行Mask 后輸入的token序列為[SOS]p[EOS][ACT][EOS][MASK] [EOS]。這些掩碼后的token 序列經過多層Transformer 得到的隱藏層向量依次為h[SOS]、hp、h[SOS]、、h[ACT]、,h[EOS]、h[MASK]，接著隱藏向量h[MASK]被輸入到softmax分類器中進行線性分類，生成退出狀態預測的概率分布Pθ(dt|z)。最后，預測概率最大的token 被追加到序列以替換[MASK]，序列結尾的[EOS]出現即標志著預測結束，停止生成激活函數，該token 即作為當前學習行為序列中最后一個與行為對應的學習會話退出狀態預測結果。

2 實驗設置

2.1 數據集

實驗基于3 個數據集進行研究，分別為EdNet[14]、XuetangX 1、XuetangX2。其中EdNet 數據來自大型英語在線教育平臺Santa，XuetangX 1 和XuetangX2 數據來自目前中國最大的MOOC 平臺之一“學堂X”(https://xuetangx.com)。數據集具體描述如下：

(1) EdNet 收集了從2018 年8 月27 日至2019年11 月27 日記錄的學習者學習活動最細粒度的交互數據，詳細記錄了每個學生的行為細節特征，該數據集包含297 915 名學習者共131 441 538 條學習行為記錄。

(2) XuetangX 1 收集了39 節教學模式的課程中涉及的 112 448 名學習者的學習行為。該數據集包含 1 319 032 個視頻活動、10 763 225 個論壇活動、2 089 933 個作業活動和 7 380 344 個網頁活動。

(3) XuetangX 2 收集了 698 節教學模式課程和515 節自學模式課程中涉及的 378 237 名學習者的學習行為。該數據集包含 88 904 266 個視頻活動、534 369個論壇活動、10 912 803 個作業活動和 14 727 348 個網頁活動。

按照8∶1∶1 的學習者數量比例將預處理后的數據集劃分為訓練集、驗證集和測試集。處理后的數據集統計結果如表1 所示。

表1 處理后的數據集統計結果Table 1 Statistics results of processed datasets

2.2 預訓練模型

Prefix-LSDPM 在預訓練模型參數的基礎上對針對下游學習會話退出預測任務進行提示調優。為避免不同預訓練模型對Prefix-LSDPM 性能的影響，實驗基于以下3 個預訓練模型進行研究。

(1) BERT[9]谷歌提出的經典預訓練模型，使用MLM 任務和NSP 任務進行雙向預訓練。

(2) ALBERT[10]谷歌在BERT 的基礎上提出的改進預訓練模型，將BERT 模型通過因式嵌入和跨層參數共享這兩種方式進行降參優化，并基于MLM 任務和SOP 任務進行雙向預訓練。

(3) UniLM[15]微軟提出的統一預訓練模型，針對單向、雙向、序列到序列這3 種模式進行無監督聯合預訓練。

2.3 參數設置

在訓練之前，采用合成少數過采樣技術(Synthetic Minority Oversampling Technique,SMOTE)[16]對 dropout 標簽進行過采樣，將 dropout 標簽比例保持在 1∶1 左右。采用MetaPrompting[17]軟提示初始化方法，該方法被證明能夠自動生成達到最佳性能的提示初始化向量，通過元學習算法自動找到最優的提示初始化向量，以促進快速適應學習會話退出預測的提示任務。

為避免不同預訓練模型對Prefix-LSDPM 性能的影響，實驗分別在3 種預訓練模型BERT、ALBERT和UniLM 的基礎上對Prefix-LSDPM 的性能進行測試。其中BERT 和ALBERT 均采用base 版本的模型，3 個預訓練模型中的Transformer 網絡層數（L）均為12。在每個Transformer 層中，每個多頭注意力層均由 8 個頭組成。模型采用Adam 優化器，學習率為10-3，超參數β1= 0.9，β2= 0.999。每組實驗包含 12個 epoch，其中每個 epoch 包含 100 個 step，batch size設置為8。使用在驗證集中獲得的最佳曲線下面積（AUC）的模型參數在測試集上進行測試。

3 實驗設計與結果討論

3.1 提示長度消融實驗

為了探究提示矩陣Pe維度與不同預訓練模型對Prefix-LSDPM 性能的影響，將提示序列長度作為控制變量，對基于BERT、ALBERT、UniLM 這3 種預訓練模型的Prefix-LSDPM 進行消融實驗，分別記為 BERT+Prefix-LSDPM、 ALBERT+Prefix-LSDPM和UniLM+Prefix-LSDPM 實驗組。該消融實驗旨在得出能夠使Prefix-LSDPM 達到最佳預測性能的提示序列長度，并針對基于不同預訓練模型的Prefix-LSDPM 的性能進行對比。本文基于EdNet 數據集對以上模型實驗組進行訓練，通過ROC 曲線的AUC和預測準確率(ACC)指標對模型效果進行衡量。基于不同預訓練模型的Prefix-LSDPM 隨著提示長度變化的AUC 和ACC 消融實驗結果如圖5 所示。

圖5 基于不同預訓練模型與提示序列長度的AUC 和ACC 消融實驗結果Fig.5 AUC and ACC ablation experiment results based on the performance of pre-training model and prompt sequence length

由圖5 可知，基于BERT、ALBERT、UniLM 這3 個預訓練模型進行提示調優的Prefix-LSDPM 在提示序列長度為3 個token 時達到了局部峰值。當提示序列長度為4 個和5 個token 時， BERT 和UniLM實驗組模型性能相比提示序列長度為3 個token 時有較大幅度的下降，ALBERT 實驗組模型性能相比提示序列長度為3 個token 時有較小幅度的下降。當提示序列長度為6、7 個和8 個token 時，ALBERT和UniLM 實驗組模型相比提示序列長度為4 個和5 個token 時取得了較好的效果，而BERT 實驗組隨著提示序列長度的增加，預測性能大幅度下降。

基于該消融實驗結果可以得出，在3 個預訓練模型的參數基礎上，能夠使Prefix-LSDPM 達到最佳預測性能的最佳提示序列長度均為3 個token。其中基于ALBERT 的Prefix-LSDPM 預測性能受提示序列長度的影響不大，且能保持較好的預測性能?；贐ERT 的Prefix-LSDPM 預測性能相比基于ALBERT的Prefix-LSDPM 預測性能較差，原因是ALBERT 采用SOP 任務代替了BERT 中的NSP 任務進行雙向訓練。SOP任務旨在挖掘句子間的關聯性，在LSDP 任務中，ALBERT 在挖掘學習行為特征間關聯的基礎上，還對學習行為間的隱含關聯進行了重點關注，因此基于ALBERT 的Prefix-LSDPM 能夠取得較好的預測性能。雖然UniLM 與BERT 采用相同任務進行訓練，但UniLM 將單向、雙向和序列到序列這3 種注意力掩碼方式相結合，為Prefix-LSDPM 中的混合注意力掩碼方式提供了更好的預訓練基礎，因此基于UniLM 的Prefix-LSDPM 也能取得較好的預測性能。

3.2 提示范式與微調范式對比研究

為了探究Prefix-LSDPM 在性能與參數量方面相對于預訓練-微調范式模型是否有改進，在消融實驗探究的最佳提示長度下，基于BERT、ALBERT、UniLM 這3 種預訓練模型將Prefix-LSDPM 與全參數微調預測性能及擬合所需參數量進行對比，實驗結果如表2 所示，其中Fine-LSDPM 表示針對學習會話退出預測任務的雙向微調。實驗結果顯示，在同一預訓練參數的基礎上，Prefix-LSDPM 的預測性能相比Fine-LSDPM 均有一定程度的提升，其中基于BERT、ALBERT 和UniLM的AUC 分別提升了0.003 7、0.005 19 和0.034 0，基于BERT、ALBERT 和UniLM的ACC 分別提升了0.007 9、0.063 4 和0.037 1；在參數量方面，基于BERT、ALBERT 和UniLM 的Prefix-LSDPM 訓練參數量分別是Fine-LSDPM 的0.24%、0.56%和0.13%，Prefix-LSDPM 有效降低了調優訓練所涉及的參數量，使模型訓練的復雜度和訓練時長大幅降低。該實驗結果表明，Prefix-LSDPM 將預訓練參數凍結后僅更新前綴提示參數的訓練方式，能使下游任務建模更靠近預訓練模式，并將預訓練模式中已經學習記憶的知識進行快速檢索，在涉及參數量較少的同時，使模型訓練更加迅速且準確。

表2 Fine-LSDPM 與Prefix-LSDPM 對比結果Table 2 Comparison between Fine-LSDPM and Prefix-LSDPM

3.3 小樣本性能研究

為了探究Prefix-LSDPM 是否能在小樣本數據下達到理想效果，隨機對EdNet 的訓練集進行一定比例的下采樣，構造訓練集的子集，針對不同數據量分別以Fine-LSDPM 和Prefix-LSDPM 模型進行訓練。表3 示出了不同訓練數據量下各模型能夠達到的最佳AUC，其中百分數表示訓練樣本數為全部樣本數的比例。

表3 不同訓練數據量下各模型的最佳AUCTable 3 Best AUC that each model can achieve under different training data

實驗結果顯示，在3 種預訓練模型的基礎上，Fine-LSDPM 在訓練樣本為30%時AUC 預測性能均有明顯的下降，而Prefix-LSDPM 在訓練樣本減少為10%時AUC 才有小幅度的下降。且在1%訓練樣本情況下，基于BERT、ALBERT、UniLM 的Prefix-LSDPM 的預測AUC 相比Fine-LSDPM 分別提升了0.053 0、0.084 9 和0.074 6。相當于Prefix-LSDPM 在基于約1 622 名學習者的約685 536 條學習行為樣本進行訓練即可達到比微調方法性能更好的效果。因此，Prefix-LSDPM 通過凍結預訓練參數以減少迭代參數量的模式能夠適應小樣本學習，且達到較好的預測效果。

3.4 對比實驗

本文將Prefix-LSDPM 和以下模型分別在數據集EdNet、XuetangX 1 和XuetangX 2 上進行訓練，其中(1)、(2)、(3)為時序挖掘模型，(4)、(5)為最近會話退出研究中性能表現較好的模型。

(1) 長短期記憶網絡(Long Short-Term Memory,LSTM) 將LSTM 按照文獻[18]的架構進行訓練。該模型由3 層組成，每層有 60 個神經元，用 Adam 優化器和交叉熵損失訓練了 1 000 個 epoch。

(2) 可變長度馬爾可夫鏈 (Variable Length Markov Chain, VLMC)[19]對學習者交互項目序列進行建模，最大上下文長度設置為 4。

(3) 馬爾可夫調制標記點過程模型(Markov Modulated Marked Point Process Model , M3PP)[20]該模型對訪問的單個頁面的序列和在頁面上花費的時間進行建模。形式上，將點擊流建模為連續過程。該模型在在線行為序列分析任務上效果較好。

(4) 多層感知器 (Multilayer Perceptron, MLP)[21]該模型為最新研究用于學習會話退出預測任務的有效方法[14]。參考該研究設置，將學習行為數據建模為“句子”形式作為輸入，以雙矩陣結構建模學習行為特征序列，隨著學習行為的增加更新矩陣參數。

(5) 深度注意會話退出預測模型(Deep Attention Session Dropout Prediction Model, DAS)[3]該模型基于單層Transformer 實現了LSDP 任務。在這項研究中，效果最好的序列長度是 5，本文應用該結論進行對比實驗。

根據消融實驗探究結果，設置提示序列長度為3，將基于ALBERT 預訓練模型的Prefix-LSDPM 在3 個數據集上分別進行訓練，與以上5 個模型的對比實驗結果如表4 所示。

表4 不同模型在不同數據集上的對比實驗Table 4 Comparative experiments of different models on different datasets

實驗結果顯示，基于ALBERT 預訓練模型的Prefix-LSDPM 在數據集 XuetangX 1 和 XuetangX 2上進行提示調優預測的最佳 AUC 可以分別達到 0.875 9和0.869 4。在相同數據集上，Prefix-LSDPM的預測性能優于經典的時序挖掘模型LSTM 和VLMC。與在線頁面訪問時序挖掘模型M3PP 相比，Prefix-LSDPM的最佳AUC 在EdNet、XuetangX1、 XuetangX2 這3 個數據集上分別提升了0.112 2、0.113 6 和0.083 5。目前在LSDP 任務的現有先進模型中，MLP 和DAS模型在會話退出預測任務中是最新且表現最好的。其中與MLP 相比，Prefix-LSDPM 的最佳AUC 在EdNET、XuetangX1、 XuetangX2 這3 個數據集上分別提升了0.104 0、0.063 7 和0.047 6；與DAS 模型相比，分別提升了0.092 9、0.089 4 和0.066 6。實驗結果表明，Prefix-LSDPM 在預訓練參數基礎上對在線學習行為特征進行提示調優的方式，能夠更充分地挖掘連續學習行為間及學習特征間上下文隱含關聯，準確提取連續學習行為序列與學習會話退出模式。Prefix-LSDPM 具有更好的時序序列挖掘效果，相比現有先進模型具有更高的預測準確率。

4 結 論

本文提出了一種基于前綴提示的小樣本在線學習會話退出預測模型Prefix-LSDPM。該模型將預訓練-提示-預測范式擴展至在線會話退出預測任務。針對現實場景中因數據不足導致實際預測效果不理想的問題，設計適應于小樣本學習行為的前綴提示調優方法。將前綴提示可調向量與Transformer 結構內部鍵值對連接，固定凍結預訓練權重參數，通過會話退出監督信號對前綴提示參數進行調優，相比微調方法能有效降低針對下游任務調優訓練所涉及的參數量。針對前綴提示模板，設計多層Transformer網絡注意力掩碼方式對同一學習行為特征間上下文和連續學習行為間上下文的隱含關聯進行掩碼學習，為模型的準確預測提供基礎?；? 個預訓練模型和3 個數據集對模型進行訓練，實驗結果表明，Prefix-LSDPM 能夠在小樣本學習情況下達到較好的預測準確率，且比現有學習會話退出模型具有更好的預測效果。