基于機器學習的英語詞匯自適應學習模型①

劉 欣,李懷龍

(淮北師范大學 教育學院,淮北 235000)

學習者特征指對學習者從事學習產生影響的心理、生理和社會的特點,包括認知的、情感的和社會的特征;其中,屬于認知方面的特征被稱作學習者認知特征,它作用于學習的信息加工過程[1].當代教育心理學認為學習者的認知能力水平是學習者的認知特征的重要組成部分,認知語言學認為詞匯學習就是一種信息加工過程,可見,學習者的認知特征(認知能力和認知風格)會影響詞匯學習的過程.

近年來,多媒體學習的相關研究進一步表明學習者的認知能力水平是影響第二語言詞匯學習績效的一個主要因素.在多媒體材料呈現方式對ESL (English as a Second Language)詞匯學習績效的效應研究中,Chun以非英語專業大學生為被試群體,研究結果表明,“文字+圖片”比“文字+視頻”更有效[2],而Alseghayer 以英語專業大學生為被試群體,他的研究卻得出相反的結論[3],Toylor的研究結論是將詞匯學習績效的差異歸因于學習者的認知能力水平的不同[4].

學習者認知風格對多媒體英語詞匯學習績效的主效應同樣顯著.Riding 等將認知風格定義為:個體在認知過程中所表現出來的習慣化的行為模式[5].可見,學習者認知風格的差異不但會導致出現選擇不同學習內容的行為,而且會影響學習者在多媒體詞匯學習時的學習績效.Reid 指出,個體學習者的認知風格決定了他們選擇何種學習策略,從而影響他們的詞匯學習績效[6].Oxford 對語言學習成績的各項研究也揭示出學習者認知風格傾向的重要性[7].至此可以得出,學習者認知特征和學習內容確實存在適應性關系.設計一種能測量出這種適應性關系、隨后為學習者推送相合適的學習內容的工具就顯得尤為必要.

國內外近年來有一些關于自適應學習模型構建的研究.如在國內,陳品德較早地利用Web 平臺制作適應性學習系統[8];菅保霞等深入大數據背景,建立基于元分析視角的自適應學習個性特征模型[9].而在國外,大量的自適應學習平臺已應用在實踐當中,自適應技術逐漸變成一套為學習者提供更廣泛的個性化學習服務的教育技術工具.哥倫比亞大學開發的Alchemy 學習平臺,意圖為學生應對即時和具體的大規模在線學習的挑戰;目前它仍處于beta 版,但Alchemy有能力適應不同的班級規模,并支持靈活的學習,以及潛在的個性化的大規模在線學習體驗[10].佛羅里達大學則重新設計了具有適應性學習的初級西班牙語課程,以回答學生在這些課程中遇到的無數問題;收集到的初步數據表明,學生掌握程度明顯提高了,學生對教學調查的看法愈發積極[10].Alchemy 平臺尚處于試用階段,而佛羅里達大學的適應性課程沒有英語課程,分析當前研究現狀可知,有關英語學習的適應性學習軟件的研發仍需完善.此外,已有的自適應學習模型、系統和平臺,鮮有把機器學習的概念、方法運用到多媒體學習認知領域的實踐當中.針對以上不足,本研究試圖通過改進、優化AdaBoost 算法,并將該算法與基于IRT(項目反應理論)的計算機自適應測驗相整合,以此構建一個融入了機器學習算法的新型英語詞匯自適應學習模型.該項研究具有一定的理論價值和現實價值.

1 模型的理論依據

1.1 自適應學習技術

自適應學習技術是指根據學習者獨特的個性特征,通過呈現適當的信息、教學材料,反饋和建議來提供一個符合學習者需要的智能調整環境[11].自適應學習系統通過將學習者的個體差異和學習情境納入其中,從而提高學習效果,需要付出較少的努力,減少所需的時間,并產生更高的學習者滿意度.本模型是一個典型的自適應學習模型,它遵循自適應學習系統兩個必要步驟:第一步涉及學習者靜態建模和動態建模,靜態建模是一種學生模型或情境模型只設置一次的方法,指學習者第一次訪問系統時(系統初始化);相反,動態建模方法會持續監控學習者及其所處的情境,并經常更新“學生/情境”模型的信息(系統參數更新).第二步,確定學習者特征及其當前情況(學習者某個認知特征,學習者對某種學習內容的自我選擇情況),可以用來給學習者提供個性化的學習體驗(自適應學習內容呈現).因而,本模型的參數信息(條件概率)被用來提供自適應性,為學習者供應自適應性功效的適應性學習引擎(系統)是模型的最終產品.

1.2 機器學習、條件概率、AdaBoost 算法

機器學習是當前人工智能領域最受歡迎的課題,取得了豐碩成果.本模型也是將機器學習的概念、方法借鑒到多媒體學習認知研究領域的一次嘗試.機器學習的核心是參數,訓練是學習訓練集數據的過程,也是尋找最優參數的過程,依照已被嚴格推導出的數學算法,來達到參數優化的目的[12].給予本模型的啟發是引入訓練的思想,可以讓模型自動地調整參數(條件概率)以擬合真實的適應性關系,使其成為動態建模學習工具.

具有不同認知特征的學習者對學習內容的適應性程度稱為適應度,即適應度用于表示具有某個認知特征的學習者對某種學習內容的適應性程度,用條件概率P(Aj|Bi)表示[13],意為在事件Bi發生的條件下,事件Aj可能發生的概率;Bi表示學習者具有第i類認知特征,Aj表示學習者對第j種學習內容的選擇.

AdaBoost 算法全稱為Adative Boost,即自適應的增強算法,旨在將多個“弱學習器”通過適應地調整概率,組合成為一個“強學習器”[14].站在本模型的角度,AdaBoost 算法如下:輸入訓練數據集T={(x1,y1),(x2,y2),…,(xN,yN))},其中xi∈Rn,yi∈y={?1,+1};弱學習器.輸出:最終強學習器G(x).

(1)初始化弱學習器的概率P1

(2)對迭代次數m.有m=1,2,···,M

(a)使用訓練數據集學習,得到弱學習器的線性組合Gm(x)

(b)計算Gm(x)在訓練數據集上的誤差率em

(c)計算Gm(x)的系數am

(d)更新弱學習器的概率Pm+1

這里Zm是規范化因子,它使Pm+1成為一個概率

(3)構建弱學習器的線性組合,得到最終強學習器G(x)

AdaBoost 算法步驟是:先假設每個弱學習器作用相同,也就是說弱學習器有著均勻的概率,然后反復學習,作出m=1,2,···,M次迭代,每次迭代步驟為:使用當前弱學習器概率、計算誤差率、計算弱學習器系數、更新弱學習器概率、線性組合弱學習器.由此看出,AdaBoost 算法所解決的問題,尤其是適應地更新概率,與模型面臨的最中心問題—根據學習者對每個單詞的學習內容的選擇情況,適應度如何自動地變化,兩者基本一致,這正是模型公式參考AdaBoost 算法公式的理由.針對問題,模型也對AdaBoost 算法進行了簡化和改進:(1)對于每個單詞,模型只有一次訓練,也只需要一次適應度更新,同一單詞不需要多次迭代,因而置m=1;(2)學習者對每個單詞只能選取一種學習內容,對第i種學習內容xi,若被選擇則yi=+1,否則yi=?1,根據AdaBoost 算法的闕值化器計算得em=1/N,Gm(xi)=?1;(3)模型僅用到AdaBoost 算法的概率更新,所以上述式(8)不必引入.再者,除首次訓練的初始適應度是平均值外,其余每次訓練的初始適應度,都為上次訓練經過更新后的適應度.

1.3 基于IRT(項目反應理論)的自適應測驗

基于IRT 項目反應理論的自適應測驗常利用計算機實施,又稱為計算機自適應測驗(Computerized Adaptive Testing,CAT),作為一種新式的測驗方式廣泛應用于教育測量與評價中.基于項目反應理論的自適應測驗是這樣進行的:從測試項目的應答結果對被測試者的能力水平進行估計(或估計值的修正).按照估計的能力水平,從項目數據庫中檢索出與之匹配、適宜的測試項目[15].

為得到穩定的適應度,模型的求解過程參照了基于項目反應理論的自適應測驗,既有相似,又有區別.相似之處是,都可以根據用戶的反應模式進行參數更新,且參數的更新時機都在學習者每完成一個項目的學習后立刻重新計算,操作流程類似.區別之處有兩點:(1)模型所使用的運算公式是AdaBoost 算法的公式;(2)模型的結束判定使用最近3 次每個適應度的標準差(均小于某個精度值).

2 模型的構建

本模型屬于動態模型,其構建主要分為兩個步驟:(1)建立問題的數學模型:模型的數學公式,是承待解決問題的抽象描繪;(2)數學模型求解:模型的算法,是解決問題的具體流程.第(1)步包括模型的問題描述與公式,第(2)步包括模型的算法流程設計和算法偽代碼實現,之后加入模型的討論.

2.1 模型的問題

模型要解決的問題是,測得學習者某個認知特征對某種學習內容的適應性關系,根據該認知特征在學習過程中是否會發生改變,應分為兩種情況:(1)該認知特征在學習過程中幾乎不會改變(如認知風格),此時模型是靜態模型,如圖1(a)所示.適應度P(ci|s=s0)(其中i=1,2,···,n)表示,在學習者某個認知特征取值為s=s0的條件下(s0是一個常量值),學習者對第i種學習內容選擇的概率;(2)認知特征在學習過程中很可能會改變(如認知能力),此時模型是動態模型,如圖1(b)所示.適應度P(ci|s=sk)(其中i=1,2,···,n)表示,在學習者某個認知特征取值為s=sk的條件下(sk是一個變量值),學習者對第i種學習內容選擇的概率.無論何種情況,每種學習內容都對應著1個適應度,適應度會隨著訓練次數增加而不斷更新,且所有適應度總和恒為1.總的來說,模型被視為一個動態模型.

圖1 學習者某個認知特征對某種學習內容的適應性關系圖

2.2 模型的公式

模型旨在解決學習者在學習一個單詞后,適應度的動態更新.模型的公式參考了AdaBoost 算法公式,并對其簡化.公式具體表述如下:

輸入:將學習者對一個單詞的選擇情況數據集,作為一次訓練的訓練數據集,記T={(x1,y1),(x2,y2),···,(xN,yN)},其中x為學習內容種類,y為選擇結果,i為第i種學習內容,n為學習內容種類數;x={1,2···i,···,n},y={+1,?1}.

將第2.1 節中P(ci|s=s0)或P(ci|s=sk)簡記為Pi,當前適應度為P=(P1,P2,···Pi,···,Pn),若為初始化,則Pi=1/n,否則為上次運算得到的適應度.

(1)計算誤差率e

(2)計算系數alpha

(4)得到更新后的適應度

2.3 模型的算法流程設計

模型的算法流程參照了基于項目反應理論的自適應測驗流程,如圖2所示,對圖中每個步驟進一步解釋如下.

圖2 模型的算法流程設計圖

(1)模型初始化(開始)

① 假定每種學習內容被選擇的概率相同,使用均值初始化適應度.

(2)模型一次訓練(繼續)

② 從詞庫內隨機抽取一個未學習過的單詞,呈現不同種類的學習內容.

③ 記錄用戶選擇了何種學習內容.

④ 重新計算每個適應度.

(3)模型結束判定(結束)

⑤ 判斷每個適應度,最近3 次訓練的標準差是否小于0.01,若不滿足回到第②步,否則進入第⑥步.

⑥ 每個適應度的波動范圍均較小,得到穩定的適應度.

2.4 模型的算法偽代碼實現

模型的中心任務是適應度更新的實現,下面以第i種學習內容為例,Python 偽代碼編程如算法1.

算法1.求第i 種學習內容更新后的適應度輸入:訓練數據(xi,yi)輸出:更新后的適應度Pi 1.If initflag:#如果是初始化2.Pi=1/n #適應度為平均值,n為學習內容的種類數3.Else:4.Pi=ReadDB(i)#從數據庫里讀取上一次計算得到的第i 種學習內容對應的適應度5.e=1/n #誤差率6.alpha=0.5*Log((1?e)/e)#系數7.Pi=Pi * Exp(?alpha*Yi*(?1))#Pi 更新開始,若第i 種學習內容被學習者選擇,則Yi=1,否則Yi=?1 8.z=Sum(Pi)#規范化因子9.Pi=Pi/z # Pi 更新完成10.If Std(Pi,LastPi,LastLastPi)<0.01 #如果最近3 次適應度的標準差小于0.01 11.If OthersStd()<0.01 #如果最近3 次每個適應度的標準差均小于0.01 12.Finish()#系統結束運行13.Else:14.Continue()#系統繼續運行15.Else:16.Continue()#系統繼續運行

2.5 模型的討論

需要討論的是,模型中學習內容種類n數值的確定.以研究材料呈現方式對英語詞匯學習績效的影響為例,應先用文獻法、專家評價法篩選詞匯材料的有意義組合呈現方式.所謂有意義組合呈現方式,是指詞匯呈現材料的組合是不違背多媒體學習認知理論的基本原理的,符合人們外語詞匯學習習慣,或者已經證明這樣的組合對詞匯學習有促進作用[16].已有研究表明,有意義組合呈現方式大概有8 至12 種,所以當模型被實際運用到該項研究時,n數值取值范圍盡量為8 至12.

2.6 模型的驗證

為進一步佐證模型的有效性,提升其現實應用價值,遂根據模型開發出原型系統,并實施試測.原型系統由服務端和客戶端兩部分組成,服務端負責使用模型的算法,以更新被試的適應度;客戶端負責呈現不同種類的學習內容,供被試選擇.服務端是一個基于Flask框架編寫的Web 程序,實驗環境為Windows 10+Python 3.7.2+Flask 1.1.1,服務端數據庫使用flask_sqlalchemy;客戶端是一個移動APP,實驗環境為Windows 10+Android Studio 3.3.2+Android SDK 28+安卓模擬器;客戶端APP 運行在安卓模擬器,服務端Web 程序運行于本地計算機,安卓模擬器與本地計算機通過WLAN 無線網卡橋接,用于建立客戶端和服務端的網絡連接.客戶端request 數據提交方式為Post,服務端處理由客戶端發來的request 數據.

實驗中,學習內容種類有5 種,分別為詞形變化、詞根詞綴、圖片、短語、例句;被試選取自大一非英語專業的女生;測試詞匯庫里的詞匯,均借助《牛津詞典》選用那些被試不認識,且難度相近的單詞.系統初始化時,設置參數n(學習內容種類)數值為5,參數e(誤差率)數值為0.2.以其中一名被試的實驗結果為例,如圖3所示,系統在訓練時,處于快速收斂的狀態,數值變化也比較合理,經過9 次訓練后,計算出穩定的適應度,即(0.000243,0.994658,0.003885,0.000243,0.000971).可以看出,該名被試更加適合詞根詞綴型學習內容,這與早前的問卷調查結果相一致.

實驗結果表明,該系統符合自適應學習系統的要求,其自適應性體現于:根據被試反應,不斷更新被試適應度參數,最終對被試適應度作出估計;同時,伴隨著測驗過程的發生,系統會為被試呈現出,當前適應度最大的、所對應的某種學習內容,即系統適應了該名被試.這一點,相似于基于IRT(項目反應理論)的計算機自適應測驗中的能力參數估計的情況.

再者,以往類似研究所使用的測量工具大多局限于量表(如學習風格量表),它們的量化能力明顯有限,很難測得同一變量的每個水平之間的準確差異值,而用本模型作為替代性測量工具,可提高相關評估實證研究的量化水平.

圖3 某名被試的系統試測結果

3 總結

綜上所述,研發了一個基于適應度的英語詞匯自適應學習模型,將該模型現實構建,就獲取了一個適應性學習引擎(系統),它能夠偵測學習者某個認知特征對某種學習內容的適應性關系,并調整學習內容的推送,最終使得學習內容與特定學習者相匹配.本模型希望應用于英語詞匯學習的相關研究,但也能方便地遷移到其他學習研究上,具有良好的可靠性和魯棒性.此模型的不足之處在于兩點,一是模型尚未偵測學習者某個認知特征的具體取值,而將此看作預設.二是尚未引入學習績效,學習者根據自我喜好而選擇的學習內容,無法肯定使用這些學習內容就可以獲得高的學習績效,同時也不能通過學習績效分析出學習損失.以上功能是進一步增強適應性學習引擎(系統)對學習者的自適應性能力的要點所在.這也是要展開的后續工作.