基于認知診斷的協同過濾試題推薦①

單瑞婷, 羅益承, 孫 翼

1(北京郵電大學 國際學院,北京 100876)

2(北京郵電大學 信息與通信工程學院,北京 100876)

3(中國科學院大學 計算機與控制學院,北京 100049)

隨著電子商務和大數據的快速發展,為了能為不同用戶提供其真正感興趣和需要的個性化服務,推薦系統在這樣的背景下被提出來,不需要用戶額外提供信息,只需利用用戶的歷史行為,便能挖掘出海量數據背后有用的信息. 其中,協同過濾算法是應用最廣泛的一種推薦技術,根據用戶的歷史行為數據,來對每個人的近鄰用戶進行推薦,不需要考慮項目的具體內容,也不需考慮項目涉及的領域知識,且隨著用戶時間的推移,用戶的歷史行為數據增多,可不斷修正算法的準確率和性能.

在個性化教育系統中,推薦系統已逐漸受到越來越多教育者的關注,如何在有限時間內從大量試題資源中給不同學習者推薦真正需要的試題,是一個急需解決的關鍵問題. 推薦系統在電子商務領域已十分成熟[1],但是電子商務領域的關鍵技術無法直接移植于個性化教育系統,應該在電子商務領域的域的基礎上考慮教育領域的獨特性,并根據相似學習者的歷史行為數據,進行個性化的試題推薦. 另外,針對協同過濾算法忽略學習者的知識點掌握情況(學習狀態)的問題,本論文改進了個性化教育系統中已有的試題推薦算法,引入了認知診斷模型(Cognitive Diagnosis Model,CDM)的概念.

CDM廣泛用于教學評估、心理鑒定等科學、教育、醫療診斷方面. 認知診斷,即通過可觀察的歷史行為來分析被試者不可觀察的內部狀態. 認知診斷模型的主要任務是分析個體差異,挖掘被試者更多的內部狀態,以此來對被試者間的共同點來建模. 個性化教育系統中的認知診斷引入了Q矩陣的概念[2],Q矩陣具體說明了題目-屬性之間的關系,從被試者對于不同項目(試題)的響應情況,可以推斷出應答者對不同試題所要求的知識點的掌握程度[3].

在此項目中,將結合認知診斷模型中對于學習者的知識點掌握情況,與推薦算法中的協同過濾算法一道,對相似表現情況的學習者進行相似度分析,并根據相似學習者之間的知識點掌握情況來對另一相似學習者作出試題推薦. 總結本文的主要工作及改進如下：

(1)結合認知診斷模型,該算法考慮了教育領域的獨特性,根據學生的歷史做題數據,對其知識點的掌握情況進行了考慮,并綜合相似學生掌握知識點的相似度來對試題做出推薦,同時考慮了相似群體的共性和個體的獨特性. 實驗結果可信度高,結果解釋性好,且覆蓋更為全面,且可擴展性和性能要優于普通的協同過濾算法,更符合個性化教育系統中的需求.

(2)一方面,通過該算法可以給目標用戶提供個 性化試題推薦,另一方面,也可以對未知用戶但已知部分做題狀況作出分析,依靠其相似用戶的表現來對剩余的做題情況作出預測.

1 相關工作

1.1 認知診斷

CDM是被試項目的反應函數,將被試可觀察的反應模式(ORP)轉化為被試知識狀態(KS)的數學模型[4].認知診斷模型不同于普通的紙筆測驗或者計算機自適應測驗,雖然三者都能產生對被試者測驗結果的能力報告,但是認知診斷模型還能產生被試者對所考察知識點的詳細掌握情況,通過認知診斷模型,從被試者角度,可以直接了當的看到自己知識點的缺漏和不足,并為今后的學習提供指導,從教師角度,可以掌握不同學生對于知識點的掌握情況,從而因材施教[5].

在眾多認知診斷模型中,最常見的、應用最廣泛的是 DINA 模型 (Deterministic Inputs,Noisy “And”gate; Junker & Sijtsma,2001)和規則空間模型(RSM;Tatsuoka,1995,2009). 其中,DINA模型依據被試者的表現引入了兩個評價因子： 失誤和猜對因子,使得測試結果更接近被試者的真實響應狀態,另外,DINA模型運用了Q矩陣[6],判斷出被試者的知識域或者說被試者對知識點的掌握程度[7,8].

對于DINA模型而言,題目反應矩陣R可以由學生掌握屬性集合矩陣A和題目-屬性矩陣Q[9]得到,并且,我們發現,反應矩陣R其中任一元素R(某測試學生i,某題目j)可以表示成以下方式：

雖然上式給出了題目反應矩陣R與學生的知識狀態矩陣A與題目-屬矩陣Q的關系,但在實際情況中學生對題目的反應矩陣是唯一的可觀測量,而矩陣A與矩陣Q作為隱藏變量無法從數據中直接得到. 也就是說,至今的理論基本上都是建立于Q矩陣為事先定義好的[10,11]. 從而,基于觀察數據中的Q矩陣和學生對知識點的掌握情況,由任一已知的另一批學生知識點掌握情況或者另一套題目對于知識點的必需與否情況,來對另一批學生對同一套題的答題情況或者同一學生群體對于不同套題目的答題情況進行預測. 以此,根據該預測情況通過個性化學習系統對于學生的薄弱知識點方面進行重點指導.

1.2 協同過濾推薦算法

在個性化教育中,協同過濾算法應用的核心是通過學生的做題情況,以此分析學生對某些特定知識點的掌握情況,并綜合不同學生對不同題目的得分來評測學生的相似性,并以此來預測相似學生掌握某知識點的程度,并基于相似學生之間的相似度,并結合相似度評價標準來對學生未掌握的知識點(題目)做出題目推薦.

協同過濾主要分為基于近鄰的協同過濾方法和基于模型的協同過濾方法[12]. 基于近鄰的協同過濾方法根據學生的答題情況來計算不同學生之間的相似度,以找到與目標學生相似度最高的學生,通過該相似學生的得分對目標學生進行得分預測,并以此進行試題推薦[13-16]. 基于近鄰的協同過濾方法又可分為基于項目(試題)和基于用戶的協同過濾,從題目或者學生的不同的角度來考慮其相似度,兩者都可以不對推薦項目的具體內容(知識點)進行考慮; 基于模型的協同過濾應用最為廣泛,通過忽略學生響應矩陣中重要性較小的值,來對原本的高維矩陣進行降維,學生和試題都看作一對影響因子,刻畫學生和試題在低維空間中的表現程度,并據此來預測學生在試題上的得分,進一步根據預測的得分進行試題推薦[3].文獻[15]和文獻[17]表明,基于模型的協同過濾方法能根據用戶的歷史數據構建模型,克服了數據稀疏性問題,同時具有很好的精確度和擴展性,具體方法如奇異值分解(Singular Value Decomposition,SVD)[18,19].

2 基于矩陣分解的協同過濾算法

2.1 算法介紹

針對目前大多數協同過濾算法普遍存在的可擴展性和抗稀疏性問題,聯合傳統的SVD的基礎上提出了基于SVD的協同過濾算法,大大減輕了傳統協同過濾算法的可擴展性和稀疏性問題[20]. 在本文中給定的R矩陣為具有m個測試學生,n道測試題目的學生做題評分矩陣,且R∈{0,1}. R=0代表測試者答錯或未作答,R=1代表測試者答對題目. 用SVD算法來分解一個m×n的評分矩陣R,其中m、n均為正整數,可分解成為m×m的正交矩陣U矩陣,m×n的對角矩陣Σ和n×n的正交矩陣V矩陣的轉置的乘積,可形象的表示為：

其中,U、V矩陣分別稱作左奇異矩陣、右奇異矩陣,Σ矩陣是一個對稱矩陣,矩陣內的元素為奇異值,在對角線上由上至下依次遞減,而且矩陣內奇異值降低的很快,在很多情況下,前10%的奇異值的和就占了總奇異值和的99%以上.

以此,我們可以通過Σ矩陣的前r個奇異值的方法來對R矩陣進行降維,保留其r個最大奇異值的右奇異矩陣組成一個r維空間(r×n),對降維后的R矩陣近似R矩陣進行分析,消除算法冗余度. 可以通過高維上的特征值分解,可通過Σ矩陣的前r個特征向量來預測矩陣的主要變換方向,以此來預測近似矩陣. 近似矩陣R'可表示為：

式中的r的取值原則為,在奇異值盡可能大的情況下截取r的值,在接下來的研究中,我們留下相鄰r距離不超過50%的奇異值,而截取的r越接近于n,我們得到的R’矩陣也就越接近于原始矩陣R.

2.2 算法步驟

算法1. 傳統的基于SVD的協同過濾算法

輸入： 學生-題目評分矩陣R∈{0,1}

輸出： 目標學生近似(預測)評分矩陣R'

步驟：

(1)對于給定的R矩陣,若學生答對題則記1分; 若答錯則不得分,記0分; 對于R矩陣中的缺失值,同時記為0分,于是得到了規范矩陣Rnorm;

(2)將規范矩陣Rnorm進行SVD分解,得到U、Σ、V矩陣;

(3)對稱矩陣Σ降維,抹去相鄰距離小于50%的奇異值,得到降維后的矩陣

(4)參照矩陣Σ'的維度可簡化U、V矩陣,分別得到簡化的矩陣U和V,于是就可得到R矩陣的近似矩陣R'=U'×Σ'×V',R'≈R;

如果原始學生-題目評分矩陣為稀疏度較高的高維矩陣,得到的簡化矩陣的維數r遠小于原始維度n,經過降維后的相似性比較只需對兩個一維量進行比較,這大大提高了運算效率,同時也提高搜索精度,因此降低了原始數據的稀疏性,進而使推薦結果更為準確.

3 相似用戶評價標準

為了求得用戶間的相似性以對相似用戶做出試題推薦,對降維后的學生-題目評分矩陣進行相似度計算,根據學生與學生、題目與題目之間的相似度來對目標學生做出試題推薦.

3.1 基于SVD分解的相似度比較

對于學生-題目評分矩陣R(m×n),進行SVD分解得到的矩陣Σ代表多維空間中在各個維度上的權重,可對Σ進行降維處理. 從公式(4)中看出,令Σ變為r行r列的對角矩陣,于是,矩陣U變為m×r,其行代表學生,每一行代表每一個學生在r維空間中的一個向量. 矩陣V變為n×r,其行代表題目,每一行代表每一個學生在r維空間中的一個向量.

令r=2即降維到二維,則每個學生向量每個題目向量看成二維空間中的一個點. 因此,通過對每一個學生的響應矩陣R進行降維,每一道題目被映射成了r維空間中的一個向量,可以通過衡量向量間的距離來判斷學生與學生,題目與題目之間的各種距離來判斷是否相似從而進行推薦.

3.2 相似度的評價

在使用SVD分解后的距離來衡量相似度時,我們嘗試了多種距離,用實際的數據進行比較,來尋找一種最為準確的距離進行推薦. 在實驗中考慮的是基于用戶的協同過濾推薦,于是可以通過計算矩陣U中向量Ui和Uj的距離(余弦距離)來判斷第i個學生和第j個學生是否相似,距離越小說明相似程度越低. 通過大量數據的實驗,可以求出一個閾值σ(實驗中為0.05),相似度閾值σ則可以通過大量數據進行實驗測得,當距離小于閾值σ時,說明兩個學生在學習狀態上是相似的,故可以依據相似學生的做題情況進行題目的推薦.反之,說明兩個學生學習狀態有差異.

4 實驗

4.1 數據集介紹

對于實驗數據,我們采用了三組數據對比,三組數據均為真實實驗的數據. 關于三組數據集的相關信息表1所示.

表1 三組實驗數據的詳細數據

DATASET1： 對應536名中學生對于15道減法題的答題情況,15道題總共考察了5個知識點,其Q矩陣(試題-知識點)的熱力圖如圖1所示. DATASET1在三類數據集中擁有最少的測試者人數,且試題、知識點個數也較為偏少,試題-知識點關系也由圖1給出,可以觀察到此數據集較為簡單,且不同題目所需的知識點也較為分散,說明不同題目間所涵蓋知識點的差距較大,可看做初級教育中對于相關初級知識點(如分配律、結合律等)的綜合考查. 對于該數據集,需要仔細設定相似度截取標準,避免出現過多的相似用戶從而影響推薦結果. 該數據還最早用于K. Tatsuoka(1990)的研究中,其后用于C. Tatsuoka (2002) 和de la Torre and Douglas (2004)等的論文中.DATASET2： 對應757名學生對于23道數學題的答題情況,23道題總共考察了15個知識點,其Q矩陣

圖1 DATASET1的Q矩陣熱力圖

(試題-知識點)的熱力圖如圖2所示. DATASET2在三類數據集中所測試的學生數居中,而試題數、知識點數最多,由圖2可知,各個試題考查知識點數較少且較為分散,而每道試題未考查的知識點大多有所涵蓋,說明該數據集主要針對中高級不相關知識點的一個考察,

更接近于現實情況的真實數據. 對于DATASET2,需要稍微調整相似度截取標準,實驗證明只有很少的相似度接近與目標用戶的相似度. 該數據最早用于Su et al.(2013)的TIMSS 2003小學數學測試.

圖2 DATASET2的Q矩陣熱力圖

DATASET3： 對應1710名中學生對于17道題的答題情況,17道題總共考察了4個知識點,分別是：CM(批評的方法)、II(識別改進)、PP(保護對象)、DG(辨識一般性). 其Q矩陣(試題—知識點)的熱力圖如圖3所示. DATASET3擁有最多的學生數,但所考察知識點數較少,試題數適中,由圖3可知,部分題目考察知識點無交叉,該數據集適用于考察大數據集下初級教育中不相關知識點(如加減乘除)的單獨做題情況. 由于數據集較大,如何對數據進行降維又不影響對各學生所掌握知識點的分析是一大難點. 該數據來源于Jurich和Brad- shaw (2014)對于SDA6的研究.

圖3 DATASET3的Q矩陣熱力圖

通過學生對于題目的響應情況,結合Q矩陣我們可以判斷學生對于題目所要求知識點的掌握情況. 例如,從熱力圖中可看出,深色代表做對題目不需要掌握該知識點,白色代表題目考查此知識點. 對于DATASET1中的第一題(T01)來說,做對該題需要具備知識點QT1;對于DATASET2中的第一題(M012001)來說,做對該題需要同時具備知識點S1、S13、S15.

4.2 實驗評測指標

4.2.1 精確率

精確率(precision),表示推薦結果當中推薦正確的程度. 其定義式如下所示：

其中TP為推薦試題中學生真正正確作答的個數,FP表示推薦試題中學生錯誤作答的個數.

4.2.2 召回率

召回率(recall),針對原本的數據樣本而言,表示的是樣本中的正例被預測正確的程度. 其定義式如下所示：

其中TP為推薦試題中學生真正正確作答的個數,FN表示待推薦試題中學生真正正確作答的個數.

4.2.3 F1值

F1值和精確率、召回率密切相關,是綜合這二者指標的評估指標,用于綜合反映整體的指標,其定義式如下所示：

4.3 實驗過程及相關算法

4.3.1 對目標用戶進行試題推薦

算法2. 基于認知診斷的協同過濾算法

輸出： 目標學生的相似用戶、試題推薦

步驟：

(1) 抹去R矩陣中目標用戶的部分值(實驗得到4為最優抹去值),設置為-1,將處理后的矩陣R記做矩陣RQES;

(2) 將矩陣RQES進行SVD分解,分解得到的三個矩陣分別記為U、Σ、V矩陣;

(3) 截取U矩陣、V矩陣的兩列(截取維數r=2),于是每道題目都可以映射成二維空間的一個向量;

(4) 根據截取后的二維空間,計算目標用戶與周圍用戶之間的相似度,并進行升序排序,相似度越接近1,說明與目標用戶越相似;

(5) 將(1)步抹去的值與(4)步得出的相似用戶的對應值進行比較,準確度能達到90%,證明算法可靠性;

(6) 根據相似用戶的做題表現來進行試題推薦. 對于目標用戶做錯的題,認為目標用戶未掌握該題相關知識點,對用戶做出推薦; 對于目標用戶做對、相似用戶做錯的題,認為目標用戶有未掌握該題相關知識點的可能,也對用戶做出推薦.

4.3.2 預測不完整評分矩陣并推薦試題

當然我們還可以利用此算法對未知表現狀態的學生進行答題情況的預測,或者對于學生漏做的題目進行答題情況的預測. 說明第一種情況,當出現一個新的學生,且我們知道其部分答題的狀況時,也可以使用SVD分解得到其在r維空間中的向量,再進行新學生與其他已知表現的學生進行相似度比較,從而進行題目推薦. 可通過以下幾步完成：

算法3. 預測新學生的評分矩陣

輸入： 新學生不完整的評分矩陣R∈{0,1}

輸出： 目標用戶的相似用戶、新學生完整的評分矩陣

步驟：

(1) 已知新學生的評分矩陣,設其為R1×n′;

(2) 則此學生的r維空間中的向量為U′=R′×V×S-1;

(3) 通過U′計算該學生與其他學生的相似度;

(4)根據相似度來推薦題目.

4.4 實驗結果分析

4.4.1 不同缺失值對推薦準確率的影響

表2表示抹去R矩陣中同一目標用戶不同數量的缺失值作為測試集,目標用戶原本的答題狀態作為驗證集,實驗數據顯示,算法得出的相似用戶個數會隨著缺失值個數的增加而增多,而當缺失值個數為4的時候推薦結果最為準確,也就是說,當未知學生的評分矩陣缺失值個數為4時,我們預測的該用戶的完整R矩陣最接近真實值. 同時,也驗證了基于SVD的協同過濾算法的可靠性.

表2 同一目標用戶不同缺失值個數的測試集對推薦準確率的影響

4.4.2 不同算法下推薦評測指標的比較

接下來我們根據不同測試集,對傳統的認知診斷模型里的DINA模型和基于認知診斷的協同過濾算法進行實驗比較,實驗結果如表3所示. 我們有以下結論：

(1) 可以觀察到,考慮了學生對知識點掌握程度的協同過濾算法準確率和召回率均優于傳統的認知診斷模型,并結合目標用戶的相似用戶的知識點掌握情況來給學生推薦題目,算法更具可靠性和說服性;

(2) 隨著學生數量的增加,基于認知診斷的協同過濾算法的性能越來越優越,說明對于現實生活中大量的學生得分情況數據,該算法能高效準確的對學生掌握知識點的狀態進行分析,并結合協同過濾算法對不同學生做出個性化試題推薦;

(3) 測試集試題比率較少時,傳統的認知診斷模型無法準確對學生知識點狀態進行推斷,此時推薦結果波動幅度大,主要原因為訓練數據的減少導致DINA方法中對于學生知識點掌握狀態的誤差較大.

4.4.3 結果分析

在DATASET1中,我們抽取了學生A和學生B的做題情況對5個知識點(QT1、QT2、QT3、QT4、QT5)的掌握程度(正確做對需要掌握該知識點的題目個數/需要掌握該知識點的題目個數)進行分析比較,由圖4所示,可以看出,學生A對于知識點QT1、QT2、QT4的掌握程度較高,但是學生A完全沒掌握知識點QT5;然而學生B對于知識點QT5的掌握程度遠遠高于學生A,但是對于其余知識點的掌握程度都小于學生A.

表3 傳統認知診斷模型和基于認知診斷的協同過濾算法對于不同測試集的比較(單位： %)

圖4 不同學生對知識點的掌握程度雷達圖

接下來,對學生A、B的R矩陣分別進行SVD分解和數據降維,將左奇異矩陣和右奇異矩陣分別截取兩列,以此可將每道題目映射成二維空間的一個向量,并通過相似度排列找出對應的相似用戶,依據相似用戶的行為來對目標用戶做出試題推薦. 在DATASET1中,學生A、B的正確率均為50%,基于知識點掌握程度的認真診斷方法傾向于對學生A集中推薦試題T04、T10、T14,解決學生A未能掌握知識點QT5的問題,因為做對該三道題必須掌握知識點QT5,對其他4個知識點不作要求,結合協同過濾過濾算法中學生A的相似用戶的做題表現,我們最終對學生A推薦試題T10、T14; 對于學生B,算法集中于推薦試題T02、T06、T07、T13、T15,主要考驗除了知識點QT5以外的知識點相關題目,因為做對該五道題必須同時掌握知識點QT1、QT2、QT3、QT4,結合協同過濾算法中學生B的相似用戶的做題情況,我們最終對學生B推薦試題T02、T06、T13、T15.

另外,為了避免目標用戶與相似用戶間掌握的知識點程度的誤差,我們規定,對于目標用戶答題正確但其相似用戶答題錯誤的題,認為目標用戶有未掌握該題相關知識點的可能,對目標用戶做出推薦; 而對于目標用戶答題錯誤但其相似用戶答題正確的題,認為目標用戶未掌握該題相關知識點,也對用戶進行推薦.

5 總結與展望

在此篇論文中,針對個性化教育系統中協同過濾算法無法考慮被試者知識點掌握情況的不足,提出了結合認知診斷模型、奇異值分解方法(SVD)和近鄰模型來研究個性化學習領域下學生評分矩陣R的預測以及題目推薦. 實驗分為以下三步： (1)根據目標用戶的答題情況,可以結合認知診斷模型當中的題目—屬性Q矩陣來對學生掌握知識點的程度進行計算分析,并將作為之后試題推薦的借鑒; (2)利用基于SVD的協同過濾算法對測試集中的R矩陣進行分解、降維,得到了學生和題目在多維空間中的坐標,并利用相似度計算方法計算其他用戶與目標用戶直接的相似度,找出相似用戶; (3)根據第(2)步中的相似用戶的答題狀態來對目標用戶做出推薦,同時也要參考第(1)步中目標用戶對各知識點的掌握程度. 從結果來看,在數據量較大的情況下,可以進行正確判斷相似性并進行推薦.實驗驗證,基于學生認知狀態的試題推薦是合理且解釋性較高的,說明基于認知診斷的協同過濾方法是合理可行的.

實驗表明,SVD分解可以得到學生掌握知識的范圍,并且具有良好的魯棒性,計算出更多推薦信息的同時也保證了推薦的質量. 該方法免除了計算學生或題目間相似度的過程,算法實現過程簡單,但是不太容易解釋理解,推薦的精確度會受到一定影響. 從實驗中可以看到,雖然對學生特征向量的降維提高了模型的預測精度,但是對計算機計算能力和內存有一定消耗. 此外,訓練用的學生題目維度較小,因此怎么優化分解高維度下學生題目的響應是還需研究探討的問題.

1魯丹. 個性化教育資源推薦系統的設計與實現[碩士學位論文]. 上海： 華東師范大學,2014.

2Tatsuoka KK. Rule space： An approach for dealing with misconceptions based on item response theory. Journal of Educational Measurement,1983,20(4)： 345-354. [doi： 10.1111/jedm.1983.20.issue-4]

3De La Torre J,DINA model and parameter estimation： A didactic. DINA model and parameter estimation： A didactic.Journal of Educational and Behavioral Statistics,2009,34(1)：115-130.

4丁樹良,毛萌萌,汪文義,等. 教育認知診斷測驗與認知模型一致性的評估. 心理學報,2012,44(11)： 1535-1546.

5任群. 認知診斷測驗的應用研究[碩士學位論文]. 合肥： 安徽大學,2011.

6Liu JC,Xu GJ,Ying ZL. Learning item-attribute relationship in Q-matrix based diagnostic classification models.arXiv：1106.0721,2011.

7De La Torre J. An empirically based method of Q-matrix validation for the DINA model： Development and applications. Journal of Educational Measurement,2008,45(4)： 343-362. [doi： 10.1111/jedm.2008.45.issue-4]

8De La Torre J,Chiu CY. A general method of empirical Q-matrix validation. Psychometrika,2016,81(2)： 253-273.[doi： 10.1007/s11336-015-9467-8]

9Liu JC,Xu GJ,Ying ZL. Theory of self-learning Q-matrix.Bernoulli,2013,19(5A)： 1790-1817. [doi： 10.3150/12-BEJ 430]

10Sun Y,Ye SW,Shi HY,et al. Maximum likelihood estimation based DINA model and Q-matrix Learning.International Conference on Behavior,Economic and Social Computing. Shanghai,China. 2014. 1-6.

11Romero SJ,Ordo?ez XG,Ponsoda V,et al. Detection of Q-matrix misspecification using two criteria for validation of cognitive structures under the least squares distance model.Psicológica,2014,35(1)： 149-169.

12李改,李磊. 基于矩陣分解的協同過濾算法. 計算機工程與應用,2011,47(30)： 4-7. [doi： 10.3778/j.issn.1002-8331.2011.30.002]

13朱天宇,黃振亞,陳恩紅,等. 基于認知診斷的個性化試題推薦方法. 計算機學報,2017,40(1)： 176-191. [doi： 10.11897/SP.J.1016.2017.00176]

14張瀟,沙如雪. 認知診斷DINA模型研究進展. 中國考試,2013,(1)： 32-37.

15Koren Y,Bell R,Volinsky C. Matrix factorization techniques for recommender systems. Computer,2009,42(8)： 30-37.[doi： 10.1109/MC.2009.263]

16Linden G,Smith B,York J. Amazon. com recommendations：item-to-item collaborative filtering. IEEE Internet Computing,2003,7(1)： 76-80. [doi： 10.1109/MIC. 2003.11 67344]

17Salakhutdinov R,Mnih A. Probabilistic matrix factorization.Proceedings of the 20th International Conference on Neural Information Processing Systems. Vancouver,British Columbia,Canada. 2007. 1257-1264.

18Billsus D,Pazzani MJ. Learning collaborative information filters. Proceedings of the 15th International Conference on Machine Learning. San Francisco,CA,USA. 1998. 46-54.

19Desmarais MC,Naceur R. A matrix factorization method for mapping items to skills and for enhancing expert-based Q-matrices. In： Lane HC,Yacef K,Mostow J,et al.,eds.Artificial Intelligence in Education. Berlin,Heidelberg.Springer. 2013. 441-450.

20趙營. 結合SVD的協同過濾算法研究. 通訊世界,2016,(10)： 255.