基于隱語義模型的學生選課推薦算法

陳鋼 常笑 胡楓

摘 要：為了使學生可以準確、合理的進行選修課程，并調動其學習主動性，考慮到學生-課程之間潛在關系，提出了一種基于Funk-SVD技術的隱語義模型學生選課推薦算法。本算法使用隨機梯度下降法優化損失函數;對選課推薦算法執行過程中的冷啟動問題提出了一種處理方案;通過評價指標召回率、準確率以及平衡F分數驗證本算法推薦的可行性和有效性，在所收集到的學生選課數據集上進行測試，實驗結果表明，該算法具有一定的優勢。

關鍵詞：推薦算法;潛在關系;隱語義模型

Abstract：In order to enable students to take courses correctly and reasonably， and to arouse their enthusiasm of learning， in view of the actual relationship between students and courses， this thesis proposes a latent factor model of recommended algorithm for students on the basis of Funk-SVD technology. This algorithm applies a method of stochastic gradient descent to optimize the loss function; a solution to solve the problem of cold boot during the process of recommended algorithm for students course-choosing is provide accordingly; the feasibility and validity of this kind of recommended algorithm are verified by evaluating the index recall rate， accuracy rate， and balanced F score， testing on the data collected from students' course-choosing. The experimental results show that the algorithm is advantageous.

Key words：recommended algorithm; actual relationship; latent factor model

近年來，隨著信息化的高度發展，信息的自動處理以及線上交互已被廣泛應用于各領域。借助信息技術批量管理學生信息是目前各高校都極為重視的教學管理工作之一，也是各高校的關鍵一環。為了更好的管理選課信息而設計的學生選課系統作為一種現代化的課程選修方式，與傳統的選修方式相比不但更加快捷有效，而且使選課管理工作更加標準化、準確化。學生選課系統的使用一方面使高校選課工作更加有效率，為廣大師生及相關工作人員節省了大量的時間，另一方面又增加了學生靈活選課的自主權，提高學生學習選修課的積極性。但大多數的選課系統，學生在選擇時往往對所選修的課程一知半解，僅憑選修課的名稱或者本身的學科專業去選擇課程。這樣的選擇不但過于盲目，導致學生難以選到真正感興趣的課程，而且還會使一些有價值的精品課程陷入無人選擇的尷尬情況。為了使學生可以準確、合理的進行選修，并調動其學習的自主性，許多研究者把各種模型用到學生選課系統中，也相繼提出了分級篩選的處理方法分配學生的課[1]、按名額比例分配算法[2]和分志愿篩選算法[3]、按照先來后到的方式去選擇選修課[4]和基于項目-用戶和屬性值的矩陣的協同過濾算法[5]等。

不過現有的選課推薦算法中并沒有考慮到學生-課程之間的潛在關系，如學生選擇某門選修課是因為其對代課老師感興趣，或者是因為其對該門課程本身感興趣。基于此，提出了基于隱語義模型的選課推薦算法來為學生推薦選修課，隱語義模型推薦算法根據學生的行為對選修課進行統計，并自動的把選修課劃分到不同的屬性（即學生的興趣）中，可以較為充分的發現學生-課程的潛在關系。實驗表明，基于隱語義模型的推薦算法在Top-N推薦中更有優勢，預測準確度更高。

1 相關工作

隨著基于物品的協同過濾（Item-CF）推薦算法在商業界得到了廣泛的應用，如電子商務[6]（阿里巴巴、亞馬遜、淘寶商城等）、信息檢索[7]（中國知網、谷歌、百度等）以及社交網絡（豆瓣、Facebook、微信等）等應用領域并帶來的巨大經濟效益，如Netflix上66%以上的影片觀看率出自給觀眾個性化的推薦、Amazon的銷售量有35%來自于購物界面上的推薦以及Choice-stream上28%的用戶會選擇付費獲得更多的音樂也是基于該對用戶的推薦。目前，從海量冗余的數據中幫助用戶發現其可能感興趣物品信息，為他們每個人提供個性化的推薦服務的推薦系統（RS）成為了一個的重要研究領域。而推薦算法又是RS的核心部分，直接和系統的性能相掛鉤，一般可分為：基于內容的推薦算法、協同過濾推薦算法[8]和混合推薦算法[11]，如圖1所示：

（1）基于內容的推薦（content-based recommendation，CB），其主要是根據推薦物品的實質內容，得出不同物品間的相關性，然后結合用戶對物品的歷史行為操作，給用戶推薦和其之前喜好的相似的物品。

（2）協同過濾推薦（collaborative filtering recommendation，CF）， 其主要是遵循“物以類聚，人以群分”的假設，通過分析用戶之間或者物品之間的相似度[12-13]得出適合給用戶推薦的物品。基于CF的算法一般應用在有用戶-物品的評分矩陣的系統之中[13]，根據評分去分析用戶對于物品的喜歡程度。目前，協同過濾推薦算法主要分為兩種類型：基于用戶的協同過濾算法[13]和基于物品的協同過濾算法[15]。

（3）混合推薦（hybrid-recommendation），在現實生活中，很少會使用單一的推薦算法去實現推薦任務。因此，通常將不同推薦算法在實際的應用場景進行分析后組合應用。混合策略有加權、交叉、切換、串聯、分層、特征組合和特征補充等[16]。

基于內容的推薦雖然簡單通俗、實現快捷，不需要用戶數據集，因此不存在稀疏性和冷啟動問題;而且由于是基于物品本身屬性的推薦，所以也不存在不斷推薦熱點信息的問題。但對于一些難以提取物品本身特征的推薦內容而言，CB算法很難令人滿意以及CB算法依賴于物品底層實質信息的提取，容易導致過度擬合;協同過濾推薦算法不需要對物品或者用戶構建十分標準的模型，并且計算出來的推薦是可以共享他人經驗的，但是這些基于近鄰計算的算法往往存在可擴展、冷啟動以及數據稀疏等問題。

基于Funk-SVD技術的隱語義模型（latent factor model，LFM）[12]，[17]是現在在物品推薦系統中應用相當成熟的一種模型。相比于傳統的協同過濾技術，LFM對所有物品自動的先進行聚類，劃分成若干個興趣屬性，再根據用戶的興趣屬性的權重給用戶推薦物品，其推薦結果相對更個性化、準確化，更契合人們的選擇。

2 構建隱語義模型和相關算法

以用戶對物品的評分構成一個評分矩陣，但是顯然，用戶不會對所有的物品進行評分，所以這個矩陣一般都較為稀疏。如果某個用戶對某個物品沒有評過分，那么推薦算法就要預測這個用戶會對這個物品評多少分，再讓所預測的評分去填充評分矩陣。基于隱語義模型的選課推薦算法的本質也是如此：用預測的評分來將評分矩陣補全后，得出學生對選修課的偏好程度，從而給其推薦合適的選修課。

為了便于表示，相關的符號標記見表 1。

2.1 隱語義模型及其推薦算法

在大多數情況下，用戶對物品的第一感官會受到該物品屬性上的影響。比如用戶A打算換個新手機，在眾多的手機中A選擇了手機B，而用戶A本身喜歡具有外觀精致、性價比高等特點的手機，這些特點就是A對手機屬性的一種偏好。每種手機在外觀、性價比等屬性上都具有不同的評價，對于用戶A而言，其選擇的手機B一定是一個在其偏好的屬性中具有較高評分的一款。

從評分矩陣R中雖然僅能得到用戶對物品的評分，但是卻可以認為該評分是用戶在物品屬性上的偏好程度和物品在這些屬性上所占分值的綜合體現，這里的屬性即為用戶和物品之間的潛在關系。

在選修課的推薦過程中也是如此，隱語義模型基于學生行為統計后自動把選修課劃分為有若干個屬性，并且屬性的數量是可控的。但若具體想要得到F個屬性，則必須找到兩個矩陣P和Q，并使這兩個矩陣的乘積近似的等于R，如下式（1）所示：

在多次迭代后，依據所得到的Pu，k、Qi，k由式（2）進行預測學生對未選修課程的評分，進而得到一個備選課程的排序，再通過Top-N推薦列表實現個性化推薦。

算法的流程如下圖2所示。首先，讀入學生對課程的選課記錄，進行構造學生-選課評分矩陣R。其次，將學生-選課評分矩陣拆分成P和Q矩陣，并開始構造學生-選課預測評分矩陣。然后，用損失函數Loss計算R和之間誤差，同時采用隨機梯度下降法不斷的迭代優化損失函數。最后，將計算得到的預測評分進行排序，再依據要求推薦課程的門數輸出Top-N推薦結果。

2.2 冷啟動問題的處理

基于隱語義模型的選課推薦算法是從學生已有的選課記錄中提取學生-課程的潛在關系來推薦選修課，但對于沒有選課記錄或選課記錄很少的學生時該算法并不十分理想。因此，為處理冷啟動問題，避免新生（含現有選課門數小于或者等于2門的學生）在沒有選課行為時推薦結果的不準確，以及一些有價值的精品課程陷入無人選擇時無法推薦，造成教學資源的浪費，在學生選課系統中采用基于物品的協同過濾推薦算法（Item-CF）處理冷啟動問題。當有新生進入選課時，學生選課系統從全部學生數據庫中調取與該新生相同學科專業、錄取分數接近的學長或學姐選課的歷史記錄數據，然后把該新生的數據和歷史記錄數據合并成一份，再導入到Item-CF算法中后經學生選課系統中向該新生推薦選修課程作為選課參考。通過此方法，提高了課程推薦的準確性。

3 實驗與分析

3.1 實驗數據集

以某高校（其通識選修課程要求10學分）的不分學科專業、年級方向的3 251位學生的431門選修課（含網絡課）的24 384條選課記錄作為推薦算法的數據集進行實驗。該數據集包括學生、課程、學生的選修記錄。數據集詳細信息及具體見表2、表3。

實驗過程中采用train_test_split函數把24 384條評分數據集分為19 507條訓練集（80%） 和4877條測試集（20%），且經多次實驗后，最終取分類數F=6，迭代次數N=9，學習速率α=0.05，正則化參數λ=0.01。最終實驗結果取30次實驗的平均值。

3.2 性能評價

根據學生選課記錄數據集的性質，推薦算法的評測采用離線實驗中的Top-N推薦方式。網站在給用戶推薦具有個人色彩的服務時，一般是以推薦列表的形式為主，這種推薦即為Top-N推薦（推薦數N的大小可以指定）。大多數情況下，其預測準確度以準確率和召回率兩個指標來進行衡量[20]-[22]。

可以從表4中發現，隨著推薦數N的增加，LFM算法與Item CF-IUF算法的召回率都在持續上升且LFM算法的增長速度一直大于Item CF-IUF算法;可從表5中發現，兩種算法的準確率都趨于下降，但LFM算法明顯比Item CF-IUF算法更加準確且在準確性方面至少要高出1.7%。

為了更好的說明推薦系統的性能，尤其在多個推薦系統之間做比較時度量出各系統之間的優劣。同時應用統計學中兼顧準確率和召回率的調和平均數-平衡F分數[23]-[25]，也稱為F1分數（F1 Score）來作為系統的性能指標：

從表6中可以發現，Item CF-IUF推薦算法的F1分數基本上趨于穩定，而LFM推薦算法的F1值則不斷上升，同時其F1分數在Top-N（N=5，10，15，20，25）推薦中均比Item CF-IUF推薦算法的F1分數高，且最高高出2.5%。基于此，并結合對兩種算法的召回率以及準確率的分析，可以認為在學生選課系統中，應用隱語義模型的推薦算法比基于物品的協同過濾技術的改進推薦算法要更加準確、有效，更能給學生推薦個性化的選修課程，可以更好的調動學生學習選修課的主動性，以培養多層次的人才。

4 結 論

在已有的推薦算法基礎之上，針對目前高校普遍使用的學生選課系統有針對性的提出了基于隱語義模型的選課推薦算法。LFM推薦算法相比于傳統的選課推薦算法，存在以下優點：

（1）隱語義模型推薦算法較充分的考慮到了學生-課程的潛在關系。根據Top-N推薦列表中預測值的大小向學生推薦個性化的選修課作為參考進行選課，使學生在選課時目標清晰，更能選擇契合個人感興趣的課程，大大提高學生學習選修課的積極性;而且均衡了學校的教學資源，縮小了一些有價值的精品課程陷入無人選擇情況的幾率。

（2）隱語義模型推薦算法在一般高校的學生選課系統中更為實用。如今高校招生人數在擴增[26]，[27]，其選課數據也因此逐漸上升，而傳統的推薦算法在大規模的數據下其準確率及平衡F分數值相較于隱語義模型推薦算法的準確率及平衡F分數值都要低上許多，因此隱語義模型推薦算法相較于傳統的推薦算法在高校中更為適用。

但由于學生選課系統的制約，推薦算法并沒有直接給出課程推薦的原因，對學生而言缺乏一定的說服力;另外未能充分考慮到每位學生的特點，只能基于選課系統中已存在數據進行推薦，結果可能存在時間上的滯后性。由此，后續可以在時效方面進一步改進，使該算法不但可以在學生選課系統中準確、有效的為學生推薦選修課程，也可以在一些音樂或者電影平臺等上為用戶提供優質的服務，使得用戶在同類產品中更加傾向于選擇該平臺。

參考文獻

[1] 陳月英，宗平，莊衛華，等.高校選課系統中的公平算法及其研究[J].計算機工程與應用，1998（11）：40-41.

[2] 劉敦濤.選課算法與選課信息系統的研究和實現[D].武漢：華中師范大學，2006.

[3] 楊春蓉.高校公選課網上選課系統的設計與實現[D].上海：華東師范大學，2007.

[4] 黃海東.網上選課系統的算法分析與改進[J].淮南職業技術學院學報，2009，9（1）：27-28.

[5] 徐天偉，宋雅婷，段崇江.基于協同過濾的個性化推薦選課系統研究[J].現代教育技術，2014，24（6）：92-98.

[6] XU H， ZHANG R， LIN C，et al. Construction of E-commerce recommendation system based on semantic annotation of ontology and user preference[J]. TELKOMNIKA Indonesian Journal of Electrical Engineering， 2014，12（3）：2028-2035.

[7] GUPTA Y， SAINI A， SAXENA A K. A new fuzzy logic based ranking function for efficient information retrieval system[J]. Expert Systems with Applications， 2015，42（3）：1223-1234.

[8] PIATCTSKY G. Interview with simon funk[J]. Acm Sigkdd Explorations Newsletter， 2007， 9（1）：38-40.

[9] HAN P， XIE B，YANG F. A scalable P 2 P recommender system based on distributed collaborative filtering[J]. Expert Systems with Applications， 2004，27（2）：203-210.

[10]BALTRUNAS L， RICCI F. Experimental evaluation of context-dependent collaborative filtering using item splitting[J]. User Modeling and User-Adapted Interaction， 2014，24（1-2）：7-34.

[11]KLANJA-MILICEVIC A， VESIN B， IVANOVIC M，et al. E-learning personalization based on hybrid recommendation strategy and learning style identification[J]. Computers & Education， 2011，56（3）：885-899.

[12]王升升，趙海燕，陳慶奎，等.個性化推薦中的隱語義模型[J].小型微型計算機系統，2016，37（5）：881-889.

[13]鄧愛林，朱揚勇，施伯樂.基于項目評分預測的協同過濾推薦算法[J].軟件學報，2003（9）：1621-1628.

[14]BREESE J， HECHERMAN D， KADIE C. Empirical analysis ofpredictive algorithms for collaborative filtering[C]. In：Proceedings of the 14th Conference on Uncertaintyin Artifi-cialIntelligence （UAI'98）， 1998，43-52.

[15]ARWAR B， KARYPLS G， KONSTAN J，et al. Item-based collaborative filtering recommen dation algorithms[C]. In：Proceedings of the 10th International World Wide Web Conference， 2001，285-295.

[16]BURKE R. Hybrid recommender systems：survey and experiments[J]. User Modeling andUser-adapted Interaction， 2002，12（4）：331-370.

[17]魯權，王如龍，張錦，等.融合鄰域模型與隱語義模型的推薦算法[J].計算機工程與應用，2013，49（19）：100-103+134.

[18]李薛劍，劉夢雅，海健強，等.基于時間效應與隱語義模型的高校圖書館的個性化推薦研究[J].計算機應用與軟件， 2018，35（5）：130-134.

[19]范慧婷，鐘春琳，龔海華.基于隱語義模型的個性化推薦[J].計算機應用與軟件，2017， 34（12）：206-210.

[20]黃震華，張佳雯，田春岐，等.基于排序學習的推薦算法研究綜述[J].軟件學報，2016，27（3）：691-713.

[21]榮輝桂，火生旭，胡春華，等.基于用戶相似度的協同過濾推薦算法[J].通信學報，2014，35（2）：16-24.

[22]蔡淑琴，袁乾，周鵬，等.基于信息傳播理論的微博協同過濾推薦模型[J].系統工程理論與實踐，2015，35（5）：1267-1275.

[23]HRIPCSAK G， ROTHSCHILD A S. Agreement， the fmeasure， and reliability in information retrieval[J]. Journal of the American Medical Informatics Association， 2005，12（3）：296-298.

[24]蔣勝臣，王紅斌，余正濤，等.基于關系指數和表示學習的領域集成實體鏈接[J/OL].自動化學報：1-10[2019-11-06].https：//doi.org/10.16383/j.aas.c180705.

[25]韓忠明，劉雯，李夢琪，等.基于節點向量表達的復雜網絡社團劃分算法[J].軟件學報，2019，30（4）：1045-1061.

[26]李春玲.高等教育擴張與教育機會不平等——高校擴招的平等化效應考查[J].社會學研究，2010，25（3）：82-113，244.

[27]張建華，萬千.高校擴招與教育代際傳遞[J].世界經濟，2018，41（4）：168-192.