基于圖神經網絡的學習推薦算法研究

李 月，李 琳，陳 麗，王槐彬

（廣東交通職業技術學院信息學院，廣州 510650）

0 引言

隨著大數據和人工智能技術的發展，科學技術應用于教育教學也變得越來越廣泛。由于當前教育的入口呈現多樣化趨勢，學習者的差異性也越來越大。對于大學生學習者而言，就存在全國夏季統一高考、單獨自主招生、中高職銜接、三二分段等多種多樣的入口方式，這也導致同一屆學生中的學情存在較大差異。不僅同一屆學生的學情呈現多樣性，同一門課程中的學生也會因為個人基礎、興趣愛好、接收方式的不同，導致同一批學生對同一門課程的學習產生不同的需求。

學生廣泛存在的學情差異，也決定了教育教學資源不能是千人一面發布的靜態內容。采用大數據及人工智能技術構建教育資源，可以充分利用技術手段提升學習者對于學習資源的利用效率，同時解決信息過載情況下的知識爆炸問題。同時，信息技術和新媒體的快速發展，也使得學生在信息選擇、信息接納、信息偏好上呈現出“千人千面”，學生所處的學習情境不同，也會對學習資源產生不同的需要。如，當學生處于線下教學時，他們對于學習資源的需求可能更多的是文字性資源，用以臨時了解不清晰的知識點；而當學生處于線上教學時，他們可能更需要的是直觀的視頻和語音資源，同時需要更具真實感、體驗感的交流互動方式。這些個性化學習需求也要求教學資源隨之做出適應性變革。

如何解決大學生學習者的個性化學習需求，以及解決學習者在海量數據中快速獲得有效資源的問題，已存在相關研究，其中推薦系統就是解決方式之一。推薦系統是海量數據時代興起的一類系統，主要應用于各類電商網站、社交媒體、新聞資訊等系統中，用以解決海量信息中信息過載及長尾物品等問題。推薦系統通過對用戶數據、物品數據、交互行為等多方面內容的計算和篩選，形成滿足用戶個性化需求的結果向用戶進行推薦，以提升用戶的使用感受、增加用戶粘性、提升系統使用效率。

1 相關工作

推薦系統的發展經歷了一個從傳統的推薦算法到基于深度學習技術的算法的發展過程。傳統的推薦算法主要有基于內容的推薦、協同過濾推薦和混合推薦三種模式?；趦热莸耐扑]方法需要提取用戶的偏好特征和物品的特征數據，推薦結果極大地依賴于特征信息的選擇。協同過濾方法利用用戶之間的相似性關系來發現不同用戶間可能存在的潛在偏好相似性，但是模型好壞取決于用戶評分數據的準確性和完整性，容易遭遇數據稀疏和冷啟動問題。混合推薦方法通過融合不同的推薦模型進行推薦，包括特征層面的融合、算法層面的融合以及結果層面的融合多種形式［1］。

隨著人工智能的發展，深度學習已經廣泛應用于各個領域，并且取得了良好的應用成果。在圖像識別、機器翻譯、閱讀理解、語音合成等方面，深度學習技術的引入都極大地提升了系統性能?；谏疃葘W習的推薦系統一般通過輸入層、模型層、輸出層的三層架構實現從系統原始數據到輸出結果的轉換。通過多層感知機、卷積神經網絡、自編碼網絡、循環神經網絡等技術實現基于內容的推薦、協同過濾推薦和混合推薦等?？傮w而言，基于深度學習技術的推薦模型能夠有效地融合多源異構數據，結果不依賴于人工選擇特征，能實現從多源異構數據到預測的端對端訓練，最大限度地發揮了用戶的顯性數據和隱性數據的價值，學習到數據的非線性的多層次抽象表達，從而有效提升推薦性能。

不管是傳統的線性模型還是神經網絡模型，所處理的數據主要都是針對歐式空間數據，然而在現實世界中，很多數據都是從非歐式空間數據產生的，例如分子結構的表達、社交網絡關系、交通流量網絡、人體骨骼結構等，都是具有明顯圖結構特征的數據類型。在推薦系統中，就存在用戶和用戶之間的社交關系網絡、用戶對物品的評價數據網絡、物品間的層次網絡數據等多種網絡數據融合而成的復雜圖狀網絡結構。對于圖狀結構的數據，因為數據之間不再存在固定不變的關系和位置，并且數據節點的結構不統一，因此目前常見的神經網絡模型在處理這部分數據時并不適用。

但是由于圖網絡中的邊信息、節點間的圖結構信息等關聯信息對于捕獲節點之間的隱藏依賴關系、挖掘節點的特征值具有重大作用，因此通過對圖結構數據直接進行計算能獲得更為優質的推薦結果。

為解決學習中的學習推薦問題，同時結合圖神經網絡強大的數據建模和特征提取能力，我們提出了一種基于圖神經網絡的學習推薦模型。

圖卷積神經網絡是基于深度學習的卷積神經網絡在圖結構上的推廣，它能同時對節點特征信息與結構信息進行端對端學習。圖卷積神經網絡適用性廣，適用于任意拓撲結構的節點與圖。在節點分類與邊預測等任務上，在公開數據集上的效果要遠遠優于其他方法［2］。因此，將圖卷積神經網絡的模型應用于推薦系統，可以取得更好的推薦效果。

和傳統的卷積神經網絡相比，圖卷積網絡具有卷積網絡的相同性質［3］：

（1）圖卷積網絡中局部參數共享，卷積算子是適用于每個節點的，算子在不同節點上處處共享。

（2）模型感受野正比于層數，最開始的時候，每個節點包含了直接鄰居的信息，再計算第二層卷積時就能把二階鄰居的信息包含進來，這樣參與運算的信息就更加充分。模型的感受野與卷積層數成正比，卷積層數越多，參與運算的信息就更多。

同時，圖卷積網絡同樣具備深度學習的性質：

（1）圖卷積網絡具有層級結構，特征一層一層抽取，一層比一層更抽象，更高級。

反之，如Φ0(z)在D內全純，且連續到邊界L上，則也容易證明由式(4)所確定的分區全純函數Φ0(z)必滿足式(1)，且連續到L上.這樣，提出的RH問題就轉化為求在D內全純，且連續到邊界L上的函數Φ0(z)，使它滿足由式(2)轉化的相應條件.將式(4)代人式(2)，可得下述條件：

（2）非線性變換，增加模型的表達能力。

（3）可實現端對端的訓練，不需要定義任何規則，只需要給圖的節點一個標記，讓模型自己學習融合特征信息和結構信息。

圖卷積網絡同樣具備深度學習的特性。比如，圖卷積網絡具有層級結構，特征一層一層抽取，一層比一層更抽象、更高級。

基于圖神經網絡的特征提取能力，提出的基于圖神經網絡的學習推薦系統模型如圖1 所示。首先，采用圖卷積方式對用戶特征進行提取，然后再采用圖神經網絡對學習中的知識內容進行圖卷積，獲得面向知識內容的知識特征，最后根據獲得的用戶特征向量和知識特征向量進行學習預測，并以此向學習者進行學習推薦。

圖1 系統模型

1.1 學習者建模

與其他系統中的數據不同，推薦系統中的一類重要數據是用戶數據信息，而中華文化中對于用戶有一句諺語是“物以類聚，人以群分”，也就是說由人構成的數據天然具有群體屬性。因此，在推薦系統中，用戶具有群體聚集的屬性，就像現實世界中，熟悉的人總是更接近一樣，他們之間的聯系也會越緊密，這種緊密聯系會形成圖像上的聚集，導致群體的密度升高。同樣的道理，學習者形成的社會網絡中，也會存在這種群體相似性，也就是通過用戶的好友可以刻畫當前用戶。比如一個熱衷于點贊美食標簽地點的用戶，其好友也可能是喜歡打卡美食地點的人。將用戶社交關系圖中與當前用戶節點有關聯的好友用戶進行圖卷積聚合計算，就可以得到當前用戶的隱層信息。雖然圖卷積神經網絡可以通過堆疊多層卷積層來獲得更遠用戶的信息，但是依據社交理論，距離太遠的用戶其實與當前用戶之間并不相似，因此模型中只需要聚合三跳以內的鄰居信息即可。

用戶具有非常多的屬性特征，如原始屬性包含性別、年齡、籍貫、學歷等，隱含特征包含短期興趣、長期興趣、行為動作、活動軌跡，等等。要想獲得學習者的用戶特征向量表達，首先需要構建用戶和用戶之間的社交關系矩陣。并且基于圖神經網絡提取用戶的隱層信息。一層圖卷積可以獲得當前中心節點一階領居的節點信息，通過多層圖卷積，就可以獲得用戶的二階鄰居和三階鄰居等信息。根據三度影響力理論，以及圖卷積網絡堆疊過多層會引起過平滑現象的特性，堆疊至三層即可。計算公式如下：

其中，Nu表示用戶u在社交圖層中的所有一階鄰居，是用戶社交圖層的原始輸入，是用戶社交圖層中第l層卷積的權重參數，是用戶u在用戶社交圖層中第l-1層卷積的鄰居節點。

1.2 知識建模

隨著人工智能技術的發展和應用，知識圖譜現已被廣泛應用于智能搜索、個性化推薦等領域。知識圖譜通常以三元組的形式存儲實體及其關系，其將現實世界中的知識建模成(kh,r,kt)三元組的形式，其中kh和kt分別表示頭實體和尾實體，r表示實體之間的關系。三元組不僅可以幫助我們理解知識實體之間的關系，也可以存儲知識實體的屬性。知識圖譜中項目之間豐富的語義關聯有助于探索它們之間的潛在聯系，提高推薦結果的準確性，同時知識圖譜中的各種關系有助于合理地擴大用戶的興趣，增加推薦項目的多樣性，將知識圖譜引入到推薦系統不僅有利于信息的挖掘和推薦結果的發散，還可以增強推薦的可解釋性［6］。

知識圖譜表示學習不僅要考慮圖的結構特征，還需要考慮結點和邊的語義類型信息。雖然TransE 和DIstmult 等知識圖譜模型在一定程度上也能捕捉圖的結構信息，但是圖神經網絡對于圖結構特征信號考慮更為充分，因此可以利用圖神經網絡幫助知識圖譜表示學習算法更好地捕捉圖譜中的結構信息。對于學習系統中的知識特征提取，可采用以下公式計算：

其中，Nk表示知識K在知識圖譜中的所有一階鄰居，是知識層的原始輸入，也就是各個知識的知識圖譜表示，是第l層卷積的權重參數，是知識在知識圖譜網絡層中第l-1 層卷積的鄰居節點。

將用戶對于知識的評分進行降序排序，將前n個知識形成知識推薦列表推薦給用戶即可。

模型在參數求解時的損失函數采用BPR 損失函數，其公式定義為

其中Ds定義為

其中，R+表示用戶u對知識i的評價高于只是j的數據，R-表示用戶對只是i的評價低于只是點j的數據。表示用戶對知識感興趣程度的預測得分，λΘ表示控制L2正則化強度以防止過度擬合的參數，Θ表示模型中所有可訓練的參數。

2 實驗與分析

為檢驗提出算法的有效性，選取了泛雅學習平臺上廣東交通職業技術學院《軟件測試技術》課程中的學習數據作為實驗數據。泛雅平臺是超星公司“一平三端”智慧教學系統中的一環，“一平三端”是以在線教學平臺為中心，涵蓋課前、課中、課后的日常教學全過程，融合教室端、移動端、管理端各類教學應用于一體的信息化教學整體解決方案，即泛雅網絡教學平臺+手機端（學習通）+教室端（x.chaoxing.com投屏）+管理端（運行數據監控）。泛雅網絡教學平臺和學習通數據互通共享，已構成一個相對完善的學習網絡，學習者之間的關聯關系包含好友關注、點贊、討論、聊天、學習者自行組建學習小組、學習者共讀書籍、共同加入同一直播或在線公開課等多種社交行為［7］。以平臺上廣東交通職業技術建設的《軟件測試技術》課程為例，可采集到學生數據867 人，該部分學生數據可通過平臺提供的身份信息，以及結合廣東交通職業技術教務部門的數據信息，獲得較為完整的用戶屬性信息，包括學生年齡、性別、籍貫、所在院系、過往學習成績等數據，該部分統計信息可以較好地刻畫學生的固有屬性特征。同時，平臺通過數據采集，還可以獲得867 人參與學習的行為數據和社交數據等。對于該門課程下的知識內容，可以提取知識點433個，依據三元組和知識本義構建基于知識圖譜的知識表達，實驗中用到的數據情況見表1。

表1 實驗數據內容

實驗通過觀測加入學習推薦前后的數據對比驗證學習推薦對于學習者學習質量提升的作用。實驗中隨機抽取學習者100名，再隨機分為兩組進行對照。其中A 組采用傳統的資源學習方式，B組通過推薦算法對學習者提供知識推薦?？紤]到學習后進行測驗的數據并不能完全真實客觀地反映學習者的學習效果，實驗中還同步觀測了學習者在是否產生學習推薦下的學習過程數據，包括學習總時長，同一知識點學習是否產生回看等。對于A/B 對照組學生，從433個知識中隨機抽取10個知識進行學習，考察這10個知識點的學習情況，得到的數據見表2。

表2 實驗結果

通過以上數據對比可知，有推薦組B 組學習者在絕大部分的知識學習上的平均學習時長明顯低于無推薦組A 組，同時可以看到，在知識點復雜的情況下，也就是學習時長較長的情況下，有推薦組的學習時長顯著短于無推薦組，表明對于復雜的知識內容，學習推薦可明顯縮短學習者對復雜知識的學習時間，顯著提升學習效率。同時，有推薦組的學習者因為產生學習困惑而反復學習同一知識點的情況也明顯好于無推薦組，表明學習推薦內容可以較好地幫助學習者理解知識，從而減少回看次數和學習時間。從最后的同一測驗考察情況來看，有推薦組的學習者在學習效果上也明顯高于無推薦組的平均考核成績，表明學習推薦算法確實能提升學習者的學習效率和內化程度，從而提升學習質量［8］。

3 結語

學習推薦是解決學習者在海量學習數據中產生知識迷航問題的重要手段。在學習中加入學習推薦，可以有效提升學習者的學習效率，提升學習質量?；谌斯ぶ悄芗夹g在知識學習中產生有效的學習推薦，既可以提升資源利用率，又能有效縮短學習時長。對于學習型社交網絡中的推薦問題，除可以采用圖神經網絡進行數據建模和提取外，如何更加有效地采用其他類型的圖結構方法，以及如何更為有效地融合知識譜圖技術，都是可以進一步深入研究的方向。