基于知識嵌入技術的制度文件推薦算法

摘要： 針對制度文件推薦過程中傳統算法存在準確率和推薦效率較低的問題， 提出一種基于知識嵌入的文本推薦算法. "通過將知識圖譜中的知識轉化為特征向量， 并結合神經網絡模型， 有效提高了推薦系統在處理海量多樣數據時的準確性和穩定性. 實驗結果表明， 該算法在面對冷啟動和用戶興趣多樣化的情況下， 表現出了優于傳統方法的推薦精度和穩定性， 為大規模推薦系統中的數據稀疏問題和個性化需求提供了更高效和可靠的解決方案， 有助于改善用戶體驗并提升推薦系統的整體性能.

關鍵詞： 知識圖譜； 詞嵌入； 圖嵌入； 神經網絡

中圖分類號： TP181""文獻標志碼： A""文章編號： 1671-5489（2024）06-1377-07

Recommendation Algorithm "for Institutional Documents Based on Knowledge Embedding Technology

LI Xin1， WANG Wendi2， ZHANG Wei3， FENG Hao4， HAN Xiaosong2

（1. Institute of Atomic and Molecular Physics， Jilin University， Changchun 130012， China;

2. College of Computer Science and Technology， Jilin University， Changchun 130012， China;

3. Logistics Department， Jilin University， Changchun 130012， China;4. Policy and Legal Office， Jilin University， Changchun 130012， China）

Abstract： Aiming at the problem of low accuracy and low recommendation efficiency in "the traditional algorithms during the recommendation process of

institutional documents， we proposed a text recommendation algorithm based on knowledge embedding. By transforming knowledge in the "knowledge graph "into feature vectors and combining

them with neural network models， the accuracy and stability of the recommendation system were effectively improved when dealing with massive and diverse data. Experimental results show that the proposed algorithm

exhibits better recommendation accuracy and stability than the traditional methods in the face of cold start and diverse user interests. It provides a more efficient and reliable solution to the data

sparsity problem and personalisation requirements in large-scale recommendation systems， which helps to

improve the user experience and enhance the overall performance of the recommendation system.

Keywords： knowledge graph; word embedding; graph embedding; neural network

隨著信息化水平的不斷提高和人工智能技術的快速發展， 海量數據不斷涌現， 如何高效地處理并分析這些數據， 從中快速提取所需信息并挖掘隱藏的高價值信息， 已成為

當前的研究熱點之一^［1-2］. 社會運轉中產生的數據量呈指數級增長， 信息接收者獲得的信息量遠超出其處理信息的能力， 大量冗余和無效信息使信息接收者難以準確獲取

有效信息， 用戶面對海量數據， 通常難以在短時間內準確找到自己所需的信息， 對用戶體驗產生了極大影響. 因此， 一個高效的推薦系統能在信息過載的情況下幫助用戶找到感興趣的信息， 極大提高信息獲取的效率.

傳統推薦模型還面臨冷啟動問題， 即對于新用戶或新項目， 系統缺乏足夠的歷史數據， 導致推薦效果較差. 例如， 當一個新用戶首次進入某個網站時， 系統無法根據其偏好為其提

供個性化推薦. 針對這種情況， 利用知識嵌入技術可有效改善冷啟動導致的困境. 王玉奎等^［3］將知識圖譜作為輔助信息融入推薦系統， 以應對數據稀疏和冷啟動問題; 吳曉等^［4］提出了一種結合注意力機制與GRU循環神經網絡的序列推薦模型， 以更好地利用時間信息; 孫遠燦等^［5］針對評分矩陣過大的問題， 提出了先對實體進行分類的方案; 李君等^［6］通過引入注意力機制解決輸入向量稀疏的問題; 張栩翔等^［7］引入了圖嵌入算法， 以提高圖計算的效率.

本文綜合以上模型的設計思想， 提出一種基于知識嵌入的推薦算法， 將知識圖譜中的知識轉化為特征向量， 通過計算機對這些向量進行處理與分析， 以完成基于知識數據的推薦任務

［8］. 同時， 考慮到算法在實際應用中的有效性以及制度文件作為特定文檔類型的特殊性， 本文算法將以更簡潔的步驟提供更精確的推薦結果. 對比實驗結果表明， 該算法在推薦任務中具有優勢.

1"算法流程

圖1為本文算法流程. 由圖1可見， 本文提出的基于知識嵌入的推薦算法流程主要分為3個步驟： 知識提取、 知識嵌入和模型訓練. 其中模型訓練采用黑盒模型和白盒模型. 黑盒模型通過神經網絡進行訓練， 盡管其推薦結果準確， 但缺乏解釋性. 而白盒模型則采用基于向量相似度的評分和評價算法， 以更好地解釋推薦結果.

1.1"知識圖譜

受文獻［3］模型啟發， 存儲在知識圖譜中的先驗知識可有效應對冷啟動問題， 因此， 本文算法第一步從知識圖譜中獲取先驗知識.

知識圖譜中存儲的信息包括節點的屬性信息和邊關系的結構信息. 知識提取流程如圖2所示. 首先， 將所有屬性視為核心屬性， 遍歷所有與之相連的特征屬性， 即以所有節點為中心， 遍歷其相鄰節點; 其次， 選擇具有最多特征屬性種類且分布最均勻的屬性作為核心屬性， 對應的實體則作為核心實體; 最后， 將所有與核心實體相連的實體屬性視為該核心實體的特征屬性， 并構建特征屬性清單. 通過上述過程， 邊關系數據被轉化為核心實體的特征屬性信息， 節點的屬性信息則轉化為特征屬性的值. 這種方法集成了原始圖譜中實體節點直接連接的結構信息， 并將其轉化為對核心實體的特征描述， 最終可以成功提取知識圖譜中的部分先驗知識.

1.2"知識嵌入

知識嵌入的過程是將知識圖譜中的節點和邊的關系信息映射為特征向量， 以便進行后續計算. 知識圖譜由節點（實體）和邊（關系）構成， 其結構非常適合捕獲實體之間的復雜關系

. 在推薦系統中， 知識圖譜中的先驗知識被轉化為可用于計算的低維向量形式， 使系統可以基于這些特征向量進行推薦.

本文采用Word2Vec^［9］模型實現知識嵌入. 在Word2Vec模型中， CBOW（continuous bag of words）模型通過上下文預測中心詞， 而Skip-Gram 模型則通過中心詞預測上

下文. 由于Skip-Gram模型在處理低頻特征時性能較好， 因此它在知識圖譜的嵌入中更適合捕捉稀疏特征的語義關系. 在訓練過程中， 模型通過大量文本數據學習詞語的共現模式， 逐漸調整詞向量， 使語義相似的詞在向量空間中彼此接近.

將每個核心實體特征值對應的向量進行拼接， 以獲得可以描述該實體特征的特征向量， 該向量可用作推薦任務的數據基礎. 但在實際操作中， 一個實體的一些屬性的

屬性值可能并不唯一， 如某電影的類型可能既是恐怖類型又是喜劇類型. 對于這些特例需進行特殊處理， 在嵌入模型訓練前， 先將每條擁有復合屬性的實體數據擴寫成多條數據， 確定每條數據的每個屬性只有一個屬性值， 然后再按7∶3提取出訓練數據集和測試數據集， 從而擴大了樣本空間， 可提高模型的準確率.

1.3"推薦任務

在獲取了先驗知識的嵌入表示后， 需要以此為基礎訓練推薦模型完成不同的推薦任務. 傳統的推薦算法主要包括基于內容的推薦算法、 協同過濾推薦算法、 混合推薦算法和基于矩陣分解的推薦算法等^［10-11］.

如果推薦任務的目標是分類并且不是很關注結果的可解釋性， 即可采用黑盒模型. 將先驗知識作為輸入， 用戶對文件的關注程度抽象成不同等級的輸出， 一個推薦任務即可抽象成多分類問題. 而黑盒模型的可解釋性有限， 為更好地說明推薦該文件的理由， 可采取基于向量相似程度的評分算法和評價算法的白盒模型.

該模型可根據兩個文件的相似程度打分， 據此選取與用戶歷史關注程度最相似的文件作為模型輸出， 最后評價算法的準確度.

黑盒模型使用基于神經網絡模型的推薦算法， 首先將前文得到的所有特征向量數據與開源電影數據集（Movie_Lens）的用戶評分數據相結合， 按7∶3構建出神經網絡模型訓練需

要的訓練集和測試集. 模型以ReLU作為輸入層和隱藏層的激勵函數， 以Softmax作為輸出層的激勵函數， 損失函數設為Binary_crossentropy， 考慮到訓練結果和訓練的時間成本， 訓練步數選擇40步， 網絡的深度選擇5層. 同時， 保留訓練歷史， 用于結果分析. 白盒模型的評分算法如下：

Score=∑ni=1（si+si-yi）2/∑ni=1

s2i，（1）其中s1，s2，…，sn表示實體特征屬性的特征向量， y1，y2，…，yn-1表示與其測量相似度的實體對應特征屬性的特征向量， Score值越接近1， 兩個實體越相似.

一般取兩個實體所有屬性的相似評分數值在前1/5～3/5的平均值作為兩個實體的相似打分. 而對于某些包含多個屬性值的特征屬性， 可選擇打分最低的幾個屬性值作為代表， 例如一個文件可以包含多個主題詞， 而讀者在尋找一個文件的類似文件時可能對部分主題詞更關注， 對此任務設計算法時不需要關注所有的主題詞.

2"電影數據集黑盒實驗

黑盒實驗流程為： 獲取需要的數據并進行數據預處理; 選擇核心實體并構建特征文件; 使用詞嵌入算法Word2Vec獲取向量文件， 將獲得的知識嵌入數據和用戶評分數據進行融合， 構建神經網絡需要的訓練集和測試集; 最后構建一個5層神經網絡模型完成推薦任務.

2.1"數據集

為驗證本文算法， 選擇經典的數據集MovieLens， 該數據集包含9 000多條用戶評分信息和電影屬性信息， 包括電影名稱、 上映時間、 所屬國家、 用戶評分等， 這些信息非常適合捕獲用戶的多樣化興趣， 同時有助于處理冷啟動問題. 為增強實驗的通用性， 還通過數據爬蟲從互聯網電影資料庫（IMDB）獲取了電影的更多相關信息， 包括主演、 導演、 編劇等信息用于補充數據.

2.2"基準算法

實驗設置11個基準算法對比分析本文提出的算法性能. 這些基準算法分別代表了不同的推薦方法， 包括基于注意力機制、 矩陣分解和神經網絡的模型. 設置多個基準算法的目的是為更全面驗證本文算法在精度和穩定性上的優勢. 為與本文算法區分及方便， 基準算法使用LabelEncoder對字符串形式的屬性值進行編碼.

1） AFM（attentional factorization machines）^［12］： 一種基于注意力機制的推薦算法， 其結合了因子分解機和注意力機制的優點.

2） AutoInt（automatic feature interaction learning via self-attentive neural networks）^［13］： 一種結合了自動特征交互技術和神經網絡模型以提高推薦效果的推薦算法.

3） CCPM（convolutional click prediction model）^［14］： 一個基于卷積神經網絡的點擊率預測模型， 其利用卷積層捕獲特征之間的局部和高階非線性關系， 從而提升模型的預測能力.

4） DCN（deep amp; cross network）^［15］： 一種深度學習的推薦算法， 其結合了深度神經網絡和交叉網絡的優點， 用于處理推薦系統中的特征交叉問題， 能更好地捕獲特征之間的高階交互， 從而在推薦系統中取得良好的效果.

5） DeepCrossing^［16］： 一種用于推薦系統的深度學習算法， 其核心思想是通過深度

神經網絡自動捕獲特征之間的復雜非線性關系， 以更好地理解用戶和物品之間的復雜關系， 提高推薦效果.

6） DeepFM（deep factorization machines）^［17］： 一種融合了深度學習和因子分解機的推薦算法， 其核心思想是將輸入特征同時輸入到FM模型和神經網絡模型中， 通過FM模型學習特征之間的二階交互關系， 通過神經網絡模型學習高階特征之間的交互關系.

7） FM（factorization machines）^［18］： 一種用于推薦系統的機器學習算法， 它可以處理稀疏數據并且對特征之間的交互進行建模， 因此在推薦任務中性能優異.

8） FFM（field-aware factorization machines）^［19］： 一種用于推薦系統的機器學習算法， 它是因子分解機的擴展， 旨在更好地處理字段感知信息， 其優點是能更好地捕捉特征之間的字段感知交互， 因此在處理推薦系統等需要考慮不同特征領域交互的問題上性能優異.

9） FGCNN（feature generation by convolutional neural network）^［20］： 一種用于推薦系統的算法， 其結合了特征因子化和圖卷積神經網絡的思想， 可以有效地處理推薦系統中的稀疏和高維特征.

10） NFM（neural factorization machines）^［21］： 一種基于神經網絡的推薦算法， 其結合了FM和神經網絡的優勢. NFM的目標是解決傳統推薦算法在處理大規模稀疏數據時的效率問題， 并提高推薦的準確性.

11） PNN（product-based neural networks）^［22］： 一個用于推薦系統的深度學習模型

， 其采用了一種稱為“product layer”的結構捕捉用戶和物品之間的交互信息， PNN模型在處理稀疏和高維特征的推薦問題上性能優異， 能捕捉到特征之間的非線性關系.

2.3"實驗結果與分析

表1列出了不同算法的對比實驗結果. 由表1可見， 與其他11種基準算法相比， 本文算法在610名用戶的推薦任務中表現出較高的穩定性和準確性， 在精度和魯棒性方面具有顯著優勢. 盡管該算法的訓練時間較長， 但考慮到計算硬件性能的持續提升， 這一時間開銷可以接受.

3"文件數據集的白盒實驗

3.1"數據集

實驗使用的數據集來源于吉林大學近年來發布的各類制度文件， 共500多篇. 每篇文件記錄了多個特征屬性， 包括發布時間、 發布人、 發布部門、 發文編號等. 其中發布時間

標識了每個文件的發布日期， 以便于分析文件的時間分布和發布趨勢; 發布人記錄了負責發布的具體工作人員， 以幫助追蹤文件的權威性; 發布部門涉及不同的職能單位， 如教務處、 人力資源處等， 有助于分析文件的內容來源和職能分布; 發文編號則為每個文件分配了唯一編號. 此外， 文件還包含各級標題以及時效性等信息， 進一步增強了數據集的分析價值和廣泛適用性.

3.2"實驗流程

從知識圖譜獲取先驗知識后， 還需進行數據擴充. 首先， 對原文件集的PDF數據進行預處理， 得到程序可直接處理的文本數據; 其次， 通過Jieba分詞和LDA主題詞分析模型分析出

每個文件的主題， 將其作為新屬性加入屬性清單中的屬性集中， 作為該文件的特征屬性之一; 再次， 使用Word2Vec模型分析出文件集所有文件特征屬性的詞向量作為該文件的特征屬性向量; 最后， 將兩個文件的特征屬性向量通過評分算法打分， 以衡量兩個文件的相似度.

3.3"評價算法

考慮到效率， 實驗選擇通過分詞數據的相似程度衡量兩個文件的內容相似性： 設X是一篇文件文本內容的所有分詞數量， Y是另一篇文件文本內容的所有分詞數量， Z是兩篇文件分詞重合的數量， 則兩篇文件的評價算法公式可表示為

Score_true=2×Z/（X+Y）.（2）

對每篇文件， 將分別使用本文算法、 Word2Vec自帶的相似算法（Models）和直接使用字符匹配（Words）3種方法選擇的相似文件通過該評價算法進行打分， 并求取平均值， 作為該方法對該文件的效果評價.

3.4"實驗結果

相似文件選取過程中3種不同方法的性能對比如圖3所示. 圖3（A）顯示了在所有文件中每種方法獲得最佳結果的比例， 圖3（B）則對比了3種方法的效果穩定性. 由圖3可見，

本文算法在80%的情況下性能優于其他兩種方法， 不僅在文件評分的平均值上更高， 而且在效果上表現出更強的穩定性. 表明本文算法在相似文件選取任務中具有較好的性能和魯棒性.

圖4為以部分醫學研究生管理相關文件為例作為歷史數據（A）， 通過本文算法（B）、 Word2Vec自帶的相似算法（C）和直接使用字符匹配（D）三種方法的推薦結果.

由圖4可見， 利用本文算法與利用Word2Vec自帶的算法推薦的文件部分相似， 與直接字符匹配的推薦結果差異較大. 根據評價函數， 本文算法的推薦結果在文件內容上與歷史文件最相近.

綜上所述， 針對文件推薦缺乏先驗數據進行訓練而導致推薦準確率和效率較低的問題， 本文采用相近的電影數據庫作為訓練集， 提出了一種基于知識嵌入的推薦算法， 融合了知識圖譜與推薦模型的優勢， 通過將知識圖譜中的

實體和關系信息抽象為包含特征及關系結構的向量數據， 應用于神經網絡模型的訓練和相似度計算， 從而實現了高效的推薦. 實驗結果表明， 本文方法在制度文件推薦系統中表

現出較高的準確率和穩定性， 性能優越.

參考文獻

［1］"車萬翔， 竇志成， 馮巖松， 等. 大模型時代的自然語言處理： 挑戰、 機遇與發展 ［J］. 中國科學： 信息科學， 2023， 53（9）： 1645-1687. （CHE W X， DOU Z C， FENG Y S， et al. Natural Language Processing in the Era of Large Models： Challenges， Opportunities， and Developments ［J］. Chinese Science： Information Science， 2023， 53（9）： 1645-1687.）

［2］"黃立威， 江碧濤， 呂守業， 等. 基于深度學習的推薦系統研究綜述 ［J］. 計算機學報， 2018， 41（7）： 1619-1647. （HUANG L W， JIANG B T， L S Y， et al. Survey on Deep Learning Based Recommender Systems ［J］. Chinese Journal of Computers Application， 2018， 41（7）： 1619-1647.）

［3］"王玉奎， 郭秀娟. 融入知識圖譜的電影推薦算法 ［J］. 福建電腦， 2023， 39（9）： 28-30. （WANG Y K， GUO X J. A Film Recommendation Algorithm Integrating Knowledge Graph ［J］. Fujian Computer， 2023， 39（9）： 28-30.）

［4］"吳曉， 成衛青. 結合注意力機制與循環神經網絡的序列推薦模型 ［J］. 軟件導刊， 2023， 22（10）： 95-104. （WU X， CHENG W Q. A Sequence Recommendation Model Combining Attention Mechanism and Recurrent Neural Networks ［J］. Software Guide， 2023， 22（10）： 95-104.）

［5］"孫遠燦， 程凱， 陳文靜， 等. 圖書分類推薦算法研究 ［J］. 福建電腦， 2023， 39（9）： 64-66. （SUN Y C， CHENG K， CHEN W J， et al. Research on Book Classification Recommendation Algorithms ［J］. Fujian Computer， 2023， 39（9）： 64-66.）

［6］"李君， 倪曉軍. 融合注意力機制的知識圖譜推薦模型 ［J］. 軟件導刊， 2023， 22（3）： 118-124. （LI J， NI X J. A Knowledge Graph Recommendation Model Integrating Attention Mechanism ［J］. Software Guide， 2023， 22（3）： 118-124.）

［7］"張栩翔， 湯玉祺， 趙文， 等. 基于知識圖譜和圖嵌入的個性化學習資源推薦 ［J］. 計算機系統應用， 2023， 32（5）： 180-187. （ZHANG X X， TANG Y Q， ZHAO W， et al. Personalized Learning Resource Recommendation Based on Knowledge Graph and Graph Embedding ［J］. Computer System Application， 2023， 32（5）： 180-187.）

［8］"WANG L， ZHANG W， HE X L， et al. Supervised Reinforcement Learning with Recurr

ent Neural Network for Dynamic Treatment Recommendation ［EB/OL］. （2018-07-04）［2023-02-15］. https：//arxiv.org/abs/1807.01473.

［9］"JOULIN A， GRAVE E， BOJANOWSKI P， et al. Bag of Tricks for Efficient Text Classification ［EB/OL］. （2016-07-06）［2023-03-10］. https：//arxiv.org/abs/1607.01759.

［10］"ZHANG W， LIN Y G， LIU Y， et al. Self-supervised Reinforcement Learning wit

h Dual-reward for Knowledge-Aware Recommendation ［J］. Applied Soft Computing， 2022， 131： 109745-1-109745-12.

［11］"LIU X Y， TAN H B， CHEN Q H， et al. RAGAT： Relation Aware Graph Attention Ne

twork for Knowledge Graph Completion ［J］. IEEE Access， 2021， 9： 20840-20849.

［12］"XIAO J， YE H， HE X G， et al. Attentional Factorization Machines： Learning

the Weight of Feature Interactions via Attention Networks ［EB/OL］. （2017-08-15）［2023-01-10］. https：//arxiv.org/abs/1708.04617.

［13］"SONG W P， SHI C C， XIAO Z P， et al. AutoInt： Automatic Feature Interaction Learning via Self-attentive Neural Networks ［EB/OL］. （2018-10-29）［2023-03-01］. https：//arxiv.org/abs/1810.11921.

［14］"LIU Q， FENG Y， WU S， et al. A Convolutional Click Prediction Model

［C］//ACM International on Conference on Information amp; Knowledge Management. New York： ACM， 2015： 1743-1746.

［15］"WANG R X， FU B， FU G， et al. Deep amp; Cross Network for Ad Click Predictions

［EB/OL］. （2017-08-17）［2023-02-01］. https：//arxiv.org/abs/1708.05123.

［16］"SHAN Y， HOENS T R， JIAO J， et al. Deep Crossing： Web-Scale Modeling wit

hout Manually Crafted Combinatorial Features ［C］//The 22nd ACM SIGKDD International Conference. New York： ACM， 2016： 255-262.

［17］"GUO H F， TANG R M， YE Y M， et al. DeepFM： A Factorization-Machine Based Neural Network for CTR Prediction ［EB/OL］. （2017-03-13）［2023-01-20］. https：//arxiv.org/abs/1703.04247.

［18］"RENDLE S. Factorization Machines ［C］//2010 IEEE I

nternational Conference on Data Mining. Piscataway， NJ： IEEE， 2011： 995-1000.

［19］"JUAN Y C， ZHUANG Y， CHIN W S， et al. Field-Aware Factorization Machines f

or CTR Prediction ［C］//Conference on Recommender Systems. New York： ACM， "2016： 43-50.

［20］"LIU B， TANG R M， CHEN Y Z， et al. Feature Generation by Convolutional Neural Network for Click-through Rate Prediction ［C］//The Word Wide Web Conference. New York： ACM， 2019： 1119-1129.

［21］"HE X G， CHUA T S. Neural Factorization Machines for Sparse Predictive Anal

ytics ［J］. ACM Sigir Forum， 2017， 51： 355-364.

［22］"QU Y R， CAI H， REN K， et al. Product-Based Neural Networks for User Respon

se Prediction ［C］//2016 IEEE 16th International Conference on Data Mining （ICDM）. Piscataway， NJ： IEEE， 2016： 1149-1154.

（責任編輯： 韓"嘯）