基于知識表示增強的類案推薦模型

惠欣恒，白雄文，王紅艷，安 娜，張 萌

(中國航天科工集團第二研究院 七〇六所，北京 100854)

0 引 言

隨著大數據、人工智能等新一代信息技術的發展，從海量數據中偵查、檢察和審判已成為我國建設智慧司法體系的一項重要課題[1]，也是這一領域的未來的發展趨勢[2]。在辦案過程中，參考類似裁判規則的案例，尤其是兩高一部發布的指導性案例，能夠輔助辦案人員在案件事實、案件辦理和案件裁判等方面進行判斷，以案件相關信息為基礎構建知識圖譜可以有效提高辦案質效[3]。知識圖譜可以描述海量數據中存在的實體、實體屬性及關系[4]，將案件相關信息形成具備豐富語義及潛在語義關系的知識網絡結構。本文基于本體構建技術[5，6]，梳理案件相關信息知識體系與專家知識結合，歸納總結案件相關信息專業術語，定義案件相關信息對應的類及類關系，并使用自然語言處理、深度學習等信息抽取技術將案件信息結構化，與本體類及關系建立映射，形成案件知識圖譜。基于知識圖譜信息，融合子圖知識表示和注意力知識表示，并使用文本卷積神經網絡進一步增強案件知識表示，提出一種基于案件知識表示融合及增強的類案推薦模型，將傳統的單一需求檢索和關鍵詞匹配檢索轉變為辦案場景化感知、案件相關的智能知識服務。

1 相關工作

目前，推薦系統主要分為基于協同過濾、基于內容、基于知識及混合推薦的推薦方法[7]。基于協同過濾的推薦方法依靠歷史數據進行推薦[8]，由于推薦性能受到冷啟動、數據稀疏性等問題的制約，因此引入了聚類、輔助信息以及隱含特征來緩解數據稀疏。基于內容的推薦方法使用描述信息進行推薦，為了與基于知識的推薦方法進行區分，這里的描述信息側重于文本描述內容，如推薦信息的詳細特征描述，由于特征描述容易引入噪聲，因此會使推薦精度變差[9]。基于知識的推薦方法[10，11]依賴于推薦結果的特征知識的表征，傳統的知識表征取決于人工設計的特征知識是否符合推薦偏好，尤其是在眾多項目中，特征知識的設計需要具備深入的領域知識，因此，將深度學習、知識圖譜等技術引入知識表示，是當前研究的一個熱點。混合推薦方法[12]將多種推薦策略整合一起實現混合設計，特征組合的混合方案將不同種類的輸入數據進行組合，會導致推薦行為包含更多噪聲，對推薦行為造成干擾。

隨著人工智能、大數據技術的發展，針對使用知識圖譜以及圖譜嵌入獲取知識特征表示在推薦中的應用[11]，研究者進行了大量研究，進一步推動了推薦技術的研究和發展。通過構建知識圖譜，將領域知識引入點節點與邊的定義中[4]，并使用知識圖譜嵌入技術將文本中包含的領域知識、語義信息進行向量化表示，可以得到領域知識圖譜的特征表示[12]。

綜上所述，本文提出一種基于知識表示增強的類案推薦模型，該模型對文本內容進行知識圖譜構建以及圖譜嵌入，得到基于知識圖譜的知識表征向量，使用注意力機制抓取關鍵語義信息，通過文本卷積神經網絡對知識表征進行增強與融合，最后預測推薦候選集的點擊概率。本模型的貢獻在于：

(1)將知識圖譜的構建任務及圖嵌入任務進行聯合，提高模型對特征知識的表示學習能力；

(2)融合子圖表示和注意力表示的案件知識表示，增強模型對文本關鍵特征的語義理解能力，從而進一步提升推薦的準確率；

(3)使用文本卷積神經網絡進行案件知識增強能夠有效提升注意力范圍，進一步提升模型對長文本的推薦準確率。

2 基于知識表示增強的類案推薦模型

本節提出一種基于知識表示增強的類案推薦模型(similar case recommendation model based on knowledge representation enhancement，KRE)，以智能輔助辦案中類案推薦任務為例對模型進行介紹。模型框架如圖1所示，首先構建案件知識圖譜，通過知識圖譜嵌入技術學習案件知識表示向量；其次，針對查詢案件與候選案件集，獲取查詢案件與候選案件知識表示和其對應的子圖表示，并對查詢案件表示向量與候選案件表示向量進行注意力矩陣構建，形成融合子圖表示和和注意力表示的案件知識向量；再基于文本卷積神經網絡進一步獲取深層次案件知識特征；最后，定義模型目標函數及損失函數，訓練優化模型超參數，獲取最優模型狀態。

圖1 推薦模型整體框架

2.1 案件知識圖譜構建

本文基于司法案件研究相似案例推薦模型，屬于對長文本數據的信息處理與加工。知識圖譜通過實體與關系的三元組刑事表示案件信息：一是有效緩解長文本帶來的數據稀疏性；二是知識圖譜的強表達能力，可以更加清晰表示案件的關系信息。

案件知識圖譜構建的數據類型包括結構化文本和非結構化文本。結構化文本涉及的案件基礎信息包括：“案件名稱”、“案件罪名”，非結構化文本只包含“案件案情信息”。本文基于本體構建技術，定義案件知識本體涉及類及關系[13]，并使用信息抽取技術，獲取案件信息三元組 (h，r，t)，h，t分別表示案件要素的頭實體和尾實體，屬于案件要素集合中的元素，r表示案件要素間的關系，屬于案件要素關系集合中的元素。將案件知識本體的類及關系與案件要素三元組數據進行映射，形成案件知識圖譜，其構建流程如圖2所示，由模式層和數據層兩大模塊組成。

圖2 案件知識圖譜構建

(1)模式層

模式層作為案件知識圖譜構建的核心，本文通過與法學專家研究和討論，以案件構成要素為基礎，對案件案情信息的結構層次及各層次之間的邏輯關系進行分析，提煉案件要素相關概念，定義案件要素類和類屬性及關系，形成案件知識圖譜模式層結構，即完成案件知識本體構建。

本文以案件為核心，依據案件構成要素將案件劃分為5個類，分別是“案件相關人”、“案件相關時間”、“案件相關空間”、“案件相關物”及“案件犯罪行為”，并對這5個類的子類進行劃分，如圖3所示。

圖3 案件類及子類層次結構

對案件類及子類進行劃分后，形成案件知識本體整體框架，為了更準確描述案件涉及語義信息，進一步充實案件知識本體的內容，對類及子類的關系屬性進行定義，以“盜竊罪”案件案情信息為研究對象，梳理案件知識本體類及關系，見表1。本次案件知識本體設計定義15個類實體，12個關系屬性，在定義的關系屬性中，存在一個關系對應一個實體對的情況，也存在一個關系對應多個實體對的情況。

表1 案件知識本體類實體及關系屬性

(2)數據層

司法案件文書數據包括非結構化數據和結構化數據類型。通過大量案件文書內容分析，發現文書部分信息相對規范，例如報案時間、案件案由等基礎信息，可以采用正則規則匹配方式進行信息抽取，而案件案情相關信息相對復雜，采用信息抽取算法抽取案件案情實體，使用知識融合及知識加工技術將所有案件信息進行三元組表示，形成<案件要素頭實體，關系，案件要素尾實體>形式。最后，將模式層的定義的類及關系與數據層獲取的三元組進行映射，形成案件知識圖譜。

本文以案件知識圖譜作為司法知識類案推薦模型的數據基礎，有效解決推薦模型存在的數據稀疏性問題，進一步提升推薦模型的準確性。

2.2 知識圖譜嵌入

案件知識圖譜是將案件要素以<實體，關系，實體>三元組的方式表示。使用知識圖譜嵌入技術將三元組的實體和關系表征為低維連續空間向量，在保留結構信息的基礎上方便后續的計算。同時，為考慮知識圖譜中實體因長尾分布導致在表征學習過程中變得稀疏，而且知識圖譜中往往存在噪音的問題，因此在表征學習時加入圖增廣緩解噪音問題。

2.2.1 圖增廣

在案件知識圖譜G中，為保證知識圖譜結構的穩定性和可解釋性，通過不同的實體來區分生成的增強知識圖譜視圖，以保證在圖增廣的過程中知識噪音擾動的不變性。以案件要素e的子圖Ge為例，設計數據增廣算子η，也就是說針對子圖Ge的圖增廣η(Ge)

η(Ge)={(h，r，t)⊙Me}

(1)

這里 (h，r，t) 表示子圖Ge的三元組，即在案件知識圖譜G中以案件要素e為頭實體或者尾實體的三元組，Me∈{0，1} 是二元指標，采取隨機取值，⊙表示在三元組采樣過程中是否選擇對應的三元組。

通過數據增廣算子η，生成具有不同擴充結構視圖的子圖，這樣做可以識別對結構變化不太敏感的實體，并對有噪聲的實體連接更寬容，使知識圖譜嵌入模塊更有助于捕捉相關實體間的實際關系，并在表征學習時重點關注。

2.2.2 圖嵌入

考慮到嵌入的多樣性，本文使用基于距離評分的翻譯向量模型(translating embeddings for modeling multi-relational data，TransE)[14]和基于相似性匹配的語義匹配能量模型(semantic matching energy，SME)，訓練兩種不同類型的案件知識圖譜嵌入。

基于距離評分的TransE，是將知識圖譜中的實體集合E和關系集合R表示在同一空間中，給定的案件三元組 (h，r，t)， 向量分別表示為h，r，t∈Rd， 空間結構如圖4所示。在向量空間中對于頭實體h和尾實體t以及關系r需要滿足h+r≈t， 則對于每一個三元組 (h，r，t)， 距離評分函數表達式如下

圖4 TransE中實體和關系空間表示

fr(h，t)=h+r-t1/2

(2)

其中，· 表示L2距離。

基于相似性匹配的SME在向量表示上與TransE類似，都是將案件三元組 (h，r，t) 的實體與關系映射同一空間中。假設嵌入向量h，r，t∈Rd， 頭實體嵌入向量h、尾實體嵌入向量t與關系嵌入向量r，如圖5所示，SME分別計算頭實體與關系、尾實體與關系的語義匹配向量為gu(h，r)、gv(t，r)，并將其結果做點積運算，表達式如下

圖5 SME模型說明

fr(h，t)=gu(h，r)Tgv(t，r)

(3)

進一步，使用雙線性函數組合語義匹配函數gu(·)、gv(·)， 其表達式如下

{gu(h，r)=(M1uh)°(M2ur)+bugv(t，r)=(M1vh)°(M2vr)+bt

(4)

其中，M1u，M2u，M1v，M2v∈Rd×d是對應的參數矩陣，bu，bv∈Rd是對應的偏置向量。在雙線性函數中°表示哈達瑪(Hadamard)積。

本文采用兩類知識圖譜嵌入方法是為了發揮知識圖譜特有的空間結構性，基于距離評分的TransE表達圖結構的性質信息，基于相似性匹配的SME表達節點間、關系間的相似性。

2.3 知識表示增強

知識表示增強模塊是在圖譜嵌入的基礎上，融合子圖和注意力機制的知識表示，并使用文本卷積網絡進一步獲取案件信息特征，增強案件知識表達能力。

2.3.1 子圖知識表示

子圖表示可以作為圖譜嵌入的補充信息，增強實體之間關系語義信息。對于每一個案件要素都可以作為頭實體或尾實體與其它案件要素建立關系鏈接，形成案件要素對應的一階子圖結構，其表示為Ge={(e，r，t)or (h，r，e)|h，t∈Ee；r∈Re}，Ee表示與案件要素e直接鏈接的案件要素集合，Re是它們之間的關系集合。

對給定的案件要素實體ei有對應的子圖Gi，ei的子圖知識表示為其子圖中所有實體與關系的嵌入向量的平均值

ei=1|Gi|∑e，r∈Gi(e+r)

(5)

(6)

其中，d表示知識圖譜嵌入維度，n表示案件的案件要素實體數量，4是通道數量。

2.3.2 注意力知識表示

注意力機制是一種利用有限資源從大量信息篩選有效信息的手段[15]，本次采用注意力機制將查詢案件的知識表示與待查案件的知識表示進行篩選與重新分配，獲取注意力矩陣，進一步提升案件特征表達能力。

如圖6所示，注意力矩陣的構建是通過查詢案件知識表示S0，r∈Rd×n×4與候選案件知識表示S1，r∈Rd×m×4間矩陣的計算，形成一個大小為n×m×4的注意力矩陣，具體計算表達式如下

圖6 注意力知識表示構建

(7)

其中，score(·)的計算方式可以是多種，本文的注意力矩陣采用score(x，y)=1/(1+|x-y|) 進行計算，x表示查詢案件要素ei的嵌入向量，y表示待查案件要素ej的嵌入向量，|x-y| 是計算兩個向量間的歐式距離。在得到注意力矩陣A∈Rn×m×4后，將查詢案件和候選案件的注意力知識表示矩陣表示如下

S0，a=W0·ATS1，a=W1·A

(8)

W0∈Rd×n×4，W1∈Rd×m×4是對應的注意力知識表示的計算參數。

最后，將案件知識表示矩陣Si，r和注意力知識表示矩陣Si，a進行堆疊，形成完整的案件知識表示矩陣。其表示如下

Si=[Si，rSi，a]∈Rd×n×8

(9)

當i=0時表示查詢案件，i=1，2，…時表示候選集合中的候選案件。

2.3.3 文本卷積神經網絡

文本卷積網絡是對案件知識表示進行特征提取，進一步加深模型對案件知識的語義理解能力，其結構由輸入層、卷積層、池化層和輸出層構成，如圖7所示，輸入層是融合子圖知識和注意力知識的案件表示矩陣，卷積層選擇寬卷積形式，主要是為了在同寬池化后保證輸入的平移不變性，在提高可解釋性的同時擴大案件知識表示范圍，使模型獲取更全面的案件信息，從而獲取案件知識更加豐富的語義信息。

圖7 文本卷積神經網絡

輸入層：輸入是式(9)的Si∈Rd×n×8， 其中下標i表示案件標識，n表示案件i的案件要素實體數量，d表示在知識圖譜嵌入時案件要素嵌入維度，8是通道數量，表示案件知識表示種類。

記卷積向量cj=[ej-m+1，ej-m+2，…，ej]∈Rm·d，0

pj=tanh(Wcj+b)

(10)

其中，W∈Rd1×md是卷積核的集合，是d1個維度為d×m的卷積核的權重，b∈Rd1是對應的偏置量。

池化層：采用卷積核的寬度m，將輸入轉化為n+m-1寬度的表示向量，為保證卷積后的平移不變性，采用等寬的池化方法，沿案件要素方向進行連續池化，將表示向量轉換回n列。

輸出層：對卷積層結果全量池化，得到最終案件表示向量。

2.4 模型訓練

模型訓練部分，考慮到人工神經網絡的存在的過擬合問題以及在具體計算兩個向量時傳統受限與歐式距離的函數選取問題[16]，本文使用基于注意力機制的因子分解機(attention factor machine，AFM)算法構建推薦模型目標函數的計算方式。

針對類案推薦，構建查詢案件表示向量v=[v1，v2，…，vi，…]∈Rd與候選案件表示向量x=[x1，x2，…，xj，…]∈Rd。 通過組合特征將兩向量融合后，構建自注意力網絡篩選重要特征，使其對模型結果提供不同的貢獻值，其結構如圖8所示。

圖8 AFM計算流程

首先將兩個向量進行交互，對特征向量V，X進行哈達瑪積，并將向量中的元素V，X乘積進行組合，表達式如下

fInt(v，x)=∑(i，j)∈d(v°x)vixj

(11)

其中，v，x分別表示查詢案件表示向量v與候選案件表示向量x的元素值，i，j∈d是對應的下標值，°表示哈達瑪積，fInt表示向量融合函數。

為實現區分兩個不同向量元素乘積對推薦模型的貢獻，對上述表達式添加權重，表達式如下

fAtt(fInt(v，x))=∑(i，j)∈daij(v°x)vixj

(12)

其中，aij為注意力權重矩陣，表示不同v，x元素乘積對最終預測結果的貢獻程度。fAtt表示帶有注意力的向量融合函數。

為進一步解決模型訓練的泛化問題，利用多層感知器初始化注意力權重。其輸入是兩個特征的交互向量，計算表達式如下

a′ij=hTReLU(W(v°x)vixj+b)

aij=exp(a′ij)∑(i，j)∈dexp(a′ij)

(13)

其中，W∈Rd×d，b∈Rd，h∈Rd是注意力模型的參數。設置激活函數為ReLU，在初始化權重上通過softmax函數進行歸一化。

綜上分析，本文推薦模型的目標函數計算表達式如下

(v，x)=b0+∑di=1∑dj=1bijvixj+∑di=1∑dj=1aij(v°x)vixj

(14)

∑di=1∑dj=1bijvixj是傳統的線性模型，bij是其模型參數；∑di=1∑dj=1aij(v°x)vixj是兩個案件特征的交互結果，aij是對應的注意力權重，b0是模型的偏置量。

進一步，定義模型訓練的損失函數計算表達式如下

L=((v，x)-y(v，x))2+λW2

(15)

3 實驗結果與分析

3.1 數據來源

為了體現本文提出的KRE模型的有效性，本次實驗選取了清華大學計算機系信息計算組總結的中國法律案例檢索數據集(LeCaRD)[17]作為本次的評估數據集。LeCaRD的數據都是取自中國裁判文書網公開的刑事案件數據，并由法律專家完成候選案例的標注與關聯判斷標準工作，其中包含107 個查詢案件和10 700 個候選案件，每個查詢案件對應100個候選案件。與此同時，根據章節2.2設計的案件本體，對全部的案件數據通過相應的實體識別、關系抽取、實體融合等自然語言處理技術，通過構建三元組實現案件知識圖譜。具體的數據信息見表2。

表2 數據集基本統計信息

3.2 評價指標

考慮具體推薦場景下使用推薦列表的方式判斷模型性能，基于推薦Top-K任務方式，選取參數F1@K和NDCG@K作為模型性能評估指標：

(1)F1@K是一種分類模型的評估指標，是精準率(Precision)與召回率(Recall)的調和平均值，其表達式如下

F1@K=2×P@K×R@KP@K+R@K

(16)

其中，P@K表示準確率指標，R@K表示召回率指標。

(2)歸一化折損累計增益(normalized discounted cumulative gain，NDCG)，是一種考慮了返回順序的評價指標，公式如下

NDCG@K=DCG@KIDCG@K

(17)

其中，DCG@K是折損累計增益(discounted cumulative gain，DCG)在考慮到排序順序的因素，使排名靠前案例的累計增益(cumulative gain，CG)更高，對排名靠后的進行折損計算。IDCG@K是理想的折損累計增益(ideal discounted cumulative gain，IDCG)，是一個完美狀態。兩者計算公式如下

DCG@K=∑Ki=1relilog2(i+1)

(18)

IDCG@K=∑|REL|i=1relilog2(i+1)

(19)

在式(18)中，reli是指推薦列表第i個結果的真實相關性分數，在式(19)中，|REL|表示按照reli真實相關性從大到小排序，取前K項結果組成的集合，即按照最優的排序方式對結果進行排序。

3.3 實驗環境及超參數

本文提出的基于知識表示增強的類案推薦模型采用Torch深度學習框架和Python3編程語言搭建實驗環境，并基于CentOS Linux x86_64平臺，使用NVIDIA Tesla A100圖形處理單元(GPU)32 GB顯存進行模型訓練和驗證。具體的實驗參數設置如下：

通過調節模型訓練輪次和卷積核大小，觀察模型性能變化趨勢，確定模型最優超參數。模型訓練輪次對其性能影響如圖9所示，卷積核寬度對模型性能影響如圖10所示。

圖9 模型訓練輪次對模型性能的影響

圖10 卷積核寬度對模型性能的影響

由圖9得出，隨著訓練次數的增加，基于5輪次一步的模型評價指標F1@10、NGCG@10在穩步提升，并在訓練輪次為35時同時達到最優，而在模型輪次超過35之后，兩個評價指標值都處于波動狀態，由此說明，模型的訓練輪次為35時，性能達到最優。

由圖10得出，不同卷積核大小對模型訓練的損失函數值存在一定影響。當卷積核大小為1，2，3，4，5，7，10時，模型訓練損失值的變化趨勢是先減后增，當卷積核大小為4時，損失值達到最低，故文本卷積核大小設置為4。同時，從圖中得出，卷積核大小對模型損失的整體影響并不大，這是因為在知識圖譜嵌入層添加了子圖向量，并且知識圖譜嵌入的訓練本身就保留了附近鄰域的信息。

3.4 實驗結果及分析

基于章節3.3實驗參數基本設置及超參數調節，對基于知識表示增強的類案推薦模型KRE進行實驗分析及性能評估。本文選取NFM[16]模型、KGNN[11]模型、CKAN[18]模型、KGCL[19]模型在數據集LeCaRD上進行實驗，分析指標F1@5、F1@10、NDCG@10、NDCG@30的變化，進一步對比分析模型性能。KRE模型與其它4種模型的實驗對比結果見表3。

表3 不同模型性能指標比較

由表3可得，KRE模型在4個計算指標上相較于其它4種模型都取得了最好的結果。首先，當Top-K推薦數都為10，所有模型的NDCG@10的評價指標值較高，由此得出，推薦列表排序越靠前，模型準確率越高；其次，對于F1@K和指標NDCG@K，推薦數越大，模型性能表現越好，這是因為模型推薦列表個數K值的小幅度增加會提高F1@K和NDCG@K的值，進而提升模型性能。最后，從表中看出，基于知識圖譜的算法改進模型相比沒有使用知識圖譜信息的模型NFM，F1@K和NDCG@K取值均較大，從而模型推薦性能更好。由此驗證，知識圖譜技術對推薦模型性能有一定的改進作用。然而，基于知識圖譜技術的模型KGNN相比其它模型，表現不是很好，這是因為KGNN模型主要依賴節點的鄰域信息，而鄰域拓撲結構對推薦模型性能改善并不是很大，導致知識圖譜信息沒有更好運用，從而使得KGNN模型性能較差。而基于知識圖譜技術的模型KGCL相比其它模型，表現較好，這是因為KGCL模型對知識圖譜嵌入進行改進，通過加入對比學習來抑制圖譜嵌入學習時存在的噪聲和長尾分布問題，增加知識嵌入，豐富模型知識表達能力，提升模型推薦性能。

此外，本文還對模型進行了消融實驗，討論本文提出的各個模塊對推薦模型的貢獻情況，結果見表4。

表4 消融實驗結果

表4中w/o表示去掉某一模塊但不影響模型的整體訓練。模塊部分包括翻譯距離嵌入(TransE)、語義相似嵌入(SME)兩種基礎嵌入模塊，消融實驗的對比結果表明兩種不同方式的向量嵌入有互補效果；子圖嵌入(sub graph，SG)、注意力嵌入(attention，Att)兩種變體嵌入模塊，實驗對比結果顯示去掉這兩個模塊對模型結果都有較大的影響，說明子圖嵌入與注意力嵌入的融合對提升模型準確率有明顯的作用；點擊預測模塊，將模型AFM替換為多層感知器(multilayer perceptron，MLP)預測，從結果上看，在預測階段使用注意力將兩個案件的表示向量進行交互有一定的效果；最后w/oALL為參照組，表示只保留基礎嵌入模塊TransE和MLP預測，驗證本文提出的模型的效果以及其組成部分的有效性。

綜上分析，本文提的KRE模型在F1@K和NDCG@K下表現均優于其它模型，這是因為KRE使用知識圖譜信息作為輔助，通過融合子圖嵌入和注意力嵌入知識，增加模型嵌入知識，并通過文本卷積網絡增強知識表示，使得模型具備豐富的知識表達能力，更深層次理解語義及關系，從而提升模型推薦性能。

4 結束語

本文提出一種基于知識表示增強的類案推薦模型，基于知識圖譜構建網絡拓撲結構，通過圖增廣技術篩選有效的案件知識實體及關系，并融合子圖嵌入和注意力嵌入進行案件知識表示，使模型對案件知識具備更豐富的表達能力，最后，采用文本卷積神經網絡進行案件知識表示增強，進一步挖掘模型對案件知識的語義理解力，最終提升模型的推薦性能。本文在數據集LeCaRD上進行實驗分析，得出基于知識表示增強的類案推薦模型有較好的性能。在后續的工作中，計劃針對推薦模型與圖譜嵌入學習的聯合進行深入研究。