司法場景下案例推薦系統(tǒng)的召回方法研究

肖悅，馬為之，張敏*，楊俊，劉奕群，馬少平

（1.清華大學(xué) 計算機科學(xué)與技術(shù)系，北京信息科學(xué)與技術(shù)國家研究中心，北京 100084；2.清華大學(xué) 智能產(chǎn)業(yè)研究院，北京 100084）

0 引言

隨著信息技術(shù)的飛速發(fā)展，在互聯(lián)網(wǎng)上存在大量的信息資源，這使得用戶篩選信息資源時需要花費大量的時間和精力，造成嚴(yán)重的信息過載問題。為了解決這一問題，推薦系統(tǒng)利用交互歷史或者用戶和物品信息對用戶興趣進行建模，并從海量候選信息中匹配用戶需要的內(nèi)容，有效地解決信息過載問題，并成為互聯(lián)網(wǎng)中一項重要的服務(wù)。

隨著司法公開的不斷推進，可公開獲得的司法信息的不斷增多。根據(jù)中國裁判文書統(tǒng)計，可公開獲得的案例文書達(dá)到1.2億篇，并以每天超過5萬篇的速度增加。同時用戶也有對司法信息強烈的需求，不但法律從業(yè)者需要司法信息的輔助，普通民眾也有日益增長的需求。司法領(lǐng)域信息公開成為一個重要的全新場景［1-8］，對當(dāng)前的司法也造成了一定的影響［9-12］，司法信息推薦能夠用來滿足用戶獲取信息的需求并解決信息過載問題，因此司法案例推薦有重要的研究價值。

在推薦系統(tǒng)中，召回與精排是關(guān)鍵的兩個步驟，現(xiàn)有的大部分工作關(guān)注于精排，但是對召回方法的嘗試與研究有限。在實際系統(tǒng)中，往往存在海量的待推薦對象，如何從這些對象中找到用于精排的候選對象也同樣重要，召回決定著精排模型的能力上限。司法推薦場景下的召回與現(xiàn)有場景下的召回存在一系列的不同之處，主要體現(xiàn)在以下三個方面：

（1）場景特殊知識會影響召回準(zhǔn)確率。對于案例的案由等場景特有的知識，傳統(tǒng)召回方法并不能很好地利用這些司法要素，其召回率會受到一定的影響。

（2）用戶的使用習(xí)慣與信息流或商品推薦有著不同。法律工作者往往會聚焦在某一類案件上，普通用戶關(guān)注點相對分散。

（3）被推薦對象間關(guān)聯(lián)性更難以被挖掘，尤其體現(xiàn)在案例上。商品間存在配套使用等固有聯(lián)系，信息流間存在流動關(guān)系，但案例間相對獨立，其關(guān)聯(lián)性不顯著。

本文基于實際司法場景構(gòu)建了數(shù)據(jù)集，設(shè)計了基于司法要素的召回方法，并與基于內(nèi)容的方法以及經(jīng)典召回方法做了比較。為了綜合不同召回方法，從多個角度利用案例特征以及用戶歷史信息，本文提出了多路召回方法并對多路召回策略進行了討論與探究。

本文的主要貢獻(xiàn)如下：

（1）系統(tǒng)地回顧并實現(xiàn)了基于協(xié)同過濾、基于案例文書內(nèi)容的召回方法，并提出基于司法要素的召回方法，以對司法場景下的領(lǐng)域知識加以利用。

（2）設(shè)計了多路召回方法的融合框架，能夠有效綜合各路結(jié)果，實現(xiàn)融合，并提出了參與融合單路的選擇策略。

（3）基于真實司法推薦場景數(shù)據(jù)集對各召回方法進行了評價，取得了較好的實驗結(jié)果，對實際系統(tǒng)有一定的指導(dǎo)意義。

本文內(nèi)容按照如下結(jié)構(gòu)組織：第1節(jié)介紹了當(dāng)前智能司法推薦的研究與其他場景的召回；第2節(jié)介紹了召回方法的設(shè)計與實現(xiàn)；第3節(jié)介紹了多路召回的框架；第4節(jié)展示了基于實際場景的實驗結(jié)果以及相關(guān)分析；第5節(jié)對全文做出總結(jié)。

1 相關(guān)工作

1.1 智能司法推薦的研究

當(dāng)前推薦算法與推薦系統(tǒng)由于服務(wù)對象、應(yīng)用場景的不同，有著不同的應(yīng)用方向。有學(xué)者從普通民眾的角度出發(fā)，提出了律師推薦系統(tǒng)［1］為老百姓提供法律服務(wù)；一些學(xué)者從法律文書的撰寫出發(fā)，提出了法條推薦系統(tǒng)［2］；同時，為了解決“同案不同判”的相關(guān)問題，出現(xiàn)了類似案件的推薦系統(tǒng)［3］。

智能司法推薦場景相對寬泛，推薦對象隨著需求的不同而不同。本文主要涉及案件判決文書，即案例的推薦。本文需要根據(jù)用戶的案例特點點擊歷史，推薦其可能關(guān)注的其他案例。一般而言，除文本內(nèi)容外，案例文書主要包含案由、案情、關(guān)鍵詞、法律、法條五種司法要素。其中，案由是對案件性質(zhì)的描述，如：民事案件中的合同糾紛、刑事案件中的罪名；案情是對案件具體經(jīng)過的描述，多為短語與短句；關(guān)鍵詞是一些用于概括案件經(jīng)過的詞語；法律為案例引用的法律名稱，如：《中華人民共和國合同法》；法條為引用的具體條目，如：《中華人民共和國民事訴訟法》第一百七十條。

現(xiàn)有的工作從不同的應(yīng)用需求出發(fā)，在司法場景下做出了不同嘗試，但大多都聚焦于精排，對召回的關(guān)注度不足，而召回在實際場景中決定著精排的上限，有著同樣的重要地位。

1.2 其他場景下的召回方法

當(dāng)前其他場景下的召回方法較多，相對傳統(tǒng)的方法有基于內(nèi)容、基于協(xié)同過濾、基于BM25等方法。隨后，因式分解機（FM）［13］的提出為召回算法帶來了方便，通過FM的應(yīng)用，特征組合變得更加高效，利用FM可更加便捷地對用戶與項目進行表征。基于神經(jīng)網(wǎng)絡(luò)與深度網(wǎng)絡(luò)的方法是當(dāng)前最主流的方法，其主要思想仍然在于借助網(wǎng)絡(luò)化的方法，對用戶以及項目進行細(xì)粒度的表征，通過其特征進行召回或推薦，此方法在業(yè)界得到了廣泛的應(yīng)用。FM與神經(jīng)網(wǎng)絡(luò)的出現(xiàn)也促進了傳統(tǒng)方法的發(fā)展，使得基于內(nèi)容方法的特征提取變得非人工化并更加細(xì)致，也帶動基于模型協(xié)同過濾方法［14］的發(fā)展。以下列舉了幾個基于神經(jīng)網(wǎng)絡(luò)的模型。

（1）“雙塔”召回。微軟基于文檔與查詢詞之間的相似度，提出了DSSM模型［15］，從語義的角度進行召回、推薦，后逐漸發(fā)展為“雙塔”模型。之后也有學(xué)者將該模型進行了一定改進，將其應(yīng)用在較大數(shù)據(jù)集上［16］。

（2）序列召回。RNN被應(yīng)用于會話推薦來捕獲用戶的序列行為信息。近年來，基于多興趣召回的 MIMD［17］與基于長期興趣的 SDM［18］模型被提出，并部署在了相關(guān)的實體平臺上使用。

（3）圖召回。通過構(gòu)建用戶與案例的有向圖，對用戶與案例的關(guān)系做進一步挖掘，對其特征進一步提取并以此為依據(jù)進行推薦與召回。特別隨著知識圖譜的發(fā)展，基于知識圖譜的推薦系統(tǒng)得到了較大的發(fā)展［19-20］。

以上召回方法廣泛應(yīng)用于商品或信息流等場景，商品與信息流場景下?lián)碛写罅坑脩襞c物品的交互數(shù)據(jù)，為召回算法的有效性提供了保障。而在司法場景下，可利用的數(shù)據(jù)尤其是用戶的交互數(shù)據(jù)較少，增大了召回的難度，故本文從多個角度出發(fā)，對有限的數(shù)據(jù)進行多方面挖掘及綜合利用，從而提升召回效果。

2 召回方法設(shè)計與實現(xiàn)

2.1 基于司法要素的召回

案例文書具有特定的表達(dá)形式與規(guī)范，文書內(nèi)包含了多種法律要素，對案例進行了詳細(xì)描述。例如，民事合同糾紛是案件案由，拖欠工資是案件的案情之一。案例與法律要素之間有著特殊的聯(lián)系，在此我們使用連接率C來刻畫這種聯(lián)系，其定義如式（1）所示，其中NumYS表示擁有司法要素YS（可取值為案由（AY）、案情（AQ）、關(guān)鍵詞（GJC）、法律（FL）、法條（FT））的案例數(shù)，Num表示案例總數(shù)。

如表1所示，案由是連接率最高的司法要素，案情和關(guān)鍵詞次之，而法律和法條的連接率較低。我們考慮使用連接率較高的司法要素進行召回。

表1 司法要素連接率Table 1 Connection rates of judicial element

2.1.1 方法思路與具體實現(xiàn)

經(jīng)過對司法要素的統(tǒng)計，我們發(fā)現(xiàn)案例往往擁有不止一種司法要素，對于某一種司法要素，一個案例同樣可能擁有多個，例如一個案例可能引用了多部法律。同時，司法要素的頻率也比較重要。一個用戶可能瀏覽了同一案由案件多次，利用用戶歷史行為對用戶進行表征時，頻率特征能夠反映用戶更細(xì)致的偏好。BM25算法有利于通過離散特征進行相似度計算并能較為有效地考慮頻率信息，因此使用其來計算用戶點擊歷史案例列表與其他案例的相似度得分，隨后挑選出相似度較高的案例作為召回結(jié)果，某個用戶ui與某案例itemj在某一司法要素的相似度計算方式如式（2）所示，其中IDF為逆文本頻率指數(shù)，Y表示某種司法要素的集合，Yui表示用戶ui點擊歷史中該種司法要素的集合，Yitemj表示案例j中含有的司法要素集合，f（y，Y）表示某個要素y在Y中出現(xiàn)的次數(shù)，avgdl為某種要素總數(shù)與案例總數(shù)的比值，k1，b為常數(shù)。

2.1.2 優(yōu)化與改進

通過觀察式（2）可以看出，在對某一種要素做召回時，若兩個案例的要素完全相同，那么這兩個案例與同一個用戶的相似度一致。例如，用戶對案由為搶劫罪的案件具有偏好，在召回結(jié)果中所有案由為搶劫罪的案例得分均相同，而此案由案例總數(shù)可能超過了召回列表長度，只能為用戶推薦一部分案例，此時需要進一步考慮相同司法要素案例與用戶的相似程度，對基于司法要素的召回進行改進，共有以下四種改進方式：

改進一：在要素相同的基礎(chǔ)上，優(yōu)先推薦點擊量較高的案例；

改進二：在要素相同的基礎(chǔ)上，優(yōu)先推薦點擊較新的案例；

改進三：在要素相同的基礎(chǔ)上，優(yōu)先推薦點擊較新、點擊量較高的案例且二者并重；

改進四：按照歷史案例要素分布情況召回案例，使召回案例列表與歷史案例列表要素分布保持一致。

2.2 基于內(nèi)容的召回

案例文書的主體仍然是文字，文本特征也是案例文書的特征之一。案例文書的文字中具有豐富的深度語義信息，因此考慮借助BERT對文本中的深度信息進行提取。

2.3 基于協(xié)同過濾的召回

在實際場景中，相似的用戶所關(guān)注的案例也可能更相似，相應(yīng)的，用戶在關(guān)注某一案例時也可能會關(guān)注與之相似的案例。因此，我們使用了基于用戶協(xié)同過濾（UserCF）的召回，基于案例協(xié)同過濾（ItemCF）的召回，分別通過相似用戶、相似案例進行召回。

UserCF與ItemCF兩種方法都屬于協(xié)同過濾方法，其中，UserCF的步驟如下：

（1）根據(jù)用戶的點擊歷史建立大小為|U|×|U|的稀疏矩陣 W，W［i］［j］表示用戶 ui，uj點擊過的相同案例個數(shù)；

（2）對兩個用戶 ui，uj，利用 W［i］［j］與 ui，uj點擊過的不重復(fù)案例的總數(shù)之比作為用戶相似度，求出用戶的k個鄰居；

（3）根據(jù)相近用戶點擊過的物品itemj，計算用戶ui對物品itemj的得分，公式如式（3）所示，其中Sj為對itemj評過分的用戶集合；

（4）選取得分top n的案例作為最終的召回結(jié)果。

ItemCF與UserCF類似，唯一不同之處在于建立的為案例間的稀疏矩陣，利用案例的鄰居進行推薦。

2.4 基于熱度的召回

在實際場景中，越熱門的案件就越有可能得到用戶的關(guān)注，因此我們利用熱度這一信息進行召回。步驟如下：

（1）統(tǒng)計每個案例被點擊的次數(shù)，以次數(shù)表示熱度；

（2）為每個用戶推薦熱度為top n的案例。

3 多路召回方法框架

在實際場景中，需要一定數(shù)量的召回案例，單路召回方法能力有限，只用一種方法有較大局限性。單路的召回方法各有優(yōu)劣，且考慮的角度不盡相同，因此可以考慮利用多種方法的結(jié)果做多路召回。但如何對多路結(jié)果進行融合，仍有待實驗驗證。

單路召回將對每個用戶生成一個召回列表，列表包含了召回的案例以及案例的得分，且以得分降序排列。案例的得分用于刻畫用戶與案例間的相似度，得分越高相似度越高。不同召回方法得分的定義不同，基于司法要素的召回得分如式（2）所示；基于內(nèi)容的召回中，通過BERT方法可以得到用戶與案例之間的歐式距離d，得分為e-d；基于協(xié)同過濾方法得分如式（3）所示；基于熱度的召回以案例的被點擊次數(shù)為得分。我們以Bagging為基本思路，設(shè)計了以下幾種融合策略，以下三種策略展示了對某一個用戶各路召回結(jié)果的利用。

策略一：每路中從前到后依次取案例，直到取得N個不重復(fù)的案例或K路均取完；

策略二：先將每路的評分歸一化，某個用戶ui對案例itemj的得分如式（4）所示，其中，K表示路數(shù)，s［k］表示第k路中ui對itemj歸一化后的得分；

策略三：僅考慮單路召回中案例所在的位置，計算表達(dá)式與式（4）一致，此時s［k］的值為案例所在位置索引值的倒數(shù)。

4 實驗結(jié)果及分析

4.1 數(shù)據(jù)集

數(shù)據(jù)來源于元典智庫（現(xiàn)名為元典深思）線上平臺，收集了2020年10月—2021年4月的相關(guān)案例與用戶點擊行為，數(shù)據(jù)已除去爬蟲用戶，所得數(shù)據(jù)均由非爬蟲用戶產(chǎn)生。共收集到權(quán)威案例7 167個，用戶4 464個，平均交互次數(shù)為34.86次，稀疏度為0.995。采用留一法構(gòu)造數(shù)據(jù)集，我們將用戶的點擊均視為正例，并取用戶最后一次的交互作為測試集，用戶其他歷史交互作為訓(xùn)練集。

4.2 評價方法

每種召回方法都會對每一個用戶得到一個召回列表，列表按照與用戶歷史案例的相似程度降序排列，若召回列表前N個案例中含有測試集中對應(yīng)用戶的正例，則認(rèn)為該用戶在N的限制下命中，記作HN［u］=1，反之則記作HN［u］=0。考慮所有用戶（用戶組成的集合為U），有式（5）定義。在召回階段，N的取值相對較大，主要是實現(xiàn)第一步的篩選，作為精排模型的輸入。本文在單路召回中，本文取N=200，多路召回中則取N=1 000。

4.3 單路召回結(jié)果

為了方便方法表示，我們使用簡寫表示某種方法，對應(yīng)關(guān)系如表2所示，其中，YS為變量，表示司法要素的類型，可取AY等。由于單路召回方法可召回案例數(shù)有限，各個單路召回均只統(tǒng)計前200個結(jié)果的命中率。

表2 方法簡稱對照表Table 2 Comparison between methods and their abbreviations

4.3.1 單路召回結(jié)果

各單路召回結(jié)果如表3所示。其中，基于司法要素的召回使用了用戶近20次的案例點擊歷史。其中，Essemble綜合考慮了案由、案情與關(guān)鍵詞三個司法要素，三者并重。

表3 單路召回結(jié)果Table 3 Results of single-channel recall

通過結(jié)果，可以看出：

（1）基于案由這一司法要素的召回取得了最好的效果，說明了司法要素這一場景特殊知識的重要性，也說明了該種召回方法在此場景下是有效的。

（2）在司法要素中，并非所有的要素都是有效的。例如，法條的連接率雖然遠(yuǎn)低于要素的連接率，但其召回率卻相對較高，這是因為在連接率較低時，含有該項特征的案例可能恰好是同一類案例，從而使得召回率提高，但這種較高的召回率是沒有意義的，由于含有該項特征的案例較少，難以反映整體情況。因此，應(yīng)當(dāng)綜合考慮連接率與召回率，此外，案由、案情、關(guān)鍵詞三種要素綜合后的結(jié)果不如案由召回，由此認(rèn)為以案由為特征的召回是有效的。之后的多路召回中使用案由召回，基于司法要素的改進對象也為案由召回。

（3）基于文本召回的效果并不理想，可能的原因是案例的文本較為復(fù)雜，案例的文本內(nèi)容大部分依賴于事件本身，即文本內(nèi)容會大量敘述相關(guān)事實，而案例與案例間的事實差異較大，文案之間差異明顯，不利于相似程度的判斷。

（4）協(xié)同過濾方法取得了較好效果，說明利用相似用戶與相似案例進行推薦在此場景中仍是有效的。ItemCF召回與UserCF召回的結(jié)果較為接近，是因為兩者是對同一歷史信息以相似方式的利用，因此其最終結(jié)果相對來說也會較為接近，此問題將在4.3.3做進一步討論。

（5）基于熱度召回的方法召回率相對較低。在司法場景下，用戶關(guān)注的更可能是某一個案例相關(guān)的其他案例，而不是熱度較高的案例，熱度并不能反映案例之間的相關(guān)程度，也沒有對用戶做個性化的推薦，故其效果相對較差。

4.3.2 改進后的司法要素召回

同案由案例在上述召回方法中具有相同的分?jǐn)?shù)，為了使同案由案例有一定區(qū)分度，按照2.1.2中的各方法改進（分別利用了熱度、時間、熱度與時間、用戶歷史的案由分布）后的結(jié)果如表4所示。

表4 改進后的案由召回Table 4 Improved recall methods based on cause of case

結(jié)果顯示，改進一、二、三與之前的結(jié)果在測試長度較長時差距并不大，原因在于案例的總數(shù)目相對較少，當(dāng)召回測試案例數(shù)目較多時，差距就會縮小，因此應(yīng)當(dāng)考慮表格的前兩項數(shù)據(jù)。可以看出，當(dāng)推薦以熱度優(yōu)先時相應(yīng)的結(jié)果更好，當(dāng)以時間優(yōu)先時，結(jié)果相對降低。在司法場景下，被點擊的越多的案例被再次點擊的概率會更高，但越新的案例并不一定會得到更多點擊。改進四效果相對較差，原因在于案例的總數(shù)目并不多，改進四的做法會導(dǎo)致被推薦的案例數(shù)減少，但當(dāng)案例總數(shù)較多時，改進四或許能取得更好的結(jié)果。例如，當(dāng)案例總數(shù)足夠多時，其他改進很可能推薦的都為同一種案由的案例，而改進四則能兼顧案例案由的多樣性。

在本場景下，利用熱度對案由召回的改進最為理想，因此之后實驗中使用的案由召回，皆為基于改進一的案由召回。

4.3.3 重合度分析

上述五種方法從不同的角度進行了推薦，單單從召回率并不能看出幾種方法間的關(guān)系，也不能反映幾種方法的重要程度。為了進一步分析幾種方法的關(guān)系并衡量幾種方法的重要程度，我們進行了正確重合度分析，結(jié)果如表5所示，表項的具體計算方式如下：

表5 不同方法的正確結(jié)果重合度Table 5 Coincidence of correct results of different methods

（1）以li、cj分別表示表格第i行、第j列所示的方法，以t［i］［j］表示表格數(shù)值，初值為 0；

（2）若在li、cj兩種方法下，對用戶u，都有H200［u］=1，則t［i］［j］=1；

（3）考慮所有l(wèi)i、cj組合，通過式（6）得到最終表項的取值，分母的H200［u］是基于方法li得到的。

在此種表示方式下，可以通過觀察行來判斷方法li正確結(jié)果在其他方法正確結(jié)果中的占比，通過列來觀察其他方法正確結(jié)果在方法cj正確結(jié)果的占比，行所示數(shù)據(jù)越大，說明其正確結(jié)果包含在其他方法正確結(jié)果中的比例越大，其有效性相對越低，列所示數(shù)據(jù)越大，說明其包含越多其他方法的正確結(jié)果，其有效性相對越高。

通過結(jié)果可以看出，兩個協(xié)同過濾方法正確結(jié)果的重合度較高，但與其他方法的包含與被包含比例適中；案由召回包含了較多其他方法的正確結(jié)果且其被包含的比例相對較低；BERT與Popular兩種方法包含與被包含的比例相對適中。結(jié)果說明案由召回在此場景下是有效的，BERT、協(xié)同過濾、Popular都具有一定的價值，而UserCF與ItemCF兩種方法之間重合度較高，二者之間應(yīng)當(dāng)可以只保留一種方法。

4.4 多路召回結(jié)果

4.4.1 不同多路融合策略的召回結(jié)果

不同策略的多路召回結(jié)果如表6所示。策略一選取了每路中靠前的案例，策略二將案例得分進行了多路平權(quán)處理，以得分為依據(jù)進行召回，策略三使用了索引值倒數(shù)作為得分。

表6 不同多路融合策略的結(jié)果Table 6 Results of different multi-channel strategies

三種策略中，效果較好的為策略一、二，策略一選擇了每路靠前的案例，形成最終的召回序列，能一定程度上綜合各路的結(jié)果，具有一定的有效性。策略二則以量化的方式融合了各路的結(jié)果，有利于綜合各路優(yōu)勢，故取得較好效果。

4.4.2 消融實驗

通過重合度分析，我們發(fā)現(xiàn)五路中案由召回相對重要，認(rèn)為ItemCF與UserCF可以僅保留一種方法即可，而BERT、Popular方法具有一定的價值，在此通過消融實驗做出驗證。方法一到五分別表示無案由召回、無BERT召回、無UserCF召回、無ItemCF召回、無Popular召回，四路與五路召回結(jié)果總數(shù)保持一致，此時每路被選擇的案例數(shù)量增加。結(jié)果如表7所示。

表7 消融實驗結(jié)果Table 7 Results of ablation experiments

從結(jié)果可以看出，當(dāng)缺少的方法為ItemCF與UserCF其中之一時，召回率下降并不明顯，而缺少的為其他方法時，召回率有所下降，尤其是缺少案由召回時，達(dá)到了最低值。可以認(rèn)為案由召回在五路中貢獻(xiàn)較大，而兩種協(xié)同過濾方法最終的貢獻(xiàn)程度較為接近。其中，在舍棄UserCF召回時，Hit@1000有所提高，這是因為在舍棄UserCF之后其他方法能提供的案例變多，使結(jié)果改善，但通過前兩列的值，仍可認(rèn)為五路召回是最為有效的。

4.5 其他分析

策略四采用的為各路平權(quán)相加的融合方式，但是否存在更好的網(wǎng)絡(luò)結(jié)構(gòu)或網(wǎng)絡(luò)權(quán)重還有待進一步探究，故引入神經(jīng)網(wǎng)絡(luò)方法，解決如下兩個問題：（1）探究適宜的網(wǎng)絡(luò)結(jié)構(gòu)；（2）提供網(wǎng)絡(luò)權(quán)重的一種訓(xùn)練方法。整個訓(xùn)練與測試的設(shè)計如下。

網(wǎng)絡(luò)的輸入與輸出：輸入為一個長度為5的向量，分別表示五路中的得分，輸出為長度為1的向量，表示五路召回的綜合得分。

訓(xùn)練：每次從用戶的點擊歷史中返回一個正例與從用戶沒有點擊的案例中采樣得到的九個負(fù)例，對案例進行分?jǐn)?shù)預(yù)測，損失函數(shù)使用成對的損失函數(shù)。

測試：測試時針對用戶與其所有未點擊過的案例，通過網(wǎng)絡(luò)計算每一個案例的得分，將案例以得分進行降序排序，得到最終的召回列表。

網(wǎng)絡(luò)結(jié)構(gòu)如下。

網(wǎng)絡(luò)一：單層線性網(wǎng)絡(luò)，不含bias；

網(wǎng)絡(luò)二：雙層線性網(wǎng)絡(luò)，線性層不含bias，使用GeLU為激活函數(shù)；

網(wǎng)絡(luò)三：雙層線性網(wǎng)絡(luò)，線性層不含bias，無激活函數(shù)。

以2.3中策略三所示方法作為對比，結(jié)果基于十折交叉驗證得到，結(jié)果如表8所示。

表8 不同網(wǎng)絡(luò)結(jié)構(gòu)的召回結(jié)果Table 8 Results of different network structures

針對問題（1），通過結(jié)果可以看出，單層線性網(wǎng)絡(luò)與雙層網(wǎng)絡(luò)的效果相差不大，原因在于本問題較為簡單，無須復(fù)雜網(wǎng)絡(luò)即可達(dá)到較好效果，反而平權(quán)相加的方式擁有最好的效果。

針對問題（2），由于數(shù)據(jù)集中正例數(shù)目過少，因此對于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的指導(dǎo)意義并不強，每次訓(xùn)練收斂時所得的權(quán)重相差過大，難以得到一個相對穩(wěn)定的權(quán)重，神經(jīng)網(wǎng)絡(luò)方法對權(quán)重的確定指導(dǎo)意義較小。

5 結(jié)論

智能司法信息處理是司法領(lǐng)域從信息化走向智能化的關(guān)鍵路徑，司法場景下的推薦系統(tǒng)有利于滿足用戶的司法信息需求和緩解信息過載等問題，是一個重要的新興研究領(lǐng)域。針對案例推薦的召回方法研究，本文系統(tǒng)地回顧并實現(xiàn)了基于協(xié)同過濾、基于案例文書內(nèi)容的召回方法，并提出基于司法要素的召回方法。相比于其他方法，基于司法要素的召回對司法場景下的特殊知識進行了挖掘與利用，利用案由進行召回的方法取得了較好的效果，驗證了基于司法要素召回的有效性。在多種融合策略中，將各路對某個案例的評分進行平權(quán)相加可取得較好結(jié)果，且實現(xiàn)方法簡單，算法復(fù)雜度低。在選取單路的召回策略時，可以進行重合度分析，若存在某兩路結(jié)果重合度較大，則可考慮舍棄其中的一個方法從而獲得更高的效率。最后，本文嘗試了使用神經(jīng)網(wǎng)絡(luò)進行多路召回結(jié)果融合，但其效果不如多路加權(quán)相加方式的效果，反而出現(xiàn)了嚴(yán)重的過擬合問題。由于數(shù)據(jù)集正例數(shù)較少，神經(jīng)網(wǎng)絡(luò)收斂時權(quán)重差異較大，能為權(quán)重確定帶來的指導(dǎo)較少。