基于深度學習的“一人多案”風險預警系統①

馬志柔,馬新宇,2,劉 杰,葉 丹

1(中國科學院 軟件研究所 軟件工程技術研究開發中心,北京 100190)

2(中國科學院大學,北京 100049)

隨著知識經濟的迅猛發展和民主法制建設的不斷完善,人民法院維護社會穩定的職能和任務不斷增多和加重,各級法院在完成繁重審判任務的同時,還需更好地解決審判質量問題.在法院立案-審判-執行全流程階段,多起案件中存在當事人或者案件事實相同的情況,即“一人多案”的處理情況,比如一人起訴多案或被訴多案、相同當事人之間的多起類似案件等[1].對此類案件合并處理有利于此類案件的快速解決,不僅能夠有效提升司法機關的工作效率、減少司法資源的無端消耗、優化社會資源的合理使用,而且在面臨問題時可以從相同的案件類型中獲取一個可靠的參照.同樣也有利于當事人相關問題的解決,從社會與公民個人兩個層面實現經濟利益的最大化.

為了提高司法人員在案件處理環節的效率,本文提出了一種基于深度學習的“一人多案”智能風險預警系統,利用深度學習與自然語言處理技術對法律文書進行案由識別預測和相似度量匹配,并與法律業務規則相結合,解決當前信息化系統無法有效分辨“一人多案”的技術難題,實現法院立案-審判-執行全流程階段的“一人多案”的關聯識別,為跨區域跨層級的司法資源統籌提供技術支持,為法院公正、高效地審理和執行案件提供保障.

1 相關工作

我國法院信息化水平在世界處于領先水平,近年來我國法院信息化領域建成了全面覆蓋各級人民法院和法庭的網絡設施、業務應用、數據管理和安全保障體系,極大地提升了審判執行、司法為民和司法管理質效.但在法院內部協同智能水平相對薄弱,尤其訴訟服務中“一人多案”方面的信息融合共享和服務高效協同需要亟待提升.從法學的角度,“一人多案”的理論日趨完備,依據訴訟法對重復起訴識別的不同學說進行分析評述,給出了民事重復起訴的識別要素、判別規則及處置方法的法律釋明[1,2].重復起訴的判斷要素包括當事人、案由和訴訟請求,關鍵要判斷是否是同一當事人基于同一法律關系、同一法律事實提出的同一訴訟請求[3].

當前深度學習技術日趨成熟,其端到端的學習避免了繁重的特征工程和自然語言處理工具帶來的錯誤傳播問題,在文本處理任務中取得了顯著的成功,達到了遠超傳統方法的性能[4,5].在文本特征表示方面,Mikolov等提出了通過神經網絡訓練詞向量的方法Word2Vec[6];之后Joulin 等基于詞向量提出了一種高效的文本分類和表征學習的方法fastText[7],使用n-gram 模型可以更有效的表達詞前后的之間的關系;而BERT[8]預訓練模型的提出將文本特征表示推向頂峰.在文本分類匹配方面,Kim 提出了TextCNN 方法[9]將卷積神經網絡應用于文本分類任務,該網絡通過一維卷積核捕獲句子中類似n-gram 的關鍵信息;Liu 等的工作提出了將RNN 用于分類問題的網絡設計[10],考慮文本的時序特征;之后涌現一些網絡變體LSTM、RCNN,以及引入attention[11]機制的網絡模型.

近些年來,隨著以裁判文書為代表的司法大數據不斷公開,以及自然語言處理技術的不斷突破,如何將人工智能技術應用在司法領域來提高司法人員在案件處理環節的效率逐漸成為法律科技研究的熱點,一些學者已經在研究與深度學習相關的法律文本處理技術.Luo 等[12]提出了一種基于注意力機制的神經網絡方法,在罪名預測任務中融入法條信息,使罪名預測更具有合理性,有助于提高法律助理系統效率.Hu 等[13]提出一個屬性-注意力罪名預測模型,根據法律屬性把罪名分類,通過人工將相關罪名屬性信息進行標記,顯著提升低頻罪名與易混淆罪名的預測精度.Zhong 等[14]利用有向無環拓撲圖來建模多任務之間的邏輯依賴關系,將法條、罪名與刑期之間的依賴關系融合到統一的司法判決框架中,所有任務的效果在多個數據集上取得了一致和顯著的提升.

2 關鍵技術研究

在“一人多案”的關聯識別時,其關鍵技術是如何判別兩個案件是否同一個案由和兩個案件的訴訟請求是否相似,以起訴狀文本語義理解為核心,利用自然語言處理技術與機器學習方法實現對起訴書中的當事人、案由、訴訟請求等關鍵信息進行智能識別與語義理解.通常起訴狀文本的內容格式如圖1所示,包含原告、被告、訴訟請求、事實與理由4 部分信息.

圖1 起訴狀文本內容

2.1 文本案由識別算法

案由識別是指通過訴訟文書中的事實與理由描述文本來認定民事起訴狀的法律糾紛,比如民間借貸糾紛、房屋買賣合同糾紛、物業服務合同糾紛等.將此類問題看作是分類問題,深度學習方法自動抽取文本特征,可端到端地解決文本分類問題.但在案由識別任務中,訴訟事實和理由的文本長度在400～600 字左右,面臨文本過長難以分析的問題.單一的網絡結構造成了語義匹配的不完善,CNN 網絡無法很好獲取問題的全局信息,而RNN 網絡存在無法并行和梯度消失的問題,訓練速度不佳.本系統提出一種多粒度融合模型,能夠結合CNN 和RNN 各自的優勢,利用CNN 處理語法層面的局部匹配信息,抽取不同位置上的特征,處理與空間相關的數據;利用RNN 對句子整體進行編碼,提取到語義層面的匹配信息,處理語句中的前后序列信息.該模型結構如圖2所示,模型中CNN 采用TextCNN 來實現,RNN 采用Bi-LSTM 來實現.

圖2 案由識別算法模型結構圖

(1)嵌入表示層,對法律文本進行詞級別的特征表示.將法律文本中的每一個詞表示為一個固定維度的向量,其由詞向量(Word Embedding,WE)和位置向量(Position Embedding,PE)的拼接而成.其中,詞向量表示詞匯的語義特征,位置向量表示詞在文本中的位置信息與相對距離特征.所用的詞向量由提前使用Word2Vec 在中文維基百科語料預訓練得到,訓練過程中詞向量并不是固定的,會隨著模型的訓練而更新.所用的位置向量由不同維度上使用不同的模型函數學習得到,這樣高維的表示空間才有意義.在偶數位置使用式(1)計算位置編碼,在奇數位置使用式(2)計算位置編碼.位置向量為隨機初始化,并通過模型訓練得到最終的參數值.

(2)特征抽取層,對法律文本進行文檔級別的特征表示.通過特征抽取器提取文檔的特征,包括句子結構、句子語義、上下句子關系等.該部分由兩個子層組成,第一子層是TextCNN 網絡層,第二子層是Bi-LSTM網絡層.TextCNN 網絡層為句子特征抽取器,卷積核大小決定了網絡能夠提取的局部特征范圍,大尺寸的卷積核可以提取較長距離的特征,小尺寸的卷積核可以提取細粒度的特征,使用多個大小不同的卷積核,可抽取更長更復雜的句子特征.同樣,卷積核數量的提升可以使網絡從多角度進行特征提取,但是計算量會隨之上升,網絡復雜度增加,容易導致過擬合.為了能夠從多角度、多范圍內提取文本中包含的特征又不過分增加計算量,保證泛化能力,本文選用了大小分別為{2,3,5,7}的卷積核各128 個.同時在每層的卷積后面加入了批量標準化層(batch normalization)和線性整流激活函數(ReLU),避免了梯度消失問題,加速模型訓練的收斂速度與穩定性.為了從文本序列中得到的句子表示,對每個卷積核的輸出使用了max-mean 池化,即將最大池化(max pooling)與平均池化(mean pooling)的結果拼接.其中,最大池化得到的句子表示包含了當前文本序列的最大貢獻,平均池化得到的句子表示包含了整個文本中每個詞的貢獻.將所有卷積核的結果拼接得到法律文本中句子的表示向量.Bi-LSTM 網絡層為文檔特征抽取器,將得到的各個句子向量作為輸入.該層由兩個LSTM 網絡組合而成,一個向前傳播、一個向后傳播,可以有效地利用文本上下文語義信息,學習到句子之間的時序特征,從而得到法律文本的文檔級別特征表示向量.

(3)類別輸出層,通過法律文本的表示向量分類得到每個法律糾紛的概率大小.模型的輸出層由雙層的全連接網絡、Dropout 和Softmax 組成.其中雙層的網絡結構,提高了本層網絡的非線性表達能力,并將結果映射到每個相應的類別.Dropout 有效緩解了網絡的過擬合問題,Softmax 歸一化得到每個法律糾紛的概率.

2.2 文本相似度量算法

案件的特征量很多,很難通過具體的規則來判斷兩個案件是否相同或相似,需要研究案件相似度度量,由于近幾年深度學習在眾多領域獲得了突破性的成果,已經有許多將深度學習和度量學習算法結合的嘗試,并且在許多數據集上得到了先進的結果.本系統中提出了一種基于深度度量學習的案件相似匹配算法,將有監督的距離度量學習的優化目標與深度學習強大的特征表示能力結合,從而更加準確且符合法律語義地刻畫案件之間的相似性.

為了方便后續的描述,這里首先給出案件類型相關的定義:

定義1.同構案件:記為,是與案件Di具有完全相同語義表述的案件樣本.

本系統提出的算法相比于傳統度量學習更好地進行案件特征與算法模型的結合,更加適用于法律文本語義度量匹配的場景使用,如圖3所示其算法框架由3 部分組成.

圖3 案件相似度算法框架圖

(1)輸入層,首先將案件文本分詞,然后計算每個詞的詞向量與位置向量,最后將詞向量和位置向量拼接得到案件文本的分布式向量化表示.這里的案件文本的嵌入式表示方法可參見2.1 小節文本案由識別算法中的法律文本特征表示描述.每次輸入一個案件文本三元組案件文本之間的相似性滿足以下公式:

(2)表示層,對應案件文本三元組輸入設置3 個網絡,即圖3中的D網絡、D+網絡、D?網絡,網絡之間共享參數,該層的網絡作為非線性變換表示函數將案件的原始特征轉換為分布式表示(embedding)特征,即案件文本的特征抽取器.在案件相似匹配任務中,訴訟請求文本長度在50～100 字之間,上下文之間邏輯性較強.為了高效學習文本表示,需要對特征抽取器進行仔細選擇,常用的特征抽取器為LSTM 或CNN.LSTM雖然擅長對于序列建模,然而由于其本身的序列依賴結構導致很難進行并行計算,運算效率低;CNN 的卷積核滑動窗口位置之間則沒有依賴關系,可以并行計算,故其運算效率高,但其缺點在于難以捕獲長距離特征,大小為k的卷積核只能覆蓋k-gram 片段的特征.Transformer 的核心思想是基于自注意力機制,不存在序列依賴問題,能夠通過并行計算提高運算效率.在注意力計算中,通過每個詞與其他詞的交互解決了長距離依賴特征獲取問題;根據不同詞之間的相似度計算得到權重的方法,使得模型能夠捕獲特征內部的相關性,結合多頭機制,從不同角度捕獲特征,增強了語義特征提取能力.故該層子網絡使用Transformer 網絡作為特征提取器代替LSTM 和CNN 的編碼方式,既能對句子整體進行編碼,提取到語義層面的匹配信息;又能提取語法層面的局部匹配信息.針對法律訴訟請求文本設計一種基于多注意機制的網絡結構,該網絡由兩個子層組成,第一子層是multi-head 的自注意力結構,第二子層是position-wise 的全連接前饋網絡.Multihead 的自注意力結構從不同視角匹配計算案件序列各位置的權重,其中加法方法(additive attention)考慮了位置的匹配程度,乘法方法(multiplicative attention)能夠捕捉文本摘要信息,序列注意力方法(sequential attention)考慮了位置上下文的信息.對文本序列進行多個不同的線性變換,然后通過自注意力機制學習不同子空間下文本的表示,最后將多個文本表示向量拼接起來作為輸出.Position-wise 的全連接前饋網絡由兩個線性變換組成,并且線性變換在不同位置上參數相同,類似于卷積核為1 的兩層CNN 網絡.

(3)度量層,在embedding 空間上對案件向量計算距離來刻畫相似度,使用triplet loss[15]作為整體框架的優化目標,最終通過該層得到案件特征在embedding空間上的表示,從而在訴訟請求的度量中得到應用.

采用曼哈頓距離度量兩個案件之間的距離,即在歐幾里德空間的固定直角坐標系上兩點所形成的線段對軸產生的投影的距離總和,其計算公式如下:

其中,x,y表示兩個不同案件的文檔向量,n表示文檔向量的維度,xk,yk表示文檔向量的第k個元素.

采用式(5)作為triplet loss 損失函數,訓練的目標是讓相似案件在新的編碼空間里的距離盡可能小,讓不相似案件在新的編碼空間里的距離盡可能大,即大于其中d(x,y)表示兩個案件之間的距離,margin為閾值.在訓練過程中對于某一個案件,將同構鄰居拉近,將異構鄰居推遠,從而學習出一個間隔.

3 系統設計與實現

為了解決“一人多案”的處理問題,本文設計一套基于深度學習的“一人多案”風險預警系統.本系統實現采用的程序開發語言為Python、深度學習框架為Tensorflow、Web 服務框架為Flask.整個系統的組織架構如圖4所示,分為線下訓練模塊和線上預警模塊兩部分.

圖4 “一人多案”風險預警系統架構圖

為了不破壞原有業務系統的結構,系統通過RESTful API 的方式提供用戶與現有業務系統的數據交互與分析功能,包括立案階段風險判別、審理階段風險判別、執行階段風險判別、按當事人查詢案件、按律師查詢案件、按財產查詢案件等.也提供若干API 供系統二次開發使用,包括文本案由識別、文本相似度量等.

3.1 線下訓練模塊

該模塊通過構造法律文本標注語料,利用2.1 節文本案由識別算法和2.2 節文本相似度量算法,訓練得到案由識別模型和相似度量模型,為線上預警模塊提供算法模型支持.

3.1.1 案由識別模型

數據語料庫構建:從中國裁判文書網抓取民事案件文書10 萬篇,涉及判決書、裁定書、決定書、調解書4 類文書,其中裁定書、決定書、調解書這3 類文書中沒有案情描述,無法預測文書案由,不能作為訓練模型的數據集.經篩選后,取83 979 篇民事判決書作為案由識別模型的數據語料庫,按照18:1:1 的比例劃分訓練集、驗證集和測試集,總共涉及78 類案由,涵蓋了常用的民事糾紛.

模型驗證與分析:采用準確率來評價,取top1、top3、top5 三種情況計算,分別代表分類概率最高的前1 名、前3 名、前5 名中類別包含正確的類別,其在測試集上的準確率分別為97.18%、99.45%、99.59%.經驗證分析,民事案由識別效果滿足需求.而預測錯誤的糾紛類型有兩種,一種是樣本數量太少(沒超過5 篇),一種是語義混淆(比如侵害發明專利權糾紛與侵害外觀設計專利權糾紛),可以通過增加語料改進.

3.1.2 相似度量模型

數據語料庫構建:從上文中的民事判決書數據集中提取消費者權益保護糾紛類文書2000 篇,兩兩對比文書訴訟請求描述的語義,構造三元組對數據集8000個,按照8:1:1 的比例劃分訓練集、驗證集和測試集.其中每份數據由3 篇法律文書組成,以三元組集合形式存儲,對于每份數據用(d0,d1,d2)來代表該組數據,約定文書d0和文書d1的相似度比文書d0和文書d2的相似度高,即sim(d0,d1)>sim(d0,d2),不符合的需要調整d1和d2的順序.

模型訓練及驗證:采用準確率來衡量模型的好壞.對于測試數據集,打亂(d0,d1,d2)的順序,不再保證sim(d0,d1)>sim(d0,d2).模型需要預測最終的結果是sim(d0,d1)>sim(d0,d2)還是sim(d0,d1)＜sim(d0,d2).如果預測正確,那么該測試點可以得到1 分,否則是0 分.實驗對比了傳統度量學習方法與深度度量學習方法,在傳統度量學習方法中用TF-IDF 算法的準確率為53.76%;而在深度度量學習方法中的準確率為70.76%.經對比分析,該模型方法比傳統方法提高了將近17 個百分點,可以對法律文本進行細粒度的相似度量,滿足訴訟請求相似判斷的需求.

3.2 線上預警模塊

該模塊實現了“一人多案”的關聯識別和風險預警,輸入一個起訴狀文本,首先通過案件要素識別模型得到案件要素信息,然后利用案由識別模型和相似度量模型對案件要素信息進行相似預測,最后到風險預警判別模型中判斷該案件是否屬于“一人多案”,并給出風險預警報告和協同處置方案.該系統主要包括案件要素識別模塊、案由識別模塊、相似度量模塊和風險預警模塊,其中案由識別模塊和相似度量模塊見上文,這里不再贅述.

3.2.1 案件要素識別模塊

案件要素識別模塊是該系統的基礎模塊,主要是對起訴狀文本進行分析,利用機器學習和自然語言處理技術得到案件要素信息,包括當事人信息、訴訟請求、事實與理由.其過程分兩步:

⑴ 基本信息識別.起訴狀文本的內容格式如圖1所示,其文字描述帶有一定的格式.通過“原告”、“被告”、“訴訟請求”、“起訴請求”、“事實”、“理由”等關鍵詞,將文本拆分為當事人文本信息、訴訟請求文本信息、事實與理由文本信息3 部分.

⑵ 當事人信息識別.當事人信息包括原告和被告,其有可能是自然人、也可能是企業.文本格式如下“某某,男,xxxx年xx月xx日出生,某族,住xxx 省xxx市”或“被告:某某有限公司,住xxx 省xxx 市”.利用正則表達式建立模式匹配,從中提取當事人的人名、地名、機構名;以及自然人的性別、民族、出生日期.

3.2.2 風險預警判別模塊

風險預警判別模塊是該系統的核心模塊,主要是將當事人信息構造成查詢語句,從法律業務系統中得到候選案件集合進行判別,給出具有“一人多案”風險的處置建議.其過程分兩步:

(1)獲取候選案件集合.調用待關聯的法律業務系統API 查詢構建候選案件集合,比如法院立案系統、執行辦案系統等.查詢語句由當事人信息(自然人、法人、其他組織)的姓名、性別、住址以及企業名稱等構成,執行查詢語句從系統中檢索出原告和被告符合當事人信息條件的案件,案件文本包含案號、當事人、代理律師、審理法院、案由、訴訟請求等文本信息,形成候選案件集合以待進一步分析.

(2)“一人多案”判別分析.調用案由識別模型和相似度量模型進行“一人多案”判別,并給出風險預警報告.

為了方便后續的描述,這里給出“一人多案”相關概念及判定規則:

定義3.“一人多案”:“一人多案”情況主要是指重復立案,重復立案與重復起訴有關,重復起訴是指當事人就已經提起訴訟的事項在訴訟過程中或者裁判生效后再次起訴.特別針對相同當事人、同一訴案由、同一法律關系以及主要訴訟請求相同.按照當事人之間的糾紛類型不同,“一人多案”的判定規則可分為3 種情況,見表1.

表1 “一人多案”判定規則

根據“一人多案”的判定規則,將新起訴狀和候選案件集進行各個案件要素的相似判定,返回該案件是否存在“一人多案”,具體流程如圖5所示.

圖5 “一人多案”判定流程圖

(1)判斷當事人是否相同:如果存在身份證號或統一社會信用代碼,則可以直接判斷是否同一人.如果沒有身份證號或統一社會信用代碼,則先根據姓名、性別、出生日期、企業名稱等結構化信息進行判斷是否是同一個人;然后將地址信息拆分成省、市、區縣、鄉鎮、村5 級行政區劃,作為輔助信息進一步排查同名同姓的人,如果兩個地址在同一區縣或經緯度距離小于25 公里,則可以認為是同一個人.

(2)判斷案由是否相同:將獲取到的新起訴狀中的事實和理由文本輸入到文本案由識別算法模型中,得到一個案由,并和候選案件集合中的案件案由對比,判斷是否有相同案由的案件.根據案由的級別,案由相同又可分為案由強相同和案由弱相同.比如“人格權糾紛”的子案由包含“姓名權糾紛”、“肖像權糾紛”、“名譽權糾紛”等.如果兩個案由同為“姓名權糾紛”,則屬于案由強相同;如果一個案由為“肖像權糾紛”,一個案由為“名譽權糾紛”,兩個案由同屬“人格權糾紛”的子案由,則屬于案由弱相同.

(3)判斷訴求請求是否相同:調用案件相似度量模塊得到新起訴狀與候選案件的訴訟請求的特征向量表示,通過計算曼哈頓距離來判定兩者之間是否相似.這里不僅要判斷一個案件與其他案件是否相似,還要計算一個案件與其他案件的相似度值是多少,能夠按照相似度值大小排序,并設定閾值篩選出相似案件.

(4)建立“一人多案”關聯預警:通過對新起訴狀和候選案件集之間的案件要素進行相似認定,判定是否同一當事人認定、是否同一案由認定、是否同一訴訟請求認定,利用“一人多案”判定規則建立以當事人為中心的案件之間的關聯,根據要素相似性的高低,設立高、中、低不同級別的風險等級,針對不同情況給出不同的風險提示和處置建議.

4 結束語

本文介紹了基于深度學習的“一人多案”風險預警系統的設計與實現.該系統充分利用現有的司法大數據資源,采用深度學習和自然語言處理技術對裁判文書文本挖掘分析,設計了文本案由識別和文本相似度量算法,解決了法律長文本的分類和細粒度度量問題,實現了“一人多案”的關聯識別和風險預警,幫助法院合理分配案件審理、法官識別立案風險,具有重要的應用價值.在接下來的工作中,將研究如何運用法律知識,設計深度學習與知識圖譜相結合的方法,對法律文本進行深入挖掘分析.此外,文本預訓練模型的司法應用也是一個有價值的研究方向.