基于知識塊摘要和詞轉移距離的高效司法文檔分類

馬建剛 張鵬 馬應龍

摘 要：隨著全國司法機關智能化建設的深入推進，通過信息化建設應用所積累的海量司法文書為開展司法智能服務提供了司法數據分析基礎。通過司法文書的相似性分析實現類案推送，可以為司法人員提供智能輔助辦案決策支持，從而提高辦案的質量和效率。針對面向通用領域的文本分類方法因沒有考慮特定司法領域文本的復雜結構和知識語義而導致司法文本分類的效能低問題，提出一種基于司法知識塊摘要和詞轉移距離（WMD）的高效司法文檔分類方法。首先為司法文書構建領域本體知識模型，進而基于領域本體，利用信息抽取技術獲取司法文檔中核心知識塊摘要; 然后基于司法文本的知識塊摘要利用WMD進行司法文檔相似度計算; 最后利用K最近鄰算法進行司法文本分類。以兩個典型罪名的案件文檔集作為實驗數據，與傳統的WMD文檔相似度計算方法進行對比，實驗結果表明，所提方法能明顯提高司法文本分類的正確率（分別有5.5和9.9個百分點的提升），同時也降低了文檔分類所需的時間（速度分別提升到原來的52.4和89.1倍）。

關鍵詞：智慧檢務;領域本體模型;文本分類;相似度計算;知識塊摘要;詞轉移距離

中圖分類號：TP309

文獻標志碼：A

Abstract： With the deepening of intelligence construction of the national judicial organization， massive judicial documents accumulated through years of information technology application provide data analysis basis for developing judicial intelligent service. The quality and efficiency of case handling can be greatly improved through the analysis of the similarity of judicial documents， which realizes the push of similar cases to provide the judicial officials with intelligent assistant case handling decision support. Aiming at the low efficiency of most document classification approach for common domains in judicial document classification due to the lack of consideration of complex structure and knowledge semantics of specific judicial documents， an efficient judicial document classification approach based on knowledge block summarization and Word Movers Distance （WMD） was proposed. Firstly， a domain ontology knowledge model was built for judicial documents. Secondly， based on domain ontology， the core knowledge block summarization of judicial documents was obtained by information extraction technology. Thirdly， WMD algorithm was used to calculate judicial document similarity based on knowledge block summary of judicial text. Finally， KNearest Neighbors （KNN） algorithm was used to realize judicial document classification. With the documents of two typical crimes used as experimental data， the experimental results show that the proposed approach greatly improves the accuracy of judicial document classification by 5.5 and 9.9 percentage points respectively with the speed of 52.4 and 89.1 times respectively compared to traditional WMD similarity computation algorithm.

英文關鍵詞Key words： smart procuratorate; domain ontology model; document classification; similarity computation; knowledge block summarization; Word Movers Distance （WMD）

0 引言

隨著全國司法機關大數據戰(zhàn)略的深入實施，國家檢察機關的“智慧檢務”、法院系統的“智慧法院”等智能化建設正在逐步推進[1]。首先是2014年1月統一業(yè)務應用系統部署上線以來積累了海量的數據，截至2016年12月31日，統一業(yè)務應用系統中的全國檢察機關案件數據量已突破1100萬件、電子卷宗200余萬卷、各類法律文書達1億多份;全國各級檢察機關在人民檢察院案件信息公開網發(fā)布案件程序性信息4494548條、重要案件信息204738條、法律文書1587940份。司法機關通過多年的信息化建設應用已經積累了海量的司法文書，如最高檢察院檢察信息公開網2016年一年就發(fā)布起訴書779478份，最高法院的中國裁判文書網截止2018年6月已發(fā)布判決書4677萬份，為開展司法智能服務提供了數據基礎。

海量的司法文書包含著豐富的有價值的信息，通過挖掘分析為檢察官和法官提供智能輔助辦案服務。對法院來說，可以為法官提供與當前案件相似的以往案件的判決文檔，通過類案推送為當前案件的審判提供參考;對檢察院而言，可以為公訴人對辦理案件的量刑建議提供參考，有效防止同案不同訴[2]。

基于文本相似度計算的海量司法文本自動化分類技術為輔助辦案提供了必要的、高效的智能化手段，可以將相同判決結果的司法文檔分成一類。當法官和檢察官處理一個案件的司法文檔時，可以將其自動分類的結果與他們給出的人工的判決結果進行比較，避免“同案不同判”現象的發(fā)生，進而給法官裁判提供智能輔助，也為法院的院庭長履行監(jiān)管職責、統一裁判尺度提供技術支撐。

文本自動分類在自然語言處理領域中是一個比較經典的問題。在傳統文本分類方法中，文本分類問題通常采用特征工程和分類器等方法[3]。特征工程分為文本預處理、特征提取、文本表示三個部分，最終目的是把文本轉換成計算機可理解的格式，并封裝足夠用于分類的信息，即很強的特征表達能力[4-5]。常用的方法有詞頻逆文檔頻率（Term FrequencyInverse Document Frequency， TFIDF）、詞袋模型（Bag Of Words， BOW）[6]、向量空間模型（Vector Space Model， VSM）[7-8]、潛在狄利克雷分布（Latent Dirichlet Allocation， LDA）[9]主題模型等。然而這些方法往往由于其文本表示通常是高維度高稀疏而導致特征表達能力很弱，因此針對司法文本的分類結果并不理想。許多研究基于機器學習方法的分類器來分類司法文檔[10-11]，如K最近鄰（KNearest Neighbors， KNN）、支持向量機（Support Vector Machine， SVM）[12-13]、最大熵[14]、決策樹[15]等。雖然詞向量（Word to Vector， Word2Vec）[16]分布表示模型可以通過神經網絡模型訓練和重構詞的語義環(huán)境[17-18]，能以向量形式表示詞且可以表達詞之間相似度的差異，但是它無法清晰表達文檔級別的語義[19]。

傳統的面向通用領域的文本分類方法因沒有考慮特定司法領域文本的復雜結構和知識語義而導致司法文本分類的效能很低，很難直接應用到面向特定司法領域的司法文書分類服務中。一方面，司法文書的文本分類應用涉及到刑事量刑等利益密切攸關的問題，因此對分類結果的準確率有著極高的要求（如至少90%以上的分類準確率甚至更高），因此需要結合司法領域的特定知識對傳統的方法進行性能改進; 另一方面，司法領域文本數量大且文本結構復雜。現有司法文書中涉及到各種各樣的不同案件，不同的案件涉及到不同的犯罪情節(jié)和量刑判決;在事實認定和量刑判決方面也存在較大差異;不同犯罪的司法文檔在情節(jié)特征和法律文書書寫規(guī)范上存在較大差異。

針對上述問題，本文提出一種基于司法知識塊摘要和詞轉移距離（Word Movers Distance， WMD）模型[16]的高效司法文檔分類方法，其關鍵在于通過信息抽取技術獲取司法文檔的核心知識塊摘要。一方面，知識塊摘要盡可能地保留了司法文檔核心語義知識，去除了與分類不相關的噪聲信息，從而試圖提升分類準確率; 另一方面，知識塊摘要與其原始的司法文本相比，在文檔容量上大幅降低了，這也無疑會減少后續(xù)文本相似度計算和文本分類算法的執(zhí)行時間，從而提升總體的文本分類效率。

本文首先為司法文書構建領域本體知識模型，進而基于領域本體，利用信息抽取技術獲取司法文檔中核心知識塊摘要; 然后基于司法文本的知識塊摘要利用WMD算法進行司法文檔相似度計算; 最后利用KNN算法進行司法文本分類。本文以兩個典型罪名的案件數據進行了相關實驗驗證，實驗結果表明，同傳統的WMD文檔相似度計算方法相比較而言，本文方法能明顯提高司法文本分類的正確率，同時也大幅降低了文檔分類所需的時間。

1 總體框架

本文采用方法的總體框架如圖1所示。首先，通過司法領域專家與領域模型知識表示專家共同合作，著眼于司法領域已有的業(yè)務知識和數據信息，為司法文書構建領域本體知識模型。本體知識模型從兩個角度進行構建：一方面，考慮到司法文書領域的共同特征為其構建頂層本體，包含了各種司法文書的一些共有屬性;另一方面，針對不同類型的司法文書為其構建領域具體本體，包含該類型文書特有的一些屬性。然后領域本體和頂層本體可以一種可擴展方式進行無縫集成，最終形成完整的司法文書領域知識模型。

基于領域本體，利用信息抽取技術獲取司法文檔中核心知識塊摘要。一個司法文檔的知識塊摘要，實際上指的是從該司法文檔中提取的最能反映該文檔內容和特征的某種特定類型的元素所組成的文本集合。組成元素類型可以是短語、句子或段落等。不失一般性，本文的司法知識塊摘要基于段落類型進行抽取。另外，考慮到司法文檔中的數字信息對于定罪和量刑至關重要，因此需要根據現有中國法律，采用基于規(guī)則的方法添加一些附加知識到知識塊。

接下來，首先將司法文檔和中文維基百科文本作為語料庫，采用基于人工神經網絡的方法為語料庫中的每個詞構建對應Word2Vec向量; 然后，基于司法文本的知識塊摘要，將每一個文檔知識塊摘要看成是一個詞的集合，進一步利用WMD模型，計算任意兩個司法文檔的知識塊摘要之間的相似度; 基于該相似度，最后利用KNN算法進行司法文本分類。

2 司法文書領域知識模型

一個司法文書中包含大量信息，但文檔中不同部分的信息價值對分析司法文檔是不一樣的， 因此，構造一個司法文書領域的知識模型對分析司法文書有很大幫助。于是基于犯罪構成理論構建司法文書領域知識模型，并利用本體知識表示技術[20]進行領域知識建模。本體是一種形式化共享概念化的規(guī)范，可以顯式地表示領域知識用于知識重用、共享和推理等服務。司法領域本體知識模型從兩個角度進行構建：一個是頂層本體，用于描述據司法文書領域的共同特征和共有屬性; 另一個是領域具體本體，它是針對不同類型的司法文書應用的，包含該類型文書特有的一些屬性。領域本體和頂層本體可以一種可擴展方式進行無縫集成，可以為具體領域的司法文書知識提供共享概念化模型。

對于司法判決書這一文書類型，以危險駕駛罪判決書作為其具體領域，如圖2所示。對于判決書來說，其頂層本體模型包含主體、客體、主觀方面、客觀方面、判決結果、刑事管轄權等方面。客觀方面又包括危害行為和危害結果;同時還包括文書基本信息（如文號）和判決結果信息。刑法規(guī)定刑罰分為主刑和附加刑。主刑是對犯罪分子適用的主要刑罰，它只能獨立使用，不能相互附加適用。任何判決書都具有這些基本特征，無論其涉及危險駕駛還是交通肇事等其他的具體領域。

對于領域具體本體而言，其內容特征較頂層本體而言則更為具體。比如，主刑可以根據具體案例的不同可以是管制、拘役、有期徒刑、無期徒刑和死刑等類型。附加刑可能包括罰金、剝奪政治權利、沒收財產和驅逐出境。文檔基本信息、主體、客觀方面、判決結果等部分類似的也都更為具體，如文檔基本信息包括判決書文號、審判機關、公訴機關、審判員和審判時間等信息。主體和客觀方面這兩個概念來自刑法中的犯罪構成要件： 主體則會具體指被告人的信息，包括姓名、職業(yè)、年齡、出生日期、是否有前科、是否累犯等信息; 客觀方面會涉及機動車輛類型、案發(fā)道路類型，其中機動車輛類型包括客車、貨車、轎車和摩托車等，道路類型包括公路、廣場、公共停車場等，危害行為包括醉酒駕駛、追逐競駛等。

3 司法文檔知識塊摘要

本文的分類標準依據是司法文檔中的客觀方面事實和判決結果，而文檔基本信息等內容對于分類而言是一種無效的信息，過多的無效信息無疑會增加噪聲而對分類的準確性造成影響， 而且分類算法也會因為這些無效信息而大幅增加了不必要的分類執(zhí)行時間， 因此排除無效信息對分類的準確度和效率有重要的意義。

司法文檔的知識塊摘要包括兩個步驟： 一是抽取出客觀方面部分， 客觀方面部分的內容主要決定了案件的判決結果; 二是抽取出司法文書中的判決結果部分，并將標準化判決結果添加到知識塊摘要中，依此為司法文書分類，獲得可供實驗用的帶標簽的數據集。因為司法文書在書寫規(guī)范和書寫風格上因人而異、沒有統一規(guī)定，因此核心知識塊的內容散布在文檔的不同位置，需要通過信息抽取技術進行摘要。

3.1 客觀方面的抽取

司法文書作為特定領域的半結構化文檔，其用詞和行文方式都有某種規(guī)律，因此本文采用基于規(guī)則匹配的方法來抽取客觀方面部分，并構造了所需的規(guī)則庫。

3.2 基于規(guī)則的信息抽取、標準化及知識添加本文采用基于規(guī)則的方法抽取審判結果，通過大量的正則表達式規(guī)則進行相關的信息抽取。例如，在司法文檔中，審判結果具有固定的用語和結構，即被告人+姓名+犯+罪名+判處+判決結果，利用這個規(guī)則，很容易就能提取出判決結果。再比如，不同的文書包含“導致…死亡…人”“致…人死亡”等涵義相同表達方式不同的用語。通過調研大量的判決書文本，找出一些通用表達方式并為其建立正則表達式。

另外，本文所抽取的審判結果主要是主刑部分，這樣就能得到形如“有期徒刑五年六個月”的判決結果部分。這里的“五年六個月”中的五和六在文檔中是漢字而不是阿拉伯數字，審判結果的標準化指的是將漢字轉化為阿拉伯數字，同時將月轉換為年，即將“五年六個月”轉化為5.5年，添加到知識塊摘要中。這樣做是為了方便根據刑期對司法文檔進行分類。

4 基于WMD模型的司法文檔分類

本文對司法文檔分類采用了三個步驟：首先，通過語料庫進行中文分詞并訓練其詞向量;然后，利用WMD模型計算每個司法文檔的知識塊摘要之間的相似度距離;最后，使用KNN模型對知識塊摘要進行文本分類從而間接地確定初始文檔的分類。

WMD模型是一種最近被提出來的用于度量文本相似度的算法，其作者在論文中將之與幾種常用的相似度度量算法，如BOW、TFIDF、LDA、潛在語義索引（Latent Semantic Index，LSI）等進行了比較，實驗結果顯示，WMD模型在文本分類任務中，分類準確率明顯優(yōu)于其他幾種算法，因此本文選擇WMD模型進行文本的相似度度量。

4.1 基于Word2Vec的詞向量模型構建

本文采用Word2Vec模型為司法文檔構建詞向量模型。所訓練的語料庫結合一部分司法文檔以及來自中文維基百科文本。詞向量具有良好的語義特性，也是表示詞語特征的常用方式。Word2Vec模型可以將所有的詞向量化，以表示、度量和挖掘詞與詞之間的定量關系。利用深度較淺的雙層神經網絡進行訓練可以為語料庫中的每個詞產生對應的詞向量。利用Word2Vec詞向量模型，可以進一步分析計算詞與詞之間的語義相關性。

4.2 基于WMD模型的文本相似度計算

WMD是一種距離度量的定義模型，可以用于自然語言處理領域的文本向量的相似度計算。在計算兩個文檔之間的WMD距離時，首先，使用JieBa分詞工具對中文司法文檔進行分詞，將一個漢字序列切分成一個一個單獨的詞。

WMD使用正則化的詞袋模型（normalized BOW， nBOW）表示文檔，使用d∈Rn表示一篇文檔，其中n表示nBOW模型的長度，即數據集中不同詞的數目（去除停用詞），代表文檔中第i個詞的di=ci/∑nj=1cj，其中ci是第i個詞在該文檔中出現的次數。同時，WMD使用了詞向量技術，這樣兩個詞i和j之間的距離可以自然地用二者在詞向量空間的歐氏距離表示，即c（i， j）=‖xi-xj‖2，為了避免混淆詞距離與文檔距離，將c（i， j）稱為詞轉移代價。然后通過詞轉移代價可以進一步計算文檔之間的距離。具體做法是：分別用d和d′表示兩篇不同的文檔， 令d中的每個詞都可以部分或全部的轉化為d′中的任何詞，那么將d中的全部詞轉化為d′中的全部詞所花費的最小代價即是兩個文檔之間的距離。這里用一個流量矩陣T∈Rn×n表示d中的詞向d′中的詞的轉化情況，Tij表示d中第i個詞向d′中第j個詞的轉化量，為了保證d完全地轉化為了d′，需要滿足∑jTij=di，即詞i轉化到d′中各詞的量的總和等于di，同樣地，還需令∑iTij=dj′，這是為了滿足d中各詞轉化到詞j的量的總和等于dj′。在滿足以上兩個約束同時，兩個文檔之間的距離可表示為：

4.3 基于KNN的文檔分類

本文使用KNN算法進行司法文檔分類，考慮到KNN算法簡單高效。其核心思想是如果一個樣本在特征空間中的k個最相鄰的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別，并具有這個類別上樣本的特性。通過WMD計算文檔之間的距離，來找到待分類文檔的k個最相鄰的文檔，從而實現文檔分類，在分類中只需要優(yōu)化KNN算法中的k，除此之外沒有其他需要優(yōu)化的參數。

5 司法文檔分類實驗與結果分析

5.1 司法文檔數據集

實驗所用司法文檔為刑事案件判決書，來源于中國裁判文書網（http：//wenshu.court.gov.cn/），共1302份文檔，其中交通肇事罪有615份，危險駕駛罪687份。危險駕駛罪的判決書中主刑部分有兩種：拘役和有期徒刑（數罪并發(fā)情況）。因此根據主刑分類將危險駕駛罪文檔分成兩類，各類文檔數量分別是340份和337份。交通肇事罪的主刑分為有期徒刑和拘役兩種，但在交通肇事罪中若出現被告人逃逸致人死亡的情節(jié)時，則有期徒刑的刑期必然超過七年，因此將交通肇事罪文檔分為三類，即拘役、有期徒刑刑期七年以下和有期徒刑七年以上，各類文檔數量分別是250份、250份和115份。這樣使得數據集預先就整理成了帶標簽的實驗數據。

5.2 司法文檔Word2Vec詞向量訓練語料庫

WMD算法將文檔中的詞用詞向量表示，本文在一份由一萬份包括各種罪名的司法文檔和中文維基百科語料庫組成的語料庫上訓練了一個詞向量模型。在訓練之前，移除了停用詞，最終在包括總共超過3百萬不同詞的數據集上訓練并得到了一個維度為400的詞向量模型。

5.3 實驗設置與實驗指標

本實驗使用Python語言進行編程，在單核性能3.6GHz的CPU上進行司法文檔分類實驗。實驗指標則分別用來比較知識塊摘要前后分類算法的分類準確率、詞的平均數目以及平均執(zhí)行時間。

論文進行如下4組實驗：

1）基于危險駕駛罪原始判決書文檔，進行WMD計算和KNN分類。

2）基于交通肇事罪原始判決書文檔，進行WMD計算和KNN分類。

3）基于危險駕駛罪文檔的知識塊摘要，進行WMD計算和KNN分類。

4）基于交通肇事罪文檔的知識塊摘要，進行WMD計算和KNN分類。

對于每組實驗，使用了重復隨機子抽樣驗證的方法，每次將數據集隨機以4 ∶1的比例分為訓練集和驗證集，得出每次的實驗結果，共重復5次，之后算得平均實驗結果。

5.4 實驗結果分析

6 結語

本文針對司法文書的相似性分析實現類案推送并為司法人員提供智能輔助辦案服務的應用場景，建立了司法文書的領域本體知識模型以及司法文書語義信息抽取方法，并基于該模型將WMD算法應用到司法領域的文檔分類，進行了兩個典型罪名的案件數據的驗證，實驗結果表明該方法明顯提高了分類的正確率，且大幅降低了分類所需的時間。下一步將把該領域知識模型擴展到盜竊罪、故意傷害罪等常用罪名并進行系統驗證。

參考文獻 （References）

[1] ??? 馬建剛.檢察實務中的大數據[M].北京：中國檢察出版社，2017： 17-23. （MA J G. Procuratorial Big Data[M]. Beijing： China Procurational Press， 2017：17-23.）

[2] ??? ZHANG N， PU Y， YANG S， et al. An ontological Chinese legal consultation system [J]. IEEE Access， 2017， 5：18250-18261.

[3] ??? CASARI A， ZHENG A. Feature Engineering for Machine Learning[M]. Sebastopol， CA： OReilly Media， 2018：247-251.

[4] ??? LI C L， SU Y C， LIN T W， et al. Combination of feature engineering and ranking models for paperauthor identification in KDD Cup 2013[C]// Proceedings of the 2013 KDD Cup 2013 Workshop. New York： ACM， 2013： Article No. 2.

[5] ??? XU Y， HONG K， TSUJII J， et al. Feature engineering combined with machine learning and rulebased methods for structured information extraction from narrative clinical discharge summaries[J]. Journal of the American Medical Informatics Association， 2012， 19（5）： 824-832.

[6] ??? GALGANI F， COMPTON P， HOFFMANN A. LEXA： building knowledge bases for automatic legal citation classification[J]. Expert Systems with Applications， 2015， 42（17）： 6391-6407.

[7] ??? SALTON G， WONG A， YANG C S. A vector space model for automatic indexing[J]. Communications of the ACM， 1975， 18（11）： 613-620.

[8] ??? HAMMOUDA K， KAMEL M. Phrasebased document similarity based on an index graph model[C]// Proceedings of the 2002 IEEE International Conference on Data Mining. Washington， DC： IEEE Computer Society， 2002： 203-210.

[9] ??? BLEI D M， NG A Y， JORDAN M I， et al. Latent Dirichlet allocation[J]. Journal of Machine Learning Research， 2003， 3（4/5）： 993-1022.

[10] ?? ROITBLAT H L， KERSHAW A， OOT P. Document categorization in legal electronic discovery： computer classification vs. manual review[J]. Journal of the Association for Information Science and Technology， 2010， 61（1）： 70-80.

[11] ?? NOORTWIJK K V， NOORTWIJK K C. Automatic document classification in integrated legal content collections[C]// Proceedings of the 16th International Conference on Artificial Intelligence and Law. New York： ACM， 2017： 129-134.

[12] ?? SULEA O， ZAMPIERI M， MALMASI S， et al. Exploring the use of text classification in the legal domain[J/OL]. arXiv Preprint， 2017， 2017： arXiv：1710.09306 [2017-10-25]. https：//arxiv.org/abs/1710.09306.

[13] ?? SARIC F， DALBELO B， MOENS M F， et al. Multilabel classification of croatian legal documents using eurovoc thesaurus[EB/OL].[2018-03-20].http：//core.ac.uk/download/pdf/34600531.pdf.

[14] ?? BAJWA I S， KARIM F， NAEEM M A， et al. A semisupervised approach for catchphrase classification in legal text documents[J]. Journal of Computers， 2017， 12（5）： 451-461.

[15] ?? SILVESTRO L D， SPAMPINATO D， TORRISI A. Automatic classification of legal textual documents using C4.5[EB/OL].[2018-03-20].http：//www.ittig.cnr.it/Ricerca/Testi/SpampinatoDi_SilvestroTorrisi2009.pdf.

[16] ?? KUSNER M J， SUN Y， KOLKIN N I， et al. From word embeddings to document distances[C]// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 957-966.

[17] ?? MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space[J/OL]. arXiv Preprint， 2013， 2013： arXiv：1301.3781 （2013-01-16） [2013-09-07]. https：//arxiv.org/abs/1301.3781.

[18] ?? MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality[C]// Proceedings of the 26th International Conference on Neural Information Processing Systems. New York： Curran Associates， 2013： 3111-3119.

[19] ?? ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks[C]// Proceedings of the 13th European Conference on Computer Vision. London： Springer， 2014： 818-833.

[20] ?? GOMEZPEREZ A， FERNANDEZLOPEZ M， CORCHO O. Ontological Engineering[M]. London： Springer， 2004：173-182.

[21] ?? SUN J J. Jieba Chinese word segmentation tool[CP/OL]. （2018-01-21） [2018-06-25]. https：//github.com/fxsjy/jieba.

[22] ?? LEVENSHTEIN V I. Binary codes capable of correcting deletions， insertions， and reversals[J]. Soviet Physics Doklady， 1966， 10（8）： 707-710.