基于深度條件依賴網(wǎng)絡(luò)的裁判文書信息抽取

翁 洋，向 迪 ，郭曉冬，洪文興，李 鑫

(1.四川大學數(shù)學學院，四川成都610064；2.廈門大學航空航天學院，福建廈門361102；3.四川大學法學院，四川成都610207)

近年來，司法領(lǐng)域的數(shù)據(jù)量迅速增長.法官、律師和檢察官等法律專業(yè)人員不僅要處理大量案件，還需要查閱大量檔案以供參考或分析與案件有關(guān)的數(shù)據(jù).這可能會導致司法工作效率低下，出錯的風險增加.如何將人工智能技術(shù)應用在司法領(lǐng)域，提高司法人員在案件處理環(huán)節(jié)的效率逐漸成為法律人工智能研究的熱點[1-3].人工智能在法律領(lǐng)域的落地，不僅需要了解法律規(guī)范，還需要對法律運行狀態(tài)有深刻的認知.法律的實施、運行情況被集中地記錄在裁判文書中，我國已有近億份裁判文書上網(wǎng)公開，為法律人工智能應用提供了堅實的數(shù)據(jù)基礎(chǔ).因此，本文將重點放在如何幫助司法人員利用大規(guī)模裁判文書對案件進行解釋和公正判斷上.對于司法判決的可解釋性和公正性，一種可行的方法是從裁判文書中抽取相關(guān)案件要素，案情事實中的重要事實表述是法律規(guī)范所涉要素在具體案件中的具體表現(xiàn)，可以使用這些事實描述來幫助司法判決；另一種可行的方法是從裁判文書中挖掘爭議焦點，我國法院已形成了通過圍繞爭議焦點展開審判提高審判效率的審判模式，利用爭議焦點理清審判思路可以幫助司法公正.所以，面向大規(guī)模裁判文書的信息抽取技術(shù)的突破能提高法院運行效率，為法官的審判工作提供輔助；為法律人工智能的新技術(shù)研究提供支撐；對社會運行態(tài)勢進行研判，為黨政機關(guān)決策提供輔助.

信息抽取是從自然語言文本中抽取指定類型的實體、關(guān)系與事件等事實信息，并形成結(jié)構(gòu)化數(shù)據(jù)輸出的文本處理技術(shù)[4-6], 然而，由于法律領(lǐng)域的知識壁壘，基于裁判文書的信息抽取技術(shù)還處于主要利用基于人工制定規(guī)則匹配的階段[7].目前在法學領(lǐng)域內(nèi)存在兩種裁判文書信息抽取方法：一是正則表達式匹配的方法，即通過人工制定匹配規(guī)則及策略進行相應的標簽確定；二是基于機器學習的文本分類方法，通過法學專家制定標簽體系，并根據(jù)標簽體系標注數(shù)據(jù)，利用標注數(shù)據(jù)訓練文本分類模型.

在具體案件中，多個司法標簽可能出現(xiàn)在同一語句中，以符合案件實際情況及通常的語言表達習慣.因此，將裁判文書信息抽取任務(wù)轉(zhuǎn)換為多標簽文本分類是自然語言處理技術(shù)應用在司法領(lǐng)域的合理應用.由于法律信息的獨特結(jié)構(gòu)、法言法語自成體系的表達和推理方法，傳統(tǒng)的低召回的正則提取方式和實體識別提取方式便不再適用，需要根據(jù)領(lǐng)域?qū)＜裔槍λ璨门形臅男畔撕烍w系進行分類.

早期的多標簽文本分類算法將多標簽問題轉(zhuǎn)變?yōu)槎鄠€單標簽的分類問題[8]，這類方法會丟失標簽之間的相關(guān)性.利用標簽之間的依賴關(guān)系已是多標簽學習的一個重要研究方向[9-14].概率圖模型是一種描述變量之間關(guān)系的模型框架，其在多標簽分類中也有諸多應用，例如貝葉斯網(wǎng)絡(luò)[15-17]和條件隨機場[18]，然而這些圖模型需要復雜的學習和推斷過程.Guo等[19]提出條件依賴網(wǎng)絡(luò)(conditional dependency network，CDN)來建模標簽之間的依賴關(guān)系，直觀地描述了標簽之間的依賴性，并且不用進行復雜的網(wǎng)絡(luò)學習和推斷.在文本多標簽分類任務(wù)中，傳統(tǒng)的多標簽學習算法一般利用詞層級的稀疏特征作為文本的特征表達，例如詞袋模型和n-gram[20].這些表達忽略了文本中深層次的語義信息，而傳統(tǒng)多標簽分類算法自身的特征提取能力不足，這導致傳統(tǒng)的多標簽算法難以充分利用文本信息.為了更有效地利用文本信息，許多深度學習網(wǎng)絡(luò)模型[21-24]被應用于多標簽文本分類任務(wù)中.然而，在這些網(wǎng)絡(luò)結(jié)構(gòu)中標簽之間的依賴關(guān)系也沒有得到很好的利用.為了更好地利用標簽之間的依賴關(guān)系，Kurata等[25]提出當用卷積神經(jīng)網(wǎng)絡(luò)(CNN)處理多標簽文本分類任務(wù)時，用標簽之間的共現(xiàn)關(guān)系來初始化網(wǎng)絡(luò)最后輸出層的權(quán)重，以此利用標簽之間的依賴關(guān)系.Chen等[26]建立卷積神經(jīng)網(wǎng)絡(luò)-循環(huán)神經(jīng)網(wǎng)絡(luò)(CNN-RNN)網(wǎng)絡(luò)，CNN-RNN將CNN和RNN整合在一個網(wǎng)絡(luò)中以利用文本的語義表達，并建模標簽之間的關(guān)系.Baker等[27]利用基于CNN的共現(xiàn)行為來初始化最后的隱藏層以提升模型表現(xiàn).Yang等[28]提出SGM，其利用基于長短時記憶(LSTM)的序列到序列的網(wǎng)絡(luò)結(jié)構(gòu)來逐次產(chǎn)生標簽，同時網(wǎng)絡(luò)中還利用了注意力機制.隨著預訓練模型(bidirectional encoder representations from transformers,BERT)[29]的廣泛流行，X-BERT[30]的出現(xiàn)利用BERT來處理極大規(guī)模多標簽文本分類問題.除此之外，很多用于多標簽文本分類的深度學習模型具有特定的形式，不容易進行模型擴展，難以讓各種強有力的網(wǎng)絡(luò)模型在多標簽文本分類任務(wù)中得到簡便有效的利用，因此研究深層語義表示和要素標簽建模相結(jié)合的深度學習框架顯得尤為重要.

本文的主要目的是為了將司法信息從裁判文書中自動抽取出來，并根據(jù)領(lǐng)域?qū)＜以O(shè)計的標簽體系進行分類.因此根據(jù)司法判決可解釋性和公正性的需要，進行以下兩個裁判文書信息抽取任務(wù)，一是案件要素抽取，二是爭議焦點抽取.具體地，給定司法文書中的相關(guān)段落，系統(tǒng)需針對文本信息進行判斷，識別其中的關(guān)鍵標簽信息.然而這些標簽之間存在依賴關(guān)系，一個司法標簽的出現(xiàn)可能導致另一個司法標簽出現(xiàn)概率的增加.現(xiàn)有的大多數(shù)工作只關(guān)注于標簽的提取任務(wù)，而忽略了標簽之間的依賴關(guān)系.為了解決這個問題，提出了基于深度條件依賴網(wǎng)絡(luò)的裁判文書信息抽取框架(framework for information extraction of judgment documents based on deep conditional dependency network，DCDN)，即利用深度CPN去構(gòu)建司法標簽間的依賴性，以更準確的抽取裁判文書中的信息.

總的來說，本文的貢獻為以下幾點：

1) 將構(gòu)建標簽關(guān)系的條件依賴網(wǎng)絡(luò)思想與深度學習網(wǎng)絡(luò)模型結(jié)合在一起，更好地利用裁判文書文本信息和司法標簽之間的依賴關(guān)系，并將它們置于同一網(wǎng)絡(luò)下互相指導學習，以此來提升具有依賴關(guān)系的司法標簽提取效果.

2) 在真實場景司法數(shù)據(jù)集CAIL2019(案件要素抽取)上的實驗結(jié)果表明本文提出的框架用于案件要素抽取任務(wù)具有較好的擴展性和有效性，此外，本文的模型取得了幾乎全方位的效果提升.

3) 在真實場景司法數(shù)據(jù)集LAIC2021(爭議焦點識別)上的實驗結(jié)果表明本文提出的框架用于爭議焦點任務(wù)具有較好的有效性，本文的模型相比基線有一致且較大的改進.

1 方 法

1.1 裁判文書信息抽取任務(wù)描述

裁判文書信息抽取是從裁判文書中抽取指定類型的司法信息.裁判文書信息抽取的任務(wù)多樣，包括并不僅限于裁判文書的段落標簽、爭議焦點、案情事實中的案情要素以及案情事實中的實體和關(guān)系.結(jié)合法學知識，主要考慮了兩個信息抽取任務(wù)，一是案件要素抽取，二是爭議焦點抽取.案件要素指案情事實描述中的關(guān)鍵行為詞及與行為相關(guān)的要素.案件要素提取任務(wù)是對裁判文書案件事實描述段落打上相應的案件要素標簽(圖1左)，屬于多標簽樣本分類任務(wù).此外，案件標簽間往往存在依賴關(guān)系，即在同一個案件事件描述中一個案件要素標簽的出現(xiàn)可能導致另一個案件要素標簽出現(xiàn)概率的增大.例如，在離婚案件中，案件事實如果有“婚后有子女”的標簽，那么它同時具有“支付撫養(yǎng)費”標簽的概率就會很大.爭議焦點是案件雙方當事人爭執(zhí)的核心分歧點和法官裁判思路的內(nèi)容，爭議焦點提取任務(wù)是根據(jù)裁判文書中原被告的訴請及答辯內(nèi)容，對其中訴辯雙方在證據(jù)、事實和法律適用方面的的爭議焦點進行識別和檢測(圖1右)，屬于多標簽樣本分類任務(wù).同理于案件要素提取，爭議焦點間往往也會存在依賴關(guān)系.

圖1 裁判文書信息抽取的例子Fig.1Example of information extraction from judgment document

1.2 DCDN

圖2 DCDN框架示意圖Fig.2DCDN framework diagram

受到CDN[19]描述的標簽之間的依賴關(guān)系啟發(fā)，利用條件依賴網(wǎng)絡(luò)的思想建模標簽之間的依賴關(guān)系，以此構(gòu)建基于深度條件依賴關(guān)系的裁判文書信息抽取框架.本文提出的DCDN,主要包含裁判文書特征提取網(wǎng)絡(luò)與標簽依賴關(guān)系網(wǎng)絡(luò)兩個部分，假設(shè)每一個司法標簽與其他司法標簽有關(guān)，關(guān)系程度的大小由權(quán)重決定.整體板塊如圖2所示.

隨著BERT的出現(xiàn)，將BERT融入深度學習模型是得到高精確、高召回模型的常見措施，因此，本文中首先使用BERT作為基礎(chǔ)模型以獲取裁判文書輸入序列的上下文表示.輸入到BERT的序列通常為：

[CLS] [SEP].

然后利用BERT獲取每個字符的上下文表示H(x)，用于特征抽取.對于輸入序列(x1,x2,…,xN),有

H(x)=Bert(x1,x2,…,xN).

(1)

引入一個新的參數(shù)矩陣Wf∈RL×dim(H(x)),其中L表示需分類的司法標簽數(shù)，那么司法標簽預測信息向量可以通過下式得到：

F(x)=WfH(x).

(2)

正如圖2所示,將不包括第i個標簽的標簽集y-i中司法標簽的具體值(1或0)做線性組合之后加到標簽信息預測向量F(x)的第i維上，以此獲得一個在給定x和y-i中司法標簽具體取值的情況下第i個司法標簽的最終預測信息，即：

F(x)i+wi1y1+wi2y2+…+wii-1yi-1+

wii+1yi+1+…+wiLyL,

其中wij是權(quán)重參數(shù)，它在一定程度上暗示第i個司法標簽和第j個司法標簽的相關(guān)程度.讓Wy∈RL×(L-1),Wy中的元素即為wij,然后便能得到司法標簽的最終條件預測信息：

F(x)+Wy·Ys,

上式中·為Hadamard乘積，Ys∈RL×(L-1)表示司法標簽具體取值的矩陣.Ys第i行的形式如下：

y1,y2,…,yi-1,yi+1,…,yL,

隨后利用sigmoid函數(shù)σ便能得到每個司法標簽的條件預測概率：

(3)

2 模型訓練與預測

2.1 損失函數(shù)及訓練方式

DCDN中網(wǎng)絡(luò)結(jié)構(gòu)的最終輸出為在給定裁判文本序列x和一定司法標簽具體值下對某一個標簽的條件概率預測，輸出第i個司法標簽的條件概率預測值如式(3)所示.這是一個在一定條件下的二值概率預測問題，因此用binary-crossentropy損失函數(shù):

(1-yi)log(1-p(yi=1|F(x),y-i))],

(4)

其中D是樣本數(shù)量，訓練過程中可為每個批次中的樣本數(shù)量.訓練過程中，在預訓練模型特征提取網(wǎng)絡(luò)前端輸入了裁判文本序列x后，對于每一個司法標簽的預測還需要輸入此樣本x訓練數(shù)據(jù)對應的其他司法標簽值，這些都是類似于已有觀測的特征輸入.整個訓練過程本質(zhì)上與普通神經(jīng)網(wǎng)絡(luò)的訓練過程一致.

本文中用反向傳播算法來說明DCDN在訓練過程中參數(shù)的梯度計算形式.僅僅給出DCDN中F(x)之后的參數(shù)梯度形式，當誤差由DCDN后端傳到F(x)之前的網(wǎng)絡(luò)結(jié)構(gòu)時，參數(shù)梯度的計算方式與通常的神經(jīng)網(wǎng)絡(luò)反向傳播梯度計算方式一致.

首先令

則

使DCDN最后未通過sigmoid函數(shù)的輸出為：

Z=F(x)+Wy·Ys,

位于輸出層前一層的誤差δ′i可通過F(x)反向傳播.設(shè)輸出層前一層的輸出Z′,則

出現(xiàn)以上求和式的原因為Z′在經(jīng)過全連接層之后與F(x)中的每一項均有關(guān).由δ′i便可將誤差傳播到網(wǎng)絡(luò)前端，據(jù)此可根據(jù)具體網(wǎng)絡(luò)結(jié)構(gòu)計算每個參數(shù)的梯度.在計算網(wǎng)絡(luò)參數(shù)的梯度之后，通過一些深度學習的優(yōu)化方法就可進行訓練過程中的參數(shù)更新.

2.2 預測推斷

算法1gibbs sampling for inference

輸入:Text sequence,x; Number of labels,L; Burn-in iteration number,nb; Instance collection iteration number,nc

輸出:Predictor sequence of labels,y.

1: initializey=(y1,y2, …,yL),l=0;

2: choose a random orderingrover label spaceY.

3: forj=1 tonb+ncdo

4: fori=1 toLdo

5:q=p(yr(i))=1|F(x),y-r(i))

6: sampleu～uniform distribution of (0,1);

7: ifu≤qthenyr(i)=1

8: elseyr(i)=0

9: end if

10: ifj>nbthen

12: ifl

14: end if

15: end if

16: end for

17: end for

3 實驗部分

3.1 數(shù)據(jù)集和評價標準

在CAIL2019(http:∥cail.cipsc.org.cn:2019/index.html 2019年中國法研杯司法人工智能挑戰(zhàn)賽)(案件要素抽取)上進行裁判文書案件要素信息抽取實驗.數(shù)據(jù)集中的全部數(shù)據(jù)來源于中國裁判文書網(wǎng)上的法律文書.每個訓練數(shù)據(jù)的文本由法律文書的案情描述部分組成，其中每個句子都被同時分配了至少一個對應的類別標簽.在這篇文章中，用離婚領(lǐng)域的小數(shù)據(jù)集來進行實驗，并把數(shù)據(jù)集劃分為訓練集和驗證集.其中，訓練集包含10 484條句子層級的樣本，而驗證集包含1 201條句子層級的樣本，并且整個數(shù)據(jù)集一共有20個標簽(表1).

表1 預定義案件要素標簽

在LAIC2021(http:∥data.court.gov.cn/pages/laic2021.html 第四屆中國法研杯司法人工智能挑戰(zhàn)賽)(爭議焦點識別)上進行裁判文書爭議焦點信息抽取實驗.全部數(shù)據(jù)來源于浙江省高級人民法院提供并標注的法院裁判文書，包含大約14 000篇裁判文書以及人工額外標注的爭議焦點(標簽形式)，其中所涉及到的裁判文書均為民事判決書，涉及的案由包括民間借貸、離婚、機動車交通事故責任、金融借款合同等.在本文中，按8∶1∶1的比例將數(shù)據(jù)集劃分為訓練集，驗證集和測試集.這個數(shù)據(jù)集一共包括了148個爭議焦點標簽.

采用Micro精確率(Mi-P)、Micro召回率(Mi-R)和Micro-F1值(Mi-F1)作為評價指標.

3.2 實驗設(shè)置

利用下述基線模型與本文提出的框架進行對比.

CNN:用CNN作特征提取表達，之后利用sigmoid函數(shù)得到每個標簽的概率輸出.

RNN:用RNN作特征提取表達，其他與CNN相同.

BERT:用BERT作特征提取表達，其他與CNN相同.

SGM[28]:將多標簽分類任務(wù)視為序列生成問題，構(gòu)建基于LSTM的序列到序列的網(wǎng)絡(luò)模型.不僅構(gòu)建了標簽間的依賴性，還獲取了輸入文本的關(guān)鍵信息.

LSAN[32]:基于注意力機制來學習特定標簽的文檔表示,能夠利用標簽的語義信息來確定標簽和文檔之間的語義聯(lián)系來建立特定標簽的文檔表示.

RBT-MRC[33]: 引入標簽信息和法律先驗知識構(gòu)造輔助問句，利用BERT機器閱讀理解模型建立輔助問句和裁判文書之間的語義聯(lián)系提取司法要素，該方法僅在案件要素提取任務(wù)中作為基線模型.

此外，為了證明CDN融入深度學習模型的思想具有良好的擴展性，還考慮將CDN融入CNN(CNN-DCD)和GRU(GRU-DCD)作為基線模型.

考慮到兩個數(shù)據(jù)集的最大字長，數(shù)據(jù)量等各不相同，設(shè)置兩個數(shù)據(jù)集上實驗的參數(shù)如表2所示.在CAIL2019(案件要素抽取)數(shù)據(jù)集上，用Adam優(yōu)化器[34]極小化損失函數(shù)，并設(shè)置優(yōu)化器中的兩個動量參數(shù)β1和β2分別為0.900和0.999.實驗中初始的學習率為0.000 5，并且每3個訓練輪次后學習率縮減為原來的五分之三.對于在DCDN中涉及的Gibbs采樣過程，設(shè)置burn-in次數(shù)為10，并且進行另外的10輪迭代來收集采樣樣本.在DCDN的訓練過程中每1 000

表2 超參數(shù)設(shè)置

次做一次驗證集上的評估.所用的BERT中文預訓練模型為Chinese_L-12_H-768A-12(https:∥github.com/google-research/bert#pre-trained-models).

在LAIC2021(爭議焦點識別)數(shù)據(jù)集上，用Adam優(yōu)化器[29]極小化損失函數(shù)，并設(shè)置優(yōu)化器中的學習步長為0.000 01.對于在DCDN中涉及的Gibbs采樣過程，與CAIL2019(案件要素抽取)中設(shè)置保持一致.在完成訓練之后，選擇在驗證集上具有最低損失的模型作為最終的測試模型，并在測試集上測試結(jié)果.所用的BERT中文預訓練模型為bert-base-chinese(https:∥huggingface.co/bert-base-chinese).

3.3 結(jié)論和討論

表3給出了DCDN和所有基線模型在CAIL2019(案件要素抽取)數(shù)據(jù)集上的實驗結(jié)果.如表3所示，DCDN在所有評價標準上都得到了最好的結(jié)果.與CNN、GRU、SGM、LSAN和RBT-MRC模型相比，DCDN模型的改進較大.與現(xiàn)在最常用的BERT模型相比，Mi-P增加了約0.37個百分點，Mi-R增加了1.62 個百分點，Mi-F1分數(shù)增加了1個百分點.這表明DCDN在案件要素抽取任務(wù)上的有效性.此外，CNN-DCD和DCDN模型相較于無深度CDN的CNN、BERT模型在所有指標上都得到了提升，GRU-DCD模型相較于GRU模型在Mi-R和Mi-F1得到了提升.這表明了將條件依賴網(wǎng)絡(luò)融入深度學習模型的思想具有良好的擴展性.綜合來看，本文的模型優(yōu)于基準模型,表現(xiàn)出融入要素標簽之間的依賴關(guān)系可以使案件要素抽取的效果得到進一步提升.

表3 在CAIL2019(案件要素抽取)驗證集上的實驗結(jié)果

表4給出了DCDN和所有基線模型在LAIC2021(爭議焦點識別)數(shù)據(jù)集上的實驗結(jié)果.如表4所示，DCDN在Mi-R和上Mi-F1分數(shù)都得到了最好的結(jié)果.Mi-P相較于在此指標上表現(xiàn)最好的CNN模型降低了5.70個百分點，Mi-R相較于在此指標上表現(xiàn)最好的BERT模型提高了11.39個百分點，Mi-F1分數(shù)相較于在此指標上表現(xiàn)最好的BERT模型提高了2.79 個百分點.這表明DCDN在爭議焦點識別任務(wù)上的有效性.此外，CNN-DCD和DCDN模型相較于對應的CNN、BERT模型在Mi-R和Mi-F1分數(shù)上得到了提升，GRU-DCD模型相較于GRU模型在Mi-P上得到了提升.這表明了將CDN融入深度學習模型的思想具有良好的擴展性.

表4 在LAIC2021(爭議焦點識別)測試集上的實驗結(jié)果

值得一提的是，相較于CAIL2019(案件要素抽取)是對短文本的司法句子進行標簽標注，LAIC2021(爭議焦點識別)是對長文本的司法段落進行標簽標注并且標簽數(shù)多達148個，這些易導致實驗的最終效果不佳.此外，CNN擅長空間特征的學習和捕獲.RNN擅長時序特征的捕獲.傳統(tǒng)的RNN模型在解決長序列之間的關(guān)聯(lián)時，表現(xiàn)很差，原因是在進行反向傳播的時候, 過長的序列導致梯度的計算異常, 發(fā)生梯度消失或爆炸.爭議焦點識別更注重于局部信息抽取，而不是時序特征的捕獲，例如出現(xiàn)“撫養(yǎng)”，傾向于根據(jù)這兩個字給段落打上“撫養(yǎng)費”標簽，而不是通過這個段落的語義.所以在長文本LAIC2021數(shù)據(jù)集上，GRU和基于LSTM的SGM、LSAN的效果不好,而基線模型CNN的Mi-P得到了最好的效果.

3.4 樣例分析

本文給出了一個直觀的例子(表5)來證明DCDN在爭議焦點任務(wù)上的重要性.

如表5所示，案例是關(guān)于醫(yī)療費用糾紛案.本案的爭議焦點為：1) 醫(yī)護費用認定，2) 保險公司責任承擔情況.DCDN正確預測出醫(yī)護費用認定焦點，錯誤預測出易混淆的基于醫(yī)療費用的損失賠償數(shù)額認定焦點.而BERT模型無法預測出任何爭議焦點.由該案例知，DCDN在顯著提高模型召回率的同時，也會降低模型的精確率.

表5 爭議焦點樣例分析

4 結(jié) 論

本文提出了DCDN，該方法首先采用BERT預訓練模型來提取裁判文書的深層次語義信息，再借助CDN的思想構(gòu)建司法標簽間的依賴關(guān)系.結(jié)合法學知識，主要考慮了兩個信息抽取任務(wù)，一是案件要素抽取，二是爭議焦點抽取，并在兩個真實數(shù)據(jù)集上進行了實驗.實驗結(jié)果表明，本文的模型相比基線有一致且較大的改進，這表明該模型在裁判文書信息抽取上的有效性.此外，還實驗了將CDN運用到其他深度學習模型上，證明了該模型的擴展性.

然而本文發(fā)現(xiàn)該框架的訓練和預測是完全割裂開的，訓練的目的是為了獲得描述標簽依賴關(guān)系的條件概率，預測時需要利用這些訓練出的條件概率通過Gibbs采樣進行推斷，因此DCDN其實還不是一個完整統(tǒng)一的框架.在未來的工作中，希望通過考慮整體性的所有標簽以指導整個網(wǎng)絡(luò)的學習.