基于事件畫像和案例推理的社區工單處置

強海玲,陳 劍,佘祥榮,陳健鵬,陳 鋼

(長三角信息智能創新研究院,安徽 蕪湖 241000)

0 引 言

近年來,各地政府嘗試將信息技術嵌入服務流程中,逐步推動政務服務數字化轉型。在此背景下,12345便民服務熱線受理的群眾訴求工單也逐步下層到社區去處置。大多數12345便民服務熱線工單文本都在200字以內,內容相對稀疏,且工單文本的主題序列涵蓋城市生活的諸多領域[1]。對于社區管理人員來說,如何高效處置上級單位派發的工單,及時滿足人民群眾的訴求,對于提升政府治理能力具有重要意義。借助于用戶畫像理念,事件畫像(Event Portrait)將事件視為一個對象,使用大數據畫像技術對相關特征分析挖掘,留下對事件畫像刻畫有貢獻的特征,實現對事件更為清晰、直觀的勾勒描述。事件畫像主要包括三類特征:事件主題內容(類型、觸發詞)、事件元數據信息(地理信息、時間信息、主客體等)、事件其他信息(任務、關鍵詞等)。案例推理(Case-Based Reasoning,CBR)從歷史案例庫中獲取經驗和知識,針對新舊情況的差異做相應的調整,從而得到新問題的解決方案并形成新的案例[2]。

社區工單處置的目的是及時處置群眾反映的事件,處置事件的措施能夠為未來同類事件提供參考。事件處置旨在使用最佳手段解決問題,由于歷史事件庫中留存了大量已發生事件的解決方式,所以社區管理者可以從歷史庫中選擇一個與待處置事件最為相似的事件加以參考,減少處置響應時間,提升決策效率和科學性。為了在社區海量事件庫中快速、準確地檢索工單所包含的相似事件及處置方案,該文提出一種基于事件畫像和案例推理的社區治理工單處置決策方法。該方法通過地址標準化和事件提取構建事件畫像,然后通過構建社區事件歷史案例庫并基于關鍵詞提取來挖掘社區事件之間的相似性,進而找出與新事件相似的案例并給出參考解決方案,協助社區管理人員高質量、高效率地處置社區工單。

1 相關研究

1.1 事件提取

文獻[3]提出一種事件要素注意力與編碼層融合的事件觸發詞提取模型,該模型能夠有效地利用事件要素信息,提高觸發詞提取性能。該模型采用的預訓練語言模型還需改進,以針對跨文檔的時間聚合。文獻[4]利用圖卷積神經網絡和自注意機制來學習不同句法距離的相關詞之間的依賴關系,通過mask算法計算詞間的句法距離矩陣完成事件提取任務。該模型可以同時預測文本中所有提及對之間的關系,然而該模型在捕捉遠距離關系時性能不足。文獻[5]利用TAC-KBP時隙填充來表示事件的模糊時間跨度,基于共享參數和時間關系構建文檔級事件圖,并使用圖形注意網絡傳播時間信息避免了在傳統模型中的錯誤傳播。該模型沒有在事件和關系間構建更魯棒的結構化約束。文獻[6]提出了全方位事件提取方法,將兩類任務視作同一個任務,避免了上游任務對下游任務的影響,使用神經網絡學習特征,引入注意力機制突出重點信息,但該模型中針對事件觸發詞的檢測未能完全作用于下游任務中。文獻[7]提出了具有共享表示學習和結構化預測的聯合事件和時間關系提取模型,利用結構化推理和學習方法來分配事件標簽和時間關系標簽,提高了事件和時間關系提取的性能。該模型采用結構化推理和學習方法的結合方式,使得計算時間相較于其他模型較高。文獻[8]針對滑坡災害指標在數值上的分布特點進行區間劃分,應用剪枝的方法對所有指標進行篩選,然后計算綜合相似度,進而得到供參考的相似案例,在模型性能上優于其他模型。該模型針對指標所涉及不同領域的問題考慮不足,且數據集的選取較為單一。

1.2 案例推理

為了改善案例推理檢索算法的預測結果質量,文獻[9]提出一種改進的KNN案例推理檢索算法。相較于傳統KNN案例推理檢索算法,改進的KNN案例推理檢索算法預測結果的精度顯著提高。但案例間的相似度計算沒有考慮到特征權重對結果的影響,缺乏對特征權重的有效分配,因此預測精度仍有待繼續提升。為了讓決策者快速借鑒歷史案例做出滿意的應急決策,文獻[10]基于案例推理提出針對滑坡災害的應急相似案例智能生成方法,并以湖北省秭歸縣滑坡為例驗證該方法的有效性。該方法兼顧考慮了指標在整體和局部的情況,有效地找出與目標案例最為相似的歷史案例,但大多數自然災害都伴發次生災害,應急方案的生成應該聯系次生災害動態方案的生成。為了探索智能化跨域立案,對案件進行適用法律條文自動推薦,文獻[11]基于民間借貸案件提出了基于案例推理的推薦方法,并取得了較好的準確率和召回率,但收集的驗證集數據量較少,無法準確地反映模型的各項指標,有必要在更多的數據集上進行驗證。文獻[12]基于案例推理原理,利用不同類型特征屬性將案件量化來構建案例庫,并使用K近鄰算法計算歷史案例與目標案例的相似度,匹配出相似度最高的歷史案例。該算法在特征屬性方面有待進一步完善,比如添加社區糾紛特征屬性,將會優化社區糾紛調解方案的選擇。為了提高突發事件發生時公安指揮部門處置決策方案的及時性和科學性,文獻[13]提出基于案例推理和規則推理的公安突發事件輔助決策算法,使用CBR和RBR相結合的方法構建該輔助決策算法,通過引入分級檢索算法提升CBR檢索案例的速度,并改進KNN算法提升相似度計算的有效性。

2 事件畫像

在社區事件上報過程中,由于表達習慣的不同,同一地理實體可能對應多種不同的地名描述,這些地名指代往往存在模糊性、隨機性、多樣性等特點。此外,事件文本在空間序列上呈現出樓宇、小區、社區、街道的逐層擴散特征,在主題序列上通常覆蓋城市生活各個方面的連續擴展特征[14]。如果僅基于詞級語義而忽視句級別語義特征來處理工單文本,只能關注到淺層文本信息,在事件主題的挖掘上會有較大的偏差。因此,在面向社區治理的事件畫像構建過程中要解決地址標準化和事件提取問題。事件畫像使用地名地址基因對事件文本中包含的地址信息進行提取,而后對相鄰的地理元素進行完整性判斷,并將不完整的地址基因擴充為完整基因集,進一步合并后將每一個地址基因擴充成標準化地址,基于該地址將事件分撥給對應網格下的社區管理員。

2.1 地址標準化

地名地址在形式上可以分解為若干地名地址要素,引起相互之間的關聯與派生關系,單個地名地址要素或若干個地名地址要素的組合形成地名地址基因。盡管地名指代的描述存在不確定性,但針對同一事件的地名地址使用一般存在描述相似性,即地名描述中所包含的地名地址基因往往是相似的。該文基于統一的標準地址庫構建地名地址基因庫,并構建樹集合以表征地址基因之間的層次關系,如圖1所示。

(a)

(b)圖1 地名地址基因示例

2.1.1 地名地址基因庫

地址是一種將若干地址元素按照一定規則排列組織起來的短文本,因而如何尋找各個地址元素之間的“位置點”是地址分詞的關鍵問題。該文利用統計學特征確定標準地址庫中地址的落差點,通過遞增切分的方法,對遞增的短語在整個地址庫中的數量進行統計,根據地址元素的使用頻次會隨地址描述逐漸精確而逐漸降低的規律,當待判斷短語后綴超過落差點后,對應的短語在整個地址庫中出現的數量將發生明顯下降,據此可劃分出落差點集合M。

由于存在落差點之間的元素長度過短、錯誤或并非完整元素等情況,落差點并不完全等于后綴點,但落差點中包含劃分地址中專有名詞的后綴點,且后綴點之間的內容構成地址要素。為了對M中的元素是否為正確的后綴點做出判斷,按照地址構成方式的規則設計決策樹,然后根據決策樹對每一個落差點mi∈M是否構成后綴詞或后綴點做出判斷,依據判定成功的后綴點進行分詞,并對兩個后綴點之間的地址要素加以記錄,如圖2所示。

圖2 基于后綴點的地址要素提取

經過分詞后,標準化的地址描述所包含的地址要素被劃分為專有地址部分與通配地址部分,同時獲得一個包含專有地址名詞基因的詞表WordList。針對專有地址部分,基于標準地址自身的前后文關系,結合地址信息本身所包含的層次,為提取后的專有地名元素賦予先后序關系標記,構成三元組:

(id,elei,seqmarki)

其中,id表示對地址元素的唯一標識,elei表示專有地名元素,seqmarki是以地址元素所屬行政區劃層級表示的先后序標記。針對每一條地址,將對應的三元組元素按前后序關系構建一棵子樹Treei,將每一棵子樹完全相同三元組的節點進行合并,合并后的若干棵樹構成的集合TreeSet構成了一個基本的地名地址基因庫AddressDB,其中包含以地理要素為基礎構建的地名地址基因及其對應的層次關系。

2.1.2 地址基因匹配

利用構建好的地名地址基因庫對事件文本進行要素抽取,使用獲得的詞表WordList與全文進行匹配,提取其中的專有地址基因集合D1。針對“號”“號樓”“棟”“幢”等地址通配名進行逆向增字匹配,匹配到通配名后向前判斷通配名之前的字符是否為阿拉伯數字、以漢字表達的數字或英文字母,若符合則將其加入匹配結果并繼續判斷,直到判斷為否為止,構建通配地址基因集D2。對集合D1中的兩個相鄰元素d1、d2,兩個元素在事件文本中對應起始位置loc若滿足:

locadj-locadi=length(adi)

則判定兩元素為相鄰,反之判定為不相鄰。對相鄰的基因元素,利用地名地址基因庫中專有地址基因三元組中包含的先后續標記關系seqmark對相鄰元素的完整程度進行判斷:若兩個相鄰元素的標記之間存在缺失值,則說明兩個地理元素之間存在要素缺失。

根據構建出的地址基因庫中的三元組樹從上到下搜索,對不符合條件的相鄰地址基因進行補充,生成新的完整地名地址基因作為事件中提取得到的地名地址信息。基于標準地址庫進行搜索匹配,將關鍵地址基因擴充成完整的標準化地址,逐層解析并對應分撥到具體網格,進而完成對事件文本中地理要素的提取。

2.2 事件提取

卷積神經網絡(Convolution Neural Network,CNN)可以有效提取文本局部特征,但在卷積和池化操作時會丟失工單文本序列中詞匯的位置和順序信息,因此不能很好地捕捉工單文本的全局信息[15]。門控循環單元(Gated Recurrent Unit,GRU)可以有效獲取序列化句子的層級特征,然而單從一個方向提取特征不能完整地表示整個句子的上下文特征。雙向GRU網絡(Bidirectional GRU,BiGRU)可以有效獲取文本上下文依賴關系和全局信息[16]。Attention機制能夠凸顯文本的重要特征以便更好地提取關鍵信息[17]。為此,在BiGRU網絡中引入Attention機制,使其在計算語義信息時根據其重要程度賦予不同的權重。條件隨機場(Conditional Random Field,CRF)可以有效解決序列標注問題[18],可以為每個詞語分配標記并計算整個序列得分,有效提取社區事件文本中的事件特征。基于上述模型優勢,該文提出一種混合神經網絡用于提取社區事件文本中的事件信息,如圖3所示。

圖3 社區工單事件提取模型

首先,為了方便對較長的社區事件描述文本進行處理,使用Jieba等中文分詞工具對社區事件描述文本進行分詞,獲得分詞列表,并配合使用自定義停用詞表提升對未能正確識別的專有名詞的識別效果;接著,使用word2vec、glove等詞向量工具對分詞后的結果進行編碼,轉換為高維空間中的向量e,以方便下一步分別從全局特征和局部特征角度進行語義信息提取;然后,將詞向量輸入到卷積神經網絡中,提取事件描述文本中的局部特征,同時,通過雙向GRU網絡,基于上下文信息提取事件描述文本的全局信息,作為對卷積神經網絡無法捕捉到的遠距離語義關聯信息的補充,提高對各事件要素識別的準確度。完成全局特征與局部特征的提取后,對兩類特征進行融合,并輸入到自注意力機制模型中,從融合后的信息中提取出描述文本中的關鍵信息;最后,將自注意力模型得到的結果與卷積神經網絡得到的結果進行融合,并輸入CRF模型,輸出最高概率的要素識別序列,作為對事件中各個關鍵事件要素的提取結果。

2.2.1 BiGRU模塊

(1)

(2)

根據前向GRU單元和后向GRU單元的隱藏層輸出,得到BiGRU在t時刻的隱藏層輸出:

(3)

2.2.2 Self-Attention模塊

自注意力機制被認為是查詢到一系列鍵值對的映射,在此基礎上可以更好地為重要信息分配權重,更準確地理解序列語義。BiGRU難以從句子序列中捕獲重要信息,在社區工單文本信息中,對于事件類型判定價值較高的信息往往集中在部分關鍵詞。例如,工單文本“來電人反映融創招商星河萬里樓盤經常夜間施工,噪音太大了,影響周邊居民休息”屬于噪音污染,文本中“夜間施工”“噪音太大了”等信息對于事件提取較為重要,而“融創招商星河萬里”“樓盤”等字詞對事件提取的幫助較小,可能會削弱事件提取效果。自注意力機制善于獲取文本特征內部的相關性,在BiGRU網絡捕捉社區工單文本的上下文特征后,該文采用自注意力機制來提取社區工單文本句子中的重要信息。融合自注意力機制后的BiGRU網絡能夠得到注意力的概率分布,降低無效信息的干擾,從而提升事件提取性能。多頭注意力機制的計算公式如下:

m(ht)=concat(score1(ht),score2(ht),…,

scoreh(ht))WO

(4)

其中,ht為BiGRU的隱藏層輸出,scorei為第i個自注意力機制的輸出,h為重復次數。

利用Attention函數對scorei進行計算:

(5)

函數Attention是擴張點積的自注意力機制操作,計算公示如下所示:

(6)

2.2.3 CNN模塊

該文利用CNN的特性提取社區工單文本局部特征形成語義特征向量,相當于采用卷積核在輸入矩陣上滑動進行乘積求和的過程。首先,將詞向量序列通過M×N(M為卷積長度,N為詞向量長度)卷積核在輸入層從上到下滑動進行等長卷積操作,得到特征向量c,M×N的卷積核根據不同M大小提取不同長度相鄰單詞的特征。卷積操作所生成的每一個特征向量c送到池化層用以生成潛在的局部特征。采用最大池化策略對輸出結果進行池化來獲取最重要特征:

(7)

2.2.4 CRF模塊

CRF是解決序列標注問題的主流方法,它無需設置規則就可以捕捉序列元素中相鄰元素的影響,且不局限于任意時刻的觀察值。為此,該文利用CRF為每個詞語分配標記并計算整個序列的得分。BIO(B-begin,I-inside,O-outside)標簽體系在精度和訓練復雜度上具備優勢,該文選擇該標簽體系對序列進行標注。在工單文本的標簽定義中,數據集內凡是帶有事件地點(LOC)和事件觸發詞(TRG)標記的詞,詞中第一個字重新標記為B-LOC和B-TRG,詞中剩余的字重新標記為I-LOC和I-TRG,對兩位以上連續數字做合并標記,其他詞一律標記為O(含標點符號)。CRF為每個詞語分配標記,并計算整個序列得分。首先,將Self-Attention和CNN的結果進行拼接以將二者特征相結合;然后,通過全連接層降維后使用softmax得到置信度分布conf:

conf=softmax(linear[VSelf-Attention,VCNN])

(8)

最后,采用CRF網絡計算序列標簽得分,最終結果為最高得分的標注序列。序列得分由詞語標記得分和標記轉移得分共同構成。

假設label是標簽序列(label1,label2,…,labelk),則序列seq的CRF得分計算如下:

(9)

其中,confi,labelj表示seqi的標簽是labelj的置信度,Tlabeli-1,labeli表示從標簽labeli-1過渡到標簽labeli的概率。損失函數定義如下:

(10)

其中,Y為所有可能的標簽序列集合。

2.2.5 模損失函數

采用聯合損失函數進行模型訓練:

(11)

(12)

其中,j是社區工單E所屬的事件類型。

3 案例推理

基于案例推理的社區工單處置主要包含兩部分:(1)構建歷史社區事件案例庫;(2)基于事件關鍵詞的檢索、重用、修正、保存。

3.1 歷史案例庫

面向海量社區工單事件,構建一個可以快速檢索的歷史事件案例庫。歷史事件案例主要是文本類型數據,包括對事件整體情況的描述,還包括對事件的解決方案的描述和對事件求解效果的描述。單個歷史事件案例可以表示為:

<事件描述,事件解決方案描述,效果描述>

為了快速檢索歷史事件案例庫,需要對事件描述生成標簽來完成快速檢索。該文使用XLNet預訓練語言模型[19]對歷史事件描述進行關鍵詞提取,將關鍵詞作為事件案例的標簽,并對標簽進行編碼處理。某個歷史事件案例可以表示為:

<標簽編碼集合,事件描述,事件解決方案描述,效果描述>

利用標簽編碼可以實現對歷史事件案例的快速檢索。事件描述關鍵詞提取算法如下:

Step1:對事件描述進行句子分割并使用jieba分詞進行分詞處理得到document tokens和sentence tokens,并將分詞后的token進行詞性標注得到帶有詞性標簽的label token序列。

Step2:使用NP-chunker根據詞性標簽從label token序列中提取名詞token(NP),得到的NP作為候選關鍵詞,如圖4所示。

圖4 候選詞生成

Step3:將所有document tokens使用XLNet生成詞向量,再使用SIF權重將詞向量組成word level的文本向量。

Step4:將所有sentence tokens使用XLNet生成詞向量,使用SIF權重將詞向量組成多個句向量。根據文本的內容層次分布(如文章的中心內容主要集中在第一句或最后一句,句子長度等),使用加權平均的方法將多個句向量組合成sentence level的文本向量。最后,將word level和sentence level的文本向量加權組成document vector,如圖5所示。

圖5 文檔級語義向量構建

Step5:將每個label token使用XLNet生成word vector,計算與document vector之間的距離。將此距離視為候選關鍵字與文檔主題之間的相似度,選擇最相似的候選關鍵詞的前N個作為最終關鍵詞,如圖6所示。

圖6 最終關鍵詞篩選

3.2 案例檢索

當社區新發生事件上報后,對新事件描述進行關鍵詞提取,將關鍵詞作為事件標簽,并對標簽進行編碼處理,得到新事件表示:

<標簽編碼集合,事件描述>

用標簽編碼集合中的每個標簽編碼在歷史事件案例庫中進行查詢,查找包含新事件標簽的所有歷史事件案例作為候選集。對候選集中的所有事件描述與新事件描述進行事件畫像相似度計算,運用Glove模型、word2vec模型訓練生成詞向量,計算標簽詞向量的相似度,設定閾值0.8作為兩個事件是否相似的判定標準。具體算法流程如下:

Step1:收集歷史案例庫中的所有事件文本描述構建數據集A,以維基百科語料庫構建數據集B;

Step2:對數據集A和數據集B中的文本進行清洗、去除停用詞、分詞操作,并進行合并構成數據集C;

Step3:基于數據集C訓練Glove或word2vec模型,得到數據集C中所有詞對應的詞向量,并建立對應的詞表T;

Step4:根據詞表T查詢事件標簽詞集合中的所有標簽詞的詞向量表示,并進行加權融合得到事件描述的詞向量表示結果V;

Step5:通過余弦公式計算候選集中的所有事件描述與新事件描述的相似度,輸出相似度大于0.8的所有事件描述;

Step6:對輸出的所有事件描述進行相似度排序,輸出Top-N結果。

將相似度排序前3個(N=3)事件案例推送給社區管理人員。社區管理人員根據系統提供的案例處置當前新事件并生成新的解決方案。此時,當前新事件可以表示成:

<標簽編碼集合,事件描述,事件解決方案描述>

最后,將該新事件存入歷史事件案例庫。

4 實驗分析

4.1 實驗環境

該文使用基于CUDA 9.0的深度學習框架PyTorch 1.0.1搭建網絡模型,實驗操作系統為CentOS 7.3,內存64 GB,CPU為Intel(R) Xeon(R) Silver 4214R CPU @ 2.40 GHz,GPU為NVIDIA Tesla A100。

4.2 數據集

從2019年1月1日-2022年6月30日期間安徽省蕪湖市社區事件中挑選了20 000個事件構建了實驗數據集,數據集描述如表1所示。同時,對60 000條工單文本進行了統計分析,事件文本長度的均值為173個字,且95%的事件文本長度在200個字以內。

表1 數據集描述

4.3 實驗設置

在整體網絡訓練過程中,所用模型的超參數如表2所示。模型使用學習率為1e-5的Adam優化器。

表2 超參數設置

4.4 基線模型對比

采用精確率(precision)、召回率(recall)和加權F1值作為評價指標。為了驗證文中事件案例檢索方法的性能,與以下基線模型進行了對比:(1)使用TF-IDF結合word2vec提取事件文本特征,并用XGBoost[20]、 LightGBM[21]和文獻[12]所采用的KNN方法預測社區事件類型;(2)TextCNN模型[22]和HAN[23]模型;(3)RoBERTa模型[24]和ELECTRA模型[25]。對比實驗結果如表3所示。

表3 對比實驗結果

從表3可以看出,文中方法取得了比其他基線方法更好的實驗效果。基于TextCNN和HAN的方法在事件分類效果上好于基于XGBoost、LightGBM和KNN的方法,原因在于后者僅簡單的對事件文本中的詞向量進行加權平均,無法挖掘事件文本中更深層次的語義信息。使用Attention機制的方法擁有更高的分類準確率,因為Attention機制可以讓模型更加關注那些對預測貢獻較大的特征。此外,由于預訓練語言模型包含了大量的先驗知識,基于RoBERTa和ELECTRA的方法也取得了較好的實驗效果。該文引入了基于CNN的局部特征提取和基于BiGRU-SelfAttention的全局特征提取,兼顧到了事件文本局部信息和上下文語義信息,充分發揮了各網絡的優勢,因而取得了更好的性能。

4.5 案例檢索性能

表4展示了在不同事件規模下文中案例檢索方法的性能。可以看出,在事件規模達到20 000件時,檢索僅需4.61 s。相較于文獻[11]和文獻[12],文中方法更能夠滿足社區工單處置的實時性要求。

表4 案例檢索性能

5 結束語

針對社區管理人員處置工單耗時長、效率低的問題,提出了一種基于事件畫像和案例推理的智能社區工單處置決策方法。通過統計學方法和決策樹將地名地址描述拆分為地名地址基因,并以三元組形式構建了地名地址統一基因庫,以此獲取地名中的譜特征。考慮到工單文本局部特征和全局特征對于事件提取效果均存在影響,設計了一種基于BiGRU、Self-Attention、CNN、CRF的組合神經網絡對工單文本進行事件提取。在工單事件處置方面,該方法利用歷史事件案例構建案例庫,對事件描述關鍵詞進行編碼,以關鍵詞編碼進行查詢實現快速的事件檢索,使用相似度實現精準的事件匹配并給出工單處置的參考解決方案。下一步工作是引入在線學習(Online Learning)來進一步提升社區工單處置的效率。