基于注意力機制的犯罪行為分析

劉媛媛 朱振華 汪寧

摘 要：在高風險、高強度的公安工作領域，基礎的預測分析模型存在風險點分析不全面、可解釋性差等問題，已經不能滿足實際工作需求。而近年來，注意力機制在深度學習中的各個領域被廣泛應用并取得較好的效果，因此本文提出了一種基于注意力機制的神經網絡模型來預測某人犯罪的可能性，并對影響犯罪行為的因素進行解釋性分析。

關鍵詞：犯罪;預測分析;注意力機制;神經網絡

1、研究背景

隨著大數據戰略在公安行業的逐步推進，在公安信息化建設中需采用大數據思維，利用大數據技術帶來的高性能，挖掘數據的核心價值，支撐治安防護、綜合研判等方面的業務需求[1]。其中使用挖掘算法對海量數據進行分析和建模，挖掘出各類數據背后所蘊含的內在的、必然的因果關系，進而判斷出某一事件發生的概率、科學預測其發展趨勢，可以服務打防管控等警務工作[2]，而當前流行的基于深度學習和神經網絡的預測模型存在風險點分析不全面、可解釋性差、業務人員難以理解、黑箱決策等問題。

注意力機制的靈感來源于人對環境的生理感知，近幾年來也被廣泛應用，如阿里巴巴提出一種基于注意力機制的用戶異構行為序列的建模框架，并將其應用到推薦場景中。他們將不同種類的用戶行為序列進行分組編碼，并映射到不同子空間中，利用 self-attention 對行為間的互相影響進行建模，最終得到用戶的行為表征[3]。

在神經網絡結構中加入注意力機制模型主要是基于三點考慮：首先是這些模型在眾多的任務中取得了非常好的性能，比如機器翻譯、問答系統、情感分析等;其次，在提升模型性能的同時，注意力機制增加了神經網絡結構的可解釋性，由于傳統的神經網絡是一個黑盒模型，因此提高其可解釋性可以提高機器學習模型的公平性、可靠性和透明性;最后，其能夠幫助緩解遞歸神經網絡中的一些缺陷，比如增加輸入序列長度導致性能下降;處理輸入的順序導致計算效率低下。綜上，在神經網絡結構中加入注意力模型能一定程度上彌補基礎預測模型的缺點。

2、研究模型分析

2.1 模型的總體架構

本文基于海量的資源庫原始數據，原始數據預處理后結合專家和大眾群體的意見進行特征提取，輸入到基于注意力機制的神經網絡模型中，最終輸出某人的犯罪系數和比重較大的特征，以對模型做出可解釋性分析。

◆數據預處理：原始數據普遍存在雜亂性、重復性、不完整性等問題，必須加以處理才能用于分析。一方面可提高數據質量，另一方面是更好的使數據適應特定的數據挖掘技術和工具。涉及到的處理方法包括數據清洗、缺失值處理、詞向量處理，同時為了讓不同維度之間的特征在數值上有一定比較性，對數據進行歸一化處理。

◆特征提取：數據預處理后的原始特征存在很多不相關數據和冗余數據，特征選取則是在原始特征上選取一個子集，使得在一定評價標準下特征空間得到最優化減小，在這個過程中，吸取多年辦案專家給出的建議及大眾對犯罪群體的直觀認識從而加入業務特征。

2.2 模型主要組成部分

2.2.1 特征層

對各個維度的特征結合業務需求使用常用的機器學習算法如PCA進行特征提取、歸一化處理后，每個維度均保留一部分有用特征，例如特征維度1保留年齡，性別等。

2.2.2 注意力機制

注意力機制也就是一般所說的注意力焦點，對某些區域投入更多注意力以獲取更多需要關注目標的細節信息，而抑制其他無用信息，即對目標數據進行加權變化。當神經網絡處理大量的輸入信息時，先借助注意力機制，只選擇一些關鍵的權重高的信息輸入進行處理，用來提高神經網絡的效率。借用Soft Attention注意力機制的計算可以分為兩步：（1）在所有輸入信息上計算注意力分布;（2）根據注意力分布來計算輸入信息的加權平均。

◆注意力分布：從N個輸入向量[x1，x2，…，xn]中選擇出與

某個特定任務相關的信息，給定一個和任務相關的查詢向量q，用注意力變量

來表示被選擇信息的索引位置，即z=i表示選擇了第i個輸入向量并通過一個打分函數來計算每個輸入向量和查詢向量之間的相關性，首先計算在給定q和X下，選擇第i個輸入向量的概率α1;

◆加權平均：注意力分布α1可以解釋為在給定任務相關的查詢q時，第i個輸入向量受注意的程度，再采用卷積求和的信息選擇機制對輸入信息進行匯總，輸出加權平均。

2.2.3 神經網絡層

使用一種簡單的前饋神經網絡，采用單向多層結構，各神經元分層排列，每個神經元只與前一層的神經元相連。接收前一層的輸出，并輸出給下一層，各層間沒有反饋。

前饋網絡包括三類節點：

◆輸入層：外界信息輸入，不進行任何計算，僅向下一層節點傳遞信息;

◆隱藏層：接收上一層節點的輸入，進行計算，并將信息傳到下一層節點;

◆輸出層：接收上一層節點的輸入，進行計算，并將結果輸出。

3、模型實驗結果

通過下圖的實驗結果可以看出，模型經過大量樣本的訓練后，對于某一給定人員，可以以較高概率準確的預測此人犯罪的可能性，并輸出影響權重比較大的人員特征屬性，給出模型的可解釋性。而實際上，文化程度、財產狀況、是否有犯罪前科也符合日常辦案中對某人進行犯罪側寫的考慮因素。

4 結束語

讓公安大數據能從“倉庫”走向實戰，推動公安工作的改革，進一步提高公安工作的效率是當今公安大數據戰略不可或缺的需求。而基于“金盾工程”的推進和公安大數據的積累，建立高效穩定的模型科學預測人或事物的發展，對于進一步深化大數據創新應用，打造新時代智慧警務意義重大。

本文提出的模型算法可以對人員的行為進行一定程度上的預測，但如何提高預測的準確性和效率，如何擴大數據的應用范圍，如何轉換成實戰應用等仍是現階段公安數據挖掘領域需致力解決的問題。

[參考文獻]

[1]王欣、郝久月、汪寧.基于大數據技術的公安綜合研判應用平臺設計.警察技術.2015（3）.

[2]張旭.大數據背景下機器學習在公安工作中的應用.電子世界.2019（3）.

[3]ChangZhou，JingzeBai.ATRank： An Attention-Based User Behavior Modeling Framework for Recommendation.

（作者單位：公安部第一研究所，北京 100048）