涉黑涉惡類警情的特征分析方法研究

邱明月　崔年冬

關(guān)鍵詞 自然語(yǔ)言處理 涉黑涉惡 警情 Python I2

基金項(xiàng)目：中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目：基于NLP的涉黑涉惡警情的特征分析與可視化研究（編號(hào)：LGYB2 02012）。

作者簡(jiǎn)介：邱明月，南京森林警察學(xué)院，講師，博士，研究方向：數(shù)據(jù)挖掘、公安情報(bào)學(xué);崔年冬，南京森林警察學(xué)院公安情報(bào)學(xué)學(xué)生。

中圖分類號(hào)：D631 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? ? ? ? ?DOI：10.19387/j.cnki.1009-0592.2020.06.340

一、背景

伴隨著大數(shù)據(jù)時(shí)代的到來(lái)，大數(shù)據(jù)在社會(huì)的各個(gè)領(lǐng)域都得到了廣泛的應(yīng)用?，F(xiàn)如今，大數(shù)據(jù)是朝著“未來(lái)社會(huì)發(fā)展的趨勢(shì)”發(fā)展，習(xí)總書記也不斷強(qiáng)調(diào)了科技以及大數(shù)據(jù)在公安工作中的應(yīng)用前景，將大數(shù)據(jù)戰(zhàn)略提升到了國(guó)家的層次。在目前公安行業(yè)對(duì)大數(shù)據(jù)與人工智能等熱門關(guān)鍵技術(shù)應(yīng)用的過程中，充分利用了業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，如人員數(shù)據(jù)、軌跡數(shù)據(jù)、交通數(shù)據(jù)等。但是近些年來(lái)黑惡勢(shì)力犯罪形式的不斷變化又給公安機(jī)關(guān)開展工作帶來(lái)了不少的挑戰(zhàn)。

當(dāng)今社會(huì)隨著現(xiàn)代信息技術(shù)的發(fā)展和普及，使得黑惡勢(shì)力犯罪分子具有過去多得多的犯罪手段、方式和犯罪環(huán)境。犯罪分子的高學(xué)歷化、高智商化，犯罪工具的現(xiàn)代化、智能化趨勢(shì)讓現(xiàn)在的掃黑除惡工作越來(lái)越難開展。他們利用現(xiàn)代網(wǎng)絡(luò)設(shè)施和交通工具，使得作案的空間和時(shí)間都得到空前的擴(kuò)展和延伸。犯罪分子進(jìn)行有組織的團(tuán)伙作案，利用現(xiàn)代化的手段逃避公安機(jī)關(guān)的追查的趨勢(shì)也越來(lái)越明顯。因此，公安機(jī)關(guān)實(shí)戰(zhàn)部門如何利用好大數(shù)據(jù)技術(shù)來(lái)打擊黑惡勢(shì)力犯罪成為當(dāng)今政府部門以及全社會(huì)關(guān)注的熱點(diǎn)問題。

2018年1月中旬， 黨中央和國(guó)務(wù)院部署了《關(guān)于開展掃黑除惡專項(xiàng)斗爭(zhēng)的通知》，從而決定在全國(guó)范圍內(nèi)開展一項(xiàng)為期三年的掃黑除惡專項(xiàng)斗爭(zhēng)。這個(gè)經(jīng)歷是這一階段進(jìn)行十多年打黑除惡斗爭(zhēng)后，對(duì)黑惡暗黑勢(shì)力展開的一場(chǎng)更全面更深入更有效的打擊斗爭(zhēng)。涉黑犯罪是我國(guó)社會(huì)治理中面臨的重大挑戰(zhàn)，在全球化網(wǎng)絡(luò)時(shí)代，如何利用大數(shù)據(jù)打擊黑社會(huì)犯罪已經(jīng)成為各國(guó)政府所應(yīng)解決的重大問題。

二、相關(guān)概念

（一）自然語(yǔ)言處理

自然語(yǔ)言處理是人工智能和語(yǔ)言學(xué)相結(jié)合的交叉學(xué)科，主要研究如何讓計(jì)算機(jī)處理并應(yīng)用人類語(yǔ)言?？梢哉f，計(jì)算機(jī)視覺和語(yǔ)音識(shí)別是人工智能領(lǐng)域的感知智能，而 NLP 屬于人工智能領(lǐng)域的認(rèn)知智能，因而相對(duì)更難。在深度學(xué)習(xí)的發(fā)展過程中也與之類似，語(yǔ)音和圖像提前獲得突破，而 NLP 這兩年才漸漸在機(jī)器翻譯等領(lǐng)域大展身手。

（二）Python

Python是一種跨平臺(tái)的計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)言，是一種面向?qū)ο蟮膭?dòng)態(tài)類型語(yǔ)言。基于Python的網(wǎng)絡(luò)爬蟲十分完備，可以分布式、多線程地對(duì)網(wǎng)頁(yè)進(jìn)行抓取。Python提供了多個(gè)能實(shí)現(xiàn)http請(qǐng)求的功能模塊例如urlib庫(kù)、resquests庫(kù);以及可以解析網(wǎng)頁(yè)頁(yè)面的功能模塊例如BeautifuleSoup庫(kù)、lxml庫(kù)等，可以很有效得實(shí)現(xiàn)對(duì)各種網(wǎng)頁(yè)頁(yè)面的抓取、數(shù)據(jù)采集的任務(wù)。

（三）網(wǎng)絡(luò)爬蟲

網(wǎng)絡(luò)爬蟲，是按照既定的規(guī)則自動(dòng)抓取萬(wàn)維網(wǎng)信息的程序或者腳本，他們廣泛地運(yùn)用于互聯(lián)網(wǎng)的搜索引擎或者其他類似的網(wǎng)站中?；旧峡梢苑譃?類：第一類是通用網(wǎng)絡(luò)爬蟲，指搜索引擎爬蟲，類似于百度、谷歌等這種大型的搜索引擎，其特點(diǎn)是根據(jù)一定的策略，用特定的計(jì)算機(jī)程序，將互聯(lián)網(wǎng)上的信息加以收集并對(duì)信息進(jìn)行篩選和排序后展示給用戶，搜索引擎由搜索者、用戶界面、索引器和搜索器4部分組成。第二類是聚焦爬蟲，是指可以有選擇地爬取那些事先處理好的主題相關(guān)的網(wǎng)絡(luò)爬蟲，與一般形式的網(wǎng)絡(luò)爬蟲相比，聚焦網(wǎng)絡(luò)爬蟲需要爬取與主旨相關(guān)的內(nèi)容，極大地節(jié)約了硬件和網(wǎng)絡(luò)資源。第三類是增量網(wǎng)絡(luò)爬蟲，是指有間隔地進(jìn)行信息收集，一段時(shí)間內(nèi)重新爬取數(shù)據(jù)進(jìn)行數(shù)據(jù)更新。第四類是深層網(wǎng)絡(luò)爬蟲，深層網(wǎng)絡(luò)需要通過登錄提交數(shù)據(jù)后，才能進(jìn)行頁(yè)面提取信息。

三、警情數(shù)據(jù)的預(yù)處理與篩選

從基層公安部門獲得的原始數(shù)據(jù)來(lái)源各異，表示方式也不盡相同，還會(huì)有很多字段值的缺失等情況出現(xiàn)。所以在收集到人員的各類數(shù)據(jù)之后，需要進(jìn)行指標(biāo)的預(yù)處理與篩選。指標(biāo)的預(yù)處理是一項(xiàng)重要的工作，直接影響到模型的準(zhǔn)確性與可用性。如果直接未經(jīng)篩選將全部的數(shù)據(jù)導(dǎo)入預(yù)測(cè)模型，會(huì)造成模型的多余、運(yùn)行的速度減緩以及預(yù)測(cè)的準(zhǔn)確度下降等不同問題。因此，我們?cè)谀Ｐ瓦\(yùn)算之前，將指標(biāo)數(shù)據(jù)的篩選和預(yù)處理是一項(xiàng)重要的難點(diǎn)工作。由于數(shù)據(jù)樣本中影響因素繁多且數(shù)量較大，還有缺失值的出現(xiàn)，容易導(dǎo)致分析的結(jié)果很難達(dá)到一個(gè)較為準(zhǔn)確的水平，所以需要首先進(jìn)行數(shù)據(jù)指標(biāo)的預(yù)處理工作。數(shù)據(jù)的預(yù)處理可包括屬性指標(biāo)量化、數(shù)值化賦值、缺失值處理以及數(shù)據(jù)歸一化處理等。比如：按出生日期將犯罪嫌疑人的年齡分為老年、中年、青年三種類型，制定出指標(biāo)的分類變量。根據(jù)犯罪嫌疑人的性別，1表示“男”，2表示“女”。將指標(biāo)進(jìn)行數(shù)值化賦值。然后，將經(jīng)過歸一化處理過的數(shù)據(jù)輸入到后續(xù)的模型中。

在涉黑涉惡類警情分析中，有些指標(biāo)因素相對(duì)于人員涉黑涉惡行為的發(fā)生影響是具有相關(guān)性的?？梢酝ㄟ^模糊數(shù)、相關(guān)分析等處理與篩選出具有代表性的影響指標(biāo)。這樣，通過小部分的指標(biāo)就可以進(jìn)行某些預(yù)測(cè)，目的用來(lái)提高模型的準(zhǔn)確度。同時(shí)，可以針對(duì)這些變量進(jìn)行特征分析，對(duì)影響犯罪的重要因素進(jìn)行排序，得出影響涉黑涉惡案件的犯罪因素的重要性順序表。

四、基于NLP的涉黑涉惡類警情的特征分析與可視化

（一）涉黑涉惡類數(shù)據(jù)的預(yù)處理

屬性指標(biāo)量化：將采集到的屬性指標(biāo)進(jìn)行量化，可通過模糊數(shù)來(lái)進(jìn)行區(qū)間劃分。

數(shù)值化賦值：采集到的人員指標(biāo)中如果有連續(xù)性的數(shù)據(jù)，可以通過運(yùn)用連續(xù)函數(shù)進(jìn)行數(shù)值轉(zhuǎn)換。例如：對(duì)于活動(dòng)軌跡和前科記錄這樣具有時(shí)間特征的連續(xù)性數(shù)據(jù)，可以運(yùn)用連續(xù)函數(shù)對(duì)其進(jìn)行賦值。

缺失值處理：數(shù)據(jù)采集中，缺失數(shù)據(jù)的情況時(shí)有發(fā)生。由于缺失值對(duì)于之后的對(duì)模型的準(zhǔn)確性與可用性影響較大，所以應(yīng)采用科學(xué)有效的方法進(jìn)行填充。填充方法包括：人工填充、特殊值填充、關(guān)聯(lián)規(guī)則填充以及其他眾多的統(tǒng)計(jì)以及數(shù)據(jù)挖掘算法進(jìn)行填充。

數(shù)據(jù)歸一化處理：由于采集到的數(shù)據(jù)范圍不同，所以對(duì)數(shù)據(jù)做歸一化處理，以加快模型的收斂以及預(yù)測(cè)的準(zhǔn)確率。

（二）涉黑涉惡類案件詞庫(kù)的建立

通過如圖1三種方式建立涉黑涉惡類案件詞庫(kù)：

1.基于歷史警情數(shù)據(jù)的文本挖掘。通過收集到的歷史相關(guān)警情案件數(shù)據(jù)，運(yùn)用自然語(yǔ)言處理等方式對(duì)關(guān)鍵詞進(jìn)行提取與分析。

2.基于基層民警經(jīng)驗(yàn)總結(jié)分析。通過調(diào)查問卷、座談訪問等方式，對(duì)基層民警關(guān)于涉惡涉惡案件的詞匯進(jìn)行經(jīng)驗(yàn)總結(jié)。

3.基于新媒體語(yǔ)境的網(wǎng)絡(luò)爬蟲。通過網(wǎng)絡(luò)爬蟲等工具，對(duì)微博、天涯、知乎等新媒體主流平臺(tái)進(jìn)行涉黑涉惡類詞匯的網(wǎng)絡(luò)爬取。

圖1：涉黑涉惡類案件詞庫(kù)的建立

（三）重要性特征排序與可視化呈現(xiàn)

通過人工神經(jīng)網(wǎng)絡(luò)模型、決策樹模型等對(duì)涉黑涉惡類警情進(jìn)行重要性分析與排序。訓(xùn)練樣本：通過數(shù)據(jù)預(yù)處理后的70%數(shù)據(jù)用作訓(xùn)練模型的樣本數(shù)據(jù)。根據(jù)人工神經(jīng)網(wǎng)絡(luò)等模型的自適應(yīng)等特點(diǎn)，對(duì)樣本數(shù)據(jù)的內(nèi)在的潛在規(guī)律進(jìn)行機(jī)器學(xué)習(xí)。模型運(yùn)用：將訓(xùn)練好的模型對(duì)案件的重要性特征進(jìn)行分析。用剩余的30%數(shù)據(jù)作為測(cè)試樣本輸入模型中進(jìn)行測(cè)試，以檢驗(yàn)?zāi)Ｐ偷念A(yù)測(cè)效果。隨后，運(yùn)用Python、I2等技術(shù)對(duì)上述數(shù)據(jù)庫(kù)進(jìn)行實(shí)時(shí)動(dòng)態(tài)連接，以保證動(dòng)態(tài)化警情數(shù)據(jù)特征能夠得到實(shí)時(shí)反饋。

五、結(jié)語(yǔ)

涉黑涉惡警情的特征分析不僅可以對(duì)基層公安工作提供有力的數(shù)據(jù)參考，也使得公安大數(shù)據(jù)在實(shí)際的公安工作中得到有效的運(yùn)用。通過運(yùn)用自然語(yǔ)言處理、人工神經(jīng)網(wǎng)絡(luò)模型等模型算法，將采集到的與涉黑涉惡案件相關(guān)的大量指標(biāo)數(shù)據(jù)進(jìn)行分析，并推斷出影響涉黑涉惡案件的重要指標(biāo)與影響因素。運(yùn)用案件的相關(guān)特征做出可視化云圖，以指導(dǎo)公安機(jī)關(guān)的警力部署，提高出警效率和質(zhì)量。

參考文獻(xiàn)：

[1]廣東省掃黑除惡專項(xiàng)斗爭(zhēng)領(lǐng)導(dǎo)小組，省委政法委.應(yīng)對(duì)三個(gè)難題 統(tǒng)籌強(qiáng)力攻堅(jiān) 深入推進(jìn)掃黑除惡專項(xiàng)斗爭(zhēng)打擊工作[N].人民公安報(bào)，2018-10-19（003）.

[2]杜曉旭，賈小云.基于Python的新浪微博爬蟲分析[J].軟件，2019，40（4）：182-185.

[3]張昌繁，陳利高，劉曉波，龔建.基于NPL-NMC系統(tǒng)的 測(cè)量子系統(tǒng)的建模與優(yōu)化[J].原子能科學(xué)技術(shù)，2016，50（4）：698-704.

[4]張繼光.許淵沖研究現(xiàn)狀的可視化分析及其啟示[J].西安外國(guó)語(yǔ)大學(xué)學(xué)報(bào)，2020，28（1）：87-92.