基于數(shù)據(jù)處理與可視化的信息分析系統(tǒng)設(shè)計(jì)

張玉龍，丁錳

（中國(guó)人民公安大學(xué)，北京100038）

0 引言

隨著智能手機(jī)的普及，人們通訊方式的重心不斷轉(zhuǎn)移到微信等虛擬網(wǎng)絡(luò)社交工具上。當(dāng)社交工具為我們的生活提供便利時(shí)，也有不法之徒利用其技術(shù)缺陷和匿名性等特點(diǎn)進(jìn)行違法活動(dòng)，而這些人大量的信息也就被保存在了社交工具上[1]。犯罪嫌疑人信息具有零散性、廣泛分布性、隱蔽性、多樣性等特點(diǎn)[2]。傳統(tǒng)的犯罪嫌疑人信息分析方法雖然可以獲取犯罪嫌疑人信息，但是效率低下且成本高昂。而數(shù)據(jù)處理與信息可視化技術(shù)依賴于擁有高性能處理器和顯示器的計(jì)算機(jī)，其處理信息具有高效性、便捷性、快速性、直觀性等特點(diǎn)[3]，所以對(duì)于嫌疑人信息的處理分析具有很高的適應(yīng)性，避免了在短時(shí)間內(nèi)無法分析出犯罪嫌疑人的重要信息和分析嫌疑人信息過程中的大量時(shí)間、金錢以及人力成本浪費(fèi)等問題的發(fā)生[4]。

1 傳統(tǒng)的犯罪嫌疑人信息分析方法

傳統(tǒng)嫌疑人信息分析大致要經(jīng)歷兩個(gè)階段，一個(gè)是信息的處理匯總，另一個(gè)是信息的分析總結(jié)。在信息的處理匯總階段，先將由走訪調(diào)查、電話信息調(diào)取和網(wǎng)絡(luò)信息調(diào)取等途徑獲取到的信息進(jìn)行處理，這些處理包括辨別真?zhèn)涡畔ⅰ⑿问睫D(zhuǎn)換、去除無關(guān)信息等。辨別真?zhèn)涡畔ⅲ唇?jīng)調(diào)查分析在大量信息中區(qū)分出真實(shí)有效的信息和存?zhèn)蔚男畔ⅰＰ问睫D(zhuǎn)換，即將某一類信息轉(zhuǎn)換為另一類信息，如視頻信息轉(zhuǎn)換為文本信息等。去除無關(guān)信息，即將收集到的大量信息中的與案件無關(guān)的信息去除。將處理后的信息匯總在一起，查漏補(bǔ)缺然后上報(bào)。在信息的分析總結(jié)階段，將上報(bào)的信息依據(jù)時(shí)間、空間、關(guān)聯(lián)性等進(jìn)行分類。依據(jù)案件情況進(jìn)行分析，將重要的信息點(diǎn)挑選出來，然后對(duì)這些信息點(diǎn)進(jìn)行總結(jié)，以實(shí)現(xiàn)對(duì)嫌疑人信息的全面掌握[5]。

綜上可以看出，傳統(tǒng)的犯罪嫌疑人信息分析方法流程復(fù)雜且成本較高。由于犯罪嫌疑人信息是復(fù)雜的，而傳統(tǒng)的嫌疑人信息分析方法又具有上述劣勢(shì)[6]，其及有可能會(huì)錯(cuò)過案件重要信息獲取的最佳時(shí)機(jī)，所以迫切需要一種能夠快速且高效便捷的分析嫌疑人信息的方法來滿足對(duì)嫌疑人重要信息獲取的需求。

2 數(shù)據(jù)處理與信息可視化技術(shù)

以數(shù)據(jù)處理與信息可視化為基礎(chǔ)的數(shù)據(jù)分析技術(shù)和依靠人力并且流程復(fù)雜的傳統(tǒng)犯罪嫌疑人信息分析方法相比，以數(shù)據(jù)處理與信息可視化為基礎(chǔ)的數(shù)據(jù)分析技術(shù)具有的明顯的優(yōu)勢(shì)，如高效便捷、輕量化、直觀可視化等[7]。

2. 1 數(shù)據(jù)處理

數(shù)據(jù)處理（Data Processing）是用計(jì)算機(jī)收集和記錄數(shù)據(jù)，經(jīng)加工生成新的信息形式的技術(shù)。數(shù)據(jù)處理大致分為數(shù)據(jù)的準(zhǔn)備、處理以及輸出三個(gè)階段[8]。

在數(shù)據(jù)準(zhǔn)備階段也稱作數(shù)據(jù)的錄入階段，傳統(tǒng)的做法是把數(shù)據(jù)脫機(jī)錄入到穿孔卡片、穿孔紙帶、磁帶或磁盤。現(xiàn)在由于計(jì)算機(jī)軟硬件的發(fā)展，可以直接將數(shù)據(jù)輸入到讀取與寫入速度更快的存儲(chǔ)介質(zhì)中去中，這樣大大提高了數(shù)據(jù)處理的效率。數(shù)據(jù)錄入完畢后，由寫好程序的計(jì)算機(jī)對(duì)其進(jìn)行處理。計(jì)算機(jī)的數(shù)據(jù)處理方法，主要包括以下八種：數(shù)據(jù)搜集，即按需求采集相關(guān)的信息；數(shù)據(jù)轉(zhuǎn)換，即把數(shù)據(jù)轉(zhuǎn)換成計(jì)算機(jī)可以處理的特定形式；數(shù)據(jù)分組，即按特定規(guī)則進(jìn)行有效的分類；數(shù)據(jù)組織，即整理數(shù)據(jù)或用特定的方法安排數(shù)據(jù)；數(shù)據(jù)計(jì)算，即進(jìn)行特定的算術(shù)和邏輯運(yùn)算以得到進(jìn)一步的有效信息；數(shù)據(jù)存儲(chǔ)，把原始數(shù)據(jù)或者運(yùn)算的結(jié)果存儲(chǔ)起來；數(shù)據(jù)檢索，依照分析的要求找出符合特定規(guī)則的數(shù)據(jù)；數(shù)據(jù)排序，把數(shù)據(jù)按一定規(guī)則排成次序。將處理完畢的數(shù)據(jù)，按照需求輸出為文字和數(shù)字的表格或報(bào)表等數(shù)據(jù)保存方式[9]。

2. 2 信息可視化技術(shù)

信息可視化利（Information Visualization）用計(jì)算機(jī)交互式地顯示抽象數(shù)據(jù)，從而使人們?cè)鰪?qiáng)對(duì)抽象信息的認(rèn)知[10]，其將信息對(duì)象的特征值抽取、映射、轉(zhuǎn)換、高度抽象和整合，用圖形、圖像動(dòng)畫等方式表示信息對(duì)象的內(nèi)容特征和語義信息。為了實(shí)現(xiàn)數(shù)據(jù)的可視化，Card等人提出了可視化參考模型[11]，如圖1所示。該模型描述了原始數(shù)據(jù)、數(shù)據(jù)集、可視形式和視圖之間的轉(zhuǎn)換關(guān)系，以及用戶根據(jù)不同的要求，通過人機(jī)界面進(jìn)行可視化映射、數(shù)據(jù)交換、視圖變換等操作。

圖1信息可視化參考模型

將原始數(shù)據(jù)轉(zhuǎn)換成可視化系統(tǒng)可以使用的形式，分成兩部分工作。第一部分是將數(shù)據(jù)集映射成計(jì)算機(jī)可以理解的基本數(shù)據(jù)類型。第二部分是處理特殊事件，例如輸入錯(cuò)誤、數(shù)據(jù)丟失、數(shù)據(jù)規(guī)模超出處理能力等。丟失的數(shù)據(jù)可以憑借插值獲得，大數(shù)據(jù)可以采用如聚合、采樣、過濾、分塊的方法來處理。將數(shù)據(jù)集轉(zhuǎn)換成可視化結(jié)構(gòu)，包括顏色、幾何形狀、聲音等。把可視形式的數(shù)據(jù)映射到視圖中，在屏幕上顯示出可視化結(jié)構(gòu)，并提供如導(dǎo)航等的各種視圖轉(zhuǎn)換功能。最后，使用者可以通過縮放比例、定義位置、裁剪等技術(shù)進(jìn)行視圖變換[12]。

3 基于數(shù)據(jù)處理與信息可視化技術(shù)的嫌疑人信息分析系統(tǒng)設(shè)計(jì)

該系統(tǒng)以Python編寫，因?yàn)镻ython和其他編程語言相比能夠更好地支持圖形輸出、具有較少的程序代碼、更貼近自然語言邏輯的語法等[13]。系統(tǒng)基礎(chǔ)結(jié)構(gòu)分為四部分，包括庫(kù)的導(dǎo)入、電腦操作系統(tǒng)的識(shí)別與區(qū)分、函數(shù)功能的實(shí)現(xiàn)、程序的自動(dòng)運(yùn)行，如圖2所示。

圖2系統(tǒng)的結(jié)構(gòu)

3. 1 庫(kù)的導(dǎo)入

庫(kù)是代碼模塊化的一種體現(xiàn)，庫(kù)的導(dǎo)入可以使程序以更短的代碼行數(shù)去實(shí)現(xiàn)更復(fù)雜的功能。每個(gè)庫(kù)都有其特殊的功能，我們根據(jù)需求對(duì)其進(jìn)行導(dǎo)入。由于系統(tǒng)具有數(shù)據(jù)處理、可視化及一些輔助功能，所以我們對(duì)相關(guān)庫(kù)進(jìn)行導(dǎo)入。被導(dǎo)入的庫(kù)包括wxpy、platform、os、shutil、queue、threading、time、pyecharts、requests、PIL、re、random、math等。根據(jù)需求，系統(tǒng)庫(kù)的導(dǎo)入可以進(jìn)行動(dòng)態(tài)更新，以實(shí)現(xiàn)系統(tǒng)功能的完善。

3. 2 電腦操作系統(tǒng)的識(shí)別與區(qū)分

系統(tǒng)通過代碼獲取到操作系統(tǒng)信息，再與常見的操作系統(tǒng)類型進(jìn)行比對(duì)。這里主要是區(qū)分常見的Microsoft Windows系統(tǒng)、Mac OS系統(tǒng)、Linux系統(tǒng)。系統(tǒng)比對(duì)完畢后，其會(huì)自動(dòng)按照不同系統(tǒng)的代碼編寫形式去運(yùn)行后續(xù)的代碼，以實(shí)現(xiàn)分析系統(tǒng)對(duì)于不同操作系統(tǒng)的兼容。

3. 3 函數(shù)功能的實(shí)現(xiàn)

系統(tǒng)定義了實(shí)現(xiàn)其主要功能的函數(shù)，這些函數(shù)功能包括分析關(guān)系人性別比例、分析關(guān)系人分布省份、分析關(guān)系人重要分布省份的重要城市信息、分析共同群聊數(shù)目最多的關(guān)系人、分析特殊關(guān)系人等。這些函數(shù)的主體部分由數(shù)據(jù)處理與信息可視化兩個(gè)部分構(gòu)成。

（1）數(shù)據(jù)處理部分

通過使用嫌疑人手機(jī)微信掃描系統(tǒng)啟動(dòng)后跳出的登錄驗(yàn)證碼，嫌疑人的微信聯(lián)系人的昵稱、性別、備注、所在省份、所在城市、共同群聊數(shù)量等信息就會(huì)被存儲(chǔ)到計(jì)算機(jī)內(nèi)存中，這樣就實(shí)現(xiàn)了數(shù)據(jù)的錄入。對(duì)于被錄入的數(shù)據(jù)系統(tǒng)根據(jù)不同的情況采取不同的數(shù)據(jù)處理方法。對(duì)于數(shù)據(jù)轉(zhuǎn)換的應(yīng)用，系統(tǒng)將錄入的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，使其形式為一維或二維等易于計(jì)算機(jī)處理的形式；對(duì)于數(shù)據(jù)搜集的應(yīng)用，系統(tǒng)依據(jù)不同類別的函數(shù)進(jìn)行不同信息的采集，例如性別、所在城市和所在省份等信息；對(duì)于數(shù)據(jù)分組的應(yīng)用，系統(tǒng)將被錄入的信息按照不同信息類型進(jìn)行分類，如關(guān)系人屬于什么省份并將其按不同省份分為不同的組別；對(duì)于數(shù)據(jù)計(jì)算的應(yīng)用，系統(tǒng)將不同類型的信息進(jìn)行統(tǒng)計(jì)，如不同省份的人分組完畢后，系統(tǒng)將不同省份人數(shù)加和統(tǒng)計(jì)并比較排序；對(duì)于數(shù)據(jù)存儲(chǔ)的應(yīng)用，系統(tǒng)將嫌疑人聯(lián)系人無需處理的信息或者經(jīng)過計(jì)算方法處理的信息處理完畢后保存起來；對(duì)于數(shù)據(jù)檢索的應(yīng)用，系統(tǒng)需要統(tǒng)計(jì)聯(lián)系人分布最廣泛地省份的市區(qū)分布情況，就要先查找省份信息再?gòu)钠渲腥ゲ檎沂袇^(qū)的信息；對(duì)于數(shù)據(jù)排序的應(yīng)用，系統(tǒng)將被統(tǒng)計(jì)的信息依據(jù)一定的規(guī)則進(jìn)行排序，如詞云圖統(tǒng)計(jì)時(shí)，將市區(qū)聯(lián)系人數(shù)量排名靠前的數(shù)據(jù)保留；對(duì)于數(shù)據(jù)組織的應(yīng)用，如在統(tǒng)計(jì)特殊人群時(shí)，系統(tǒng)先將有星標(biāo)聯(lián)系人、置頂關(guān)系人、不讓他看朋友圈關(guān)系人等檢索并統(tǒng)計(jì)，然后將這些數(shù)據(jù)組織到一起。在數(shù)據(jù)的輸出階段，系統(tǒng)將處理完畢數(shù)據(jù)存儲(chǔ)為列表或字典等形式。

（2）信息可視化部分

在數(shù)據(jù)集預(yù)處理與轉(zhuǎn)換的階段，一般分為兩個(gè)步驟，第一步是將數(shù)據(jù)集映射成計(jì)算機(jī)可以理解的基本數(shù)據(jù)類型。由于前面數(shù)據(jù)處理部分系統(tǒng)已經(jīng)對(duì)這些數(shù)據(jù)進(jìn)行了處理所以這一步就省略了。直接進(jìn)入該階段的第二步，即處理特殊事件，如系統(tǒng)在進(jìn)行某省市的各個(gè)市區(qū)的聯(lián)系人數(shù)量統(tǒng)計(jì)時(shí)，有些人沒有設(shè)置自己的具體所在省市的市區(qū)，導(dǎo)致數(shù)據(jù)在省市處有信息，在市區(qū)處無信息，在可視化結(jié)果處會(huì)出現(xiàn)無設(shè)置信息的市區(qū)處橫坐標(biāo)顯示為空的情況，這就需要系統(tǒng)進(jìn)行數(shù)據(jù)丟失的特殊事件處理。系統(tǒng)將無標(biāo)注的市區(qū)值設(shè)為其他，在統(tǒng)計(jì)時(shí)無標(biāo)注的市區(qū)信息就會(huì)被以“其他”進(jìn)行統(tǒng)計(jì)，可視化圖表上市區(qū)顯示為空的地方的值變?yōu)椤捌渌保驍?shù)據(jù)丟失而出現(xiàn)的問題因此被解決。在可視化過程的核心階段，即可視化映射中，系統(tǒng)把數(shù)據(jù)集轉(zhuǎn)換為可視化結(jié)構(gòu)。系統(tǒng)將根據(jù)有效性與表達(dá)性，對(duì)數(shù)據(jù)的可視化結(jié)構(gòu)進(jìn)行選擇。各類型數(shù)據(jù)集的可視化結(jié)構(gòu)依據(jù)各類數(shù)據(jù)的特點(diǎn)其選擇是不同的，如系統(tǒng)將性別統(tǒng)計(jì)的可視化結(jié)構(gòu)選擇為幾何形狀，如餅狀圖；對(duì)于聯(lián)系人所在地區(qū)省份，我們選擇中國(guó)地圖作為分布地點(diǎn)展示，并將各省份以不同顏色表示，深顏色表示分布數(shù)量多，淺顏色反之。對(duì)于重要省市的市區(qū)聯(lián)系人分布數(shù)量統(tǒng)計(jì)，系統(tǒng)使用柱狀圖展示，這樣可以有效地展示不同市區(qū)人數(shù)和各市區(qū)人數(shù)之間的對(duì)比關(guān)系。對(duì)于全國(guó)市區(qū)聯(lián)系人分布數(shù)量的展示，系統(tǒng)選擇城市詞云圖，分布人數(shù)多的前幾名市區(qū)會(huì)被呈現(xiàn)在圖中，并且顯示字體的大小代表人數(shù)的多少。在繪制轉(zhuǎn)換階段，系統(tǒng)將幾何類型數(shù)據(jù)映射到視圖中，并將可視化結(jié)構(gòu)顯示到屏幕上。偵查人員可以根據(jù)需求對(duì)視圖進(jìn)行一系列操作，如定義位置、導(dǎo)航和縮放比例等。

3. 4 程序的自動(dòng)運(yùn)行

系統(tǒng)首先初始化文件夾，然后啟動(dòng)微信機(jī)器人。系統(tǒng)自動(dòng)根據(jù)計(jì)算機(jī)操作系統(tǒng)類型執(zhí)行相應(yīng)的指令。在函數(shù)的調(diào)用部分，經(jīng)由函數(shù)功能的實(shí)現(xiàn)部分定義的函數(shù)被依次調(diào)用，實(shí)現(xiàn)程序主要功能。為了清晰展示系統(tǒng)運(yùn)行的進(jìn)程，在函數(shù)調(diào)用的頭部和尾部都打印了提示語句。函數(shù)開始調(diào)用時(shí)顯示“某某函數(shù)正在運(yùn)行，請(qǐng)耐心等待”，函數(shù)運(yùn)行結(jié)束時(shí)顯示“某某信息分析完畢”。系統(tǒng)運(yùn)行結(jié)束時(shí)，嫌疑人信息的分析結(jié)果就以可視化形式被保存在特定文件夾內(nèi)，部分結(jié)果示例如圖3所示。

圖3部分結(jié)果示例

4 結(jié)語

高效便捷、輕量化、直觀可視化是數(shù)據(jù)處理與信息可視化應(yīng)用在犯罪嫌疑人信息分析上的三個(gè)主要優(yōu)勢(shì)。因?yàn)閭鹘y(tǒng)犯罪嫌疑人信息分析方法的局限性，所以整個(gè)分析過程存在各種問題，例如，低效率并且不便捷、人力處理的信息量過大、分析結(jié)果不直觀化等。該系統(tǒng)以數(shù)據(jù)處理與可視化為技術(shù)依托，通過犯罪嫌疑人的微信驗(yàn)證登錄，使其信息讀取到內(nèi)存中，這樣使得信息錄入的過程變得高效便捷。在通過程序?qū)?nèi)存中的信息進(jìn)行數(shù)據(jù)處理，使將要用于分析的信息被單獨(dú)提取保存，這樣就使得需要處理的信息的體量變小。被保存的信息會(huì)被系統(tǒng)依據(jù)不同函數(shù)的功能進(jìn)行分析，其結(jié)果以圖片形式保存，這就使得其結(jié)果具有直觀可視化的優(yōu)點(diǎn)。在案件初期，我們可以通過該系統(tǒng)迅速確定嫌疑人重點(diǎn)排查關(guān)系人、重點(diǎn)排查地區(qū)等重要信息，使其成為輔助偵查破案的重要的信息分析方式。