大數據在信息系統設計與推廣中的思考

韓 瑛

（天津市公安局，天津 300040）

大數據在信息系統設計與推廣中的思考

韓 瑛

（天津市公安局，天津 300040）

相對于大數據技術，大數據更加注重的是在思考和設計方式上的轉變，在大數據理念和技術快速興起并受到廣泛關注的背景下，結合公安行業的信息化特點探討大數據在信息化建設中的應用基礎和實施策略。

大數據；數據倉庫；信息化建設；系統推廣；功能調研

1　背　景

目前，“大數據”理念和相關技術已經被廣泛討論和研究，一方面，對大數據的掌握程度可以轉化為實際的應用價值；另一方面，大數據的影響范圍由電商、金融向政府、公安等更多的行業和領域擴展。

要應用大數據，就必須要對其有詳細的定義，但是站在不同的角度和時期對其有不同的認識，我們可以認為大數據就是“利用歷史積累的海量數據建立數學模型，分析事物之間的相關關系，挖掘數據的價值，解決實際問題，”也可以認為大數據是“無法在一定時間內用傳統數據庫軟件工具對其內容進行抓取、管理和處理的數據集合”或“大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。”不管如何定義，大數據不但要求“大”，而且要求“全”，注重數據的完整性和相關性，推翻了采樣分析和追求因果關系的傳統觀點。

大數據具有明顯的行業特征，其落地的關鍵在于與行業應用的深度融合，傳統BI通過大量的ETL形成完整的數據倉庫，而基于大數據的BI分析可能會將數據倉庫設計為分布式的、能夠處理非結構化數據的綜合性數據倉庫。數據分析的基本方法和思路沒有改變，只是落地到執行的數據存儲和數據處理方法改變了，當然對系統集群的維護也提出了更高的要求。

現在，大數據理念和相關技術在新興行業中應用已較為成熟，例如，電商行業直接借助于新興的互聯網技術，獲取大量不同類型的客戶數據，從中分析客戶行為規律，為其提供相關的商品推薦。另外，大數據理念和技術在公安行業中的應用也嶄露頭角。

大數據正在逐漸影響著更多的行業，對傳統的業務系統也會有新的貢獻。公安行業信息化投資大、風險高，技術人員和領導團隊都需要從大量當前系統使用情況的數據中抽取有價值的信息作為系統推廣、后期調研、綜合研判的依據。公安業務系統數據具有分散性、多樣性和異構性特點，隨著數據量的增加，對大量信息的處理難度也不斷增大，從大量數據中發現有利信息成為數據利用的關鍵技術。這些是公安行業信息系統建設的難點也正是大數據理念和技術引入的必要性和數據基礎。

目前，一些警種已經把數據倉庫引入到研判的信息系統中，用商務智能的方法處理數據，以便能夠迅速、準確、全面及時地掌握各方面信息，從整體上提高生產率。數據倉庫是面向主題的、集成的、穩定的和反映歷史變化的數據集合，通過對原有的大量復雜數據進行抽取、轉換、加載而形成真實、全面、統一的數據。在獲取了全面的數據信息之后，還需要建立相關模型，挖掘數據中隱含的知識，探索案件發生的規律，預測警情等，為更有效地進行資源分配和防范犯罪提供可靠依據。

很多地區都開始了公安云的建設。如江蘇省、山東省、湖北省等地區都建立起了省級的云平臺，建立統一的管理和服務平臺，實現了數據的資產化管理和集成應用。主要表現在：注重現場自動化建設、注重應用的集成、注重對數據的深入利用、注重通過信息化促進工作優化。這些都是傳統BI技術在公安行業中的應用，要拓展新思路，探索新方法，實現新發展，可以從大數據理念的角度出發思考問題。

公安行業作為具有代表性的新興行業，其現有的信息系統相對成熟，傳統觀念已根深蒂固，針對大數據技術的人員儲備不足，信息化技術在上游業務中的應用較少，如果完全以新技術取代傳統技術對企業的系統架構、信息安全和人員配置以及運維方法都會造成很大的沖擊，導致整個生產鏈條的紊亂。因此，公安行業需要引進大數據理念和技術，要從上游業務中開始注重各方面基礎數據的采集，逐步穩妥地將數據理念滲入到傳統的BI技術中。但不宜大范圍地更換新技術，應該先建立試點，待技術成熟、制度完善、有應用戰果之后再進行推廣。

公安經濟保衛工作也在按照這個思路向新理念、新技術靠攏。近些年，先后完成了經保業務等專業數據庫建設，囊括了經保信息系統投入開發后所產生的絕大部分業務數據，形成了覆蓋整體業務的數據管理體系，并參照警綜平臺和情報平臺的數據模型，開展了業務系統的升級改造，先后與多個系統進行了對接，為數據的綜合應用打下了堅實基礎，使數據管理基本實現正規化。隨著對云計算技術的全面應用，參照大數據的理念，已經具備了開展大數據應用的理論基礎和技術基礎。

2　關于大數據的應用觀點

2.1關聯分析是關注點

大數據時代，人們追求的是相關性而不是因果性。建立在相關關系分析法基礎上的預測是大數據的核心。相關關系是通過識別有用的關聯物來幫助人們分析一個現象，而不是通過揭示其內部的運作機制。

2.2建立分析模型是根本

大數據應用具有明顯的行業特征，其落地的關鍵在于與行業應用的深度融合，根據行業特點，建立不同的分析模型，以促使大數據應用更好的“落地”。

2.3可視化應用是亮點

首先，大數據技術分析的數據量大而且結構多樣化，分析過程比較復雜，但是普通用戶不能從大數據中直接獲取知識，因此更關心結果的展示，所以，數據可視化應用是大數據技術的亮點。

其次，作為傳統的IT系統，現有的系統架構和技術人員配置都相對成熟，但是這些基礎設施、數據結構、技術儲備都無法滿足大數據分析的技術要求，所以面臨技術升級（如分布式系統架構Hadoop等）的挑戰，這就要求具備強大而穩定的技術開發和運維團隊。

3　主要工作

基于以上分析，認為公安行業應當實行大數據理念和傳統的BI技術并行的策略。根據自身實際情況，從系統建設的標準化必備模塊、數據管理制度建設、綜合數據倉庫建設、數據的應用分析四個層面開展工作，包括以下內容：

3.1建設標準化必備模塊

3.1.1數據采集

大數據的采集是指通過多個數據庫或多類統一業務的信息存儲表來接收發自客戶端（Web、App或者傳感器形式等）的數據，并且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。如使用傳統的關系型數據庫MySQL和Oracle等來存儲每一筆事務數據。此外，Redis和MongoDB這樣的NoSQL數據庫也常用于采集業務的其他角度的描述信息。

在大數據的采集過程中，其主要特點和挑戰是并發數高，因為在同一時間，可能會有成千上萬的用戶來進行訪問和操作，如人口信息，它們并發的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數據庫才能支撐。并且如何在這些數據庫之間進行負載均衡和分片的確是需要深入的思考和設計。

3.1.2數據導入與預處理

雖然采集端本身會有很多數據庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式數據庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作，來滿足部分業務的實時計算需求。

導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鐘的導入量經常會達到百兆，甚至千兆級別。

3.1.3統計分析

統計與分析主要利用分布式數據庫，或者分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC 的Greenplum，Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結構化數據的需求可以使用Hadoop。

統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的占用。

3.1.4數據挖掘

與前面統計和分析過程不同的是，數據挖掘一般沒有什么預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型算法有用于聚類的Kmeans、用于統計學習的SVM和用于分類的Naive Bayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用于挖掘的算法很復雜，并且計算涉及的數據量和計算量都很大，常用數據挖掘算法都以單線程為主。

3.2完善數據管理制度

進一步完善數據管理制度，用大數據理念梳理并完善各警種的數字資源管理，構建集日常工作、預警提示、決策支持與服務為一體的大數據應用體系，尤其是建立和規范實時數據和視頻數據的存儲管理機制，形成以專業數據庫為基礎、中心數據庫為核心包括實時數據庫和空間數據庫的涵蓋數據入庫、質量控制、數據標準化與數據整合的數據管理體系。

3.3公安數據集市

從公安業務需求和信息化的實際情況來看，建立地區級的數據倉庫應該是下一步工作的主要方向。目前可以以中心數據庫為基礎建立地區級數據倉庫，梳理和構建標準化數據項、數據評測指標體系，實現業務分析對象與指標體系的靈活、快速組合，滿足各級用戶日常數據分析的個性化需求，提高用戶數據綜合分析能力，為大數據在共享、預測、研判等應用方面提供基礎支撐，提高深層次業務數據分析能力，并促進各級管理水平的提升。該系統的功能主要包括指標體系定義、分析對象自定義、指標連續性跟蹤、數據與圖形一體化展示、成果分布和共享、標準化分析、靈活數據查詢等。

3.4開展分析平臺建設

以正在運行的公安業務系統數據為基礎，建立各種業務的業務分析模型，包括預警模型和研判預測模型等，對得到的數據進行分析，實現對人、事、物的安全預警及預見性維護，最大限度降低事件的發生，保證公安工作的高效性和連續性。

4　結　語

在大數據理念和技術受到廣泛關注和應用的背景下，公安行業也應該引入大數據的理念和相關技術。但要先做試點建設，與現有的系統架構和技術相配合，從上游業務開始循序漸進，逐步完成理念和技術的平穩轉變，然后再大范圍推廣，實現整個生產鏈條的技術理念的更新和發展。

10.3969/j.issn.1673-0194.2015.02.122

TP311.52

A

1673-0194（2015）02-0166-02

2014-12-26