基于大數據平臺的智能監控技術應用

高冠東

（1.中央司法警官學院信息管理系，河北 保定 071000；2.北京工業大學電子信息與控制工程學院，中國 北京 100124）

1 大數據

近幾年，大數據一詞被人們越來越多提及。大數據是繼云計算、物聯網之后IT產業又一次顛覆性的技術革命[1]。大數據這三個字組合在一起所表達的語義信息是有限的，“大”和“數據”都是極其常用的詞，將其組合在一起，從字面上看不出其表達的確切含義。其實,這正是大數據這個詞語的奇妙之處，這樣不同領域、不同背景、不同身份的人可以用其來表達自己的思想。換句話說，不同的人可以從不同的角度有自己不同的注解。但總的來說，它至少給人們傳遞了一個重要的信息，那就是，信息技術的發展由“計算”轉向了“數據”[2]。

對于大數據的概念，目前還沒有統一的定義。維基百科的定義為:“大數據”是由數量巨大、結構復雜、類型眾多數據構成的數據集合，是基于云計算的數據處理與應用模式，通過數據的整合共享，交叉復用形成的智力資源和知識服務能力[3]。大數據或稱巨量資料，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產，通過對大量數據的存儲、分析和數據挖掘，能夠為政府及企業的決策提供更為科學的數據支持。

大數據具有4個關鍵特征，分別是：（1）海量化（volume）：數據量巨大；（2）多樣化（variety）：數據類別多，數據來自多種數據源，由結構化數據、半結構化數據和非結構化數據組成；（3）快速化（velocity）：數據處理速度快；（4）價值化（value）：價值密度低，有用的數據持續時間短。大數據的這四個關鍵特征也稱4V特征[4]。

2012年發布的名為《大數據促發展:挑戰與機遇》的聯合國白皮書全面分析了各國特別是發展中國家在運用大數據促進社會發展方面所面臨的歷史機遇和挑戰，并系統給出了在應用過程中正確運用大數據的策略建議[5]。2012年3月，奧巴馬政府將“大數據戰略”上升為最高國策，認為大數據是“未來的新石油”，將對數據的占有和控制作為陸權、海權、空權之外的另一種國家核心能力[6]。

大數據給人們帶來了巨大的社會價值。在大數據業務的協助下，科研機構可以進行科學探索，如：農業、資源、環境、氣象、生命等領域；在司法行政機構，大數據的使用，促進了數據信息的交互、共享和分析，提升了警務信息工作效率，并在行政管理、輔助決策、安全防范和應急響應等方面發揮了巨大的作用。企業方面，數據成為關注重點，計算機行業正在轉變為真正的信息行業，關注重點從計算速度轉變為大數據處理能力，軟件也將從編程為主轉變為以數據為中心[7]。

2 大數據時代下的智能監控技術

智能監控技術與大數據的結合必須要考慮以下幾個關鍵要素：

2.1 平臺的規模性

所謂規模，我們應該有如下的認識：首先，應該是一個可以管理無限增長接入需求的真正有應用彈性的平臺；再次，要看這個平臺是否能夠同時從多個存儲管理設備進行查看或者管理不同的攝像機，并具備同時通過一個平臺實現對所有NVR和客戶端的監控和維護能力，即平臺的規模擴展能力。

2.2 如何存儲大數據

海量視頻、音頻以及相關的報警信息等大數據的存儲需要在高清視頻監控下完成，這將影響現有傳統的存儲方式。現有的數據庫存儲方式多采用單一文件存儲方式，或者采用多個分割的系列文件存儲方式。當高清攝像機的規模急劇擴大，若繼續采用這種方式存儲高幀率、全高清的數據，快速讀寫、快速檢索等操作會造成數據庫崩潰。原因是不能對非結構性數據進行，不能在讀寫數據過程中的對數據進行保護以及恢復。當數據庫崩潰恢復時平臺需要在極短的時間內同時對原始數據、丟失的數據以及新數據進行操作，此外，還需要對錯誤數據進行刪選等，這樣會占用大量的時間和存儲空間，降低讀寫速度。如此以來恢復過程可能會花費很長的時間，還可能造成新數據的存儲失敗。

我們可以形成結構化文件以減少存儲空間，提高讀寫效率，及Flat File方式。通過視頻片段實現對大數據的連接關系型數據庫，以提高數據的組織效率[8]。而將視頻分成多個小的片段方式進行存儲和檢索，大大降低了某個視頻片段操作失敗對整個視頻造成的巨大影響。

2.3 數據的安全性

具體方案是可以通過對流媒體數據實現到了國家密碼管理局認證的加密和解密；在前端實現硬件加密，完成對網絡高清流媒體的加密；在后端解密時采用混合應用方式，及雙重密鑰，除了軟件解密還必須通過硬件才能實現解密，防止單一軟件加密方式可能被破解的風險。既給用戶帶來了方便，也提高了監控的安全性。

2.4 數據的處理

大型監控系統的重要指標之一就是視頻數據的智能分析的有效性，即如何對視頻數據進行分析處理、提取及信息挖掘。

2.5 監控系統的冗余問題

傳統的監控系統中對視頻數據的存儲結構較復雜，利用效率低。利用虛擬化計算及分布式存儲，可以提高系統的可靠性，減少系統的冗余度。

3 大數據與智能監控技術相結合的優勢

基于大數據平臺，能給大中型的高清智能視頻監控系統帶來很多益處。

3.1 提高了系統的擴展性

以Hadoop為主的大數據技術，核心特點是分布式存儲架構。根據這一特點，可以在系統后期根據需求添加和刪除節點，靈活轉移節點任務。

3.2 降低投資成本

大數據技術的架構對底層硬件設備的要求并不高，所以可以采用價格低廉的通用硬件，這樣可以大大降低了投資成本。而系統的可靠性由軟件技術提供保障。

3.3 高效分析視頻

視頻數據存儲于多個節點，大數據技術的架構是采用節點分布式，這樣可以并行進行大量視頻數據的分析和處理，實現了海量視頻數據分析及關聯挖掘，提高了有效性。

4 大數據平臺整合方案研究

以信息資源庫為基礎，以中間件技術、云存儲和數據倉庫技術為核心技術，研究了大數據平臺整合設計方案和構建方法，提出了一套適合大數據特點的低成本、最優化平臺構建方案。擬研究的系統虛擬架構如圖1。

基于大數據平臺的智能視頻監控系統主要包括主節點和數據節點。其中主節點為所有數據節點提供統一資源管理與分配、視頻存儲、處理分析及控制策略；數據節點負責接收并處理本地輸入視頻流，并提供計算、存儲、轉發、轉碼資源。

虛擬化資源池：采用虛擬化技術將監控節點的物理資源統一組成資源池，形成模塊化、可擴展的資源，還可以根據實際使用情況進行動態分配，從而形成了智能視頻監控系統的基礎設施。

HDFS系統：該系統將海量視頻數據分布存儲在所有數據節點中，并對數據進行備份。

轉發模塊：對視頻進行轉發，實現網絡資源共享。

智能分析模塊：MapReduce為并行處理架構，可以對海量視頻數據高效實時視頻分析，直接產生結果，備份原數據。MapReduce還可以對錄像視頻數據進行二次分析，既可以對元數據直接進行分析，又可以按具體要求重新進行分析。視頻分析模式主要包括圖像識別、人臉表情識別、移動跟蹤檢測、動作目標檢測等。

轉碼模塊：由于終端用戶所支持的視頻格式不同，并且傳輸帶寬會限制圖像顯示分辨率，需要對視頻數據進行轉碼。可以采用開源軟件FFmpeg，完成監控視頻的格式轉換和分辨率轉碼。

5 結論

《物聯網“十二五”發展規劃》指出，物聯網已成為當前世界新一輪經濟和科技發展的戰略制高點之一，發展物聯網對于促進經濟發展和社會進步具有重要的現實意義，而且在安防領域，視頻監控、周界防入侵等應用已取得良好效果，物聯網是我國新一代信息技術自主創新突破的重點方向，蘊含著巨大的創新空間，在芯片、傳感器、近距離傳輸、海量數據處理以及綜合集成、應用等領域，創新活動日趨活躍，創新要素不斷積聚。物聯網在各行各業的應用不斷深化，將催生大量的新技術、新產品、新應用、新模式。

智能監控技術作為物聯網技術的重要組成部分，在社會治安監控、平安城市建設、危化品運輸監控、食品安全監控，交通運輸、水利設施、市政管理等基礎設施安全監控、預警和應急聯動等方面發揮積極作用。隨著平安城市、智慧城市等工程的建設，監控攝像機已遍布大街小巷。智能監控技術會得到越來越廣泛得應用。

隨著視頻監控中高清攝像機的大量出現，需要存儲的視頻文件日益增多。作為視頻監控采集到的海量數據，和其他種類的大數據一樣，必須進行了智能、高效處理才更具有價值。

智能監控技術的發展勢不可擋，智能監控技術的應用應被大數據所應用，也決定了智能監控技術需要得到大數據的技術支撐。大數據時代的智能監控技術使市場對云存儲的需求越來越高。云存儲不僅能夠將視頻文件存儲在云端，節省存儲空間，而且可以對跨區域的視頻文件進行集中存儲，使搜索更加方便，真正地實現了海量數據的秒級數據檢索。

不僅是云存儲，目前大數據相關技術也能對智能監控技術應用行業的海量視頻數據進行智能分析，提供必要的技術支持。云計算、大數據這些高新技術，將會引領著智能監控技術及相關行業企業再一次轉型升級，基于云計算和大數據技術的解決方案能夠更好地滿足用戶的實際需求，對我國司法行政系統的建設和發展具有重大的理論研究和實際應用價值，產生了很好的經濟效益和社會效益。

［1］孫利民,李建中,陳渝,等.無線傳感器網絡[M].北京:清華大學出版社,2005.

［2］李戰懷,王國仁,周傲英.從數據庫視角解讀大數據的研究進展與趨勢[J].計算機工程與科學,2013,35(10):1-11.

［3］維基百科[OL].http://zh.Wikipedia.org/zh/%E5%A4%A7%E6%95%B8%E 6%93%9A.

［4］李芬,朱志祥,劉盛輝.大數據發展現狀及面臨的問題[J].西安郵電大學學報,2013,18(5):100-103.

［5］李國杰,程學旗.大數據研究:未來科技及經濟社會發展的重大戰略領域:大數據的研究現狀與科學思考[J].中國科學院院刊,2012(06):647－657.

［6］趙科.大數據時代的警務信息工作探討[J].武警學院學報,2013,29(9):88-90.

［7］何清.大數據與云計算[J].科技促進發展,2014,10(1):35-40.

［8］林青.云領安防大數據時代:安防大數據時代下的視頻監控解決之道[J].中國安防,2013,9:39-42.