大數據重構安防系統

文/王海豐

安防大數據的挑戰

據IDC預測，2020年全球的數據總量將達到35ZB，并以每兩年翻一番的速度在急速的增長。大數據時代的數據不僅僅是數據總量的龐大，同時也是種類的龐大。安防行業有著海量的視頻、圖片數據，一個大型城市每天產生的數據就可以達到1PB，同時還有飛速增長的特征數據，包括卡口過車數據、人臉抓拍數據、報警數據等等。繁多的數據種類、PB級的數據量、低價值密度的視頻數據、快速的數據更新處理需求，這些特性都預示著安防行業已經進入大數據時代。

從安防行業數據處理流程上看，數據經歷了采集-＞傳輸-＞存儲-＞處理這幾個過程，存儲和處理需要大量的服務器，占用了安防系統80%以上的服務器資源，也是安防企業需要重點考慮的問題。傳統的安防系統架構比較混雜，各個廠家各個時期的設備，各種技術方案，各種平臺系統交織在一起，沒有清晰的層次，而且都是以業務為中心，數據的存儲和處理水平還比較低，發展已經遇到一定瓶頸。云計算和云存儲無疑是安防大數據的存儲和處理過程最強有力的技術支撐，這兩種技術的出發點，就是通過分布式技術，把商業級的計算和存儲資源組成一個集群，實現低成本，高可靠，彈性擴展，易于管理和使用的解決方案，替代傳統的小型機、關系型數據庫、高端磁盤陣列組成的方案。

其中，云計算是一種大數據處理技術，也是一種按使用量付費的模式，它提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池，資源包括網絡，服務器，存儲，應用軟件，服務等類型，這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。云計算通常意味著超大規模、虛擬化。云存儲則是在云計算概念上延伸和發展出來的一個新的概念，是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。云存儲對使用者來講，不是指某一個具體的設備或服務器，而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲，實際上用的是整個云存儲系統帶來的一種數據訪問服務。

按照Gartner技術成熟曲線勾勒的趨勢，云計算和云存儲技術已經進入了成熟期，互聯網巨頭已經搭建了各種超大規模的數據中心，并開始影響人們生活的方方面面，而在安防行業的應用才剛剛開始。考慮現有安防系統存在的問題和大數據的涌現，我們認為云計算和云存儲技術完全有潛力解決這些問題，幫助企業和用戶一起應對大數據的挑戰，并實現安防系統的重構。

大數據存儲關鍵技術

隨著安防行業的不斷發展，日益豐富的信息采集途徑，多樣化的業務需求，以及各種行業各種外圍業務系統，都要求安防云存儲系統具有多業務支撐能力，云存儲是最好的解決方案。云存儲的核心是分布式文件系統，實現統一的命名空間、負載均衡、數據容錯、靈活擴展、高性能的讀寫能力等。云存儲可以將所有業務系統的存儲模塊統一到同一個存儲平臺上，支撐各種業務需求，提供了高度的數據共享能力，避免了存儲和應用的耦合，降低了重復投資的風險。

隨著IP化、高清化、智能化的不斷演進，系統存儲空間需求日益膨脹，存儲的可靠性和成本也成為最重要的考量，在這兩個方面，用于數據容錯的Erasure Code算法都給出了滿意的回答，是公認的下一代容錯算法機制，可以代替傳統的RAID方式和副本方式，一些主流的公有云存儲系統都已經開始采用EC算法。EC算法可以讓云存儲系統容忍多臺設備或者多塊硬盤的同時損壞，從而大大加強了系統的可靠性，同時可以做到和RAID5，RAID6同一個級別的空間效率。Erasure Code技術在安防行業云存儲的應用，意味著更高的數據可靠性，更好的成本控制。

系統規模變大之后，其管理也需要投入很多資源。對于一個有著成千上萬臺設備的系統而言，配置管理、擴展和出錯處理的自動化顯得非常重要。云存儲系統可以很好的解決此類問題，以EMC Isilon為例，1分鐘就可以完成系統擴展，10分鐘完成系統初始化安裝和配置。出錯處理亦是如此，在設備損壞后，云存儲可以保證業務不受任何影響，只需將損壞的設備更換掉即可，后臺的數據遷移全部由系統自動處理。

在大量數據讀寫的時候，還需要考慮到系統的性能能否足夠支持上層各種數據業務，比如錄像，抓圖，回放，視頻分析等等，特別是視頻分析，需要以最快的速度讀出原始視頻數據，從海量數據中發掘極低密度的價值，對存儲系統是一個很大的考驗。云存儲系統有著天然的帶寬聚合的能力。在數據寫入時，用戶的數據被系統打散之后存在眾多的存儲節點中，整個系統的網絡帶寬和磁盤IO都可以得到充分利用。通過帶寬聚合帶來的高性能，可以實現文件的高速訪問，極大提升智能分析等上層業務的數據處理能力。

當前市面上有一些所謂的監控云存儲系統，一般都只存儲視頻或圖像業務相關的數據，和業務是緊密耦合的，數據可靠性和訪問速度也得不到保證。在舊的時期，這種系統滿足了基本的數據存儲需求，但長遠來看，是無法適應安防大數據的應用需求的。這類系統沒有核心的分布式文件系統支持，不是真正的云存儲系統，云存儲是實現安防大數據有效存儲的必由之路。如圖1所示。

圖1 典型云存儲架構

大數據實時處理框架

安防系統有大量的視頻圖像數據，傳統的使用方式都是事后靠人工來查閱，效率極低。安防系統的終極目標應該是及時制止犯罪，實現公共安全，所以需要對數據做到實時處理，甚至能建立預測模型，云計算就是實現這種目標的工具。舉幾個例子，美國洛杉磯警察局運用云計算技術，對歷史卷宗的分析，形成了預測犯罪發生地的模型；微軟運用云計算技術，將911的歷史數據和監控視頻相結合，可以成功預測某地的犯罪。

云計算系統可以劃分為IaaS，PaaS，SaaS幾個層次。IaaS主要完成了物理資源虛擬化工作，解除了業務和物理設備的關聯，使得業務專注于業務本身，將資源管理交給了云計算平臺。虛擬化的作用是顯而易見的，它可以將業務變得彈性化，可以根據業務需求，虛擬出相應的計算資源給相應的應用。比如某體育館有演唱會，即可對體育館周邊的視頻數據進行重點智能化分析，白天可對交通十字路口的視頻數據實時處理，晚上則可重點處理娛樂場所周邊的視頻數據。

但是，IaaS只是一個基礎，安防行業云計算的核心價值體現在SaaS層。它需要按照分布式的思維，重新實現安防大數據處理的業務邏輯，一方面要對業務進行解構，另一方面要和底層的IaaS，PaaS緊密結合，形成相對垂直的系統形態。在云計算服務化之后，還可以體現出很好的規模效應。比如，目前的交通系統，由于通信系統和發布系統一般都是獨立的專用系統，成本高并且整個系統相對封閉，影響了智能交通系統的普及。采用云計算模式以后，對于一些周邊地區而言，只需要租用相應的智能交通云計算服務即可。這樣就可以大大降低智能交通系統的建設門檻，有利于智能交通系統的普及。隨著更多用戶的加入, 進一步攤薄系統的建設成本，成本的降低又會帶來更多的用戶，通過這種良性循環，就可以加快智能交通系統的普及。

在多種安防大數據處理業務形態中，智能交通安防大數據是目前比較熱門的方向。一個大型城市3個月的過車歷史記錄就達到1800億條，每天20億條記錄。如此龐大的數據量給傳統的數據存儲和分析計算都帶來了巨大的壓力。傳統系統難以支撐，容量有限，處理速度有限，擴展困難。云計算系統可以很好的解決這個問題，實現性能和設備數量線性擴展，從而實現千億級數據秒級查詢的能力。這種高速檢索能力，給刑偵、交通服務都帶來了巨大的好處，使得類似套牌車等大數據量查詢運算的應用變得有可能。如圖2所示。

圖2 典型的大數據實時分析系統

不管是何種安防業務，其大數據的處理流程是比較類似的，可以提煉出如圖中所描述的處理框架。首先通過云存儲將大量的圖片、視頻等非結構化數據存儲起來，并提供統一的訪問形式，數據共享的能力。然后運用云計算的視頻摘要分析能力，從視頻圖像數據中提取人和車等元數據信息，變成結構化數據存儲在分布式數據庫中。通過快速檢索技術，可以提供秒級檢索能力，為實時決策提供數據支撐。通過離線分析在結構化數據上進行數據挖掘，將數據進行聚類，并最終形成數據模型，對未來的事情進行預測。同時云計算的實時計算又能根據模型來提供實時告警。以上就是安防大數據完整的數據流。