高—清時代帶來的存儲新需求安防云存儲

■ 劉建欽

大數據一詞被越來越多的提及到，那么對安防行業來說，其最大價值就是海量存儲系統——云存儲。本文選擇了幾個主流云存儲技術進行分析介紹。

視頻監控行業發展趨勢

“大數據”一詞從2012年起被大家所廣泛提到，用來描述和定義信息爆炸時代產生的海量數據；也有用來指一個企業或公司創造的大量非結構化和半結構化數據。近年來互聯網和信息行業的飛速發展，互聯網上的數據出現了爆發式增長，從起初的計量單位GB或TB到現在的PB（1024個TB）、E（100萬個TB）或Z（10億個TB）。大數據到底有多大？其計量單位至少是P，這里舉例一個與我們日常生活息息相關的視頻錄像例子：1路8Mbps 1080P高清攝像機24小時錄像產生的數據量為84GB，30天錄像數據量為2520GB，1年錄像數據量為30TB。照此計算，如果建設100路同樣的攝像機，1年就需要約3PB存儲空間。這類視頻數據就是典型的非結構化數據。

近十年來，在公安部頒發的“3111工程”建設規劃綱要指導下，中國視頻監控行業經歷了從2006年開始的平安城市項目建設到現在的智慧城市項目建設的重大轉變。同時，在北京奧運會、廣州亞運會安保項目和各地上海世博會、西安園博會等各行業大型安防項目建設的強勁拉動下，整個安防市場取得了高速發展的成果；再者，隨著物聯網技術的應用落地，智慧城市建設取得了一定的成效，進一步加快了整個安防行業市場規模迅速擴大。而用戶群和市場需求的不斷擴大，帶動了視頻監控行業技術持續更新；帶來了視頻監控圖像質量由起初的模擬信號標清到現在的數字高清、以及用戶對視頻圖像數據剛開始只看不存或少量保存到現在的長時間存儲的轉變；由此就帶來了視頻數據爆炸性增長的態勢，起初的DVR存儲和服務器本地硬盤保存已經滿足不了大數據量快速存儲需求。因此在大量高清應用環境下，視頻監控行業迎來了“大數據”時代的海量存儲系統——云存儲。

視頻云存儲技術介紹

視頻監控存儲技術是視頻技術和存儲技術的融合，針對不同的應用環境存在不同的解決方案。DVR分散存儲，DAS直連存儲和SAN集中存儲技術在不同的監控環境中都已經得到了充分應用，可以滿足大中小型監控系統的存儲需求。但是對于特大型監控系統，要求達到PB級的存儲容量，靠單設備和單客戶端的文件系統是做不到的，必須有虛擬化、集群化的解決方案。

近幾年興起的云計算、云存儲技術充分利用了虛擬化集群存儲技術，可以實現存儲空間的動態擴展、多設備負載均衡、多設備冗余等，為特大型監控系統的建設提供了新的思路。云計算是信息技術發展新趨勢，云存儲是在云計算概念上延伸和發展出來的一個新概念，是指通過集群應用、網格技術、分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的存儲系統。

當使用某一個獨立的存儲設備時，必須清楚該設備是什么型號，什么接口和傳輸協議，必須清楚存儲系統中有多少塊磁盤，是什么型號、多大容量，必須清楚存儲設備和服務器之間采用什么樣的連接線纜。為了保證數據安全和業務的連續性，還需要建立相應的數據備份系統和容災系統。除此之外，對存儲設備進行定期的狀態監控、維護，軟硬件更新和升級也是必須的。這些工作量對于一個特大型（10PB級以上）存儲系統來講是不可想象的。

采用云存儲，上面所提到的一切對使用者來講都不需要了。云狀存儲系統中的所有設備對使用者來講都是完全透明的，任何地方的任何一個經過授權的使用者都可以通過一條鏈路與云存儲連接，對云存儲進行數據訪問。就如同云狀的廣域網和互聯網一樣，云存儲對使用者來講，不是指某一個具體的設備，而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲，并不是使用某一個存儲設備，而是使用整個云存儲系統帶來的一種和應用相結合的數據存儲服務。所以嚴格來講，云存儲不是存儲，而是一種存儲和應用的結合。

相比于傳統的存儲方案，云存儲方案具有如下優勢：

主流云存儲技術介紹與應用分析

云存儲的核心是應用軟件與存儲設備相結合，通過應用軟件來實現存儲設備向存儲服務的轉變。當前存儲行業主流云存儲架構分為文件級共享架構和塊級非共享架構兩種。基于文件級共享架構的代表廠商有IBM和EMC，而塊級非共享架構的廠商以海康威視為代表。下面就代表廠商從技術角度做介紹：

項目 傳統視頻監控存儲 視頻監控云存儲可管理性 單設備獨立存儲或多設備堆疊存儲；管理維護相對麻煩統一管理，虛擬化集群服務，基于統一的管理平臺，對多設備狀態、資源、報警、升級、擴展進行集中管控。可靠性 RAID技術、部件級冗余 系統級+設備級+部件級冗余，RAID技術并發性能提升，智能性能負載，控制數據和視頻數據分離，文件系統優化，集群協調工作節能 RAID組級MAID技術 設備級和RAID組級MAID技術服務 任務不可分割 存儲任務和分析任務分割可擴充性 設備級配置復雜 系統級在線配置、容量/性能擴充方便數據安全 備份、容災 N+m設備冗余，遠程容災，關鍵數據多個副本可用性 掌握IP/FC存儲技術 對用戶完全透明成本 綜合成本高 綜合成本低，可節省大量錄像服務器投入性能 基于設備局部性能優化

IBM SONAS 集群存儲

IBM SONAS集群存儲是IBM Scale Out Network Attached Storage 的簡稱。IBM SONAS是一個采用橫向擴展架構的集群 NAS 系統，建立在自主研發的通用并行文件系統（IBM General Parallel File System：GPFS）上。它通過把高速接口節點與出色的存儲子系統和GPFS連接起來，提供非常高的性能和可伸縮性。同時把先進的水平擴展能力與自動的數據部署和統一管理結合在一起，讓客戶能夠方便、快捷地把存儲空間擴展到數 PB級。

IBM SONAS 集群系統組成由一個專用的管理節點和兩個或多個接入節點兩部分。接入節點主要是對外部應用系統提供數據傳輸通道，也是用戶應用系統訪問存儲資源的一個類似中間件的作用。它可以根據不同協議 NFS、CIFS 和FTP 方式連接組成數據存儲網絡來為用戶提供文件服務能力。它們分別部署不同的服務器集群上。

IBM SONAS 技術特點有：

● 使用單一全局名稱空間，可提供與文件的物理位置無關的快速數據訪問；

● 基于高可用的集群架構，可獨立靈活地存儲容量和文件服務能力擴展；

● 可自由伸縮的海量存儲空間，從數百 TB 到數 PB；

● 針對并行IO負載優化，可提供高速并行的IO處理能力；

● 支持多種訪問標準的網絡文件服務，比如 NFS v2/v3、FTP 和 CIFS；

● 完全集中的管理和控制，簡化大型 NAS 系統的管理；

● 基于策略的數據部署和轉移，用于改進分層和信息生命周期管理（ILM）。

IBM SONAS系統架構如圖1所示：

IBM SONAS典型應用：

● 企業辦公一般文件存儲：通用的文件存儲,客戶希望日常管理比目前的NAS好；

● 數字媒體：高性能, 簡化管理,適合數字媒體環境的變化多端的需求；

● 網絡內容存儲：海量擴展,存放Web 2.0內容和云計算應用的數據；

● 高性能分析：業務應用數據，包括財務系統和地理科學,統一的命名空間易于使用；

● 能源和地理科學：能源探索和地理科學要求大量可訪問的命名空間作分析之用和非常高的性能計算；

● 計算機工程：汽車/航空/ 電子設計處理需要大量的文件存儲來實現仿真；

EMC Isilon NAS集群存儲

圖1

圖2

EMC Isilon NAS集群存儲系統是EMC在2010年11月通過收購橫向擴展市場的領導者Isilon方式獲得的而非自主開發。Isilon的架構采用真正的分布式、全對稱集群體系結構，將模塊化存儲節點和Isilon的智能軟件相結合；其操作系統采用第六代IsilonOneFS分布式文件系統，創建具有單一文件系統和單一全局命名空間的集群。也就從最簡單的基準線逐漸發展成為橫向擴展系統，而其他系統僅僅是在傳統的存儲文件系統上增加共享層。因此，Isilon所有產品具備了非常簡單性設計準則的特點。

Isilon技術特點有：

● 單一文件系統和全局命名空間；

● 簡單性設計準則，提供無與倫比的易用性；

● 最高N+4 數據保護，可在群集、目錄或文件級別設置；

● 為元數據和基于文件的存儲工作流智能應用SSD 技術；

● 超過140 萬次NFS 操作/ 秒，聚合吞吐量達到85 GBps；

● 最高配備13.8 TB 的全局統一緩存；

Isilon系統架構如圖2所示：

Isilon典型應用：

● 數字媒體：廣播，實時流，渲染及后期制作；

● 設計和仿真：電子及機械系統的仿真，驗證及分析，可制造性設計以及需要快速分析應用。

海康威視云存儲

海康威視云存儲系統是監控云平臺和云存儲系統的結合，其系統設計之初就融合了海康威視視頻監控技術優勢和自研的流媒體存儲技術特點。它采用了基于流媒體的文件管理結構和Hadoop分布式文件系統（HDFS），對于構建針對視頻流應用的監控云存儲系統具有天然的應用優勢。

圖3

云存儲系統由云存儲管理節點和存儲節點共兩部分組成。其中，存儲節點：支持前端設備的直接寫入和客戶端的直接取流；存儲節點負責音視頻錄像數據的存儲。管理節點負責內部有關云內配置的元數據信息，集群內部的負載均衡，失敗替換等管理職能；組建海量的存儲資源池，容量分配按需自動分配；并且存儲容量可進行線性在線擴容，性能和容量的擴展都通過在線擴展完成。此外，管理節點還負責存儲節點的命令流處理。海康威視云存儲的結構模型由四層組成：

● 物理存儲層（存儲節點）

存儲層是云存儲最基礎、最底層的部分。存儲設備可以是SAN架構下的FC光纖通道存儲設備或iSCSI，NAS等IP存儲設備，也可以是 SCSI或SAS等直連存儲設備。監控云存儲中的存儲設備往往數量龐大且分布多在不同地域，彼此之間通過廣域網、互聯網連接在一起。

存儲設備群之上是一個統一存儲設備集群管理系統，可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設備的狀態監控和故障維護等。

● 基礎管理層（管理節點）

基礎管理層是云存儲最核心的部分，也是云存儲中最難以實現的部分。基礎管理層通過集群、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備之間的協同工作，使多臺存儲設備可以對外提供同一種服務，并提供更大更強更好的視頻數據訪問性能。同時，數據壓縮功能可以提高存儲空間的利用率，降低建設成本；數據加密技術的應用可以保證云存儲中的數據不會被未授權的用戶所訪問，保證數據的安全性。

通過高性能、大容量云存儲系統和遠程數據備份軟件，監控業務運營商和IDC數據中心可實現關鍵視頻數據的安全備份和遠程容災。不僅要保證本地數據的安全性，還要保證當本地發生重大災難時，可通過遠程備份或遠程容災系統進行快速恢復，保證云存儲系統的安全和穩定。

● 訪問接口層（統一標準的公用應用）

訪問接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業務類型，開發不同的應用服務接口，提供不同的應用服務。視頻監控是最典型的一個應用，海康云存儲為視頻監控應用平臺提供唯一一個統一標準的公用應用接口，根據海康視頻服務云平臺業務資源需求，便捷實現視頻數據的存儲、檢索、回放、瀏覽轉發等操作，并提供遠程數據備份應用接口實現關鍵視頻數據的遠程容災。

● 業務應用層

監控中心平臺、前端視頻接入設備（DVR/DVS/IPC）、視頻訪問用戶都可以通過標準的公用應用接口來登錄云存儲系統，享受云存儲服務。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。

其技術特點有：

● 基于流媒體文件管理結構的云存儲管理系統；

● 針對監控應用使用統一的流媒體文件系統和分布式命名空間；

● 基于高可用的集群架構，可獨立靈活的存儲容量和數據服務能力擴展；

● 可自由伸縮的海量存儲空間，從數PB 到數千PB；

● 針對并行IO負載優化，提供高速并行的IO處理能力；

● 統一的全集中管理和控制，簡化大型存儲系統的管理；

● 基于策略的數據部署和轉移，用于實現關鍵視頻數據的遠程容災；

圖4

云存儲系統架構如下圖示：

典型應用：

● 視頻監控：平安城市項目或大中型企業廠區視頻監控；

● 網絡電視節目：海量擴展，用于存放網絡IPTV內容的數據；

● 高性能分析：公安視頻業務應用數據，要求大量可訪問的命名空間作分析和非常高的性能計算；

從以上三家廠商存儲技術介紹來看，IBM SONAS和EMCIsilon代表集群NAS存儲架構的云存儲廠商；海康威視是基于數據塊（流媒體文件管理結構）的SAN存儲架構的云存儲廠商。采用流媒體文件管理結構的云存儲適合非結構化數據并且有大量視頻類應用的場合。如：公安、司法、監獄和金融等。其主要用來處理和大量視頻類數據相關的應用，例如對設定條件下數據快速檢索和定位分析。對于公安用戶來說，為關鍵任務、高并發性及基于隨機訪問視頻的應用需求提供高速存儲，從而加速了公安業務辦理速度也提高了日常辦事效率。這也就決定了它的市場定位是城市級和大中型企業級視頻監控應用。

采用集群NAS架構存儲適合結構化數據文件級高并發讀寫共享類應用。其主要用于處理具有大量數據的應用，例如“大數據”分析和大文件環境。為關鍵任務、高事務性及基于隨機存取文件的應用程序提供超高速主存儲器，從而加速了業務速度以及對市場的快速反應。這樣，這類存儲是明確定位在大型企業和云供應商高性能應用。反而對于海量的非結構化數據和大小不等的視頻文件應用來說，因這類數據具有固定周期性覆蓋和高可靠性讀寫特點，而并不能發揮出高速IO處理能力和高共享性的優勢。

綜合以上三家廠商云存儲技術架構和應用分析結果，IBM SONAS和EMC Isilon存儲均采用各自的NAS共享文件系統，適合用于大中型企業級高性能大文件數據環境應用。而海康威視云存儲采用基于流媒體文件管理結構的文件系統，緊貼視頻數據流的結構特點，決定了其視頻監控應用的存儲性能最高。適合用于平安城市項目和大中型企業廠區監控項目。自然，在視頻監控應用上，海康云存儲要更合理，更合適。

視頻監控系統整體解決方案上，IBM和EMC沒有配套的視頻監控服務云應用系統，就需要和第三方視頻應用軟件做開發定制才可實現。而海康云存儲系統是為安防行業設計的專用視頻云存儲系統，結合海康視頻監控服務云應用系統，可以非常便捷地給用戶提供完整的一體化視頻監控云解決方案。

隨著智慧城市建設速度加快，安防應用會越來越多，越來越廣。視頻監控建設內容呈現出了高清，智能和融合應用的趨勢。大范圍大量高清IPC的使用環境下，用戶對視頻圖像存儲周期的延長，加上對視頻圖像的智能分析需求以及多部門單位間視頻監控系統的融合，必然帶來巨大的數據量。尤其是目前國內各地的公安部門，公安綜合業務平臺正在轉向以高清視頻監控為主，希望通過110、119、120、電警卡口和交通卡口等之間的整合，采用統一的開放接口方式融合公安相關業務系統，同時正加強智能分析功能的建設和充分應用，以構建成為智能化網絡視頻監控綜合業務平臺。自然，視頻云存儲就成為了現在智慧城市建設中視頻監控數據存儲的首選方案，也是必選的最佳方案。其作為視頻監控綜合業務平臺中最重要基礎支撐部分，具有關鍵位置和重要作用的特點，為建設我國和諧社會的安全文明環境保駕護航。