監控存儲技術解析

□ 文/王運金

監控存儲技術解析

□ 文/王運金

監控存儲的技術演進及技術簡析

第一代存儲是采用的VCR存儲。

VCR存儲實現了最基本的記錄功能或記憶功能。這個存儲技術在2000年初較為盛行，主要以國外的品牌為主，國內企業較少涉足。由于年代較于久遠，而且磁帶存儲的諸多不足，在這里不做詳細介紹和點評。

第二代的存儲是DVR。

DVR采用數字化視頻圖像處理方式，并應用了計算機及網絡技術，視頻存儲在硬盤上，實現了存儲的數字化，錄像很容易在各種數字介質上轉移和復制，且視頻的質量不會因此有任何的降低。

第三代存儲是網絡存儲。

網絡存儲最為常見的就是NVR和SAN。

NVR是由DVR發展而來的，DVR接模擬攝像頭，改為接網絡視頻監控攝像機就是NVR了，所以NVR集成了DVR的各種技術，表現出產品非常成熟和穩定，非常適應安防行業。

S A N即區域存儲網絡，包括F C-S A N和IPSAN。FC-SAN設備因價格昂貴，組建網絡需要專用的HBA卡、交換機設備，實施維護要求較高，因此在視頻監控行業應用較少。IP-SAN是在傳統IP以太網上架構一個SAN存儲網絡，并把服務器與存儲設備連接起來的存儲技術；IP-SAN使用標準的TCP/IP協議，數據便可在以太網上進行傳輸，組網維護方便，在安防行業應用廣泛。

第四代存儲為網絡視頻存儲服務器。

標準的IPSAN設備沒有視頻監控功能，需要掛接在服務器（服務器安裝視頻監控軟件）后面使用。隨著技術的發展，監控與IT的融合，業界通過去掉中間的服務器直接把各種安防視頻監控軟件模塊安裝到IPSAN/NAS網絡存儲設備上逐步形成了不同功能的中心級網絡視頻存儲設備。

第五代存儲主要是云存儲。云存儲，是指通過集群應用、網格技術及分布式文件系統功能，將網絡中大量不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問的一種系統，即以數據存儲和管理為核心的云計算系統。

監控行業引入云存儲的意義

當前安防行業大規模的高清視頻監控系統應用中，需要滿足海量高清的視頻數據存儲，高清視頻數據如720P、1080P、5MP、8MP等高分辨率IPC的接入，大路數并發大碼流的實時數據讀寫，傳統存儲的性能面臨極大的挑戰；安防監控視頻圖像的高清顯示、海量非結構化的數據存儲、多元信息融合、音視頻圖像的分析挖掘、大規模數據的智能分析及決策需要引入云計算、云存儲等多種先進技術，尤其在平安城市、智能交通、智慧城市以及跨地域的大規模行業應用當中，對于這些行業中海量的視頻圖片等非結構化數據存儲系統的需求，意味著數據存儲能力和計算處理性能的提升，存儲產品要求具備高性能、高容量、高可靠性以及可擴展性，同時需要實現與安防行業應用的深度結合，滿足安防系統海量視頻數據管理的特殊業務應用。

云存儲將成為未來平安城市、智慧城市系統的基石，有效的支持原始視頻存儲、卡口圖片存儲，視頻圖像信息庫等數據集中存儲與共享業務，以及智能實戰系統，警務政務綜合系統，大型數據挖掘系統等數據分析業務，成為便捷、統一管理和高效應用的大數據基礎平臺。

云存儲系統難點技術解析

云存儲在系統架構和設計上，充分考慮大規模集群環境下軟硬件發生故障的現實，采用先進的管理思想和軟件系統，實現對大量普通存儲服務器存儲空間資源進行虛擬化整合，實現軟硬件故障高度容錯，搭建高度穩定可靠的存儲集群。系統整體為應用提供統一命名空間，使得系統具備極好的數據共享能力。系統將負載均衡到集群內的各節點上，充分利用集群各節點性能，以獲得很好的性能聚合能力以及保證了系統的穩定。集群采用高度靈活自組網技術，提供簡易部署和維護功能。系統在數據可靠方面，采用智能冗余重建技術，保證較高磁盤利用率的前提下，提供最佳冗余策略。另外，系統在節點軟硬件故障容錯方面，也進行充分考慮，具備屏蔽所有可屏蔽錯誤能力。

快速文件索引技術

云存儲系統可以支持上億級的文件，同時還需要支持上千個用戶同時訪問。這么大規模的元數據和并發訪問量，采用傳統的內存加磁盤多級存儲，以及多級索引方式，尋址的開銷將非常大，直接影響到系統的可用性。為了提高系統的響應速度，云存儲一般采用粗粒度的管理方式，以64M作為典型的塊大小進行索引，大幅減小元數據的數量，即使如此，系統的元數據規模還是會達到GB級別。基于這種情況，系統采用全內存態的元數據訪問模式，可以將文件尋址時間降到毫秒級別。

負載自動均衡技術

采用中心服務器模式來管理整個云存儲文件系統，所有元數據均保存在元數據服務器上，文件則被按塊劃分存儲在不同的數據節點上。元數據維護了統一的命名空間，同時掌握整個系統內數據節點的使用情況，當客戶端向元數據服務器發送數據讀寫的請求時，元數據服務器根據數據節點的磁盤使用情況、網絡負擔等情況，選擇負擔最輕的節點服務器對外提供服務，自動調節集群的負載狀態。數據節點內同時有提供磁盤級的負載均衡，根據磁盤的IO負載，空間容量等情況，自動選擇負載最輕的磁盤存儲新的數據文件。另外對故障的數據節點上的數據快速恢復，只需將數據節點上的硬盤拔出，插入到其他數據節點，這樣即減少集群對數據恢復的壓力，又不對客戶端讀寫產生影響。

高速并發訪問技術

客戶端在訪問云存儲時，首先訪問元數據服務器，獲取將要與之進行交互的數據節點信息，然后直接訪問這些數據節點完成數據存取?？蛻舳伺c元數據服務器之間只有控制流，而無數據流，這樣就極大地降低了元數據服務器的負載，使之不成為系統性能的一個瓶頸?？蛻舳伺c數據節點之間直接傳輸數據流，同時由于文件被分成多個節點進行分布式存儲，客戶端可以同時訪問多個節點服務器，從而使得整個系統的I/O高度并行，系統整體性能得到提高。通常情況下，系統的整體吞吐率與節點服務器的數量呈正比。

高可靠性保證技術

對于元數據，通過操作日志來提供容錯功能。主服務器本地SSD盤組建高可靠RAID1，提供高可靠容錯能力。當元數據服務器發生故障時，在磁盤數據保存完好的情況下，可以迅速恢復以上元數據。且操作日志在主備元數據服務器之間實時同步，實現更高程度的可靠性。對于節點服務器，采用Erasure Code冗余方式實現容錯，數據冗余分布存儲在不同的數據節點上。任一數據節點的損壞，不會導致任何數據丟失，不會影響任何的數據訪問和寫入過程。之后，通過靈活數據恢復機制，進行數據重建過程。集群規模越大，恢復速度越快。

高可用技術

系統中的所有服務節點均是通過網絡連接在一起，由于采用了高可靠的容錯機制，系統增減節點不必停止服務，可在線增減存儲節點。元數據服務器采用主備雙機熱備技術，主機故障，備機自動接替其工作，對外服務不停止；存儲節點可采用Erasure code冗余備份機制，如采用4+1節點間冗余容錯，任意損失一個節點，數據不丟失，服務不停止，客戶端無感知。

云存儲的應用領域

目前，云存儲在各大行業安防市場中，都已有規模性的部署和使用。例如，智慧城市和平安城市的建設，就要求在視頻監控方面，需提供海量的存儲系統，能并充分利用好存儲的數據進行深入的分析處理。傳統的存儲技術無法滿足社會發展的需求，云存儲在安防領域的應用將會成為必然的選擇。未來通過云存儲，越來越多的IT的技術與理念會引入安防，安防視頻監控在不同的行業也將會有各自行業特性的應用特色與需求。同時，越來越多的行業在安防視頻監控體系部署中，會引入“云”的理念與技術。云存儲應用在各行業安防領域應用將會越來越寬廣，安防廠家推出的基于安防特性專用云存儲解決方案，將會使安防云存儲應用更為普及、更為智能。安防行業中云存儲作為未來存儲主要存儲形態，應用會越來越廣泛和成熟。

云存儲與智能分析和大數據的結合應用

在安防行業，涉及的數據信息類型很多，以數據的結構類型來看，包括各類非結構化、結構化及半結構化信息。其中，非結構化數據主要包括視頻錄像和圖片記錄，如監控視頻錄像、報警錄像、摘要錄像、車輛卡口圖片、人臉抓拍圖片、報警抓拍圖片等；結構化數據則包括報警記錄，系統日志記錄，運維數據記錄，摘要分析結構化描述記錄以及各種相關的信息數據庫，如人口信息、地理數據信息、車駕管信息等；半結構化數據則如人臉建模數據，指紋記錄等。利用智能分析技術將安防大數據的非結構化數據轉換為結構化數據，才能將IT大數據成熟的技術體系應用到安防大數據中，充分發揮安防大數據的作用。對于視頻圖像等非結構化數據的分析和處理，這些技術很多已在初期應用中不斷改進和完善，很多更新的智能分析技術仍處在研發過程中，對這類數據的分析和處理也將成為安防大數據的核心價值點。而大數據的核心是應用，從數以億級的數據里提取出最有價值的決策信息，對于安防而言，這種價值體現在最短的時間內找到對準確的事件真相，也就是還原案事件的過程或者做出相應的預測。因此云存儲為安防大數據的價值也就體現在“快”，云存儲和大數據的云搜索引擎相互匹配，高校存取高效檢索。

作者單位：浙江大華技術股份有限公司