私有云存儲在視頻監控中的運用分析

馬瑩平

（上海萬為實業有限公司，上海 200083）

0 引言

在安全防范系統中，目前存儲的需求主要是基于高清監控的海量視頻、抓拍圖片檢索、人臉比對的應用，傳統的存儲系統目前還停頓在底層數據的錄入及文件存儲階段，舊的系統無法站在視頻應用的角度考慮問題，針對現今安防行業的實際需求，必須考慮由底層業務流數據結構設計到上層業務應用的調度策略，進行數據整段合理劃分，達到海量高清網絡視頻流的持續且大規模的寫入。

云存儲是為了滿足當今視頻大規模、長時間存儲的應用，延伸和發展出來新的存儲模式，即將所需的網絡視頻監控中大規模不同類型的存儲設備通過協議對接、軟件集成等方式來協同工作，利用虛擬化的技術搭建一套云存儲系統，共同對外提供業務訪問功能及數據存儲功能。

海康威視視頻監控廠家針對此功能，研發的視頻融合云存儲是指可以根據不同的業務需求和場景不同靈活進行設計調整，既可以應用于公有云環境部署，也可以應用于私有云環境部署。對上層應用系統提供高并發，低延時，高安全的數據存儲服務。

1 項目需求

上海中西醫結合醫院視頻監控系統設計構想，按設計規范及業主的需求，視頻監控存儲需達到圖像保存90天，圖片保存180天。醫院在2014年和2017年改造為數字監控系統，攝像機約500臺左右。此次新建視頻監控系統攝像機設計約為250臺左右，原存儲設備采用了宇視NAS V1800 及DM3.0綜合安防應用服務器，原系統存儲模式為采用NAS 存儲模式，配置4TB 硬盤，達到圖像保存30天，圖片保存90天。

視頻監控系統改擴建后，由于宇視產品無法滿足智能安防的需求，新系統設計采用海康威視產品，整個視頻監控系統將新舊兼容，統一在海康視頻監控系統視頻綜合平臺B20下進行管理，即將原來搭建的500路宇視IPC-B302、IPC-B502 攝像機產品通過符合ONVIF 協議規范所提供的WEB 服務接口，進行ONVIF 規范接口跟IPC 通信，從而接入海康B20統一管控平臺，存儲部分將原系統宇視NAS 提供的容量掛載到海康威視云存儲iVMS-5120上，整合后確保院方在同一平臺下使用整個監控管理平臺。

云存儲的構思是由于機房位置大小受限，為了滿足此項目視頻監控系統的存儲需求，本文設計采用了海康威視iVMS-5120云存儲系統，來搭建醫院私有云存儲系統來解決存儲應用，此系統針對項目情況，可以解決通過新舊存儲設備的集群化、虛擬化支持醫院小型私有云存儲服務，讓用戶在投入低的情況下即可獲取云存儲服務。

海康威視iVMS-5120云存儲系統擴容時可以自動識別新增設備，在集群內添加設備的IP 地址，系統即可自動識別，并同時進行虛擬化整合，集群里就可增加新的容量，統一為存儲資源的一部分。

在容量擴展過程中，可實現存儲資源的在線擴展，系統部署在云資源上的存儲業務可正常運行，不受任何影響，確保系統不會因為擴容而中斷正常的存儲業務。

圖1 系統原理圖

2 系統功能特點

2.1 數據融合存儲的多種類

支持高清視頻、高清圖片、數據文件、對象、結構化數據存儲統一融合；統一接管多種設備協議，支持iSCSI、FC、CIFS/NFS 異構協議。

2.2 高清視頻存儲功能

系統支持7×24小時大碼流視頻錄像、錄像回放和管理、文件快速檢索的功能，對于視頻回放，做到相應優化，如I 幀序列回放等功能。

系統支持對存儲的錄像通過多種方式進行檢索，如按照文件類型、文件標簽、錄入時間段等方式。

系統回放功能，可按照文件類型、錄入時間、正序、倒序、倍數等方式進行。

存儲文件支持鎖定、循環覆蓋（時間、空間）、標注等管理方式。

2.3 圖片存儲功能

系統支持圖片文件的快速寫入、壓縮、裁剪、并發下載等功能。

支持按URL 或時間段的方式進行獲取。

支持按照圖片尺寸、大小、像素等進行壓縮。

提供直存和非直存兩種圖片存儲方案。

2.4 文件存儲功能

系統支持CIFS/NFS 協議進行NAS 文件存儲。

2.5 智能化結構存儲功能

系統支持應用數據按需匯聚分析后的存儲，提供融合直存、多重備份、全量提取等功能。

2.6 對象文件存儲功能

系統支持對象文件存儲服務。

3 存儲應用場景

（1）高清視頻、圖片、文件業務直存，所有文件的存儲縮短了路徑直接寫入存儲節點，更大程度提升存儲性能。

（2）例如1 路高清4Mb/s 碼流的攝像頭1 天的數據10秒左右即可下載完成，達到極速提取的應用效果。

（3）針對AI 圖片智能分析應用場景，小I/O 圖片提取可達到2000張/秒。

（4）廣泛適用于抓拍動態圖片存取、設控圖片與預警讀取對比、靜態庫圖片檢索比對場景。

（5）I 幀快速修改、定位、標注、存儲的周期采用了文件存儲容量和存儲時間雙重軸線策略等，能使客戶在調取錄像的過程中不再需要反復讀取完整錄像。

（6）融合數據迅速調取場景，高清視頻、圖片、文件及對應的智能化結構數據的全量提取，同時可開發給第三方應用。

4 系統架構設計

海康威視視頻融合云存儲系統（iVMS-5120）主要的應用模塊主要是由云存儲管理模塊、流式數據存儲模塊、對象文件存儲模塊組成，三大模塊之間相互配合，針對大數據智能分析應用，和非結構化數據特點，旨在為用戶提供高可靠、高效率、高穩定的存儲服務。

iVMS-5120微視云存儲系統采用分布式EC 存儲技術，與視頻、圖片、對象、智能化結構存儲結合，根據數據保障級別要求可部署N+M 保障機制，N+M 具體取值根據系統規模變化可自動調整。系統條帶中只要不超過M 個塊數據故障和缺失，都可以將丟失的數據塊依據算法快速恢復，用來提供數據保障的可靠性。云存儲系統在運行中可以實現在多臺設備故障的情況下數據不丟失，在設備產生故障時快速的進行數據的恢復與重構，且可支持基于不同業務種類進行重構的排序，確保重要數據優先重構工作的優先級。

高清視頻存儲能支持接入各種類型前端實時/歷史/事件等視頻流式數據文件存儲；圖片能存儲支持包括車輛、人臉、物品等各類圖片存儲；對象存儲對外提供存儲服務以對象接口的方式現實；文件存儲能支持包括以NFS 或CIFS 方式進行文件存儲服務；智能化結構存儲是指支持對高清視頻、圖片文件等分析后產生的智能化結構數據提供的存儲類服務。

圖2 邏輯架構圖

4.1 系統設備層

系統架構最底層、最基礎的部分是設備層，能支持標準的磁盤陣列設備，通過對設備層的整合達到為云存儲系統提供系統的容量基礎，為各類應用服務提供足夠存儲容量。

4.2 對象存儲層

本層在系統設備層的基礎上結合對象存儲服務完成分布式存儲的讀寫功能，并將存儲容量按照流式文件系統格式進行虛擬化整合。多個OSD 的資源管理和分配通過資源管理模塊，經由虛擬化的方式構建Bucket 存儲池，用Object 方式將數據寫入對應存儲池中。

采用分布式EC 技術與對象存儲技術相結合，用靈活的N+M 策略來實現對數據內容更高安全級別的保障。

4.3 功能實現層

主要實現的應用存儲功能包含視頻功能、圖片功能、文件功能三個主要應用。基于視頻功能不僅實現了高清視頻錄播、文件下載、視頻回放等基礎功能，還包含多種基于安全防范系統應用擴展功能。圖片、文件等的存儲功能同樣是基礎上做到應用與存儲更優結合，擴展豐富的安全防范系統應用。

4.4 系統接口層

采用豐富的接口種類以靈活的應用功能給上層提供服務。系統接口種類可分為REST 協議、SDK 接口、SNMP 協議等，以此提供不同的應用服務，同時接口種類可以根據實際業務類型，開發不同的應用服務接口來滿足實際需求。在智能化系統的設計中可實現和視頻監控平臺、IBMS 平臺、運維平臺等的對接；實現了與智能分析系統的對接。

5 系統存儲容量計算

5.1 網絡視頻監控系統容量計算規則

存儲文件類型：7×24小時定時錄像、報警觸發錄像。

視頻文件的存儲計算是采用了H.264編碼算法：

項目設計的攝像機為200W 像素，存儲的碼流為4～8Mb/s，本項目使用4MMb/s 碼流進行存儲計算，此碼流能在確保清晰度、還原度的情況下使存儲文件達到存儲綜合效果最佳。

按90 天存儲要求來計算1 路攝像機的存儲空間：4Mb/s×3600秒×24小時×90天/1024/1024/8=3.71TB，

依據項目具體情況（規劃建設新建視頻監控系統250套，兼容舊系統500套），總的存儲容量約為928TB。

5.2 車牌信息圖片抓拍容量計算規則

車輛抓拍圖片信息格式采用了JPEG 格式進行編碼，壓縮因子不高于70，符合ISO/IEC1544 ∶2000規范，輸出照片文件大小約為300KB 左右，項目一個單車道按日均1000輛流量估算，圖片信息存儲按6個月的時間的容量計算公式如下：

1000輛×0.3MB×1車道×30天/月×6個月/1024/1024＝0.05TB

圖片總存儲容量=單車道容量×車道數×卡口數量

車輛圖片存儲數據根據具體情況（按照3個車輛卡口，雙向六車道計算），圖片存儲的容量需求為：單車道容量×6×3=0.9TB。

整體系統需求空間裸容量A=視頻文件存儲總容量+圖片文件存儲總容量

5.3 存儲設備的計算規則

5.3.1 數據的冗余容量

設計采用離散隨機存儲，來提高整個系統吞吐量，在保障存儲節點時采用了集群技術，可以保障當部分存儲節點故障時業務保持不中斷。在設計時考慮到業務切換后數據不出現提前覆蓋，在項目設計規劃最終總容量的10%來做適當冗余空間。

5.3.2 糾刪碼的開銷容量

本系統是采用分布式EC 技術，并且提供N+M 模式的數據保障機制。每N 個數據容量需求提出后會產生M個校驗容量的開銷量。整個糾刪碼空間可用利用率為N/（N+M）。

5.3.3 系統重構的預留容量

數據保障是采用糾刪碼方式，當監控硬盤或者存儲設備發生故障時會自動重構故障的硬盤或設備，在設計時系統需額外預留一部分重構容量。按最終總容量的10%計算。

5.3.4 格式化的損耗容量

對底層存儲進行格式化是采用了對象存儲虛擬化方式，在格式化過程中會損耗容量為最終總容量的5%。

5.3.5 項目容量合計

項目所需總存儲容量C=A[1+10%（重構冗余比例）+10%（數據冗余比例）+5%（格式化損耗）]/[1-[M/（N+M）]]

5.3.6 硬盤數量的計算

系統的硬盤采用4TB 監控級硬盤，標準的監控4TB硬盤的實際容量通過轉換得出4/1.024/1.024/1.024/1.024T B=3.63TB。

硬盤數量D=1200（TB）/3.63TB=330塊

6 系統保障機制

N+M 保障機制與分布式算法相結合，在存儲時將條帶中的各個塊數據分散到不同存儲設備中，若系統中出現了若干監控硬盤或者存儲設備故障都只會損失部分塊數據。條帶基礎存儲單元中只要不超過M 個塊的數據故障和缺失，丟失的數據塊都可以依據算法恢復出來，數據保障得到有效保證。

系統數據保障機制是通過分布式EC 算法構建基礎的，靈活的N+M 提供數據高可靠保障能力，系統可支持到N+4的高級別保障。數據保障機制N+M 在設計中，數據寫入時按照大小劃分為N 個數據塊，以數據塊為基礎計算出校驗塊，由此得出一組N+M 個塊作為條帶基礎存儲單元。

7 宇視NAS 與海康視頻云存儲對接

為達到統一監控平臺的使用效果，原搭建的視頻監控系統與新系統須進行對接，海康威視視頻融合云存儲系統支持其他廠家存儲設備的接入，是將宇視NASV1800設備提供的容量掛載到海康iVMS-5120視頻融合云存儲系統上，NAS1800支持標準NFS 協議，由異構網關運行云存儲軟件，執行向前端取流，存儲部分統一由海康威視視頻融合云存儲系統調度和管理。

圖3 系統原理圖

8 系統搭建后的效果

系統搭建完成后，在滿足用戶需求的情況下對整個項目實現對新舊系統的應用及存儲提供統一服務，整個視頻監控系統達成了統一管理、存儲、運維，系統運行高效，穩定，兼容性強。

云平臺能滿足包括：視頻存儲、文件存儲、圖片存儲、系統管理、運維管理等功能。主要的重點在于關注安全防范行業內的視頻抓拍、圖片對象、文件功能與云存儲功能的結合。

存儲設備采取集群化的管理，未來中西醫結合醫院的視頻擴容，可通過增配存儲節點SSD，即可滿足未來存儲需要。

9 結束語

系統的搭建是通過池化服務的概念在資源池內封裝不同類型的業務，為項目的用戶和上層業務來提供一個統一的、可調用、透明的的虛擬化存儲資源池。通過接口協議可以讓其他第三方標準數據存儲節點資源統一接入云存儲系統進行資源融合。

視頻融合云存儲對整個大數據平臺應用提供分析支撐，體現在對海量高清視頻和圖片文件等數據提供并發、高速、安全的數據服務支撐。海康威視iVMS-5120云存儲系統作為整個視頻監控解決方案的重要組成部分，提供兼容、安全、靈活、高效的數據存儲服務，向大數據平臺提供高效的數據來源，全面服務視頻大數據的工作開展。視頻融合云存儲可以提供獲取海量數據用于進一步的分析計算，生成有價值的結構化數據。