大數據下的安防存儲研究

古鵬　黃崢　溫武

摘 要：從現狀入手，對于安防存儲容量的有限與信息容量的巨大， 特別是海量的非結構化視頻數據處理的問題，進行了分析研究，指出當前安防的存儲、數據的處理所存在的問題。對大數下的安防數存儲進行一些研究，本文提出了今后關于智慧型安防存儲的一些建議。

Abstract：From the present situation，the limited information capacity and security of storage capacity greatly， especially the vast amounts of unstructured video data processing problems are analyzed and studied， points out the existing problems about current the security storage and data processed. About of the security storage for of some research， the article put forward some suggestions about the future of intelligent security storage.

Keywords：Security；unstructured；mass data；cloud storage intelligence

關鍵詞：安防；非結構；海量數據；云存儲；智慧

中圖分類號：TP309 文獻標識碼：A

0.概述

視頻監控安防其主要特點是圖像信息量大，所以對存儲空間需求明顯。視頻監控步入高清化時代，存儲與安防的存在著緊密結合，存儲容量的有限與信息容量的巨大， 而海量的非結構化視頻、特征數據，帶動了大數據的存儲、管理、分析等一系列問題，存在不少的矛盾需要解決，吸引著更多人的關注與研究。

1.當前存儲存在的問題

1.1后端存儲技術

當前，在安防監控中，后端存儲系統從“模擬時代”到”數字時代”到如今的”云時代”。云時代，是以海量云存儲為代表，針對海量數據進行存儲。目前安防存儲中有使用前端存儲和后端集中存儲兩種方式。前端存儲指的是將攝像機的視頻信息存儲在攝像機自帶的SD卡中，這種方式主要適用于存儲時間比較短，類似于小型商鋪等地點，性價比比較高；不足之處在于數據孤島化，無法實現數據的整合分析。后端存儲是將眾多前端視頻統一管理，存儲到一起。可以實現多種數據保護機制，實現數據的統一調度管理，便于數據的二次分析。

后端存儲技術包括DAS、NAS、SAN。DAS是最主要的應用模式，存儲系統被直連到應用的服務器中，許多的數據應用是必須安裝在直連的DAS存儲器上；NAS存儲就是存儲設備通過標準的網絡拓撲結構添加到一群計算機上，是文件級的存儲方法，它的重點在于幫助工作組和部門級機構解決迅速增加存儲容量的需求；SAN提供了一種與現有LAN連接的簡易方法，并且通過同一物理通道支持廣泛使用的SCSI和IP協議。而今將固態硬盤、分層存儲技術引入安防行業，基于高速固態硬盤，結合先進的分層存儲管理技術，提升10倍錄像檢索性能。

1.2安防大數據面臨的主要問題

由于隨著視頻監控的高清視頻的大量應用，存儲的數據容量增大和應用的復雜程度在不斷提高，傳統的存儲技術和設備滿足不了現有的需求。視頻監控的高清視頻復雜系統中，數據將呈現爆炸性的海量增長，數據的快速存儲及檢索技術，顯得尤為重要，高性能的存儲系統將正在成為視頻監控技術的決定性因素。

安防大數據面臨的主要存在以下問題：

其一，海量數據和有效數據之間的矛盾。以一線特大城市廣州市為例，目前安防高清攝像頭約60萬個；一個攝像頭一下天存儲48G左右，一個月下來大概是1500G。在監控系統中成千上萬路的高清監控，按安防信息處理要求保存3個月，其產生的龐大視頻文件存儲容量信息，僅記錄信息是不夠的，因為對于視頻監控來講可能大部分信息是無用的，有效信息只分布在一個較短的時間段內，依按照數學統計，有用的視頻監控信息是呈現冪律分布的，往往越高密度的信息價值越大。

其二，目前非結構化視頻數據，以及智能識別技術仍不能滿足智能視頻監控安防的需要。視頻監控的大數據，需要將非結構化的視頻轉換成能讀懂的視頻結構化數據。從海量的視頻數據中挖掘出有價值的信息，已成為視頻監控的一個瓶頸。

其三，資源利用和效率之間的矛盾，串行計算和并行計算的矛盾。視頻監控的廣域的網絡化，更低的延遲、更準確的分析往往是最基本需求，視頻信息的分析，不能依賴于傳統的手段，并行計算是視頻智能分析的唯一出路。

其四，數據量的急劇擴大與各地區不能完全互通，不能相互共享信息與資源的矛盾。

2.關于存儲研究

2.1當前的視頻監控安防存儲技術

現有的安防存儲模式云存儲技術與傳統存儲技：

（1）DVR/NVR前端本地存儲；

（2）集中存儲模式；

（3）云存儲模式。

云計算系統可以劃分為IaaS，PaaS，SaaS幾個層次。IaaS將功能是云存儲是服務重要部分，信息處理邏輯與物理存儲分開，使得信息處理專注于信息本身，將信息系統資源管理交給了云計算處理。它可以使信息處理邏輯變得靈活，可以根據安防視頻監控系統設計需求，虛擬出相應的應用。安防視頻監控系統云存儲是以各部分以存儲設備為核心，通過軟件運用集群技術、虛擬化技術、分布式存儲技術將網絡中大量各種不同類型的存儲設備集合起來協同工作，共同對外提供視頻監控數據存儲和處理等訪問功能。

安防視頻監控的云存儲支持源數據模塊獨立和非獨立部署，應基于云架構的分布式集群和虛擬化設計的大數據存儲計算，提供合理優化網絡配置和存儲計算設備，利用現有的視頻專網和公安信息網進行數據傳輸，支持視頻、圖片、對象文件混合存儲方式；支持存儲資源虛擬化整合，容量空間按需分配，可提高存儲空間的利用率；即實現廣域的安防視頻監控資源共享、統查；同時，采用分布式技術，能將存儲計算指令分配到各個節點，避免由單個處理節點進行超負荷運算，大大提升數據存儲、計算、檢索速度。安防視頻監控云存儲系統內部軟硬件全天候全方位監控，發生故障及時告警；支持智能算法，提供以圖搜圖等豐富的智能應用；提供開放的視頻直存技術，可接入標準第三方前端直寫，還可支持標準IP-SAN、FC-SAN存儲設備整合，保護用戶已有投資。endprint

分層存儲其實已經不是一個新鮮的概念，其與計算機的發明與發展相伴相生而行。分層存儲（Tiered Storage），也稱為層級存儲管理（Hierarchical Storage Management），存儲介質上的差別主要是在存取速度上及容量上。存取速度快的介質通常都是存儲單位成本高，而且容量相對來講比較低；所以，從這方面來說，分層存儲其實是一種在高速小容量層級的介質層與低速大容量層級的介質層之間進行系統控制的智能或者手動數據遷移、復制、管理等操作的一種存儲技術及方案。

2.2安防視頻監控大數據存儲相關的核心技術

安防視頻監控大數據存儲不僅是存儲數據的問題，存儲質量的好壞關系直接影響公共安全，好的存儲用4個字來描述就是為“感、傳、知、用”方便智慧；同時，安防系統的各個部分技術也會影響存儲質量好壞。

其一，前端感知與攝像技術，用于的安防攝像機有槍機攝像機、板機、球機、半球攝像機、全景攝像機、紅外攝像機（紅外熱成像儀） 以及日夜兩用攝像機等監控攝像機；日夜兩用攝像機可以或許進一步分為彩轉黑（口角）超低照度攝像機、艱深紅外攝像機、陣列式紅外攝像機、激光紅外攝像機、熱成像儀（不主動紅外攝像機）幾類。其關鍵技術是軟件處理、光學鏡頭、CCD、紅外傳器、MCU與前端芯片等技術。

視頻圖像控制器有CCD、CMOS兩種；視頻圖像傳感器可直接將光學信號轉換為模擬電流信號，電流信號經過放大和模數轉換，實現圖像的獲取、存儲、傳輸、處理和復現。相同分辨率下，CMOS價格比CCD便宜，視頻圖像質量相比CCD來說要低一些。CMOS傳感器的是電源消耗量比CCD低，CCD能提供較好的視頻圖像品質。

主要有兩種類型的CCD光敏元件，分別是線性CCD和矩陣性CCD。矩陣式CCD，它的每一個光敏元件代表圖像中的一個像素，整個圖像一次同時曝光。通常矩陣式CCD用來處理色彩的方法有兩種。典型的有G-R-G-B和C-Y-G-M兩種排列方式。兩種排列方式成原理是相同的。內部的微處理器從每個像素獲得信號，將相鄰的4個點合成為一個像素點。因為不是同點合成，其中包含著數學計算，因此這種CCD最大的缺陷是所產生的圖像總是無法達到如刀刻般的銳利。目前生產 CCD 的公司分別為：SONY、Philips、Kodak、Matsushita、Fuji和Sharp。

魚眼全景攝像機為例，此類攝像機所有的功能實現軟件，包括圖像矯正、虛擬PTZ、智能部件以及壓縮算法等全部被集成在攝像機內部的固件上，未來的升級亦只需對前端設置進行更新。與此同時，其后臺亦可提供虛擬PTZ等功能，給予用戶事后靈活改變觀看視角及側重點的可能。

紅外激光在視頻監控攝像機夜間照明領域中應用的最大優勢在于激光具有很高的發光效力、發光強度和方向性，紅外激光照明設備與配有長焦距鏡頭的攝像機組合，可以或許較好地實現夜間遠距離視頻監控。

無入侵檢測的視頻監控安防系統，一般用于不間斷的監控，此類系統可靠性要求高，設備的存儲量大；而具有入侵檢測的監控，實施有效實時性視頻監控，則系統的各種資源的利用率的高，可靠性的要求降低，因此，在需要引入入侵檢測的視頻監控，對減少存儲容量是可行的，有用的、必要的。

傳感器是入侵檢測的核心，通常傳感器有以下6種類型：開關傳感器、聲傳感器、光電傳感器、熱電傳感器以及電感應傳感器。

其二，信息的編碼與傳輸技術，利用信息處理的采樣技術，信息冗余以及人的視覺殘留效應，通過制定視頻協議，采用壓縮與解壓技術，完成對視頻的信息的較高效處理；采用壓縮編碼，有效利用存儲空間，解壓則準確還原視頻。

主要的技術有以下兩個，MPEG-4編碼標準、H.264/AVC編碼標準。

MPEG-4標準它是基于對象的編碼理念，即在編碼時將一幅景物分成若干在時間和空間上相互聯系的視頻音頻對象，分別編碼后，再經過復用傳輸到接收端，然后再對不同的對象分別解碼，從而組合成所需要的視頻和音頻。

H.264/AVC包含兩個層次，視頻編碼層和網絡抽象層。視頻編碼層主要致力于有效地表示視頻內容，采用變換編碼，使用空間和時間預測的混合編碼網絡抽象層格式化VCL視頻表示，提供頭部信息，適合多種傳輸和存儲媒體。

其三，信息的應用技術。視頻智能分析技術感知系統，可以智能提取視頻圖像中的重要信息，進行存儲和業務關聯，為視頻大數據應用提供數據基礎；也可以地不同的場景中預設不同的報警規則，一旦檢測出目標在場景中出現了違反預定義規則的行為，通過硬件與軟件實現智能化的智能監測報警功能，其主要包括：入侵探測、物體追蹤、移走物體檢測、非法滯留、遺留物體檢測、視頻移動偵測等。此外，城市交通管理、環境管理、政務服務、零售服等行業應用：人數統計、交通流量控制、車輛安全控制探測與報警。

視頻監控安防信息庫和海量數據的處理、分析、檢索，是提高效率的有力手段。通過視頻智能分析技術，把海量的視頻數據進行濃縮、提取特征摘要、減少了存儲空間。同時，視頻監控安防信息庫有別于傳統的關系數據庫模型，針對結構化，半結構化和非結構化數據，通過數據的多個副本分布式保存方式，可以有效節約存儲空間，關鍵數據的二次備份，使系統架構更加穩定和可擴展，并且提供安全的負載均衡和容錯機制。

其四、基礎的器件技術，基礎研究的主要是開發新的器件，微電子進入了納米領域，它的制造主要涉及深亞微米技術，特殊電路的工藝兼容技術，設計方法的研究，嵌入式IP核設計技術，測試策略和可測性技術，軟硬件協同設計技術和安全保密技術。

目前我國集成電路的加工水平為達到了0.18μm的水平，與當前國際水平為0.09μm，相差約為2至3代。新一代的光刻技術，X射線和離子投影光刻技術也在研究之中。SoC作為系統級集成電路，能在單一硅芯片上實現信號采集、轉換、存儲、處理和I/O等功能，將MCU 、MPU、DSP、數字電路、存儲器等集成在一塊芯片上實現一個完整系統的功能。電子產品向便攜式/小型化、網絡化和多媒體化方向發展的市場需求對電路組裝技術提出了苛刻需求，集成電路封裝技術包括：裸芯片、微組裝、圓片級封裝、無焊內建層等技術。endprint

3.視頻監控安防數存儲發展研究與建議

3.1視頻安防大數據的特征

安防監控領域的視頻數據則具有非常明顯的特征，依照時間順序持續產生，并且數據量非常龐大，數據量的爆炸性增長可想而知。安防大數據涵蓋了4V面向，分別是處理時效（Velocity）、數據格式（Variety）、數據量（Volume）與真實性（Veracity），要通過快速的采集、發現和分析，從大量化、多類別的數據中提取價值。

視頻監控安防大數據時代最顯著的特征就是數據共享，快速的數據處理能力，智能、智慧處理信息。視頻監控的大數據處理難度尤其大，首先，視頻錄像是更原始的非文本非結構化的數據，經過復雜繁重的分析處理才能提取出文本結構化的數據進行下一步處理，必須對數據進行一定的改造，讓不同形式的內容、結構、存儲與識別相關聯；其次視頻錄像相對其他形式數據的容量要大幾個數量級，對傳輸、存儲和計算的帶寬要求大。

3.2建設視頻監控安防大數據的智慧型云存儲

如果把云計算比喻成手機系統，那么IaaS就是硬件，要自己寫代碼研發系統才能用；PaaS是系統，則是要實現什么功能就要裝什么軟件；SaaS就是硬件+系統+軟件。

云存儲由存儲層、設備層、管理層、應用接口層等組成。智慧型云存儲與現在的云存儲不同之處就是讓存儲有智慧。視頻監控安防領域的云存儲首先面臨的就是對文件系統的改造，針對視頻數據的特點，在持續寫入時需要強關聯其時間屬性，同時優化磁盤的存儲空間，合理安排數據的存儲資源分配。在對文件系統進行全面優化后形成一套適合視頻數據存儲和讀取、應用的云存儲文件系統。

存儲層要存儲器的材料、存儲結構、分層存儲以及并行存儲等下功夫研究，以快速、大容量、安全解決存儲問題。通過軟件與硬件結合使其智慧化，系統的設備層要實現存儲容量、速度、利用率的最大化。存儲結構的多樣性，分布式與集中式相結合；私有與公有云相互動。視頻監控安防應用接口層是云存儲最靈活多變的部分，面向用戶應用提供完善以及統一的訪問接口，開發不同的應用服務接口，提供不同的應用服務；實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設備的狀態監控和故障維護等；存儲業務響應，以及存儲資源調配。

3.3建設各類與視頻監控安防相關聯的物體外型識別數據庫存

視頻監控安防最重要是人的安全，當前的安防的技術只能識別人與車輛，加強人或以人相關的物體外形識別，與人相關的不同數據相關聯，有利于提高安防識別的水平。如果以類似處理中文字的方式技術，加之提高視頻前端技術對物體與人識別處理關聯，建立人工智能識別，相信能識別更多物體。建交例如：衣服、工具、包、手機等與人有相關聯的影響安全的資源信息庫，用于安防智慧識別。

3.4視頻監控安防前端設備更智能化、攝像方式多元化

前端設備應以智慧識別為目標獲取圖像等信息，前端設備包括檢測與視音頻設備，如果前端能對信息作高質量的、利于識別與存儲的處理，無疑是對安防存儲的提高有大幫助；在以下方面要大力做好產品的研究與研發：其一，核心檢測元器件的研發；其二，檢測方法的多樣性與人為主體的關聯檢測技術；其三，提高攝像素、秒幀數；智能選取秒幀數，壓縮方式，關聯數據，形成相關聯的數據與結構；其四，除現有紅外、光電、多槍、魚眼全景外，研發新的攝像槍，如：三D攝像槍或其他形式攝像槍產品。

3.5圖形信息容量小而質量高、結構化利于智能識別

對編碼、解碼以及相關標準與技術的研發，優化壓縮與解壓技術提高存儲的空間利用率，研究圖像信息分類、預測、識別、關聯，形成新的技術與標準。優化分析算法，研發智能處理推送、圖像結構化、各類數據庫異構與關聯、優化存儲、數據安全與挖掘。一切以安防信息智能利用為目的擴展信息為安防的利用價值，構建智慧安防。

結語

視頻監控安防的數據將呈現爆炸性的海量增長，非結構化的數據，為安防的有效應用提出的新的課題，通過對現有的理論與技術研究，提出：提高檢測方式與技術、壓縮與解壓、數據的結構化與關聯、智能攝像機與智慧型云存儲建議，相信經過深入的研發，智慧型視頻監控安防云存儲在不久的將來一定可以實現。

參考文獻

[1]袁春風.計算機組成與系統結構（第二版）[M].北京：清華大學出版社，2015（8）：235-288.

[2] 陳清.H.265 標準現狀和發展應用趨勢[J].中國多媒體通信，2008（10）：12-15.

[3]黃宜華，苗凱翔.深入理解大數據實踐：大數據的處理與編程[M].北京：機械工業區出版社，2014.

[4] http：//www.chinacloud.cn/show.aspx·id=10678&cid=30.云存儲技術與傳統存儲技術[Z].

[5] 黃慶波，金何樂，等.虛擬化與云計算[M].北京：電子工業區出版社，2009.

[6] 馬時平，何宜寶，許悅雷，等.H.264幀間模式選擇新算法[J].電視技術，2009， 33（S2）：30-32.

[7] YOON D，HO Y.Fast mode decision algorithm for depth coding in 3d video system using H.264/AVC[C].Proc.PSIVT'11. Berlin，Heidelberg：[s.n.]，2011：25-35.

[8] 畢厚杰，王健.新一代視頻壓縮編碼標準—H.264 /AVC[M].第 2 版.北京：人民郵電出版社，2009.

[9]LINY，WUL.A depth information based fast mode decision algorithm for color plus depth-map 3D videos[J].IEEE Trans.Broadcasting，2011， 57（2）：542-550.

[10]朱波，蔣剛毅，張云，等.面向虛擬視點圖像繪制的深度圖編碼算法[J].光電子·激光，2010，21（5）：724-728.

[11]杜奇，向健勇，袁勝春.基于邊緣強度的紅外圖像閾值分割方法研究[J].紅外與激光工程，2004，33（3）：288-291.

[12]葉霞.安防大數據時代需要云存儲[J].中國安防，2015（14）.endprint