安防行業(yè)深度融合的云存儲(chǔ)技術(shù)

■王冠

大數(shù)據(jù)的真實(shí)價(jià)值并不僅在于存儲(chǔ)，而在于從海量數(shù)據(jù)中進(jìn)行數(shù)據(jù)挖掘和數(shù)據(jù)分析，以提取對(duì)業(yè)務(wù)應(yīng)用需求真正有價(jià)值的數(shù)據(jù)信息。為此，大數(shù)據(jù)時(shí)代存儲(chǔ)之道在于與安防行業(yè)深度融合的云存儲(chǔ)技術(shù)。

安防大數(shù)據(jù)的存儲(chǔ)需求

隨著視頻監(jiān)控系統(tǒng)規(guī)模不斷擴(kuò)大，高清、乃至4K超清視頻攝像機(jī)的大規(guī)模部署，數(shù)據(jù)將呈現(xiàn)爆炸性的海量增長(zhǎng)態(tài)勢(shì)。一個(gè)城市級(jí)的安防監(jiān)控工程，以千計(jì)甚至萬(wàn)計(jì)的高清、超高清攝像機(jī)數(shù)量，其每月產(chǎn)生的數(shù)據(jù)量就可達(dá)到幾十PB、甚至上百PB。如此巨大的存儲(chǔ)量嚴(yán)重考驗(yàn)著安防監(jiān)控系統(tǒng)中的存儲(chǔ)系統(tǒng)。

大數(shù)據(jù)的真實(shí)價(jià)值并不僅在于存儲(chǔ)，而在于從海量數(shù)據(jù)中進(jìn)行數(shù)據(jù)挖掘和數(shù)據(jù)分析，以提取對(duì)業(yè)務(wù)應(yīng)用需求真正有價(jià)值的數(shù)據(jù)信息。因此大數(shù)據(jù)存儲(chǔ)除了完成單一的存儲(chǔ)功能外，更重要的就是對(duì)大數(shù)據(jù)分析和挖掘提供有效的支撐。隨著這種應(yīng)用需求的不斷明確，云存儲(chǔ)技術(shù)與安防監(jiān)控行業(yè)特點(diǎn)進(jìn)行融合，在大數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí)提供視頻存儲(chǔ)和視頻智能存儲(chǔ)的過(guò)程，以配合數(shù)據(jù)挖掘和分析就顯得尤為重要。因此大數(shù)據(jù)價(jià)值的體現(xiàn)可以遵循：大數(shù)據(jù)存儲(chǔ)容量管理、大數(shù)據(jù)智能化存儲(chǔ)過(guò)程、大數(shù)據(jù)存儲(chǔ)對(duì)智能分析等應(yīng)用的支撐，這么幾個(gè)階段的發(fā)展過(guò)程

安防存儲(chǔ)技術(shù)的發(fā)展過(guò)程

在安防存儲(chǔ)的發(fā)展歷程中DVR、NVR、NAS、SAN等存儲(chǔ)方案在每個(gè)時(shí)期都扮演著不可或缺的角色。SAN方案在一定范圍內(nèi)以其可擴(kuò)展性和存儲(chǔ)網(wǎng)絡(luò)獨(dú)立性等特點(diǎn)尚能滿足PB級(jí)以內(nèi)的存儲(chǔ)需求，然而面對(duì)幾十PB、甚至上百PB的數(shù)據(jù)量時(shí)就顯得力不從心。其核心原因就在于SAN方案無(wú)法實(shí)現(xiàn)其性能與容量的線性增長(zhǎng)，當(dāng)數(shù)據(jù)量達(dá)到一定程度后管理的復(fù)雜度會(huì)加大、系統(tǒng)的吞吐率會(huì)下降，不能夠有效的支撐目前安防大數(shù)據(jù)的存儲(chǔ)與應(yīng)用。而采用多套SAN系統(tǒng)勉強(qiáng)完成存儲(chǔ)需要后，由于多套SAN系統(tǒng)又是彼此獨(dú)立，缺少數(shù)據(jù)整合與協(xié)同處理的能力，不能有效的支持上層數(shù)據(jù)應(yīng)用需要。

而云存儲(chǔ)技術(shù)決了存儲(chǔ)性能與存儲(chǔ)容量線性增長(zhǎng)的沖突，可以保證在大規(guī)模的安防監(jiān)控存儲(chǔ)規(guī)模下，存儲(chǔ)系統(tǒng)能夠以更高性能滿足視頻錄像的存儲(chǔ)需要，因此在安防監(jiān)控大數(shù)據(jù)時(shí)代有著非常廣闊的應(yīng)用空間。云存儲(chǔ)技術(shù)的特點(diǎn)是通過(guò)軟件的方式將數(shù)量龐大而復(fù)雜的存儲(chǔ)設(shè)備進(jìn)行系統(tǒng)化封裝，對(duì)上層的安防監(jiān)控平臺(tái)與分析系統(tǒng)呈現(xiàn)出一個(gè)統(tǒng)一的服務(wù)出口，輸出存儲(chǔ)服務(wù)。用戶不需要關(guān)心云存儲(chǔ)設(shè)備構(gòu)成，就像面對(duì)一臺(tái)存儲(chǔ)設(shè)備一樣來(lái)使用云存儲(chǔ)的資源。因此云存儲(chǔ)在大數(shù)據(jù)的管理和應(yīng)用上可以提供更為強(qiáng)勁的動(dòng)力。然而非常可惜的是文件是結(jié)構(gòu)化數(shù)據(jù)，而安防行業(yè)的數(shù)據(jù)如視頻、圖片等是非結(jié)構(gòu)化數(shù)據(jù)，不同類型的數(shù)據(jù)存儲(chǔ)時(shí)對(duì)存儲(chǔ)方式和結(jié)構(gòu)的要求也不盡相同。而云存儲(chǔ)僅專注于文件的存儲(chǔ)，并沒(méi)有意識(shí)到視頻、圖片等數(shù)據(jù)的特殊性，因此在視頻數(shù)據(jù)存儲(chǔ)性能、安防智能應(yīng)用擴(kuò)展、安防云計(jì)算應(yīng)用等方面沒(méi)有進(jìn)行改進(jìn)和調(diào)整。

那么總結(jié)一下：DVR/NVR/NAS等方式顯然已經(jīng)不適合，SAN系統(tǒng)在容量管理上存在瓶頸，并且也不具備智能化存儲(chǔ)的特點(diǎn)，因此也被剔除掉。常規(guī)的云存儲(chǔ)技術(shù)卻僅將注意力集中在存儲(chǔ)上，對(duì)視頻智能化數(shù)據(jù)的預(yù)分析、以及按照視頻數(shù)據(jù)流式結(jié)構(gòu)的特點(diǎn)方面尚未有所突破，直接影響了后期的數(shù)據(jù)挖掘和分析。從這么幾個(gè)方面來(lái)看，只有通過(guò)將云存儲(chǔ)技術(shù)更好的與安防大數(shù)據(jù)的特點(diǎn)相結(jié)合，尤其是與視頻、圖片等主要的安防數(shù)據(jù)存儲(chǔ)和應(yīng)用結(jié)合才能更有效的適應(yīng)安防監(jiān)控行業(yè)大數(shù)據(jù)需要。其具體的過(guò)程，一是集成云存儲(chǔ)虛擬化、集群化、分布式存儲(chǔ)等存儲(chǔ)容量管理上的優(yōu)勢(shì)，提供穩(wěn)定、可靠、高效的存儲(chǔ)方式；二是匹配安防應(yīng)用的特點(diǎn)對(duì)云存儲(chǔ)的存儲(chǔ)結(jié)構(gòu)進(jìn)行改造和優(yōu)化，如根據(jù)流式數(shù)據(jù)調(diào)整云存儲(chǔ)自身的存儲(chǔ)格式、將視頻的關(guān)鍵信息進(jìn)行初步分析后聯(lián)同視頻數(shù)據(jù)一起存儲(chǔ)等，以實(shí)現(xiàn)安防大數(shù)據(jù)應(yīng)用場(chǎng)景下云存儲(chǔ)應(yīng)用。只有通過(guò)融合才能使得先進(jìn)的云存儲(chǔ)技術(shù)更好的為安防監(jiān)控行業(yè)大數(shù)據(jù)服務(wù)，也就是“安防云存儲(chǔ)”技術(shù)的出現(xiàn)才可以有效解決以上的沖突。

安防云存儲(chǔ)的主要功能

應(yīng)用于安防監(jiān)控行業(yè)的安防云存儲(chǔ)技術(shù)在大數(shù)據(jù)容量管理、數(shù)據(jù)智能化存儲(chǔ)、數(shù)據(jù)存儲(chǔ)安全性等方面的考慮，可以為大數(shù)據(jù)的存儲(chǔ)、挖掘、分析提供更為高效的支撐，同時(shí)打消人們對(duì)龐大數(shù)據(jù)存儲(chǔ)的安全性擔(dān)憂。以此更好為安防監(jiān)控的大數(shù)據(jù)應(yīng)用發(fā)展提供一個(gè)豐富的數(shù)據(jù)基礎(chǔ)。

關(guān)于大數(shù)據(jù)的存儲(chǔ)容量管理上，前文已經(jīng)提到如果不能進(jìn)行統(tǒng)一、有效的管理則必然導(dǎo)致數(shù)據(jù)的利用效率降低、運(yùn)維難度加大。然而對(duì)數(shù)量龐大的存儲(chǔ)設(shè)備和動(dòng)則幾十PB容量的管理確實(shí)是一個(gè)極具挑戰(zhàn)的課題。目前我們可以看到、并預(yù)期到的大數(shù)據(jù)管理方式是通過(guò)虛擬化技術(shù)實(shí)現(xiàn)的。通過(guò)虛擬化技術(shù)將幾十PB的存儲(chǔ)容量空間進(jìn)行整合，并向上層提供一個(gè)完整的存儲(chǔ)資源池，管理人員的工作集中在對(duì)這個(gè)邏輯的存儲(chǔ)資源池的管理和分配上。而這個(gè)容量龐大的邏輯容量是由哪些存儲(chǔ)設(shè)備組成的，這個(gè)過(guò)程則被虛擬化技術(shù)進(jìn)行了屏蔽，管理人員也無(wú)需關(guān)心。

對(duì)于大數(shù)據(jù)的智能化存儲(chǔ)過(guò)程體現(xiàn)在這么幾個(gè)方面，一個(gè)是存儲(chǔ)的高可靠性智能容錯(cuò)：視頻錄像數(shù)據(jù)在存儲(chǔ)的過(guò)程中會(huì)寫(xiě)到某臺(tái)具體的存儲(chǔ)設(shè)備當(dāng)中，而當(dāng)設(shè)備故障之后視頻錄像業(yè)務(wù)不會(huì)中斷。另一個(gè)就是數(shù)據(jù)存儲(chǔ)時(shí)存儲(chǔ)系統(tǒng)需要能夠針對(duì)視頻數(shù)據(jù)的流式數(shù)據(jù)結(jié)構(gòu)特點(diǎn)進(jìn)行有效的存儲(chǔ)，并且對(duì)視頻數(shù)據(jù)進(jìn)行預(yù)分析，將分析后的智能數(shù)據(jù)和原視頻數(shù)據(jù)共同存儲(chǔ)。這樣的優(yōu)點(diǎn)是符合了視頻存儲(chǔ)的規(guī)律，其后期的視頻提取效率更高；對(duì)視頻數(shù)據(jù)進(jìn)行了預(yù)分析則形成了豐富的數(shù)據(jù)信息庫(kù)，那么后期進(jìn)行視頻數(shù)據(jù)分析和挖掘時(shí)效率則會(huì)更高。

安防云存儲(chǔ)在安全性上需要關(guān)注的是數(shù)據(jù)的隱私與共享之間的矛盾。通過(guò)對(duì)數(shù)據(jù)的加密、防篡改、防盜取等方面，云存儲(chǔ)可以提供比傳統(tǒng)存儲(chǔ)更好的解決方法。首先云存儲(chǔ)的數(shù)據(jù)是分布式存儲(chǔ)的，每臺(tái)存儲(chǔ)設(shè)備上存儲(chǔ)的僅僅是極小的數(shù)據(jù)塊，盜取某臺(tái)設(shè)備的數(shù)據(jù)也無(wú)法得到完整的視頻數(shù)據(jù)信息。另外云存儲(chǔ)底層的存儲(chǔ)格式并不通過(guò)傳統(tǒng)的文件系統(tǒng)進(jìn)行的，其存儲(chǔ)的是有特點(diǎn)屬性的比特流，使用一般的文件讀取方式也無(wú)法獲取真實(shí)的內(nèi)容。對(duì)于云存儲(chǔ)系統(tǒng)安全的本身，通過(guò)集群化和分布式存儲(chǔ)的特點(diǎn)可以保障不會(huì)因?yàn)樵O(shè)備的不穩(wěn)定而丟失數(shù)據(jù)。同時(shí)數(shù)據(jù)的校驗(yàn)恢復(fù)、多副本備份、數(shù)據(jù)中心備份等多種機(jī)制能夠有效保證數(shù)據(jù)的安全性。

安防云存儲(chǔ)的典型應(yīng)用

安防技術(shù)、理念的發(fā)展本身就朝著IT化的方向前進(jìn)，云存儲(chǔ)在這個(gè)過(guò)程中必然需要滿足安防行業(yè)的這種發(fā)展需要，同時(shí)也隨著安防行業(yè)的特點(diǎn)不斷的改變和發(fā)展自己。在安防市場(chǎng)中對(duì)云存儲(chǔ)需求最為迫切，也最可能率先采用云存儲(chǔ)技術(shù)運(yùn)用于自身系統(tǒng)的就是公安行業(yè)。隨著經(jīng)濟(jì)建設(shè)和各項(xiàng)社會(huì)事業(yè)等快速發(fā)展，城市的公共安全面臨著更大的挑戰(zhàn)。全國(guó)跨地區(qū)、跨部門(mén)、跨警種的信息共享，建立城市報(bào)警與監(jiān)控系統(tǒng)的協(xié)同使用機(jī)制、強(qiáng)化視頻監(jiān)控技術(shù)在公安偵查破案中的支柱性作用，不斷提高系統(tǒng)的管、控、用整體水平，因此“大公安”的概念以被人們所接收。在“大公安”系統(tǒng)中多以高清視頻采集為手段，集智能分析技術(shù)，綜合城市治安、治安卡口（高清）、社會(huì)監(jiān)控資源，實(shí)現(xiàn)各類監(jiān)控資源的共享，提高資源利用率。在這種建設(shè)目標(biāo)下，云存儲(chǔ)的優(yōu)點(diǎn)能夠非常有利地支撐起海量高清視頻存儲(chǔ)、以及大數(shù)據(jù)智能分析對(duì)數(shù)據(jù)處理需求和高并發(fā)、大吞吐的需要，云存儲(chǔ)作為整體行業(yè)解決方案的一部分將是其中不可或缺的一環(huán)。

隨著安防云存儲(chǔ)技術(shù)在安防行業(yè)的不斷融合與發(fā)展，將會(huì)給安防監(jiān)控大數(shù)據(jù)存儲(chǔ)注入一劑強(qiáng)心劑，并帶來(lái)更加豐富的安防監(jiān)控的應(yīng)用發(fā)展。