大數據架構下安防邁入存儲大時代

□ 文/本刊記者 羅超

大數據的駕臨，讓原本就十分充裕的信息社會對于數據的應用更加渴望，如何讓數據安全的留存和進行分析應用，就是存儲的應有職責。或許你會驚訝，全球數據量信息一半左右并非來自于影像視頻，卻貨真價實來源于監控視頻。也因此，在大數據的架構之下，視頻監控存儲邁入了大時代。

大數據的駕臨，讓原本就十分充裕的信息社會對于數據的應用更加渴望，如何讓數據安全的留存和進行分析應用，就是存儲的應有職責。或許你會驚訝，全球數據量信息一半左右并非來自于影像視頻，卻貨真價實來源于監控視頻。也因此，在大數據的架構之下，視頻監控存儲邁入了大時代。

中國成為全球最大監控存儲市場

這是最好的時代。據IHS Markit統計，2017視頻監控存儲的外部系統（不包括存儲硬盤）市場容量在77億美元左右，市場容量增速極快，尤其是中國市場。中國早在平安城市項目推動之下，就已經成為全球最大攝像機銷售區域市場，這也助推中國成為全球最大的監控存儲區域市場。

原因在于：首先，近兩年隨著智慧城市項目的投資以及雪亮工程等計劃推動下，中國的信息基礎設施得到快速發展。據IHS Markit發布的報告，中國是全球最大的攝像機擁有量國家，2017年中國在公共和私人領域共裝有2.76億個監控攝像頭，預計到2020年，這一數字將增長二倍以上，達到6.26億臺。而美國2017年只擁有大約9000萬攝像頭，區域市場位居全球第二。攝像機量的增多帶來的數據增長，促使中國監控存儲市場占據全球市場的最核心地位；其次，與監控存儲配套的攝像機在數量上的劇增，也在技術及規格上也迎來了質的飛躍，如圖像分辨率出現小規模化4K應用和4/500萬攝像機的大量應用；再次，在中國視頻監控攝像機的感知價值得到更多用戶關注，更多行業用戶傾向于存儲更多及更長的視頻數據，以便于行業化的業務應用；最后，在大數據時代，讓中國的監控存儲迎來了大時代，多種存儲方式并存大發展，以下圍繞大數據為監控存儲帶來的變革進行分析。

大數據為監控存儲帶來變革

大數據為監控存儲帶來諸多變革，變革意味著新商機，我們從技術本身和產品形態兩方面分析。

大數據為監控存儲帶來數據安全問題

從技術層面看，視頻監控技術如今正面臨日新月異的變革，其組成單元之一的監控存儲同樣如此。大數據時代下的視頻監控，網絡安全一詞在近五年備受重視與關注，之于監控存儲那就是存儲數據安全的問題了。可以明確看出，大數據之下監控存儲的數據安全迎來了挑戰。表現為幾點：

其一、基礎設備的風險：包括監控中心的存儲設備、服務器和前端節點設備的安全性、網絡設備的安全性、傳輸線纜的安全性等。設備的安全可靠是整個大數據安防系統安全運行的基礎。

其二、信息存取的風險：包括用戶非法訪問、數據丟失、數據被篡改等。系統信息的安全，主要運用各種加密技術、存儲技術、及備份方案來達到系統信息的安全。

其三、信息在網絡上傳輸的風險：包括視頻信息、錄像數據信息、用戶信息等在傳輸過程中保密性、完整性的保障以及傳輸鏈路上的節點設備的安全。另外還包括前端采集設備、社會監控資源接入監控專網的安全。

其四、系統運行的風險：包括接入設備的識別和認證、設備運行故障、軟件病毒、惡意代碼、以及設備控制的優先級調度等。系統運行時的風險控制主要依靠視頻監控軟件平臺來保障，軟件平臺可以完成設備管理、故障監控、訪問控制、用戶管理、鑒權機制等一系列的功能來保障整個系統的安全運行。

基于以上，視頻監控存儲的安全問題帶來了挑戰。那么，與之相關的視頻監控綜合管理平臺在數據安全方面就得下功夫，平臺在軟件內部底層設計和存儲轉發轉碼等技術應得以重視。數據安全除了在平臺方面努力之外，我們還應該看到對城市監控規劃建設的攝像頭，基本能覆蓋城區主要路段。所有錄像文件分散存儲在轄區派出所（使用SAN/NVR存儲）、市局監控中心等。各中心使用磁盤陣列同步備份存儲重點監控點的信息。對監控存儲的視頻文件有權限獲取的用戶可隨意使用，容易造成敏感數據的擴散使用，甚至造成非法用戶的盜用。對監控視頻文件進行安全存儲和受控使用，是目前智慧城市和雪亮工程信息化建設和安防建設的重點工作之一，需要借助技術手段進行安全控制。所以在當下的NVR和IP/FC SAN都需要注重存儲數據安全的有效防護，主要在訪問控制、動態加密、數據篩選、安全集成、日志審計方面把控。

當然，從技術層面上分析云存儲比肯定比本地存儲更加安全有效，因為云存儲是IT移植過來的技術，許多大公司都投入大量資源來提高和保持系統的云存儲安全性和穩定性。目前，云存儲是最安全的應用模式，通過糾刪碼技術將數據進行切片，分布存儲在多個節點設備上，在意外發生設備級故障的時間，存儲數據將保證不會丟失。同時，對于重要數據還可以采用多個IDC機房異地備份的機制，即使發生火災、地震等災害時，仍可以保證數據的安全性。該建設模式是數據安全等級最高級別，但需全部數據均傳輸到中心機房，并采用數據冗余機制，在帶寬、存儲硬件方面的成本相對較高。比如：華為的云監控存儲方案采用N+0組網，無需調度服務器，多臺設備自發進行負載均擔，單節點故障時，系統內其他節點自動接管業務，并在故障節點恢復后，重新接管前端設備；采用safevideo專利存儲技術，延長磁盤使用壽命、保障數據安全及錄像業務持續性；并在整個系統中采用N+0集群的方式，在不浪費系統資源的情況下，做到系統負載均衡，單節點出現故障后及時遷移。通過塊存儲技術消除磁盤碎片提升磁盤性能，使用媒體專用RAID技術，LUN不失效技術保障數據安全（在雙盤損壞情況下，數據仍可讀取），最大限度保障監控系統數據安全。

云存儲支撐大數據安防應用

從產品形態方面看，大數據時代為監控存儲帶來最直接的變化就是云存儲的到來。記者在采訪大華大數據研究院技術人員時得知，云計算和云存儲就是為大數據服務的。那么，在大數據架構下的云存儲具體解決了視頻監控哪些存儲需求和弊端呢？

其一，IP SAN存儲方式是網絡時代最為主流的存儲方式，這類存儲系統與攝像機設備也大量銷向東南亞、中東和非洲等新興市場。在這些市場上，中國設備廠商除了提供更具性價比的IT存儲方案之外，也順其自然地進入到這些區域的監控市場中。但大數據架構下IP SAN的弊端也很明顯。IPSAN存儲方案，一個業務只能在一個控制器上工作，實現不了并發讀寫，極易造成系統整體負載不均；同時設備容量提升到一定規格后，性能會遭遇瓶頸，不能再隨容量同步提升。云存儲大多采用分布式架構+計算存儲節點的方式，允許所有存儲節點并行訪問整個系統中的任何文件，且可以實現并發讀寫，相當于多個人干一個活，讀寫效率遠遠優于傳統IPSAN存儲；當設備容量增加時，性能可隨容量線性增長，性能無瓶頸。

與此同時，以4K為代表的超高清監控需求之下，視頻監控單文件的容量越來越大，每個文件能夠到達GB級的規模，視頻聯網平臺存放各省廳上傳的視頻文件，在項目后期視頻文件的總容量甚至能夠到達PB級別的容量。這個時候項目本身所使用的存儲將面臨容量擴展的問題。單臺IPSAN設備最高也就能擴展1-2個PB左右的容量，而云存儲隨著節點數的增多，當前最高可擴展至20PB的容量，能夠降低整個項目的總體采購投入和管理維護成本。此外，傳統IPSAN存儲在擴容時需要給上層業務服務器重新分配空間，嚴重影響上層視頻共享業務的連續性。而云存儲能夠自動識別擴容節點，實現秒級部署，不會影響業務。

其二，相較于更為傳統的NVR存儲，從性能和容量上看，單臺存儲設備的性能和擴展性基本可以滿足PB級以內的視頻接入和圖像存儲需求，但是要接入成千上萬路高清1080P，甚至是4K 視頻，存儲幾十PB甚至上百PB 的數據。無論是性能還是容量都無法應對，因為單臺NVR無法實現其性能與容量的線性增長。如果采用多臺NVR疊加的方式來實現增加的視頻接入和圖像存儲需求，那么多臺存儲設備間相互獨立，缺乏有效的數據整合與協同處理能力，也會存在諸多問題，比如：統一管理、存儲資源按需分配、資源融合、設備性能和存儲空間共享及利用等一系列問題。而云存儲就能有效解決NVR之類單臺存儲設備的技術瓶頸。通過集群應用、網絡技術、分布式文件系統等將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能。云存儲可對系統內的設備資源、帶寬資源、存儲空間資源等進行有效整合，可為用戶提供大容量、高性能、高可靠的透明存儲服務。云存儲有幾大特點：線性擴展的高并發讀寫性能、海量存儲空間的彈性擴展、海量存儲空間的彈性擴展、提升設備資源處理和存儲空間共享能力、提升設備資源處理和存儲空間共享能力、總擁有成本較低等。

通過以上比較，云存儲無疑是安防的未來，安防企業也在紛紛角逐云存儲方案，與專業的數據存儲廠商共同努力推出能滿足用戶業務需求的多樣性云存儲解決方案，也有靠一己之力完成的，比如：海康金融視頻云存儲方案，由視頻云存儲管理服務器和視頻云存儲存儲設備組成。視頻云存儲管理服務器負責系統內資源管理、存儲節點管理、集群管理、策略調度、運維監控等工作，是整個系統的控制指揮核心;視頻云存儲存儲設備是前端數據取流、存儲業務執行的基礎設備。該方案有三大技術亮點：首先是虛擬化的存儲資源整合分配。即存儲資源池的合而為一，無論池中云存儲存儲設備的多寡，全面整合存儲容量，始終以1個IP地址呈現，對總容量進行管理和維護；應用中，可按照實際需求對總容量進行分配;針對業務調整，分配后的容量可以靈活進行擴大和縮小。其次是離散存儲實現高并發和大吞吐的處理性能。采用流數據離散算法對數據進行均衡切片，數據塊分布式存儲于存儲池的節點中，由此奠定了數據高效性的基礎.該方式有助于降低單點故障數據的丟失概率和風險；而以集群的響應方式，提供并發服務，提高響應及傳輸速率，如高速并發下載。第三是高效集群技術保證存儲系統的高可靠性和數據安全性。集群運行負載均衡算法，全面提升系統內設備利用率，均衡設備壓力；集群根據前端數量變化、存儲設備數量變化動態調整系統壓力，保持業務的穩定和高效；系統采用N+M系統級高可靠性和業務持續性，全面提升安全系數。依據海康的此方案來看，云存儲之前說提及的優勢再次顯露無疑。

值得一提的是，大數據之下是一個安防存儲并行發展的大時代，雖然云存儲有太多的優勢，但之于中小項目而言，最主流的NVR和SAN都有其優勢，畢竟整個安防傳統企業能做云監控存儲方案的，寥寥幾家而已。記者在去年《市場給予的機遇，監控存儲多方式并存》一文中已經表達了類似的觀點，也對于其他存儲技術也做了詳盡表述，在此不在重復。

總而言之，安防企業要做云存儲必須要做好技術儲備，不斷和數據存儲廠家對接，了解各個行業業務的共通性和差異化，制定個性化的行業云存儲解決方案，同時開放多種數據訪問接口，為對接智慧城市和雪亮工程做準備。而硬盤廠商也要針對安防視頻監控存儲市場提供容量更大、穩定性更高、具有更高性價比的硬盤產品，促使視頻監控存儲大時代的發展。

迎戰大數據，監控硬盤存儲格局與介質新變化

硬盤作為存儲介質，對存儲大時代發展的重要性不言而喻。每年關于存儲專題我們都較少涉及到硬盤這一層面，本文就較為詳細談談監控硬盤。

縱觀全球硬盤市場，近二十年最為主流的硬盤企業屈指可數：希捷、西數、東芝、三星、富士通、日立和IBM（世界上第一塊硬盤誕生在1956年，由IBM制造），基本都來自美國、日本和韓國這三個國家，但硬盤行業也在吞并中競爭。2002年，日立公司與IBM公司達成協議，以20.5億美元的價格收購IBM公司旗下的硬盤產品部門，該行業第一個并購案發生。可惜的是，十年之后的2012年，美國硬盤制造商西部數據以48億美元收購日立環球存儲科技公司。與之時隔不久的是在一年前，也就是2011年，西數最大競爭對手希捷也完成了對三星硬盤業務的并購。2009年東芝也完成了富士通硬盤業務的并購。

希捷是全球最大的硬盤、磁盤和讀寫磁頭制造商，也是最布局監控硬盤的企業。在DVR時代一直延續到2015年之前，希捷監控硬盤無人出其左右，最大市場份額能達到接近百分之八十。2015年西數監控硬盤強勢崛起，大有與希捷試比高的態勢。尤其是2017年起，希捷和西數監控硬盤的差距進一步縮小。截至目前監控硬盤格局為：希捷仍然是高歌猛進，西數奮起直追，東芝不甘人后。可以說，希捷仍然占據監控硬盤最大市場份額，畢竟海康、大華這兩家巨頭都與希捷簽訂了戰略合作協議。當然西數也為這兩家企業做定制化的開發，比如在2016年西數采用HelioSeal氦氣填充技術的8TB紫盤為海康專用。而東芝開始崛起得益于SSD（固態硬盤）的發力，也是這三家廠家中最早涉足SSD的硬盤企業。

在大數據時代，監控硬盤產品本身形態也發生了巨大變化。海量數據對監控存儲行業也帶了巨大的挑戰，需要全新的技術以及產品形態來滿足企業對數據存儲的需求。固態硬盤在監控存儲強勢崛起，相比較于傳統機械硬盤，在容量、價格和數據安全性等方面要弱于機械硬盤，但其具有機械硬盤所不具備的特點：不怕震動，溫度范圍寬（形變小），運轉安靜沒有噪音，而這些恰恰是傳統硬盤的性能瓶頸。由于視頻監控在許多特定的場合，對整個監控硬件性能要求非常高，任何單點出現故障，都會引發整個系統的崩潰。在實時監控使用機械硬盤，對于監控攝像機采取的數據需要寫入硬盤，所以硬盤一般長期處于運轉狀態，硬盤的長期數據寫入，勢必會造成傳統機械硬盤機械部件，包括磁片的磨損，且一旦損壞，往往會造成數據無法恢復而讓整個監控系統失去應有的效用。固態硬盤采用閃存介質，閃存單點可達到40萬次的擦寫次數，MTBF可達200萬小時，固態盤使用壽命為10年以上。可以看出，固態硬盤大有取代機械硬盤之勢頭，尤其涉及到AI應用和大數據方面。比如海康V系列視頻監控級固態硬盤，配合海康7系列硬盤錄像機作為前端攝像機的視頻錄像存儲設備；由于SSD自身獨特的電子芯片結構和固有的抗震防摔屬性，有效的降低了前置路面振動以及灰塵對硬盤的影響。而且海康還十分聰明的將固態硬盤與機械硬盤結合，保障存儲數據安全。海康V系列存儲產品采用硬盤盤組存儲模式，即同一路攝像機視頻流既存放在硬盤錄像機的機械盤HDD中，又存放在該錄像機的固態盤SSD中。當機械硬盤發生故障時，固態硬盤亦可繼續錄像，確保視頻錄像不丟失,充分保障了錄像的完整性。網絡上流行語：相殺相愛，也在監控硬盤產品中顯露無疑。

不管是哪種產品形態，在大數據時代對于監控硬盤最大的考驗，是海量數據存儲處理能力和存儲數據的安全性問題。目前由于視頻數據的爆炸式增長，意味著需要投入更多的資源以及付出更多的努力，才能在這些體量龐大的數據中尋找到有價值的信息。目前各大監控存儲廠商也發現單個節點的存儲設備無法適應海量的視頻監控數據的管理需求，其發展沒能跟上數據增長的速度。現在的NVR一般是存儲8塊硬盤，每塊硬盤最大10TB，市面上主流用的是3TB。所以單個硬盤的擴容是很難以跟上海量視頻數據的增長，這就需要安防企業與監控硬盤廠家和數據存儲廠家不斷優化。比如說：空閑時刻降低記錄速率、過濾掉不需要備份的內容、選擇最優的編解碼器等。

前不久東芝的新銳產品就是10 TB監控硬盤，為了解決海量視頻的壓力該產品最多支持 64 個高清攝像頭； 256MiB 大容量緩沖區/緩存，改善視頻流性能。而東芝為了解決海量視頻壓力問題帶來了黑科技，是第二代GMA磁頭，該磁頭在以往磁頭基礎上加入了一款微動，可以精準控制磁頭定置，保證硬盤讀寫數據時能及時響應。由于采用了從上到下移動的技術，能夠提供更加精準的位置，準確性方面大約提升了30%左右；新的SoC架構，能為視頻監控優化的firmware，性能更優。

海量數據也會涉及到非結構化問題，早在2005年當安防企業對硬盤還未重視時，希捷已經開始與客戶一同學習，發現非結構化數據和結構性數據的硬盤需求是不一樣的，SV35監控硬盤就是當年推出的定制化產品。當下的深度學習技術對于非結構化處理十分有效，在人工智能盛行的年代，希捷帶來了全球首款人工智能視頻監控硬盤“酷鷹人工智能”，是為人工智能打造的定制化產品。它擴大了客戶和伙伴的創造空間，便于客戶部署下一代深度學習和視頻分析應用。該系列硬盤具備超高的吞吐量和優化的緩存，能夠提供低延遲和極佳隨機讀取性能，實現對視頻圖像的迅速定位與傳送，并進行影像分析，有助于推進決策、消除云數據交換和處理的延時。另外，該硬盤還配有希捷ImagePerfect AI固件，能夠無損記錄高質量的重要視頻片段，同時支持智能NVR的多路視頻分析，確保視頻監控圖像信息不會丟失。

具體規格方面，酷鷹AI監控硬盤仍是3.5寸標準規格，容量10TB、8TB，緩存256MB。

數據存儲安全的重要性，可以通過2017年底從紅黃藍幼兒園事件進行分析。在警方通報中寫明“經調取涉事班級監控視頻存儲硬盤，發現已有損壞。經專業公司技術檢測，系多次強制斷電所致。經查，該園庫管員趙某某（女，45歲，河南省人，住在監控室）感覺監控設備噪音大，經常放學后將設備強制斷電。”從這不難看出監控專業硬盤的重要性，而很多用戶為了貪圖便宜和認為監控級與普通硬盤功能一樣才會導致此次事件在事后無法查證。監控級硬盤對于視頻監控應用中大數據量并行寫入、重復擦除寫入、高溫高濕等應用場景都進行了優化，可以更好地保護數據。比如西數紫盤，在DVR和NVR等設備的兼容性上具有優勢。NVR內置的Linux系統需要用到的ext4文件系統等有了更好支持，而且在監控環境下，需要較大的存儲空間和讀寫效率，比起普通硬盤，西數紫盤就支持相當于普通硬盤 3 倍的工作負載評級，輕松應對高頻次的讀寫環境，并且通過IntelliSeek 技術可以幫助降低有害的環境噪聲和振動，所以放在NVR里不會像普通硬盤那樣有較大的嗡嗡聲；之前提到的希捷“酷鷹人工智能”系類都提供2年Seagate Rescue數據恢復服務，免數據丟失的后顧之憂，可謂深刻把握客戶心理需求，量身定做；東芝采用 RV 傳感器技術來抵消附近硬盤或散熱風扇振動的影響，降低噪音。

總之，在大數據時代下監控硬盤以數據為原材料、以機器學習為引擎的是發展趨勢，至于固態硬盤和機械硬盤的一較高下的結局如何，還是等未來幾年由市場給予答案吧。

結束語

這是最好的時代，大數據為監控存儲帶來了諸多新機遇，也在技術層面拔高到新的層面，產品形態的多樣性并存發展也是監控存儲大時代下的寫照之一。總之，大數據能讓監控存儲，再次騰飛。