基于Hadoop的視頻監(jiān)控系統(tǒng)開發(fā)和應用

張立志，李學文

(1. 西安外事學院，陜西 西安 710077； 2. 西安西科安全技術有限公司，陜西 西安 710054)

0 引言

隨著計算機網(wǎng)絡技術不斷發(fā)展，以通信技術、網(wǎng)絡技術等作為平臺的網(wǎng)絡視頻監(jiān)控成為研究重點，并且應用范圍越來越廣泛。社會經(jīng)濟的不斷發(fā)展使我國城市面貌也出現(xiàn)了一定的變化，對城市治安管理提出了較高的要求，城市視頻監(jiān)控系統(tǒng)成為研究重點，視頻監(jiān)控范圍也不斷擴大[1]。所以，如何使監(jiān)控系統(tǒng)海量視頻數(shù)據(jù)安全存儲與處理成為安防領域研究中的重點，而云計算為海量視頻數(shù)據(jù)存儲與處理奠定了基礎。本文提出的基于Hadoop技術的城市視頻監(jiān)控系統(tǒng)，在現(xiàn)代智能化監(jiān)控系統(tǒng)發(fā)展過程中具有重要意義。

1 視頻監(jiān)控系統(tǒng)的架構

基于Hadoop的模式與城市監(jiān)控需求相結合，通過4個方面進行規(guī)劃建設，包括應用服務層、展示層、平臺接入層、技術支撐層[2]，圖1為系統(tǒng)總體架構。

圖1 系統(tǒng)總體架構

平臺接入層：前段感知層主要包括轄區(qū)內(nèi)的航道、道路、重要場所、路口等。因為各個監(jiān)控點大部分都是在室外并且光線環(huán)境改變比較大的地區(qū)，所以監(jiān)控點使用勻速一體球結合日夜型一體攝像機，從而保證各不同光線都能夠得到良好圖像質(zhì)量[3]。根據(jù)H.264實現(xiàn)收集視頻信號的編碼，利用多路MPEG-Ⅱ壓縮，使用視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)安防標準實現(xiàn)網(wǎng)絡傳輸，各個視頻監(jiān)控設備使用RTSP接口互聯(lián)。視頻流壓縮編碼之后封裝在網(wǎng)絡傳輸IP數(shù)據(jù)包，利用Internet在云資源池中上傳[4]。

網(wǎng)絡層為視頻監(jiān)控系統(tǒng)和前段監(jiān)控點控制信號傳輸通道，使用光纜傳輸方式實現(xiàn)前端監(jiān)控點，以不同地點使用就近原則，多個點共用光纜。監(jiān)控位視頻資源在監(jiān)控中心傳輸，并且存儲到部門機房中，利用IP視頻專網(wǎng)和市局、分局的視頻系統(tǒng)，構成三級視頻專網(wǎng)[5]。在分布式監(jiān)控節(jié)點虛擬機中實現(xiàn)流媒體服務器的安裝，虛擬機實現(xiàn)網(wǎng)絡帶寬和計算資源的共享。利用內(nèi)存映射文件技術對臨時視頻數(shù)據(jù)進行存儲，對實時監(jiān)控視頻實現(xiàn)分辨率轉(zhuǎn)碼與格式轉(zhuǎn)碼[6]。

應用服務層：能夠提供云視頻的分析服務，比如車輛數(shù)據(jù)、人臉數(shù)據(jù)、視頻圖像、聯(lián)動報警等分析服務，統(tǒng)一化管理視頻監(jiān)控數(shù)據(jù)。

技術支撐層：對不同監(jiān)控點傳輸視頻信息進行匯聚，云存儲使用MySQL對非關系型數(shù)據(jù)庫進行存儲。

展示層：監(jiān)控中心為系統(tǒng)主要管理部門，實施24h監(jiān)控記錄，主要包括管理軟件、矩陣主機、電視墻等。監(jiān)控中心要管理所管轄的區(qū)域，實現(xiàn)前段圖像調(diào)看、錄像、控制等，并且對遠程錄像文件進行備份、調(diào)看和檢索。

2 視頻監(jiān)控系統(tǒng)的設計

2.1 存儲接口設計

為了能夠存儲不同設備，本文設計存儲接口調(diào)用上層軟件，利用Adapter適配器模式適配不同存儲設備。Adapter模式使一個類接口轉(zhuǎn)變成為另外一類接口，因為具體設備可通過不同訪問來實現(xiàn)，所以要實現(xiàn)統(tǒng)一操作。圖2為存儲接口具體設計。

圖2 存儲接口具體設計

存儲模塊與VOD模塊中的接口利用SeorageInterface實現(xiàn)訪問，以不同存儲設備得出不同派生類即可。假如要支持另外分布式文件系統(tǒng)，只需要派生得出另外存儲類型，在派生類中對相應存儲設備進行調(diào)用。

2.2 存儲管理模塊

系統(tǒng)視頻流主要對普通PC創(chuàng)建分布式存儲集群進行存儲，系統(tǒng)通過應用層實現(xiàn)云存儲。云存儲管理模塊通過單獨進程在HDFS集群中運行，平臺事物中心對相應業(yè)務存儲，并且直接和云存儲模塊交互。云存儲系統(tǒng)屬于HDFS集群中間同心建，對存儲方式屏蔽，平臺服務器只需要和云存儲接入系統(tǒng)進行通信。圖3為云存儲總體架構。

圖3 云存儲總體架構

云存儲服務器包括存儲層、基礎管理層、訪問層和應用接口層。存儲層為基礎，包括NAS網(wǎng)絡存儲設備、SATA等。云存儲系統(tǒng)一般實現(xiàn)水平擴展，在不同地方分布，利用以太網(wǎng)連接?；A管理層利用HDFS分布式文件系統(tǒng)管理基本存儲設備，實現(xiàn)設備協(xié)同工作，使數(shù)據(jù)訪問性能得到提高。應用接口層為接口部分，對基礎管理層API進行訪問。訪問層能夠?qū)崿F(xiàn)接口層封裝，系統(tǒng)直接利用訪問層在云系統(tǒng)中存儲數(shù)據(jù)。圖4為云存儲服務器層次接口。

圖4 云存儲服務器層次接口

2.3 錄像存儲模塊

通過多文件塊構成分布式文件系統(tǒng)中的錄像，通常在存儲接口層包括一個文件。為了能夠?qū)Σ煌曨l流進行存儲，就要實現(xiàn)文件封裝，并且在每個視頻文件開始的地方設置文件原信息，對視頻信息進行記錄，實現(xiàn)接收碼流的切割分片。其中的文件原信息主要對攝像機中視頻信息和錄像開始、結束時間進行記錄。因為分布式系統(tǒng)內(nèi)部就能夠處理文件，那么要求上層直接寫入即可，不需要考慮文件是否過大。

每個錄像段都包含如下信息，如，錄像段開始的MagicNumber能夠?qū)ふ艺_錄像段開頭，CRC校驗值能夠校驗錄像段信息，序列號指的是錄像段序列標志，對網(wǎng)絡傳輸過程中出現(xiàn)丟包的問題進行處理，長度指的是錄像段大小，數(shù)據(jù)段之后MagicNumber能夠結束錄像段。

2.4 實時監(jiān)控和歷史回放

客戶端在實現(xiàn)前端實時視頻監(jiān)控過程中并不是利用視頻監(jiān)控軟件直接交互，而是與HDFS分布式視頻存儲服務器交互，由流媒體服務器使視頻數(shù)據(jù)流在處理模塊實時監(jiān)控模塊中發(fā)送實現(xiàn)的。實時監(jiān)控模塊和HDFS分布式存儲服務器master數(shù)據(jù)接收部分是利用TCP/IP協(xié)議實現(xiàn)通信，并且得到空閑slave，然后利用監(jiān)控視頻的存儲部分和轉(zhuǎn)發(fā)模塊創(chuàng)建連接。實時監(jiān)控模塊得到空閑slave信息之后，利用TCP協(xié)議對此節(jié)點發(fā)送請求，實時監(jiān)控某個路前端采集視頻，接收并請求slave確認后，利用標準RTSP實時流傳輸協(xié)議使此路前端收集視頻數(shù)據(jù)流對實時監(jiān)控部分發(fā)送，監(jiān)控軟件監(jiān)控端能夠利用網(wǎng)頁實時監(jiān)控視頻。歷史視頻回放部分利用TCP協(xié)議和存儲服務器通信，得出歷史視頻信息，并且對此視頻slave發(fā)送視頻調(diào)用命令，然后此slave通過確認之后就能夠使歷史視頻文件利用流媒體在歷史視頻錄像查看模塊中轉(zhuǎn)發(fā)，監(jiān)控端能夠通過web客戶端對此歷史視頻進行播放。圖5為存儲端和監(jiān)控端通信。實時監(jiān)控流程如圖6所示，歷史視頻回放流程如圖7所示。

圖5 存儲端和監(jiān)控端通信

圖6 實時監(jiān)控流程

圖7 歷史視頻回放流程

實時視頻監(jiān)控由RTSP流媒體實時流傳輸協(xié)議、視頻處理軟件、轉(zhuǎn)碼部分等實時模塊構成。在某路視頻采集前端視頻到了一定容量的時候，存儲管理系統(tǒng)會重新調(diào)度存儲節(jié)點，選擇全新的slave節(jié)點創(chuàng)建監(jiān)控軟件的通信，從而提供視頻存儲服務，保證負載均衡，避免某slave持續(xù)對某路視頻監(jiān)控，使系統(tǒng)出現(xiàn)異常，以此使系統(tǒng)穩(wěn)定性得到提高。歷史視頻調(diào)用回放要求客戶能夠提交請求，以用戶請求在HDFS存儲服務器中得到用戶指定視頻文件存儲信息，之后以視頻文件存儲節(jié)點IP地址、視頻文件時間、在節(jié)點中路徑等信息利用master尋找存儲此slave節(jié)點并且發(fā)送、得到視頻請求命令，從而找到用戶指定的視頻文件，利用流媒體使視頻到監(jiān)控軟件監(jiān)控端回放。

2.5 數(shù)據(jù)庫設計

視頻監(jiān)控系統(tǒng)數(shù)據(jù)實體信息主要包括特殊用戶、各級管理員、視頻與一般用戶。利用MySQL數(shù)據(jù)庫對數(shù)據(jù)實體信息進行管理。

首先，對用戶數(shù)據(jù)庫進行設計。利用字段u_group對用戶級別進行記錄。用戶數(shù)據(jù)庫包括區(qū)管理員、系統(tǒng)管理員、公安、小區(qū)管理員等。不同用戶的級別也各有不同，有級別高的，也有較高用戶權限，表1為用戶數(shù)據(jù)庫。

表1 用戶數(shù)據(jù)庫

視頻數(shù)據(jù)庫的設計。利用字段限定視頻地域范圍，比如：v_firsub指的是一級地域，是指某學?；蛘叱鞘?；v_secsub指的是二級地域，是指學校或者城市附屬地。表2為視頻數(shù)據(jù)庫。

表2 視頻數(shù)據(jù)庫

然后，對用戶訪問視頻數(shù)據(jù)庫進行設計。既方便今后統(tǒng)計視頻訪問情況和系統(tǒng)訪問量，還能夠?qū)σ曨l安全性進行保證，如果視頻受到惡意破壞也能夠?qū)τ脩暨M行追蹤，表3為用戶訪問視頻數(shù)據(jù)庫。

表3 用戶訪問視頻數(shù)據(jù)庫

最后，是進行視頻分割數(shù)據(jù)庫的設計。對無損分割之后的視頻塊信息進行記錄。表4為視頻分割數(shù)據(jù)庫。

表4 視頻分割數(shù)據(jù)庫

3 系統(tǒng)測試

針對本次設計的人臉系統(tǒng)展開實時測試，分別對于系統(tǒng)10004與20004類人臉分別進行系統(tǒng)測試，設計了共計5幅不同圖像下的人臉(表5)作為運用本文設計的系統(tǒng)實時監(jiān)控的人臉識別平均用時。測試后發(fā)現(xiàn)，基于Katta分布式搜索耗費時間較少，基本達到了系統(tǒng)預期目標。

表5 人臉圖像識別用時 單位：s

4 結語

在大數(shù)據(jù)時代中，信息爆炸對傳統(tǒng)視頻監(jiān)控提出了挑戰(zhàn)。在科技不斷發(fā)展的過程中，使用基于Hadoop大數(shù)據(jù)技術視頻監(jiān)控能夠解決傳統(tǒng)視頻監(jiān)控的問題。數(shù)據(jù)分析和數(shù)據(jù)挖掘技術的應用，拓展了城市頻視監(jiān)控的應用范圍，從而保證了各個領域安全性。