基于Hadoop云存儲高速公路遠程視頻監(jiān)控系統(tǒng)的研究與設計

( ， 710077)

1 引言

高速公路與其它類型公路相比，具有線型好、設計標準高、交通流量大、行車速度快等特點，如不采用先進的管理措施，在交通量大、氣候惡劣的情況下，極易發(fā)生交通事故和交通阻塞。為此，需要在一些車流量非常大的高速公路上部署全程的監(jiān)控系統(tǒng)，通過上述監(jiān)控系統(tǒng)能實時對監(jiān)控路段內(nèi)的交通流量和交通運行狀況進行監(jiān)視，并能對所監(jiān)控路段的天氣狀況進行檢測，以便交管部門能及時、快速地對關(guān)鍵路段實施適時的交通管理措施，及時發(fā)現(xiàn)各種異常情況并采取應急措施，以保證高速公路高速、安全、經(jīng)濟地運營管理。

Hadoop是一個分布式系統(tǒng)基礎架構(gòu)，用戶可在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(Hadoop Distributed File System，HDFS)。HDFS有著高容錯性的特點，并且設計用來部署在低廉的硬件上，而且它能提供高傳輸率來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應用程序。HDFS放寬了POSIX的要求，這樣可以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。因而，現(xiàn)如今缺少一種結(jié)構(gòu)簡單、設計合理、安裝布設方便且使用操作簡便、使用效果好的基于Hadoop的高速公路遠程視頻監(jiān)控系統(tǒng)，其能簡便、快速且有效完成對高速公路上需監(jiān)控路段的交通流量和交通運行狀況進行實時監(jiān)控。

2 云計算與云存儲

2.1 云計算

云計算是基于互聯(lián)網(wǎng)的相關(guān)服務的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化的資源。狹義云計算指IT基礎設施的交付和使用模式，指通過網(wǎng)絡以按需、易擴展的方式獲得所需資源；廣義云計算指服務的交付和使用模式，指通過網(wǎng)絡以按需、易擴展的方式獲得所需服務。這種服務可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)，也可是其他服務。它意味著計算能力也可作為一種商品通過互聯(lián)網(wǎng)進行流通[1]。

2.2 云存儲

云存儲是在云計算概念上延伸和發(fā)展出來的，是指通過集群應用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時[2]，云計算系統(tǒng)中就需要配置大量的存儲設備，那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。

3 基于Hadoop的云存儲系統(tǒng)

3.1 Hadoop簡介

Hadoop 是一個對海量數(shù)據(jù)作出分布式處理的軟件框架，是由Apache基金會開發(fā)管理的，開發(fā)者在不需要了解具體的底層細節(jié)的情況下就可以開發(fā)分布式應用，充分利用Hadoop 提供的海量數(shù)據(jù)存儲和處理能力[3]。作為一個開源的分布式文件系統(tǒng)，可以部署在很便宜的PC機器上進行集群管理。

3.2 Hadoop系統(tǒng)結(jié)構(gòu)

Hadoop 最初是起源于 Apache Nutch 開源網(wǎng)絡搜索引擎項目的一部分，主要實現(xiàn)了一個分布式文件系統(tǒng) HDFS 和并行運算軟件框架 MapReduce[4]。

隨著人們對Hadoop的關(guān)注越來越密切，又開發(fā)出一些子項目提供配套服務，逐漸發(fā)展為如下的一些子項目[5]，如圖1所示。

圖1 Hadoop結(jié)構(gòu)框架

Core：主要是分布式文件系統(tǒng)相關(guān)的一系列的通用 I/O 接口和組件[6]。

Avro：是一種跨語言 RPC 數(shù)據(jù)序列系統(tǒng)，提供持久化的數(shù)據(jù)存儲。

HDFS:具有高容錯特性的分布式文件系統(tǒng)，提供集群支撐技術(shù)，由數(shù)據(jù)節(jié)點、名字節(jié)點等核心組件構(gòu)成。

MapReduce:一個分布式數(shù)據(jù)處理框架，在計算時先是把一個任務分解為多個子任務，這些子任務分別處理后的結(jié)果再匯總在一塊就是最后的分析結(jié)果。

ZooKeeper:一個分布式高復用性的協(xié)調(diào)服務，主要提供分布式鎖之類的輔助服務，用于構(gòu)建其他的分布式應用程序。

Pig:這是一種數(shù)據(jù)流語言和運行環(huán)境框架，主要是用來檢索非常大的數(shù)據(jù)集合，它的正常運行主要依賴于 HDFS 和 MapReduce[7-8]。

ChuKwa:一個分布式數(shù)據(jù)收集和處理系統(tǒng)，主要是運行 HDFS 中存儲數(shù)據(jù)的收集器，然后使用 MapReduce 分析生成數(shù)據(jù)報告。

Hive：一個分布式數(shù)據(jù)倉庫，主要功能是來管理 HDFS 中存儲的數(shù)據(jù)，然后提供了基于 SQL 的查詢語句。

HBase：一個分布式的基于列存儲的數(shù)據(jù)庫系統(tǒng)，它使用 HDFS 作為底層存儲，同時也提供了支持 MapReduce 的批量式計算和點查詢機制。

3.3 HDFS 設計理念

HDFS是一種通過流式數(shù)據(jù)訪問模式進行海量數(shù)據(jù)存儲的基于網(wǎng)絡的文件系統(tǒng)，用戶可以創(chuàng)建、移動、刪除和重命名文件。HDFS的設計理念如下[9]：

3.3.1 海量數(shù)據(jù)

海量數(shù)據(jù)指的是大小有幾百GB甚至是幾百TB的數(shù)據(jù)文件，隨著信息化辦公的加劇，數(shù)據(jù)的積累必將越來越大。

3.3.2 小文件眾多

每個文件的索引目錄以及塊大約上百個字節(jié)，如果存儲百萬數(shù)量級的文件，每個文件占有一個塊大小，就至少需要百兆的內(nèi)存索引，索引超出了目前單個磁盤存儲的能力。

3.3.3 數(shù)據(jù)低延遲訪問

HDFS的設計是針對高數(shù)據(jù)吞吐量的，就必然會以延遲訪問為代價，所以一般要求延遲性低的應用不適合。

3.3.4 流式數(shù)據(jù)訪問

由于HDFS中的數(shù)據(jù)量級是TB和PB，這些數(shù)據(jù)不會經(jīng)常的修改，最常用的就是讀取處理。文件只有一個寫入用戶，操作還在文件末尾進行，不支持多個寫入者。

3.3.5 容災機制

HDFS不需要專用的高配置硬件，在一般機器上就可以完成集群的安裝配置，可以快速對故障進行檢測和自動修復。

3.3.6 透明性

如果HDFS設置成本地文件系統(tǒng)，那么讀寫分布式資源的程序可以不用修改地讀取本地文件，要做修改的就是配置文件。

4 基于Hadoop云存儲高速公路遠程視頻監(jiān)控系統(tǒng)的應用研究

4.1 采用的技術(shù)方案

圖2 基于Hadoop云存儲的高速公路遠程視頻監(jiān)控系統(tǒng)方案圖

本系統(tǒng)采用的技術(shù)方案，如圖2所示。包括分別布設在多個需監(jiān)控高速公路路段上的視頻監(jiān)控裝置、對多個視頻監(jiān)控裝置所采集視頻信息進行存儲的云存儲平臺以及布設在交通管理部門監(jiān)控室內(nèi)的上位監(jiān)控裝置，多個視頻監(jiān)控裝置與云存儲平臺之間均以無線通信方式進行雙向通信；云存儲平臺為分布式計算處理服務器集群，包括多個分布式計算處理服務器，視頻監(jiān)控裝置與多個分布式計算處理服務器之間均以無線通信方式進行通信；視頻監(jiān)控裝置包括外殼和安裝在外殼內(nèi)的電子線路板，電子線路板上設置有數(shù)據(jù)處理器及分別與數(shù)據(jù)處理器相接的電源模塊和無線通信模塊一，外殼上安裝有視頻采集單元，視頻采集單元與對其所采集視頻信息進行去噪與增強處理的視頻處理電路相接，視頻處理電路與數(shù)據(jù)處理器相接；多個分布式計算處理服務器上均接有與無線通信模塊一進行雙向通信的無線通信模塊二；上位監(jiān)控裝置包括與多個分布式計算處理服務器進行雙向通信的上位機和與上位機相接的電視墻。

4.2 基于Hadoop云存儲高速公路遠程視頻監(jiān)控系統(tǒng)的特征

(1)視頻監(jiān)控裝置包括移動支架和安裝在移動支架上且能帶動外殼在水平面上進行旋轉(zhuǎn)的電動旋轉(zhuǎn)座，外殼安裝在所述電動旋轉(zhuǎn)座上。

(2)視頻監(jiān)控裝置包括布設在外殼上的GPS定位單元，GPS定位單元與數(shù)據(jù)處理器相接。

(3)視頻監(jiān)控裝置包括與數(shù)據(jù)處理器相接的計時電路。

(4)上位機與多個所述分布式計算處理服務器之間均通過ADSL網(wǎng)絡進行雙向通信。

(5)數(shù)據(jù)處理器為ARM微處理器。

(6)上位機與對交通管理人員進行調(diào)度的調(diào)度主機相接。

4.3 基于Hadoop云存儲高速公路遠程視頻監(jiān)控系統(tǒng)的優(yōu)點

本系統(tǒng)與現(xiàn)有技術(shù)相比具有以下優(yōu)點：

(1)結(jié)構(gòu)簡單、設計合理且安裝布設及接線方便，投入成本較低。

(2)使用操作簡便且智能化程度高。

(3)使用效果好且實用價值高，能實時對監(jiān)控路段內(nèi)的交通流量和交通運行狀況進行監(jiān)視，并且通過所采集視頻信息能對所監(jiān)控路段的天氣狀況同步進行檢測，以便交管部門能及時、快速對關(guān)鍵路段實施適時的交通管理措施，及時發(fā)現(xiàn)各種異常情況并采取應急措施，以保證高速公路高速、安全、經(jīng)濟地運營管理。

綜上所述，本系統(tǒng)結(jié)構(gòu)簡單、設計合理、安裝布設方便且使用操作簡便、使用效果好，能簡便、快速且有效地對需監(jiān)控路段的交通流量和交通運行狀況進行實時監(jiān)控。

5 結(jié)語

針對上述現(xiàn)有技術(shù)中的不足，提供一種基于Hadoop的高速公路遠程視頻監(jiān)控系統(tǒng)，其結(jié)構(gòu)簡單、設計合理、安裝布設方便且使用操作簡便、使用效果好，能簡便、快速且有效地對需監(jiān)控路段的交通流量和交通運行狀況進行實時監(jiān)控 。

[1] 徐強,王振江. 云計算：應用開發(fā)實踐[M].北京:機械工業(yè)出版社,2012：1.

[2] Jadeja Y, Modi K. Cloud computing - concepts, architecture and challenges[J].Computing, Electronics and Electrical Technologies (ICCEET), 2012(3): 877 -880.

[3] 申紅芳，羅四維，趙宏.集群計算系統(tǒng)的模型結(jié)構(gòu)[J].計算機應用研究，2004(2)：52-55.

[4] Ghemawat S，Gobioff H， Leung S.The Google File System[C]//In Proceedings of the19th ACM Symposium on Operating Systems Principles.Lake George:NY,2003：3-7.

[5] 汪銳.基于 Hadoop 的公安系統(tǒng)信息存儲平臺[D].上海：上海交通大學，2012：15-17.

[6] DeClute G，Varda A， Thompson M. File Index System for Mass Storage Device[M].US：Patent，1991：1.

[7] Rajkumar Buyya.高性能集群計算[M].北京：電子工業(yè)出版社，2008：10-46.

[8] Gibson G，Nagle D，Amiri K,et al. A Cost-effective，High-bandwidth Storage Architecture[M].ACM：SIGPLAN Notices，1998：3.

[9] 趙姍.集群系統(tǒng)作業(yè)調(diào)度優(yōu)化技術(shù)研究與實現(xiàn)[D].西安：西北工業(yè)大學，2006：20-52.