基于Hadoop云存儲高速公路遠程視頻監控系統的研究與設計

( ， 710077)

1 引言

高速公路與其它類型公路相比，具有線型好、設計標準高、交通流量大、行車速度快等特點，如不采用先進的管理措施，在交通量大、氣候惡劣的情況下，極易發生交通事故和交通阻塞。為此，需要在一些車流量非常大的高速公路上部署全程的監控系統，通過上述監控系統能實時對監控路段內的交通流量和交通運行狀況進行監視，并能對所監控路段的天氣狀況進行檢測，以便交管部門能及時、快速地對關鍵路段實施適時的交通管理措施，及時發現各種異常情況并采取應急措施，以保證高速公路高速、安全、經濟地運營管理。

Hadoop是一個分布式系統基礎架構，用戶可在不了解分布式底層細節的情況下，開發分布式程序，充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統(Hadoop Distributed File System，HDFS)。HDFS有著高容錯性的特點，并且設計用來部署在低廉的硬件上，而且它能提供高傳輸率來訪問應用程序的數據，適合那些有著超大數據集的應用程序。HDFS放寬了POSIX的要求，這樣可以流的形式訪問文件系統中的數據。因而，現如今缺少一種結構簡單、設計合理、安裝布設方便且使用操作簡便、使用效果好的基于Hadoop的高速公路遠程視頻監控系統，其能簡便、快速且有效完成對高速公路上需監控路段的交通流量和交通運行狀況進行實時監控。

2 云計算與云存儲

2.1 云計算

云計算是基于互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。狹義云計算指IT基礎設施的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需資源；廣義云計算指服務的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需服務。這種服務可以是IT和軟件、互聯網相關，也可是其他服務。它意味著計算能力也可作為一種商品通過互聯網進行流通[1]。

2.2 云存儲

云存儲是在云計算概念上延伸和發展出來的，是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。當云計算系統運算和處理的核心是大量數據的存儲和管理時[2]，云計算系統中就需要配置大量的存儲設備，那么云計算系統就轉變成為一個云存儲系統，所以云存儲是一個以數據存儲和管理為核心的云計算系統。

3 基于Hadoop的云存儲系統

3.1 Hadoop簡介

Hadoop 是一個對海量數據作出分布式處理的軟件框架，是由Apache基金會開發管理的，開發者在不需要了解具體的底層細節的情況下就可以開發分布式應用，充分利用Hadoop 提供的海量數據存儲和處理能力[3]。作為一個開源的分布式文件系統，可以部署在很便宜的PC機器上進行集群管理。

3.2 Hadoop系統結構

Hadoop 最初是起源于 Apache Nutch 開源網絡搜索引擎項目的一部分，主要實現了一個分布式文件系統 HDFS 和并行運算軟件框架 MapReduce[4]。

隨著人們對Hadoop的關注越來越密切，又開發出一些子項目提供配套服務，逐漸發展為如下的一些子項目[5]，如圖1所示。

圖1 Hadoop結構框架

Core：主要是分布式文件系統相關的一系列的通用 I/O 接口和組件[6]。

Avro：是一種跨語言 RPC 數據序列系統，提供持久化的數據存儲。

HDFS:具有高容錯特性的分布式文件系統，提供集群支撐技術，由數據節點、名字節點等核心組件構成。

MapReduce:一個分布式數據處理框架，在計算時先是把一個任務分解為多個子任務，這些子任務分別處理后的結果再匯總在一塊就是最后的分析結果。

ZooKeeper:一個分布式高復用性的協調服務，主要提供分布式鎖之類的輔助服務，用于構建其他的分布式應用程序。

Pig:這是一種數據流語言和運行環境框架，主要是用來檢索非常大的數據集合，它的正常運行主要依賴于 HDFS 和 MapReduce[7-8]。

ChuKwa:一個分布式數據收集和處理系統，主要是運行 HDFS 中存儲數據的收集器，然后使用 MapReduce 分析生成數據報告。

Hive：一個分布式數據倉庫，主要功能是來管理 HDFS 中存儲的數據，然后提供了基于 SQL 的查詢語句。

HBase：一個分布式的基于列存儲的數據庫系統，它使用 HDFS 作為底層存儲，同時也提供了支持 MapReduce 的批量式計算和點查詢機制。

3.3 HDFS 設計理念

HDFS是一種通過流式數據訪問模式進行海量數據存儲的基于網絡的文件系統，用戶可以創建、移動、刪除和重命名文件。HDFS的設計理念如下[9]：

3.3.1 海量數據

海量數據指的是大小有幾百GB甚至是幾百TB的數據文件，隨著信息化辦公的加劇，數據的積累必將越來越大。

3.3.2 小文件眾多

每個文件的索引目錄以及塊大約上百個字節，如果存儲百萬數量級的文件，每個文件占有一個塊大小，就至少需要百兆的內存索引，索引超出了目前單個磁盤存儲的能力。

3.3.3 數據低延遲訪問

HDFS的設計是針對高數據吞吐量的，就必然會以延遲訪問為代價，所以一般要求延遲性低的應用不適合。

3.3.4 流式數據訪問

由于HDFS中的數據量級是TB和PB，這些數據不會經常的修改，最常用的就是讀取處理。文件只有一個寫入用戶，操作還在文件末尾進行，不支持多個寫入者。

3.3.5 容災機制

HDFS不需要專用的高配置硬件，在一般機器上就可以完成集群的安裝配置，可以快速對故障進行檢測和自動修復。

3.3.6 透明性

如果HDFS設置成本地文件系統，那么讀寫分布式資源的程序可以不用修改地讀取本地文件，要做修改的就是配置文件。

4 基于Hadoop云存儲高速公路遠程視頻監控系統的應用研究

4.1 采用的技術方案

圖2 基于Hadoop云存儲的高速公路遠程視頻監控系統方案圖

本系統采用的技術方案，如圖2所示。包括分別布設在多個需監控高速公路路段上的視頻監控裝置、對多個視頻監控裝置所采集視頻信息進行存儲的云存儲平臺以及布設在交通管理部門監控室內的上位監控裝置，多個視頻監控裝置與云存儲平臺之間均以無線通信方式進行雙向通信；云存儲平臺為分布式計算處理服務器集群，包括多個分布式計算處理服務器，視頻監控裝置與多個分布式計算處理服務器之間均以無線通信方式進行通信；視頻監控裝置包括外殼和安裝在外殼內的電子線路板，電子線路板上設置有數據處理器及分別與數據處理器相接的電源模塊和無線通信模塊一，外殼上安裝有視頻采集單元，視頻采集單元與對其所采集視頻信息進行去噪與增強處理的視頻處理電路相接，視頻處理電路與數據處理器相接；多個分布式計算處理服務器上均接有與無線通信模塊一進行雙向通信的無線通信模塊二；上位監控裝置包括與多個分布式計算處理服務器進行雙向通信的上位機和與上位機相接的電視墻。

4.2 基于Hadoop云存儲高速公路遠程視頻監控系統的特征

(1)視頻監控裝置包括移動支架和安裝在移動支架上且能帶動外殼在水平面上進行旋轉的電動旋轉座，外殼安裝在所述電動旋轉座上。

(2)視頻監控裝置包括布設在外殼上的GPS定位單元，GPS定位單元與數據處理器相接。

(3)視頻監控裝置包括與數據處理器相接的計時電路。

(4)上位機與多個所述分布式計算處理服務器之間均通過ADSL網絡進行雙向通信。

(5)數據處理器為ARM微處理器。

(6)上位機與對交通管理人員進行調度的調度主機相接。

4.3 基于Hadoop云存儲高速公路遠程視頻監控系統的優點

本系統與現有技術相比具有以下優點：

(1)結構簡單、設計合理且安裝布設及接線方便，投入成本較低。

(2)使用操作簡便且智能化程度高。

(3)使用效果好且實用價值高，能實時對監控路段內的交通流量和交通運行狀況進行監視，并且通過所采集視頻信息能對所監控路段的天氣狀況同步進行檢測，以便交管部門能及時、快速對關鍵路段實施適時的交通管理措施，及時發現各種異常情況并采取應急措施，以保證高速公路高速、安全、經濟地運營管理。

綜上所述，本系統結構簡單、設計合理、安裝布設方便且使用操作簡便、使用效果好，能簡便、快速且有效地對需監控路段的交通流量和交通運行狀況進行實時監控。

5 結語

針對上述現有技術中的不足，提供一種基于Hadoop的高速公路遠程視頻監控系統，其結構簡單、設計合理、安裝布設方便且使用操作簡便、使用效果好，能簡便、快速且有效地對需監控路段的交通流量和交通運行狀況進行實時監控 。

[1] 徐強,王振江. 云計算：應用開發實踐[M].北京:機械工業出版社,2012：1.

[2] Jadeja Y, Modi K. Cloud computing - concepts, architecture and challenges[J].Computing, Electronics and Electrical Technologies (ICCEET), 2012(3): 877 -880.

[3] 申紅芳，羅四維，趙宏.集群計算系統的模型結構[J].計算機應用研究，2004(2)：52-55.

[4] Ghemawat S，Gobioff H， Leung S.The Google File System[C]//In Proceedings of the19th ACM Symposium on Operating Systems Principles.Lake George:NY,2003：3-7.

[5] 汪銳.基于 Hadoop 的公安系統信息存儲平臺[D].上海：上海交通大學，2012：15-17.

[6] DeClute G，Varda A， Thompson M. File Index System for Mass Storage Device[M].US：Patent，1991：1.

[7] Rajkumar Buyya.高性能集群計算[M].北京：電子工業出版社，2008：10-46.

[8] Gibson G，Nagle D，Amiri K,et al. A Cost-effective，High-bandwidth Storage Architecture[M].ACM：SIGPLAN Notices，1998：3.

[9] 趙姍.集群系統作業調度優化技術研究與實現[D].西安：西北工業大學，2006：20-52.