云計(jì)算在礦區(qū)信息監(jiān)測管理中的應(yīng)用

王承統(tǒng)

摘要：隨著近年來礦區(qū)安全生產(chǎn)需求的增加，各個(gè)監(jiān)測站監(jiān)測間隔縮短，監(jiān)測指標(biāo)增加，系統(tǒng)需要處理的數(shù)據(jù)會隨之增大。基于這種大量數(shù)據(jù)分布、處理集中的應(yīng)用場景，文章論證了云計(jì)算在礦區(qū)信息監(jiān)測中的應(yīng)用前景，及其在實(shí)現(xiàn)礦區(qū)檢測信息的高度統(tǒng)一，提高信息的時(shí)效性、處理效率，增強(qiáng)礦區(qū)安全性等方面的重要性。

關(guān)鍵詞：云計(jì)算；MapReduce；Hadoop；分布式文件系統(tǒng)；礦區(qū)信息監(jiān)測

中圖分類號：TP393文獻(xiàn)標(biāo)識碼：A文章編號：1009-2374（2014）24-0043-02

1云計(jì)算技術(shù)概述

云計(jì)算是一種商業(yè)計(jì)算模型，它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使用戶能夠按需獲取計(jì)算能力、存儲空間和信息服務(wù)，這些資源池稱為“云”。“云”是一些可以自我維護(hù)和管理的虛擬計(jì)算資源，通常是一些大型服務(wù)器集群，包括計(jì)算服務(wù)器、存儲服務(wù)器和寬帶資源等（劉鵬，2010）。

目前，云計(jì)算技術(shù)已成為了IT產(chǎn)業(yè)的關(guān)注焦點(diǎn)，得到了各大主流公司的支持。包括Google、微軟、IBM、Amazon在內(nèi)的許多IT業(yè)巨頭都在云計(jì)算上進(jìn)行了重點(diǎn)研究。例如，Google的云計(jì)算基礎(chǔ)架構(gòu)模式包括4個(gè)相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)：Google File System分布式文件系統(tǒng)（Sanjay Ghemawat等，2003）、針對Google應(yīng)用程序特點(diǎn)提出的MapReduce編程模式（Jeffrey Dean等，2004）、分布式鎖機(jī)制Chubby（Burrows M，2006）以及Google開發(fā)的模型簡化的大規(guī)模分布式數(shù)據(jù)庫BigTable（Fay Chang等，2006）。

云計(jì)算在學(xué)術(shù)研究方面也取得了重大進(jìn)展，這主要包括兩個(gè)方面：一是分布式平臺基礎(chǔ)設(shè)施的構(gòu)建，另一個(gè)是云計(jì)算分布式平臺的開發(fā)編程。在分布式平臺的基礎(chǔ)設(shè)施研究上，主要包括微軟的Dryad框架、Amazon公司的Dynamo框架和Ask．com公司的Neptune框架（DeCandia等，2007）。

2Hadoop云計(jì)算關(guān)鍵技術(shù)分析

Hadoop是MapReduce的開源實(shí)現(xiàn)，是著名的開源組織Apache開發(fā)的一個(gè)開源云計(jì)算系統(tǒng)，是目前在學(xué)術(shù)和工業(yè)界應(yīng)用較為廣泛的云計(jì)算軟件。Hadoop起源于Apache的另外兩個(gè)開源項(xiàng)目：全文檢索軟件Lucene和Web搜索系統(tǒng)Nutch。Hadoop的主要模塊開始是包含在Nutch軟件中，主要用于提高開源Web搜索引擎性能和擴(kuò)展性。從Nutch 8.0開始，Hadoop逐漸獨(dú)立形成一個(gè)開源項(xiàng)目，并得到迅速的發(fā)展。Hadoop的關(guān)鍵技術(shù)包括HDFS分布式存儲技術(shù)、HBase數(shù)據(jù)管理技術(shù)、MapReduce編程模型。

2.1HDFS分布式存儲技術(shù)

為保證數(shù)據(jù)的高可用、高可靠和經(jīng)濟(jì)性，Hadoop的數(shù)據(jù)采用HDFS分布式文件系統(tǒng)進(jìn)行存儲。由于HDFS的開源優(yōu)勢，目前有很大一部分IT廠商，包括yahoo!、Intel、阿里巴巴的云存儲計(jì)劃采用的均為HDFS的數(shù)據(jù)存儲技術(shù)（劉鵬，2010）。

HDFS系統(tǒng)是受Google文件系統(tǒng)（Ghemawat等，2003）啟發(fā)，是建立在大型服務(wù)器集群上可以安全可靠地存儲海量數(shù)據(jù)（可以達(dá)到TB甚至PB級）的文件系統(tǒng)，具有高度容錯(cuò)性。它可以和MapReduce編程模型很好的結(jié)合，是分布式計(jì)算的存儲基礎(chǔ)。

一個(gè)HDFS集群是由一個(gè)名稱節(jié)點(diǎn)（Namenode）和一定數(shù)目的數(shù)據(jù)節(jié)點(diǎn)（Datanodes）組成。名稱節(jié)點(diǎn)是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的命名空間（Namespace）以及客戶端對文件的訪問的元數(shù)據(jù)。數(shù)據(jù)節(jié)點(diǎn)在集群中一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的實(shí)際數(shù)據(jù)的存儲。客戶端聯(lián)系名稱節(jié)點(diǎn)以獲取文件的元數(shù)據(jù)，而真正的文件I/O操作是直接和數(shù)據(jù)節(jié)點(diǎn)進(jìn)行交互的。

2.2HBase數(shù)據(jù)管理技術(shù)

與關(guān)系型數(shù)據(jù)庫不同，HBase是按照“列”存儲的稀疏列/行矩陣，表內(nèi)數(shù)據(jù)非常“稀疏”，不同行、列數(shù)據(jù)可以大不相同。在HBase數(shù)據(jù)庫中空的數(shù)據(jù)單元不占用任何存儲空間，這種技術(shù)特點(diǎn)使得HBase特別適合管理具有稀疏特征的大型數(shù)據(jù)表。按照互聯(lián)網(wǎng)地圖發(fā)布的要求，柵格數(shù)據(jù)按照分辨率分為若干層，每一層都包含大量的柵格地圖圖片數(shù)據(jù)，數(shù)據(jù)從數(shù)百個(gè)乃至上千萬個(gè)，每層包含的圖片數(shù)量存在巨大差異。這就導(dǎo)致每個(gè)數(shù)據(jù)庫表中必定有大量單元是沒有數(shù)據(jù)的，是一個(gè)非常稀疏的表格，所以適合使用HBase存儲和管理瓦片地圖圖片數(shù)據(jù)。HBase物理模型是把邏輯模型中的一個(gè)“行”進(jìn)行分割，并按照“列族”存儲。

2.3MapReduce編程模型技術(shù)

MapReduce編程模式由Google于2004年開發(fā)，用于在超大集群下進(jìn)行T級以上海量數(shù)據(jù)的計(jì)算處理（Jeffrey Dean等，2004）。它以Key-Value對的思維方式來考慮問題，開發(fā)人員只需要寫Map和Reduce兩個(gè)操作就可以簡單快速的處理海量的數(shù)據(jù)。HadoopMapReduce引擎由JobTracker（作業(yè)服務(wù)器）和Task Tracker（任務(wù)服務(wù)器）組成，其運(yùn)行框架如圖2-3所示。Job Tracker（Google 稱為Master）是負(fù)責(zé)管理調(diào)度所有作業(yè)，它是整個(gè)系統(tǒng)分配任務(wù)的核心。Task Tracker具體負(fù)責(zé)執(zhí)行用戶定義操作，每個(gè)作業(yè)被分割為任務(wù)集，包括Map任務(wù)和Reduce任務(wù)，任務(wù)是具體執(zhí)行的基本單元。

3基于MapReduce的礦區(qū)信息監(jiān)測云平臺結(jié)構(gòu)

根據(jù)MapReduce的體系架構(gòu)，設(shè)在礦井內(nèi)各監(jiān)測點(diǎn)的監(jiān)測信息首先通過以太網(wǎng)傳送至處理集群，并存儲在數(shù)據(jù)服務(wù)器中，總控室的監(jiān)測員通過運(yùn)管服務(wù)器，調(diào)度后臺集群中適當(dāng)?shù)慕Y(jié)點(diǎn)對監(jiān)測數(shù)據(jù)進(jìn)行處理，然后將結(jié)果返回，同時(shí)可以將處理后的結(jié)果反饋給接入無線網(wǎng)絡(luò)的移動(dòng)設(shè)備，達(dá)到隨時(shí)監(jiān)測和預(yù)警的目的，具體架構(gòu)圖如圖1所示。

從上圖可以看出，礦區(qū)監(jiān)測云系統(tǒng)可以將各監(jiān)測站的數(shù)據(jù)有效的結(jié)合起來，利用MapReduce調(diào)度后臺處理結(jié)點(diǎn)形成高效的信息處理機(jī)制和反饋機(jī)制，提高了礦區(qū)監(jiān)測的實(shí)時(shí)性和穩(wěn)定性。

圖1礦區(qū)監(jiān)測云系統(tǒng)架構(gòu)圖

4結(jié)語

云計(jì)算的分布式存儲以及數(shù)據(jù)管理、節(jié)點(diǎn)管理可以使大量的信息協(xié)同處理，客戶端的任務(wù)可以由運(yùn)管服務(wù)器自動(dòng)分配到可用的計(jì)算資源和存儲資源。以礦區(qū)信息監(jiān)測為目的的云系統(tǒng)可以將各分散監(jiān)測站的監(jiān)測信息有效的整合在一起，形成快速實(shí)時(shí)的信息處理和反饋系統(tǒng)，為礦區(qū)的安全生產(chǎn)提供保障。

參考文獻(xiàn)

[1]?Luis M V，Luis Rodero-Merino，Juan Caceres，

?Maik Lindner．A break in the clouds：toward a cloud

?definition[J]．ACM SIGCOMM Computer

?Communication Review， 2009，39（1）．

[2]?LUO Jun-zhou，JIN Jia-hui，SONG Ai-bo，DONG

?Fang，云計(jì)算：體系架構(gòu)與關(guān)鍵技術(shù)[J]．通信學(xué)，

?2011，（7）．

[3]?馮登國，張敏，張妍，徐震，云計(jì)算安全研究[J]．軟

?件學(xué)報(bào)，Journal of Software，2011，（1）．

摘要：隨著近年來礦區(qū)安全生產(chǎn)需求的增加，各個(gè)監(jiān)測站監(jiān)測間隔縮短，監(jiān)測指標(biāo)增加，系統(tǒng)需要處理的數(shù)據(jù)會隨之增大。基于這種大量數(shù)據(jù)分布、處理集中的應(yīng)用場景，文章論證了云計(jì)算在礦區(qū)信息監(jiān)測中的應(yīng)用前景，及其在實(shí)現(xiàn)礦區(qū)檢測信息的高度統(tǒng)一，提高信息的時(shí)效性、處理效率，增強(qiáng)礦區(qū)安全性等方面的重要性。

關(guān)鍵詞：云計(jì)算；MapReduce；Hadoop；分布式文件系統(tǒng)；礦區(qū)信息監(jiān)測

中圖分類號：TP393文獻(xiàn)標(biāo)識碼：A文章編號：1009-2374（2014）24-0043-02

1云計(jì)算技術(shù)概述

云計(jì)算是一種商業(yè)計(jì)算模型，它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使用戶能夠按需獲取計(jì)算能力、存儲空間和信息服務(wù)，這些資源池稱為“云”。“云”是一些可以自我維護(hù)和管理的虛擬計(jì)算資源，通常是一些大型服務(wù)器集群，包括計(jì)算服務(wù)器、存儲服務(wù)器和寬帶資源等（劉鵬，2010）。

目前，云計(jì)算技術(shù)已成為了IT產(chǎn)業(yè)的關(guān)注焦點(diǎn)，得到了各大主流公司的支持。包括Google、微軟、IBM、Amazon在內(nèi)的許多IT業(yè)巨頭都在云計(jì)算上進(jìn)行了重點(diǎn)研究。例如，Google的云計(jì)算基礎(chǔ)架構(gòu)模式包括4個(gè)相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)：Google File System分布式文件系統(tǒng)（Sanjay Ghemawat等，2003）、針對Google應(yīng)用程序特點(diǎn)提出的MapReduce編程模式（Jeffrey Dean等，2004）、分布式鎖機(jī)制Chubby（Burrows M，2006）以及Google開發(fā)的模型簡化的大規(guī)模分布式數(shù)據(jù)庫BigTable（Fay Chang等，2006）。

云計(jì)算在學(xué)術(shù)研究方面也取得了重大進(jìn)展，這主要包括兩個(gè)方面：一是分布式平臺基礎(chǔ)設(shè)施的構(gòu)建，另一個(gè)是云計(jì)算分布式平臺的開發(fā)編程。在分布式平臺的基礎(chǔ)設(shè)施研究上，主要包括微軟的Dryad框架、Amazon公司的Dynamo框架和Ask．com公司的Neptune框架（DeCandia等，2007）。

2Hadoop云計(jì)算關(guān)鍵技術(shù)分析

Hadoop是MapReduce的開源實(shí)現(xiàn)，是著名的開源組織Apache開發(fā)的一個(gè)開源云計(jì)算系統(tǒng)，是目前在學(xué)術(shù)和工業(yè)界應(yīng)用較為廣泛的云計(jì)算軟件。Hadoop起源于Apache的另外兩個(gè)開源項(xiàng)目：全文檢索軟件Lucene和Web搜索系統(tǒng)Nutch。Hadoop的主要模塊開始是包含在Nutch軟件中，主要用于提高開源Web搜索引擎性能和擴(kuò)展性。從Nutch 8.0開始，Hadoop逐漸獨(dú)立形成一個(gè)開源項(xiàng)目，并得到迅速的發(fā)展。Hadoop的關(guān)鍵技術(shù)包括HDFS分布式存儲技術(shù)、HBase數(shù)據(jù)管理技術(shù)、MapReduce編程模型。

2.1HDFS分布式存儲技術(shù)

為保證數(shù)據(jù)的高可用、高可靠和經(jīng)濟(jì)性，Hadoop的數(shù)據(jù)采用HDFS分布式文件系統(tǒng)進(jìn)行存儲。由于HDFS的開源優(yōu)勢，目前有很大一部分IT廠商，包括yahoo!、Intel、阿里巴巴的云存儲計(jì)劃采用的均為HDFS的數(shù)據(jù)存儲技術(shù)（劉鵬，2010）。

HDFS系統(tǒng)是受Google文件系統(tǒng)（Ghemawat等，2003）啟發(fā)，是建立在大型服務(wù)器集群上可以安全可靠地存儲海量數(shù)據(jù)（可以達(dá)到TB甚至PB級）的文件系統(tǒng)，具有高度容錯(cuò)性。它可以和MapReduce編程模型很好的結(jié)合，是分布式計(jì)算的存儲基礎(chǔ)。

一個(gè)HDFS集群是由一個(gè)名稱節(jié)點(diǎn)（Namenode）和一定數(shù)目的數(shù)據(jù)節(jié)點(diǎn)（Datanodes）組成。名稱節(jié)點(diǎn)是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的命名空間（Namespace）以及客戶端對文件的訪問的元數(shù)據(jù)。數(shù)據(jù)節(jié)點(diǎn)在集群中一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的實(shí)際數(shù)據(jù)的存儲。客戶端聯(lián)系名稱節(jié)點(diǎn)以獲取文件的元數(shù)據(jù)，而真正的文件I/O操作是直接和數(shù)據(jù)節(jié)點(diǎn)進(jìn)行交互的。

2.2HBase數(shù)據(jù)管理技術(shù)

與關(guān)系型數(shù)據(jù)庫不同，HBase是按照“列”存儲的稀疏列/行矩陣，表內(nèi)數(shù)據(jù)非常“稀疏”，不同行、列數(shù)據(jù)可以大不相同。在HBase數(shù)據(jù)庫中空的數(shù)據(jù)單元不占用任何存儲空間，這種技術(shù)特點(diǎn)使得HBase特別適合管理具有稀疏特征的大型數(shù)據(jù)表。按照互聯(lián)網(wǎng)地圖發(fā)布的要求，柵格數(shù)據(jù)按照分辨率分為若干層，每一層都包含大量的柵格地圖圖片數(shù)據(jù)，數(shù)據(jù)從數(shù)百個(gè)乃至上千萬個(gè)，每層包含的圖片數(shù)量存在巨大差異。這就導(dǎo)致每個(gè)數(shù)據(jù)庫表中必定有大量單元是沒有數(shù)據(jù)的，是一個(gè)非常稀疏的表格，所以適合使用HBase存儲和管理瓦片地圖圖片數(shù)據(jù)。HBase物理模型是把邏輯模型中的一個(gè)“行”進(jìn)行分割，并按照“列族”存儲。

2.3MapReduce編程模型技術(shù)

MapReduce編程模式由Google于2004年開發(fā)，用于在超大集群下進(jìn)行T級以上海量數(shù)據(jù)的計(jì)算處理（Jeffrey Dean等，2004）。它以Key-Value對的思維方式來考慮問題，開發(fā)人員只需要寫Map和Reduce兩個(gè)操作就可以簡單快速的處理海量的數(shù)據(jù)。HadoopMapReduce引擎由JobTracker（作業(yè)服務(wù)器）和Task Tracker（任務(wù)服務(wù)器）組成，其運(yùn)行框架如圖2-3所示。Job Tracker（Google 稱為Master）是負(fù)責(zé)管理調(diào)度所有作業(yè)，它是整個(gè)系統(tǒng)分配任務(wù)的核心。Task Tracker具體負(fù)責(zé)執(zhí)行用戶定義操作，每個(gè)作業(yè)被分割為任務(wù)集，包括Map任務(wù)和Reduce任務(wù)，任務(wù)是具體執(zhí)行的基本單元。

3基于MapReduce的礦區(qū)信息監(jiān)測云平臺結(jié)構(gòu)

根據(jù)MapReduce的體系架構(gòu)，設(shè)在礦井內(nèi)各監(jiān)測點(diǎn)的監(jiān)測信息首先通過以太網(wǎng)傳送至處理集群，并存儲在數(shù)據(jù)服務(wù)器中，總控室的監(jiān)測員通過運(yùn)管服務(wù)器，調(diào)度后臺集群中適當(dāng)?shù)慕Y(jié)點(diǎn)對監(jiān)測數(shù)據(jù)進(jìn)行處理，然后將結(jié)果返回，同時(shí)可以將處理后的結(jié)果反饋給接入無線網(wǎng)絡(luò)的移動(dòng)設(shè)備，達(dá)到隨時(shí)監(jiān)測和預(yù)警的目的，具體架構(gòu)圖如圖1所示。

從上圖可以看出，礦區(qū)監(jiān)測云系統(tǒng)可以將各監(jiān)測站的數(shù)據(jù)有效的結(jié)合起來，利用MapReduce調(diào)度后臺處理結(jié)點(diǎn)形成高效的信息處理機(jī)制和反饋機(jī)制，提高了礦區(qū)監(jiān)測的實(shí)時(shí)性和穩(wěn)定性。

圖1礦區(qū)監(jiān)測云系統(tǒng)架構(gòu)圖

4結(jié)語

云計(jì)算的分布式存儲以及數(shù)據(jù)管理、節(jié)點(diǎn)管理可以使大量的信息協(xié)同處理，客戶端的任務(wù)可以由運(yùn)管服務(wù)器自動(dòng)分配到可用的計(jì)算資源和存儲資源。以礦區(qū)信息監(jiān)測為目的的云系統(tǒng)可以將各分散監(jiān)測站的監(jiān)測信息有效的整合在一起，形成快速實(shí)時(shí)的信息處理和反饋系統(tǒng)，為礦區(qū)的安全生產(chǎn)提供保障。

參考文獻(xiàn)

[1]?Luis M V，Luis Rodero-Merino，Juan Caceres，

?Maik Lindner．A break in the clouds：toward a cloud

?definition[J]．ACM SIGCOMM Computer

?Communication Review， 2009，39（1）．

[2]?LUO Jun-zhou，JIN Jia-hui，SONG Ai-bo，DONG

?Fang，云計(jì)算：體系架構(gòu)與關(guān)鍵技術(shù)[J]．通信學(xué)，

?2011，（7）．

[3]?馮登國，張敏，張妍，徐震，云計(jì)算安全研究[J]．軟

?件學(xué)報(bào)，Journal of Software，2011，（1）．

摘要：隨著近年來礦區(qū)安全生產(chǎn)需求的增加，各個(gè)監(jiān)測站監(jiān)測間隔縮短，監(jiān)測指標(biāo)增加，系統(tǒng)需要處理的數(shù)據(jù)會隨之增大。基于這種大量數(shù)據(jù)分布、處理集中的應(yīng)用場景，文章論證了云計(jì)算在礦區(qū)信息監(jiān)測中的應(yīng)用前景，及其在實(shí)現(xiàn)礦區(qū)檢測信息的高度統(tǒng)一，提高信息的時(shí)效性、處理效率，增強(qiáng)礦區(qū)安全性等方面的重要性。

關(guān)鍵詞：云計(jì)算；MapReduce；Hadoop；分布式文件系統(tǒng)；礦區(qū)信息監(jiān)測

中圖分類號：TP393文獻(xiàn)標(biāo)識碼：A文章編號：1009-2374（2014）24-0043-02

1云計(jì)算技術(shù)概述

云計(jì)算是一種商業(yè)計(jì)算模型，它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使用戶能夠按需獲取計(jì)算能力、存儲空間和信息服務(wù)，這些資源池稱為“云”。“云”是一些可以自我維護(hù)和管理的虛擬計(jì)算資源，通常是一些大型服務(wù)器集群，包括計(jì)算服務(wù)器、存儲服務(wù)器和寬帶資源等（劉鵬，2010）。

目前，云計(jì)算技術(shù)已成為了IT產(chǎn)業(yè)的關(guān)注焦點(diǎn)，得到了各大主流公司的支持。包括Google、微軟、IBM、Amazon在內(nèi)的許多IT業(yè)巨頭都在云計(jì)算上進(jìn)行了重點(diǎn)研究。例如，Google的云計(jì)算基礎(chǔ)架構(gòu)模式包括4個(gè)相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)：Google File System分布式文件系統(tǒng)（Sanjay Ghemawat等，2003）、針對Google應(yīng)用程序特點(diǎn)提出的MapReduce編程模式（Jeffrey Dean等，2004）、分布式鎖機(jī)制Chubby（Burrows M，2006）以及Google開發(fā)的模型簡化的大規(guī)模分布式數(shù)據(jù)庫BigTable（Fay Chang等，2006）。

云計(jì)算在學(xué)術(shù)研究方面也取得了重大進(jìn)展，這主要包括兩個(gè)方面：一是分布式平臺基礎(chǔ)設(shè)施的構(gòu)建，另一個(gè)是云計(jì)算分布式平臺的開發(fā)編程。在分布式平臺的基礎(chǔ)設(shè)施研究上，主要包括微軟的Dryad框架、Amazon公司的Dynamo框架和Ask．com公司的Neptune框架（DeCandia等，2007）。

2Hadoop云計(jì)算關(guān)鍵技術(shù)分析

Hadoop是MapReduce的開源實(shí)現(xiàn)，是著名的開源組織Apache開發(fā)的一個(gè)開源云計(jì)算系統(tǒng)，是目前在學(xué)術(shù)和工業(yè)界應(yīng)用較為廣泛的云計(jì)算軟件。Hadoop起源于Apache的另外兩個(gè)開源項(xiàng)目：全文檢索軟件Lucene和Web搜索系統(tǒng)Nutch。Hadoop的主要模塊開始是包含在Nutch軟件中，主要用于提高開源Web搜索引擎性能和擴(kuò)展性。從Nutch 8.0開始，Hadoop逐漸獨(dú)立形成一個(gè)開源項(xiàng)目，并得到迅速的發(fā)展。Hadoop的關(guān)鍵技術(shù)包括HDFS分布式存儲技術(shù)、HBase數(shù)據(jù)管理技術(shù)、MapReduce編程模型。

2.1HDFS分布式存儲技術(shù)

為保證數(shù)據(jù)的高可用、高可靠和經(jīng)濟(jì)性，Hadoop的數(shù)據(jù)采用HDFS分布式文件系統(tǒng)進(jìn)行存儲。由于HDFS的開源優(yōu)勢，目前有很大一部分IT廠商，包括yahoo!、Intel、阿里巴巴的云存儲計(jì)劃采用的均為HDFS的數(shù)據(jù)存儲技術(shù)（劉鵬，2010）。

HDFS系統(tǒng)是受Google文件系統(tǒng)（Ghemawat等，2003）啟發(fā)，是建立在大型服務(wù)器集群上可以安全可靠地存儲海量數(shù)據(jù)（可以達(dá)到TB甚至PB級）的文件系統(tǒng)，具有高度容錯(cuò)性。它可以和MapReduce編程模型很好的結(jié)合，是分布式計(jì)算的存儲基礎(chǔ)。

一個(gè)HDFS集群是由一個(gè)名稱節(jié)點(diǎn)（Namenode）和一定數(shù)目的數(shù)據(jù)節(jié)點(diǎn)（Datanodes）組成。名稱節(jié)點(diǎn)是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的命名空間（Namespace）以及客戶端對文件的訪問的元數(shù)據(jù)。數(shù)據(jù)節(jié)點(diǎn)在集群中一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的實(shí)際數(shù)據(jù)的存儲。客戶端聯(lián)系名稱節(jié)點(diǎn)以獲取文件的元數(shù)據(jù)，而真正的文件I/O操作是直接和數(shù)據(jù)節(jié)點(diǎn)進(jìn)行交互的。

2.2HBase數(shù)據(jù)管理技術(shù)

與關(guān)系型數(shù)據(jù)庫不同，HBase是按照“列”存儲的稀疏列/行矩陣，表內(nèi)數(shù)據(jù)非常“稀疏”，不同行、列數(shù)據(jù)可以大不相同。在HBase數(shù)據(jù)庫中空的數(shù)據(jù)單元不占用任何存儲空間，這種技術(shù)特點(diǎn)使得HBase特別適合管理具有稀疏特征的大型數(shù)據(jù)表。按照互聯(lián)網(wǎng)地圖發(fā)布的要求，柵格數(shù)據(jù)按照分辨率分為若干層，每一層都包含大量的柵格地圖圖片數(shù)據(jù)，數(shù)據(jù)從數(shù)百個(gè)乃至上千萬個(gè)，每層包含的圖片數(shù)量存在巨大差異。這就導(dǎo)致每個(gè)數(shù)據(jù)庫表中必定有大量單元是沒有數(shù)據(jù)的，是一個(gè)非常稀疏的表格，所以適合使用HBase存儲和管理瓦片地圖圖片數(shù)據(jù)。HBase物理模型是把邏輯模型中的一個(gè)“行”進(jìn)行分割，并按照“列族”存儲。

2.3MapReduce編程模型技術(shù)

MapReduce編程模式由Google于2004年開發(fā)，用于在超大集群下進(jìn)行T級以上海量數(shù)據(jù)的計(jì)算處理（Jeffrey Dean等，2004）。它以Key-Value對的思維方式來考慮問題，開發(fā)人員只需要寫Map和Reduce兩個(gè)操作就可以簡單快速的處理海量的數(shù)據(jù)。HadoopMapReduce引擎由JobTracker（作業(yè)服務(wù)器）和Task Tracker（任務(wù)服務(wù)器）組成，其運(yùn)行框架如圖2-3所示。Job Tracker（Google 稱為Master）是負(fù)責(zé)管理調(diào)度所有作業(yè)，它是整個(gè)系統(tǒng)分配任務(wù)的核心。Task Tracker具體負(fù)責(zé)執(zhí)行用戶定義操作，每個(gè)作業(yè)被分割為任務(wù)集，包括Map任務(wù)和Reduce任務(wù)，任務(wù)是具體執(zhí)行的基本單元。

3基于MapReduce的礦區(qū)信息監(jiān)測云平臺結(jié)構(gòu)

根據(jù)MapReduce的體系架構(gòu)，設(shè)在礦井內(nèi)各監(jiān)測點(diǎn)的監(jiān)測信息首先通過以太網(wǎng)傳送至處理集群，并存儲在數(shù)據(jù)服務(wù)器中，總控室的監(jiān)測員通過運(yùn)管服務(wù)器，調(diào)度后臺集群中適當(dāng)?shù)慕Y(jié)點(diǎn)對監(jiān)測數(shù)據(jù)進(jìn)行處理，然后將結(jié)果返回，同時(shí)可以將處理后的結(jié)果反饋給接入無線網(wǎng)絡(luò)的移動(dòng)設(shè)備，達(dá)到隨時(shí)監(jiān)測和預(yù)警的目的，具體架構(gòu)圖如圖1所示。

從上圖可以看出，礦區(qū)監(jiān)測云系統(tǒng)可以將各監(jiān)測站的數(shù)據(jù)有效的結(jié)合起來，利用MapReduce調(diào)度后臺處理結(jié)點(diǎn)形成高效的信息處理機(jī)制和反饋機(jī)制，提高了礦區(qū)監(jiān)測的實(shí)時(shí)性和穩(wěn)定性。

圖1礦區(qū)監(jiān)測云系統(tǒng)架構(gòu)圖

4結(jié)語

云計(jì)算的分布式存儲以及數(shù)據(jù)管理、節(jié)點(diǎn)管理可以使大量的信息協(xié)同處理，客戶端的任務(wù)可以由運(yùn)管服務(wù)器自動(dòng)分配到可用的計(jì)算資源和存儲資源。以礦區(qū)信息監(jiān)測為目的的云系統(tǒng)可以將各分散監(jiān)測站的監(jiān)測信息有效的整合在一起，形成快速實(shí)時(shí)的信息處理和反饋系統(tǒng)，為礦區(qū)的安全生產(chǎn)提供保障。

參考文獻(xiàn)

[1]?Luis M V，Luis Rodero-Merino，Juan Caceres，

?Maik Lindner．A break in the clouds：toward a cloud

?definition[J]．ACM SIGCOMM Computer

?Communication Review， 2009，39（1）．

[2]?LUO Jun-zhou，JIN Jia-hui，SONG Ai-bo，DONG

?Fang，云計(jì)算：體系架構(gòu)與關(guān)鍵技術(shù)[J]．通信學(xué)，

?2011，（7）．

[3]?馮登國，張敏，張妍，徐震，云計(jì)算安全研究[J]．軟

?件學(xué)報(bào)，Journal of Software，2011，（1）．