分布式計(jì)算環(huán)境遙感圖像水體識(shí)別技術(shù)

摘要：

隨著社會(huì)的進(jìn)步和國(guó)民經(jīng)濟(jì)的發(fā)展，國(guó)民節(jié)能環(huán)保意識(shí)逐漸增強(qiáng)，逐漸認(rèn)識(shí)到水資源對(duì)社會(huì)發(fā)展的重要性。為實(shí)現(xiàn)對(duì)水資源的科學(xué)管理與合理調(diào)度，必須要通過(guò)水體識(shí)別技術(shù)對(duì)水資源實(shí)際情況形成更為準(zhǔn)確的了解。本文主要分析了一種分布式計(jì)算環(huán)境下的遙感圖像水體識(shí)別技術(shù)。

關(guān)鍵詞：

分布式計(jì)算;水體識(shí)別;MapReduce模型

中圖分類(lèi)號(hào)：

TP751

文獻(xiàn)標(biāo)識(shí)碼：

A

文章編號(hào)：

1672-9129（2020）15-0026-01

如今，水資源短缺已經(jīng)成為世界各國(guó)關(guān)注的普遍話題，水資源利用狀況尤為嚴(yán)峻，這也對(duì)我國(guó)水資源利用的合理性提出了更高的要求。如何在分布式計(jì)算環(huán)境之下實(shí)現(xiàn)對(duì)遙感圖像水體識(shí)別技術(shù)的有效選擇與應(yīng)用，從而提高水資源監(jiān)測(cè)效果，值得我們深思。

1MapReduce簡(jiǎn)介

MapReduce模型可以實(shí)現(xiàn)讀寫(xiě)操作的高速化、流式化，適合針對(duì)海量數(shù)據(jù)進(jìn)行檢索、特征分析等處理。其任務(wù)處理流程可以具體劃分為：①數(shù)據(jù)分塊和分配。在模型接收到輸入數(shù)據(jù)之后，作“分片”操作，對(duì)整個(gè)任務(wù)進(jìn)行劃分，形成多個(gè)子任務(wù)，也就是將超大數(shù)據(jù)集當(dāng)中的數(shù)據(jù)劃分成多個(gè)大小相同的“數(shù)據(jù)塊”，之后主節(jié)點(diǎn)把各個(gè)子任務(wù)向模型中的從節(jié)點(diǎn)分發(fā)，開(kāi)始并行處理;②Mpa映射。每個(gè)Map任務(wù)需要接收和處理一個(gè)數(shù)據(jù)“分片”，使其經(jīng)過(guò)映射轉(zhuǎn)變?yōu)?key，value>鍵值對(duì)，產(chǎn)出其中間結(jié)果;③分區(qū)和排序。結(jié)合key值針對(duì)中間結(jié)果做排序與合并處理，并將其當(dāng)作Reduce函數(shù)輸入;④Reduce規(guī)約。以組作為基本單位針對(duì)數(shù)據(jù)作規(guī)約處理，對(duì)key值相等的value值加以合并;⑤數(shù)據(jù)輸出。將Reduce之后所產(chǎn)出的鍵值對(duì)輸出。

2遙感數(shù)據(jù)劃分與組織形式

在實(shí)踐中，并行計(jì)算效率會(huì)受到諸多因素的影響，以MapReduce為支撐針對(duì)遙感圖像進(jìn)行并行處理的過(guò)程中，數(shù)據(jù)劃分方式與“塊”的大小會(huì)對(duì)模型形成起到?jīng)Q定作用。出于對(duì)湖泊、河流等水體在遙感圖像當(dāng)中占據(jù)面積較大的實(shí)際情況，本實(shí)驗(yàn)將矩形作為基準(zhǔn)形狀針對(duì)圖像加以分塊處理。

應(yīng)用Hadoop大數(shù)據(jù)處理平臺(tái)針對(duì)遙感圖像加以存儲(chǔ)與索引。在HDFS分布式文件系統(tǒng)當(dāng)中存放遙感圖像，并在HBase數(shù)據(jù)庫(kù)當(dāng)中存儲(chǔ)圖像相應(yīng)的元數(shù)據(jù)。此外，還要結(jié)合每塊數(shù)據(jù)“分片”構(gòu)建起多個(gè)副本，以此提升數(shù)據(jù)塊的可用性和可靠性。

在具體開(kāi)始實(shí)驗(yàn)之前，先要搭建起Hadoop分布式集群。在集群中配置4臺(tái)主機(jī)，并選擇其中一臺(tái)作為命名節(jié)點(diǎn)，其它三臺(tái)則當(dāng)作從節(jié)點(diǎn)。在每臺(tái)主機(jī)上都要安裝相關(guān)軟件，以搭建所需實(shí)驗(yàn)環(huán)境。軟件內(nèi)容包括：①LinuxUbuntu系統(tǒng);②Java編程軟件;③Hadoop分布式系統(tǒng)等。

3實(shí)驗(yàn)結(jié)果及分析

3.1正確性測(cè)試。以MapReduce為支撐對(duì)分布式信息提取模型進(jìn)行構(gòu)建，通過(guò)幾種提取效果相對(duì)較好的信息提取方法針對(duì)實(shí)驗(yàn)區(qū)域水體加以處理。實(shí)驗(yàn)中所應(yīng)用的驗(yàn)證樣本是通過(guò)ENVI圖像處理軟件針對(duì)研究區(qū)域高分辨率遙感圖像加以監(jiān)督分類(lèi)，結(jié)合最大似然法獲得參照分類(lèi)的結(jié)果。

此外，為實(shí)現(xiàn)對(duì)實(shí)驗(yàn)結(jié)果更為有效地描述，體現(xiàn)出模型的可靠性與精度，我們將錯(cuò)提率、總體精度以及Kappa系數(shù)等當(dāng)作實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)，得出結(jié)論：①不同提取方法所獲結(jié)果精度從高到低：MNDWI、NDWI、NDVI、譜間關(guān)系法以及單波段閾值法;②實(shí)驗(yàn)結(jié)果顯示，單波段閾值法對(duì)于水體信息所呈現(xiàn)的提取結(jié)果最差，這主要是由于該方法通過(guò)單波段獲得水體特征，有一定片面性，很難實(shí)現(xiàn)對(duì)水體和其它地物的有效區(qū)分;③MNDWI所獲信息提取精度最高，這是由于該方法可以增強(qiáng)各種地物，特別是建筑及陰影反差，可以由背景地物當(dāng)中對(duì)水體信息進(jìn)行精準(zhǔn)提取;④通過(guò)幾種方法所獲得的提取精度均在90%以上。

所以，以MapReduce為支撐的分布式信息提取模型可以有效實(shí)現(xiàn)對(duì)水體信息的準(zhǔn)確提取，而且能夠展現(xiàn)出良好的識(shí)別精度。

3.2可擴(kuò)展性與伸縮性測(cè)試。選取2019年5月實(shí)驗(yàn)對(duì)象流域的6幅影像為實(shí)驗(yàn)材料。在實(shí)驗(yàn)過(guò)程中，利用歸一化差異指數(shù)法進(jìn)行信息提取。分析在不同計(jì)算節(jié)點(diǎn)之下，以MapReduce為支撐的分布式信息提取模型針對(duì)一幅、兩幅、四幅以及六幅遙感圖像開(kāi)展識(shí)別所耗費(fèi)的時(shí)間關(guān)系。

經(jīng)分析可得出結(jié)論：①在所輸入數(shù)據(jù)量為一定的情況下，隨計(jì)算節(jié)點(diǎn)數(shù)量的提升，提取信息所需時(shí)間呈現(xiàn)為線性降低狀態(tài)，加速比則持續(xù)增加。計(jì)算節(jié)點(diǎn)的數(shù)量為2個(gè)，其平均加速比是1.92;數(shù)量為3個(gè)，則平均加速比是2.65;數(shù)量為4個(gè)，則平均加速比是3.94。所以，本實(shí)驗(yàn)所分析的模型具有良好的可擴(kuò)展性，能夠充分滿足各種規(guī)模數(shù)據(jù)集在并行計(jì)算方面的需求;②在數(shù)據(jù)數(shù)據(jù)量呈線性增長(zhǎng)的情況下，信息提取所需時(shí)間也呈線性增長(zhǎng)，所以本實(shí)驗(yàn)所分析模型有著良好的可伸縮性，能夠充分滿足各種規(guī)模數(shù)據(jù)量條件下的信息提取需求。

結(jié)語(yǔ)：總而言之，水資源短缺已經(jīng)成為制約國(guó)家經(jīng)濟(jì)與社會(huì)發(fā)展的重要因素，值得我們投入更多人力、物力和財(cái)力提高其檢測(cè)效果，為水資源調(diào)度與利用提供更為準(zhǔn)確的技術(shù)支持，為資源節(jié)約型與環(huán)境友好型社會(huì)建設(shè)注入源源不斷的活力。

參考文獻(xiàn)：

[1]徐旭.基于圖像特征的遙感影像水體自動(dòng)提取方案研究[J].安徽建筑，2019，26（9）：51.

[2]]王瑋哲.高分辨遙感圖像目標(biāo)識(shí)別技術(shù)綜述[J].通訊世界，2017，（16）：276.

作者簡(jiǎn)介：馬穎（1977.10），女，漢，河南鄭州人，碩士學(xué)歷，河南工程學(xué)院副教授，研究方向：分布式計(jì)算與圖像智能信息處理。