一種基于云計算模型的遙感處理服務模式研究與實現

摘 要:隨著空間遙感技術、對地觀測技術的不斷發展，一個以多時相、多分辨率、多傳感器、多波段為特征的多層、立體、多角度、全方位和全天候遙感對地觀測數據獲取與處理體系正在形成。該體系必然會帶來海量、多源的遙感數據。提出了采用目前商業上成功的云計算模型來實現一個高性能、高可擴展性、高可用的遙感處理服務，并結合原型系統，詳細闡述了該處理系統的組成與關鍵技術。

關鍵詞:分布式計算; 遙感; MapReduce; 并行; 服務模型; 云計算

中圖分類號:TP208文獻標志碼:A

文章編號:1001-3695(2009)09-3428-04

doi:10.3969/j.issn.1001-3695.2009.09.064

Research of remote sensing service based on cloud computing mode

LIU Yi， GUO Wei， JIANG Wan-shou， GONG Jian-ya

(State Key Laboratory for Information Engineering in Surveying， Mapping Remote Sensing， Wuhan University， Wuhan 430074， China)

Abstract:As the development of technologies of earth observation， receiving and processing systems for earth-observed data are emerging. Managing the large volume and multi-source data is a key problem for the earth observation system. This paper analyzed several modes of remote sensing service and proposed adopting the cloud computing mode to implement remote sensing service for better scalability， performance and stability. Showed the prototype system named OpenRS-Cloud to illustrate the system framework and key technologies.

Key words:distributed computing; remote sensing; MapReduce; parallel computing; service mode; cloud computing

0 引言

2006—2020年的《國家中長期科技發展規劃綱要》中明確指出:發展基于衛星、飛機和平流層飛艇的高分辨率先進對地觀測系統，發射一系列的高分辨率遙感對地觀測衛星，建立覆蓋可見光、紅外、多光譜、超光譜、微波、激光等觀測譜段的、高中低軌道結合的、具有全天時、全天候、全球觀測能力的大氣、陸地、海洋先進觀測體系。到2020年，建成穩定的運行系統，提高我國空間數據的自給率，形成空間信息產業鏈條[1]。

在這樣的環境和要求下，建立一個能快速、高效、并行、并功能可擴展的遙感處理服務是必需的，也是必要的。而之前的各種遙感處理系統有些雖然具備了海量數據并行處理能力，但是其系統并不開放，并且并行實現手段多基于高耦合性的MPI[2～4]，算法本身和并行模型強耦合并沒有從框架上考慮第三方算法的集成[5，6]。而目前主流IT界提出的云計算模型[7]，是一種具備處理規模化、管理集中化、功能開放化、存儲海量化和客戶端輕量化等特點的新型服務計算模型，最初由Google發起[8]，目前已經得到微軟、雅虎、亞馬遜等IT各大主流公司的支持，在通用IT領域取得了極大的成功。本文將詳細討論在云計算模型下的遙感處理服務的必要性、系統的組成和實現技術，為大規模遙感處理服務的實現提供一種新的思路。

1 遙感處理云計算模式的必要性

雖然云計算在通用IT領域已經取得了極大的成功，但是在探討遙感領域的云計算模式前，需要詳細地討論遙感處理領域是否需要云計算。可以將遙感處理領域的相關人員分為四類，即平臺架構者、算法開發者、數據提供者和最終用戶。平臺架構者側重于提供基礎的遙感數據讀寫、通用處理算法和用戶界面等;算法開發者側重于實現算法邏輯，實現過程中可采用平臺提供的通用方法;數據提供者側重于提供原始數據;最終用戶在平臺架構者提供的界面上，通過算法提供者的算法來處理數據提供者所提供的數據，形成最終所需要的數據文件。圖1闡述了四者之間的關系。

雖然現在的遙感平臺有很多，但是都符合上述模型，只是有些平臺比較封閉，并不支持第三方算法插件。目前絕大部分遙感平臺有一個共同點，就是并不提供網絡服務，都是以桌面軟件形式提供給用戶使用，而網絡服務的形式已經在GIS領域被廣泛研究和使用，如著名的ArcGIS軟件已經成功地實現將原桌面版本的所有功能移植成為Web服務。眾所周知，網絡服務比普通單機桌面版具有更強大的處理能力，更易集成和更開放，但是目前遙感處理為什么沒有服務的大量涌現，筆者認為主要有如下幾個原因:

a)資源緊缺。遙感處理涉及到海量數據和龐大的計算能力，普通的單服務器計算模式并不能滿足要求，需要采用集群環境，而普通開發者并沒有適合的硬件環境。

b)開發困難。缺乏適合遙感處理的Web開發平臺。目前GIS服務多數基于Web service相關平臺。由于微軟、Sun等公司提供了一個簡單利用的Web service開發環境，開發比較簡單。但是普通的Web service只針對單個請求的響應時間比較短的情況，而單個遙感處理請求可能需要10 min或更長的處理時間，普通的Web service開發環境并不適合。

c)缺乏統一平臺級商業模式。商業模式對于注重算法產權的遙感領域是很重要的。而長期以來，如何保護普通算法開發者權益的問題一直沒得到重視和解決。只有統一的平臺級商業模式才能引導遙感處理領域的算法發展。

上述問題是阻礙遙感處理服務發展的根本原因。針對上述三個問題，如果采用云計算模式，可以得到良好的解決。

1)資源緊缺 云計算提供統一并強大的計算環境和硬件資源，普通算法開發者可以將自己的算法按照接口規范提交到平臺即可，而無須自己架構網站。

2)開發困難 云計算提供的統一接口可使算法開發變得簡單，算法開發者無須知道網絡通信相關知識即可被最終用戶所調用。針對這點，后面將詳細闡述OpenRS-Cloud的解決方案。

3)缺乏統一平臺級商業模式 云計算的商業模式已經得到成功，亞馬遜公司已經盈利上億美金。在云計算中，數據提供者、算法提供者和平臺提供者將從最終用戶的每次請求中獲利，進行合理的分成，最終用戶也擁有了更多的算法和數據選擇權利。

結合前面對云計算特點的描述，有理由相信將云計算應用于遙感處理是可行的。下面將詳細闡述遙感處理云計算的系統構成與關鍵技術。

2 遙感處理云計算系統構成

根據上面的分析，本章提出一種遙感處理的云計算模式，并在后面利用原型系統加以驗證。圖2是設想的遙感云計算模式。

從圖2中可以看出該模式分為下面幾個系統:

a)Web入口系統。該系統主要面向最終用戶，利用Ajax、Flash或Slivelight技術，為用戶提供一個直接在Web瀏覽器上就能使用的用戶界面。

b)多任務并行作業系統。該系統采用Google云計算的并行模式MapReduce，通過集成大量的服務器或普通PC機提供一個針對海量用戶的分布式任務調度和管理環境。

c)WebGIS數據發布與管理系統。由于待處理的影像是通過瀏覽器展示給用戶的，需要WebGIS系統來進行數據的發布和元數據查詢。

d)算法插件系統。為算法提供者制訂統一的接口方式和插件開發方法。

e)分布式數據存儲系統。由于云計算涉及的數據龐大，需要類似Google的分布式文件系統來進行數據的存儲和管理。數據提供者調用該系統來發布自己的數據，而WebGIS數據發布系統會根據分布式數據存儲系統的變化定時發布新的數據到網絡上。

f)計費系統。當最終用戶享用數據下載或數據計算服務后，需要付一定的費用，而這些費用將按照一定的比例分配給算法提供者、數據提供者和平臺系統。這種商業模式已經被Google、亞馬遜成功應用。

上述幾大系統是遙感處理云計算平臺的基礎系統，缺一不可，通過這些系統提供的數據發布、數據搜索、多用戶計算、海量存儲和Web瀏覽器訪問來為其他三類用戶提供良好的生態環境。最終用戶得到了一個不斷擴展功能，并且擁有海量處理能力和存儲能力的系統;算法提供者不用關心計算能力和硬件條件的缺乏，而只需關注本身算法的有效性，并且底層的數據讀取、通用算法、矩陣等操作均由平臺提供;數據提供者利用平臺提供的工具上傳數據，平臺將自動進行元數據錄入和數據發布;當最終用戶付給相應的費用后，三方均能得到一定的收益。遙感處理云計算平臺并不以建立算法完備的系統為目標，而是希望建立一個良好的具有計算能力、存儲能力和發布能力的生態環境來吸引用戶群。除了上面的基礎系統外，一個上線運行的系統還需配置其他輔助子系統，如用戶權限管理、數據上傳下載系統等。后面將結合OpenRS-Cloud原型系統來詳細介紹各個系統的實現方法、采用的技術手段和界面設計。

3 符合遙感處理云計算模式的原型系統設計與實現

上面闡述了遙感處理云計算模式的基本組成，本章將結合名為OpenRS-Cloud原型系統作更深入的闡述。OpenRS(開放式遙感處理平臺)系統是國家“863”十一重點項目多源遙感數據綜合處理與服務系統第二課題的研究目標。OpenRS-Cloud是OpenRS的子項目，希望可以利用廉價PC機群進行高性能遙感數據處理的云計算系統，主要提供任務并行化處理、Web監控、分布式存儲、算法插件化和多語言接口等功能。OpenRS-Cloud的系統架構是符合遙感處理云計算模式的，擁有五大核心系統(目前未實現計費系統)。下面將闡述OpenRS-Cloud五大核心系統的實現方法和技術手段。

3.1 Web入口系統

Web入口系統是最終用戶與其他子系統的橋梁。OpenRS-Cloud提供了一個基于Web瀏覽器、利用Google Web Toolkit 開發的Ajax用戶界面。從圖3中可以看出，整個界面分為任務管理、插件管理、數據文件選擇和元數據搜索四個部分。

任務管理主要負責計算任務的算法選擇、參數輸入、任務狀態監控和相關信息查看，如圖4所示。

插件管理主要負責管理和注冊用戶的插件系統，用戶可以通過該界面上傳的第三方插件到服務器集群系統上來進行相關處理，如圖5所示。

數據文件選擇的主體是一張全球地圖，而圖上的每個紅點代表一份原始影像數據，每個影像數據具有覆蓋范圍、地點、描述、縮略圖和提供者等信息，這些數據全部位于后臺的分布式存儲系統中，通過后臺的WebGIS系統(目前采用Google Map)發布在地圖上(目前采用KML)，每個數據文件可通過點擊來作為算法輸入參數參與計算，這種方式取代了傳統遙感軟件的本地目錄查找與選擇，結合地圖搜索和元數據搜索能讓用戶更方便地查找所需數據，如圖3所示。

元數據搜索采用全文搜索技術，在通過針對各個元數據的描述信息進行倒排索引后，可提供全文搜索能力。該項功能可以與地圖位置搜索聯合使用，實現空間與屬性的聯合查詢。

OpenRS-Cloud提供了一個簡單有效的界面模式，目前沒有考慮算法本身(如交互式地物提取)更加復雜的交互功能，但是對于遙感處理的大多數算法已經適合。針對某些交互性強的特定算法，可采用Flash或Slivelight等富客戶端技術來實現。

3.2 算法插件系統

OpenRS-Cloud的底層算法插件系統采用OpenRS系統。OpenRS系統是一個具備可擴展能力的插件系統。該系統分為如圖6所示的四個層次，即內核插件系統、服務插件、對象插件和應用程序。詳細描述參見文獻[9]。

1)插件系統 提供四大基礎服務，這里的服務概念是指在整個OpenRS運行生命周期內惟一的對象，可創建其他對象。

2)服務插件 提供通用服務功能，如序列化、空間參考、矩陣計算等。

3)對象插件 提供可創建式對象，實現文件讀取、分類等各種算法。插件對象管理采用插件層次樹的形式，如圖7所示，每個對象都根據其接口繼承關系位于插件樹上。OpenRS系統采用純接口開發，算法提供者能很方便地實現符合OpenRS接口規范的各種算法插件，并且每個算法提供者還可以利用平臺提供或其他用戶提供的算法插件。

4)應用程序 桌面級應用，提供桌面級的支持可擴展性點的GUI界面。

OpenRS-Cloud能直接調用實現了orsIExecute 或orsIParallelExecute接口的OpenRS算法插件。orsIExecute是指非并行算法，算法的輸入和輸出為具有XML類似層次接口的屬性。在計算過程中，算法可以輸出進度和日志信息。這些信息將直接反饋給Web用戶。orsIParallelExecute是指那些可以進行子任務分解和合并的并行算法，這些算法分解的子任務將會并行運行在由多任務并行作業系統所分配的節點機上，每個子任務依然可以輸出進度和日志信息，orsIExecute可以看做是orsIParallelExecute的特例。

在OpenRS系統中，算法參數的輸入和輸出采用XML描述。因為采用XML參數描述，可以讓OpenRS-Cloud系統自動地生成參數界面系統，如圖3所示。目前OpenRS插件系統內置支持整數、浮點、字符串、文件名、數組和矩陣幾種類型，并且可方便地擴展到空間點、線、面和用戶自定義類型的支持，Web入口系統可根據參數類型生成相應的界面元素。

從上述描述可以看出，算法實現者并不需要關心網絡通信與資源分布情況，只需實現算法邏輯即可。實際上實現了orsIExecute或orsIParallelExecute的算法不僅可以在OpenRS-Cloud中運行，也可以在桌面版的OpenRS系統中運行，這正是本文采用的純接口的方式而帶來的網絡化與桌面化運行的無縫集成。

3.3 多任務并行作業系統

多任務并行作業系統是OpenRS-Cloud系統的計算核心，設計模型采用MapReduce模型。MapReduce模型最早被Google資深科學家Jeff Dean用于分布式計算，他在處理Google的日常工作時，認識到Google所需的絕大部分數據處理都可以歸結為一個簡單的并行算法:MapReduce。這個算法能夠在很多種計算中達到相當高的效率，而且是可擴展的。 MapReduce的兩個主要概念是map(映射)和reduce(化簡)，主要思想是從函數式編程語言里借來的。簡單而言，map函數是用來把一組鍵值對映射成一組新的鍵值對，用于子任務執行;而reduce函數是用來保證所有映射的鍵值對中的每一個共享相同的鍵組，用于子任務處理結果的合并。MapReduce會生成大量的臨時文件，為了提高效率，一般采用分布式文件系統來管理和訪問這些文件。

多任務并行作業系統通過結合OpenRS插件系統與MapReduce并行計算模型，為各種遙感算法提供一個通用的并行算法開發環境。系統的任務執行流程分為三個階段，即任務分解、子任務執行(map過程)和子任務合并(reduce過程)，如圖8所示。

在多任務并行作業系統中，筆者將任務稱為job，而子任務稱為task。每個job在經過任務分解過程后，形成多個task，每個task具有分離輸入(inputSpilit)，系統根據優先級將子任務發送到各個處理服務器進行并行處理，最終結果匯集在一臺服務器來做最終的合并工作。在上述過程中，map所產生的中間結果存儲在分布式文件系統中，用于最終reduce操作的數據讀取和處理。圖9是任務運行界面圖。從圖中可以看出，每個用戶提交的任務執行情況非常清楚，如同桌面系統一樣，惟一不同的是各個任務同時運行在后臺多個節點機上。

3.4 WebGIS數據發布與管理系統

WebGIS數據發布與管理系統主要提供數據底圖的顯示、元數據的查找和數據發布。目前數據底圖采用Google map。后臺的元數據服務按照相關地圖瀏覽或查詢指令自動生成KML顯示在Google map上。本系統為成熟的WebGIS系統，這里不再詳細闡述。

3.5 分布式數據存儲系統

分布式數據存儲系統采用Hadoop的HDFS分布式文件存儲系統。由于目前遙感處理算法開發包只針對本地文件系統，而不能直接訪問HDFS分布式文件存儲系統，需要將hdfs映射為本地文件系統。該技術可采用WebDAV(Web-based distributed authoring and versioning)。該協議是基于 HTTP 1.1 的一個通信協議。它為 HTTP 1.1 添加了一些擴展，使得應用程序可以直接將文件寫到 Web server 上，并且在寫文件時可以對文件加鎖，寫完后對文件解鎖，還可以支持對文件所做的版本控制。由于該技術與IT領域的Cloud計算完全一致，不作更多闡述。

4 遙感云計算與網格計算

雖然OpenRS-Cloud是一整套云計算系統，與網格計算在模式上有所不同，但是從技術上而言，是完全可以與之共存的。因為網格計算以集成Web service服務見長，所以OpenRS-Cloud可通過提供一套以WSDL定義的任務提交與狀態查詢接口來作為網格計算的一個節點參與到網格計算中。具體的實現模式如圖10所示。

5 結束語

云計算作為目前IT領域的新興技術，極大地吸引了各種IT廠商、普通開發者和使用者，在短短的時間內形成一種嶄新的商業模式，并取得了極大的成功，這是之前單純的Web service或者網格計算技術所沒有達到的。作為遙感處理專業領域，如何進行海量數據存儲與處理、系統的擴展與開放等是該領域長期的瓶頸，云計算模式的出現給解決這些問題帶來了希望。本文詳細探討遙感云計算的系統構成和實現方法，并以一個具體的原型系統展現了遙感云計算模式的用戶界面、技術手段與運行流程。

參考文獻:

[1]國家中長期科學和技術發展規劃綱要(2006—2020)[EB/OL]. http://www.gov.cn/jrzg/2006-02/09/content_183787.htm.

[2]黃國滿，郭建峰.分布式并行遙感影像處理中的數據劃分[J].遙感信息，2001(2):9-12.

[3]盧麗君，廖明生.分布式并行計算技術在遙感數據處理中的應用[J].測繪信息與工程，2005，30(3):1-3.

[4]周海芳.遙感圖像并行處理算法的研究和應用[D].長沙:國防科學技術大學，2003.

[5]蔣利順，劉定生.遙感圖像K-means并行算法研究[J].遙感信息，2008(1):27-30，115.

[6]王攀峰，杜云飛，周海芳，等.基于復小波變換的遙感圖像并行融合算法[J].計算機工程與科學，2008，30(3):35-39.

[7]云計算[EB/OL]. http://en.wikipedia.org/wiki/Cloud_computing.

[8]JEFFREY D， SANJAY G. MapReduce: simplified data processing on large clusters[C]//Proc of the 6th Symposium on Operating System Design and Implementation. San Francisco， CA:[s.n.]， 2004.

[9]OpenRS插件系統[EB/OL].http://www.openrs.org/.

[10]沈占峰.高分辨率遙感影像并行處理數據分配策略研究[J].哈爾濱工業大學學報，2006，38(11):1968-1971，1976.