遙感信息模型在線可視化定制和自動化計算

冉全， 李國慶， 于文洋， 張連翀

(1.中國科學院遙感與數字地球研究所數字地球實驗室; 北京 100094； 2.中國科學院大學，北京 100049;3.海南省地球觀測重點實驗室,三亞 572023)

遙感信息模型在線可視化定制和自動化計算

冉全1,2， 李國慶1,3， 于文洋1,3， 張連翀1,2

(1.中國科學院遙感與數字地球研究所數字地球實驗室; 北京 100094； 2.中國科學院大學，北京 100049;3.海南省地球觀測重點實驗室,三亞 572023)

隨著可獲取遙感數據的增加和網絡技術的飛速發展，遙感數據的在線自動一體化服務需求日益增長，而當前尚無主流的基于服務鏈的遙感數據在線可視化及自動化計算平臺。該文基于B/S構架，應用工作流技術，提出了一種基于服務鏈的集數據查詢服務、模型定制服務及信息發布服務于一體的遙感信息模型(remote sensing information models，RSIM)在線可視化定制和自動化計算的解決方案，使用戶在友好的Web界面中可以一體化地按需完成從數據選擇、模型設計到模型實現的動態過程。基于遙感數據各處理模塊的可復用性，快速構建并實現了RSIM，是對遙感數據在線可視化定制和自動化服務的一次有益嘗試。

服務鏈； 遙感信息模型(RSIM)； 可視化定制； 自動化計算； 工作流

0 引言

遙感數據的處理服務已經逐步轉向社會化和高級定制化[1-3]。遙感信息模型(remote sensing information models，RSIM)是一種在遙感數據和遙感信息間建立聯通橋梁的科學分析方式，如何實現遙感信息模型的高級定制及自動化計算對于遙感數據處理的社會化服務具有重要的研究意義[4]。而在遙感數據到遙感信息轉變的過程中，很多處理模塊均具有可復用性，按照遙感信息應用需求，數據處理可由多個處理模塊組合而成，為RSIM的快速社會化定制提供了可能。目前，實現一個RSIM的常用做法是用戶獨立實施各處理模塊[5]。但在缺少共享資源的情況下，對各處理模塊的反復實施，極大地降低了處理效率，是對人力物力等資源的重復浪費[2]。面對這種情況，如何實現各處理模塊的資源共享，同時自動化地滿足用戶的需求，是亟待解決的一個問題。解決問題的關鍵在于： 基于資源共享，通過服務鏈進行分布式資源組織和調度，向用戶提供友好、高效的專業遙感影像處理及應用服務。

本文針對以上問題，在網絡環境下，根據共享的理念，通過工作流將分布式的計算資源、數據資源及數據處理模塊等按需組織成特定順序執行的服務鏈，來實現各部分資源間的鏈接和協作。與此同時，用戶可以通過一個直觀易操作的可視化流程定義工具，在瀏覽器的可視化界面中進行RSIM工作流程的按需組織，定制用戶所需的RSIM服務鏈，通過采用自動化計算服務引擎實現該定制服務鏈的自動計算，并對其運行狀態進行實時監控管理。

相較于C/S構架的系統，本研究基于B/S構架，設計并實現了一個基于服務鏈的RSIM在線可視化定制及自動化計算平臺，用戶通過瀏覽器就能一體化的實現RSIM可視化定制、自動化計算及實時監管等功能。

1 技術流程與組織結構

1.1 技術流程

可視化定制以“所見即所得”的思想為原則，用戶可通過可視化的界面來構建各個數據處理模塊的執行流程[6]。可視化的界面有利于用戶更好地理解和設計RSIM的執行流程，分析流程中存在的問題。另外，將可視化技術引入到RSIM的設計中不僅可以使遙感數據處理更加靈活，而且大大提高了數據處理模塊的可復用性[7]。在實現單個處理模塊功能的同時，還能通過組織已有的處理模塊來實現RSIM工作流程的構建，從而降低各處理模塊的編寫復雜度，提高模型的實現效率。基于服務鏈的RSIM可視化定制和自動化計算流程如圖1所示。

圖1 RSIM在線可視化定制和自動化計算流程

用戶可以在線查看已注冊可用的遙感處理模塊并可根據應用需求進行模塊選擇，如預處理、參數反演、格式轉換、數據拼接等。然后通過可視化編輯界面進行模塊流程組織和必要的設置，包括參數設置及計算方式的設定。用戶定制好服務流程后，選擇輸入數據，就可以向服務器端提交模型工作流程的處理請求； 服務器端在接受請求后對請求進行解析，通過自動化計算服務引擎進行任務調度和處理； 最后將處理結果以在線可視的方式返回給用戶，且提供下載地址供用戶下載使用。

1.2 RSIM服務鏈組織結構

RSIM服務鏈是對RSIM業務流程中所需的分布式資源進行動態鏈接，并通過工作流進行全部或部分自動化計算。即根據設定的規則，將模型分解為一系列的處理模塊，調用所需資源，將文件、信息或任務從一個參與者傳遞到另一個參與者依次執行[8]。首先需要按照模塊化的思想，針對現有的通用且獨立的遙感數據處理模塊，將其統一封裝成標準化模塊，把模型中每一個處理模塊都看成是模型的一部分，模型是一個模塊化的結構； 再通過工作流將不同的標準化模塊按照特定順序進行鏈接組織成RSIM的服務鏈，其組織結構如圖2所示。

圖2 RSIM服務鏈組織結構

用服務鏈組織RSIM，最主要的是把可共享的數據和算法資源發布為標準化的服務后進行鏈接使用，具體組織結構大體可以分為3部分：

1)處理模塊的獲得和使用。在服務鏈組織前，根據用戶提供的處理模塊和輸入輸出接口描述，將其封裝為標準化資源，再發布為可執行的計算服務，在注冊中心進行注冊并形成處理模塊描述文件，供工作流調度使用。

2)RSIM的組織。從注冊中心獲取所有已注冊可用的處理模塊列表和接口描述信息，根據模型所需，將所需處理模塊按照指定順序進行鏈接，并自動生成模型描述文件。該文件是自動化計算服務引擎進行模型加載的重要文件。

3)RSIM的運行。自動化計算服務引擎根據模型描述文件加載模型，將資源組織成服務鏈，并自動進行所需服務和計算資源的調度，同時通過文件系統進行后臺硬件設備及數據資源的調度。

2 關鍵技術及其解決方案

針對RSIM在線可視化服務鏈定制的流程和RSIM服務鏈組織結構，本文分析了其中的關鍵技術點及其解決方案。

2.1 可視化定制的圖形界面

RSIM的可視化定制是指用戶可以通過可視化界面，將遙感處理模塊按照執行順序組織成RSIM，并生成可供自動化計算服務引擎調用的模型描述文件。其中，可視化界面中最關鍵的技術就是對流程元素的創建。RSIM在線可視化定制的Web界面中，用戶每定義一個流程，都會自動生成相對應的流程元素，可分為活動元素、起始元素和處理模塊元素3類，并對相應的處理模塊接口進行配置與鏈接。其具體說明見表1。

表1 流程元素的分類表

這3類流程元素是通過JointJS圖表庫來進行創建的。JointJS是用于圖表和圖形的可視化和交互的現代HTML5 JavaScript庫。可以被用來創建靜態圖及完全交互式繪圖工具和集成開發工具，也可用來方便地創建各種可視化工具。其事件驅動機制與MVC架構的自然結合，使JointJS易于與各種后端技術相結合。

以植被干旱監測模型為例,該模型使用MOD09A1數據，利用歸一化水體指數(normalized difference water index，NDWI)來監測旱情。可視化定制界面如圖3所示，從左部開始，沿箭頭順序，依次調用處理模塊。首先，通過數據選取頁面選擇模型輸入數據File1，通過向服務器發起請求，獲取文件File1(wget)，然后調用處理模塊AWI接口，進行干旱指數反演，再將結果文件轉換成.tif格式并進行多幅圖像鑲嵌處理(GeoMosaic)，接著進行分級著色(color)和坐標轉換(translate)，生成可在Google Earth上顯示的.kml格式的處理結果，同時將結果返回至Web頁面，供用戶在線查看。圖中的Start，Complete和End為模型運行的狀態，通過自動化計算服務引擎進行監控。除了這幾種狀態外，還有Running,Waiting及百分比狀態。由此可見，使用RSIM在線可視化定制不僅可以很方便地描述RSIM運行流程，而且還可以實時了解模型運行情況。

圖3 植被干旱監測模型可視化界面

2.2可視化定制的流程

在可視化圖形界面中，RSIM定制主要是通過與服務器端交互，來獲取已注冊可用的處理模塊，然后完成對所需處理模塊的執行順序及相鄰模塊間的參數傳遞關系設定。

針對參數傳遞問題，采取用戶手工選擇上一步驟處理模塊執行后輸出參數與當前步驟處理模塊的輸入參數間的對應關系，要求每個輸出參數至少對應于下一步的一個輸入參數，并且要保證該輸出參數和對應輸入參數的數據類型相同，確保處理模塊接口在數據類型上的匹配。在定制中需要選取每一步的處理模塊，然后在完成流程順序組織后對傳遞參數進行設定，最后流程定制完成會自動生成工作流描述文件，被用于后續自動化計算服務引擎解析。其流程如圖4所示。

圖4 RSIM可視化流程定制

2.3 模型描述文件

用戶在可視化定制的圖形界面中定制的RSIM，需要以某種形式化方式來進行描述和存儲，即需要一個相應的可以被人和機器理解的描述性流程文件。這個描述性流程文件就是本文中所定義的可被自動化計算服務引擎解析的模型描述文件。

本文中使用Karajan的規范語言來生成可被該自動化計算服務引擎所解析的XML文件[12]。該XML文件用來描述RSIM各處理模塊的調用接口、參數和調用順序，從而形成一個RSIM的可執行工作流程。該XML文件即模型描述文件，其詳細描述如圖5所示。

圖5 模型描述文件

模型描述文件中主要包含2部分信息： 各處理模塊信息和處理模塊運行順序結構信息。處理模塊信息主要包括處理模塊的名稱、調用接口及其所需參數，通過“set”標簽來設置，“provider”屬性用來指定處理模塊可執行程序的位置； 處理模塊運行順序結構信息主要是處理模塊運行及其方式設置，處理模塊運行通過“execute”標簽設定，由“sequential/parallel”標簽來控制其運行是否并行處理，其執行順序是在“sequential/parallel”標簽中按照“execute”標簽從上到下的順序執行，“sequential/parallel”標簽可嵌套使用。

2.4 自動化計算服務引擎

用戶完成所需的RSIM定制后，系統會自動生成該模型的模型描述文件。為了對該模型文件進行解析和動態執行，引入了工作流引擎——Java CoG Karajan，其主要目的是根據模型描述文件，實現RSIM計算的實例化。

Karajan工作流引擎提供了定義、組織、映射和執行工作流程的功能，能輕松表達并發性和執行大規模計算任務，且其對于XML腳本語言有良好的支持，同時具備良好的跨平臺的特性[9-11]，通過該引擎可以實現數據傳輸、任務提交、自動執行、監控和管理用戶提交的計算任務，其結構如圖6所示。

圖6 自動化服務引擎結構

該自動化服務引擎負責工作流程執行中部分或全部運行控制。主要功能有:

1) 解析流程定義。根據模型描述文件進行流程解析，獲得處理模塊的調用地址及參數。

2) 創建、刷新、暫停和終止流程實例。根據用戶需求，對于模型的各個模塊可以進行創建、刷新、暫停和終止操作。

3) 維護運行過程中工作流產生的相關數據，并進行數據傳遞。在服務鏈整個運行過程中，自動進行數據傳遞，并提供檢查點、日志等多級容錯機制。

4) 監控和管理工作流運行過程。對于流程中的每一模塊的運行狀態進行動態監管。

2.5 系統架構

針對以上的關鍵技術的解決方案，結合RSIM的特點，提出了基于服務鏈的RSIM可視化定制的系統架構。系統自上而下可分為3層： 應用層、業務層和資源層，如圖7所示。

圖7 系統架構圖

資源層提供計算資源和數據資源，主要采用分布式架構存儲遙感數據及數據處理模塊，并提供用于計算服務的高性能計算設備。

業務層主要是對數據處理模塊進行標準化處理，并將數據和標準化后的處理模塊發布為服務，通過自動化服務引擎進行模型的計算和管理，是對模型的實例化。

應用層(用戶界面)主要是用戶在Web界面按需選擇相應的處理模塊來定制RSIM，也可以監控模型運行流程及管理已提交的任務。

3 應用實例

本文通過工作流引擎將分散的遙感數據處理算法進行集成和組織，把較為抽象的RSIM服務鏈轉換為具體的資源調度過程和可執行的工作流。在該轉換過程中，主要是以友好的Web界面的形式為用戶提供了直觀、便捷、易用、高效的工作流程組織方式； 并采用CoG Karajan引擎實現了模型描述文檔的生成和解析，完成了從計算資源選擇、模型描述文檔生成、服務鏈組織到RSIM工作流執行的一體化處理流程。

以全球植被變化監測模型為例，用戶定制的模型工作流如圖8所示。

圖8 植被變化監測模型的工作流

用戶在運行該模型時，首先通過Web頁面，根據時間范圍選取模型輸入數據，該模型使用GIMMS AVHRR NDVI產品數據，空間分辨率為8 km，再通過自動化計算服務引擎進行計算。在計算過程中，用戶可以在Web頁面中查看工作流的運行流程及運行狀態。運行結果以.tif和.kml格式輸出。全球植被變化監測模型運行結果如圖9所示，直觀地反映了2001—2006年1月上旬全球植被的覆蓋情況。

(a) 2001年 (b) 2002年 (c) 2003年

(d) 2004年 (e) 2005年 (f) 2006年

圖9 2001—2006年1月上旬全球植被覆蓋情況

Fig.9 Global vegetation coverage in early January from 2001 to 2006

在計算前，該圖像數據中除水體和無效值的DN值已被拉伸到[-1 000, 1 000]這個范圍，水體值為-10 000，無效值為-5 000。本文將該圖像數據的NDVI值歸一化到[-1, 1]范圍內，并根據閾值進行了圖像分級著色處理。其中： 當NDVI值為正值時，NDVI值越大，表明植被覆蓋度越大，NDVI值均為0時，一般為裸土地(沒有植被或植被覆蓋度極低)，設0.7以上為高覆蓋度植被區，0以下為水體，在圖中不顯示。

圖9中每一副影像的源數據大小約為19.7 M，中間產生數據量約為79 M，總處理時間均在1 min以內，用戶只需在線進行待處理影像選擇，即可一體化的快速生產所需數據。而傳統的模型處理過程用時較長，需要在自行獲取遙感數據的前提下使用ENVI或PCI來預處理數據和建模計算，并使用ArcGIS對結果影像做可視化處理。即用戶在不編程實現的情況下，需要至少熟悉2種圖像處理工具，而在處理大量數據時，用戶需要花費大量時間和精力進行多次重復性的手動操作。與此相比，基于Web的RSIM可視化定制系統實現了RSIM從定制到實現的一體化過程，避免大量重復性的工作，優化了可視化定制界面及流程，有效提高了遙感數據處理及自動化計算的效率。

4 結語

本文針對遙感處理模塊的通用特征，為避免用戶在通用處理模塊上花費過多人力、物力資源，通過分析基于服務鏈的RSIM可視化定制和自動化計算過程中的關鍵技術，采用Web交互式界面和Karajan工作流實現了RSIM的定制和基于服務鏈的自動化計算，且得到了實際應用和實施，在資源共享及模型自動化處理方面具有一定的優勢，是對遙感影像在線自動化服務的一次有益嘗試。

對于基于服務鏈的RSIM可視化工作流定制和自動化計算，還有可改進和進一步發展的地方： ①分布式多源異構數據的自動化獲取，方便用戶從數據選擇到運行模型的一體化進程的實現； ②RSIM自動化接入接口的提供，實現用戶所提供的處理模塊的標準化接入； ③在云環境下，如何實現分布式資源的調用及大規模數據計算。

[1] Zeng Y,Li G Q,Guo L X,et al.An on-demand approach to build reusable,fast-responding spatial data services[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2012,5(6):1665-1677.

[2] 張哲.基于海量遙感數據的集群并行處理技術研究與應用[D].鄭州:河南大學,2012. Zhang Z.Parallel Processing Technology Research and Application Based on the Cluster of Massive Remote Sensing Data[D].Zhengzhou:Henan University,2012.

[3] 楊會元,馮鐘葵,李山山.基于Web的遙感影像在線分類實現技術研究[J].遙感信息,2015,30(1):101-106. Yang H Y,Feng Z K,Li S S.Implementation of online remote sensing image classification[J].Remote Sensing Information,2015,30(1):101-106.

[4] 孫勝濤.遙感信息模型的層次化模擬和描述方法[J].系統仿真學報,2012,24(9):1831-1834. Sun S T.Hierarchical mapping and description method of remote information model[J].Journal of System Simulation,2012,24(9):1831-1834.

[5] 鄭磊,薛勇,羅瑛,等.分布式的遙感信息模型庫系統與應用[J].微計算機信息,2008,24(16):259-261. Zheng L,Xue Y,Luo Y,et al.Design of distributed remote sensing model base system and application[J].Microcomputer Information,2008,24(16):259-261.

[6] 仰燕蘭,金曉雪,葉樺.ASP.NET AJAX框架研究及其在Web開發中的應用[J].計算機應用與軟件,2011,28(6):195-198. Yang Y L,Jin X X,Ye H.On ASP.NET AJAX framework and its application in web development[J].Computer Applications and Software,2011,28(6):195-198.

[7] 王強,李小麗.基于工作流的遙感產品生產可視化定制平臺研究[J].計算機時代,2015(2):1-3,6. Wang Q,Li X L.Research of visual customized production platform of remote sensing products based on workflow[J].Computer Era,2015(2):1-3,6.

[8] WfMC.Workflow Management Coalition,Terminology & Glossary[R].Brussels:Workflow Management Coalition,1999.

[9] Talia D.Workflow systems for science:Concepts and tools[J].ISRN Software Engineering,2013,2013:404-525.

[10]von Laszewski G,Hategan M.Java CoG Kit Karajan/GridAnt Workflow Guide[R].Argonne,Illinois,USA:Argonne National Laboratory,2005.

[11]周江華.面向BOINC的網格工作流中間件的設計與實現[D].武漢:華中科技大學,2009. Zhou J H.The Design and Implementation of the Grid Workflow Middleware for BOINC[D].Wuhan:Huazhong University of Science and Technology,2009.

(責任編輯： 邢宇)

Online visual customization and automatic calculation of remote sensing information model

RAN Quan1,2， LI Guoqing1,3， YU Wenyang1,3， ZHANG Lianchong1,2

(1.CASKeyLabofDigitalEarthScience,InstituteofRemoteSensingandDigitalEarth,ChineseAcademyofSciences,Beijing100094,China; 2.UniversityofChineseAcademyofSciences,Beijing100049,China;3.HainanLabofEarthObservation,Sanya572023,China)

With the increasing access to remote sensing data and the rapid development of network technology, remote sensing data on-line automatic integration of the service demand is growing, and there has been no satisfying online visual and automated computing platform for remote sensing data based on services chain so far. This research is based on B/S architecture and services chain as well as the workflow technology. The authors propose an integrated visual platform to store data, design model, compute model, distribute and display result information all in one stop. And Users can integrate the function from data selection, the model design to achieve model on demand in a friendly visual Web interface. Actually, this research is based on the reusability of remote sensing processing module, the goal is to quickly build and implement the process of remote sensing information models (RSIM)，and it is an effective attempt to achieve online automated service for remote sensing image.

services chain; remote sensing information models (RSIM); visual customization; automatic calculation; workflow

10.6046/gtzyyg.2017.01.33

冉全，李國慶，于文洋，等.遙感信息模型在線可視化定制和自動化計算[J].國土資源遙感，2017,29(1)：221-226.(Ran Q,Li G Q,Yu W Y,et al.Online visual customization and automatic calculation of remote sensing information model[J].Remote Sensing for Land and Resources,2017,29(1)：221-226.)

2015-08-14；

2015-09-14

“863”計劃項目“星機地綜合觀測定量遙感融合處理與共性產品生產系統”(編號： 2013AA12A301)和中國科學院“一三五”規劃項目“全球環境資源空間信息系統——數字地球科學平臺”(編號： Y3SG0300CX)共同資助。

冉全(1991 -)，女，碩士研究生，主要從事高性能地學計算等方面的研究。Email： pollyran@hotmail.com。

于文洋(1974 -)，男，博士，副研究員，主要從事高性能地學計算等方面的研究。Email： wyyu@ceode.ac.cn。

TP 79

A

1001-070X(2017)01-0221-06