(1國家氣象局 衛星氣象中心, 北京 100081; 2北京師范大學 遙感與GIS研究中心 遙感科學國家重點實驗室, 北京 100875)
摘 要:波譜特性是地物目標的基本特性之一,是定性、定量遙感的基礎。我國新一代地物波譜庫建設以目標地物結構、波譜、知識庫、模型庫的相互配套為特色,旨在解決以前地物波譜庫建設和使用中存在的一些問題,使地物波譜庫在空間信息產業化過程中發揮更大的作用。實現數據與模型的結合和網絡共享是其主要特色之一,這就對遙感模型的網絡化管理和運行提出了較高要求。論述了地物波譜知識庫中遙感模型庫的設計思路、總體結構和運行流程,并就實現過程中涉及的部分關鍵技術進行解析。
關鍵詞:波譜庫; 元數據; 遙感; 模型庫; 組件
中圖法分類號:TP31113文獻標識碼:A
文章編號:1001 3695(2006)08 0037 04
Global Structure of Remote Sensing Model Library and Parse of Key Technology
TANG Shi hao 1,2, WANG Jin di 2, ZHANG Li xin2, LONG Ke feng2, ZHOU Gong le2, SHUAI Yan min2, WANG Zhuo sen2
(1.National Satellite Meteorological Center, China Meteorological Administration, Beijing 100081, China; 2.State Key Laboratory of Remote Sensing Science, Research Center of Remote Sensing GIS, Beijing Normal University, Beijing 100875, China)
Abstract:Spectral characteristic is one of the basic characteristics of surface objects, and is the basis of qualitative and quantitative remote sensing. The new generation spectral library is characterized by the matching of terrain feature’s structure, spectral, knowledge library and model library. Its destination is to resolve problems existed in the constructs and applications of formal libraries, and make spectral library play an important role in the process of spatial information industrialization. The combination of data and models and network sharing is its main character, which poses a great demand to the network based management and operation. This paper discusses the design philosophy, global structure and operation sheet of remote sensing library in the terrain feature knowledge library, and parses some key technologies involved in the realization process.
Key words:Spectral Library; Meta Data; Remote Sensing; Model Library; Component
波譜特性是地物目標的基本特征之一。可以說,地物目標的波譜特征是遙感對地觀測的物理基礎。不同物質具有不同的波譜特征,這已成為人們利用遙感數據認識和識別地物、提取地表信息的主要思想方法。自然界中地物波譜在時間和空間上的分布特性及其變化是遙感研究的核心內容之一,它既可為遙感儀器和遙感波段的選擇提供依據,又是遙感圖像及數據處理分析和判讀的基礎。典型地物波譜數據庫建設是積累地物波譜知識,認識和了解地物波譜特征的途徑和手段,是定性、定量遙感研究的基礎之一。然而,自然界的地物千差萬別,即使同種地物,由于化學成分含量、結構、觀測條件的不同,其波譜特征也不盡相同。因此,無論我們花多大力量收集地面測量數據,都不可能涵蓋所有地物類型和光譜變化特性,測量到的波譜數據也不可能直接滿足所有用戶要求。這就需要基于已有知識的積累,根據地物結構波譜機理模型,研究空間信息融合和復合分解技術,給出可供用戶參考使用的波譜數據,從而彌補觀測數據的不足。
我國新一代典型地物波譜結構知識庫提出以地物波譜數據的積累、知識化和應用為突破口,以目標地物結構、波譜、知識庫、模型庫的相互配套為特色,為海量遙感數據的廣泛應用提供一條相對簡易可行的途徑,從而推動空間信息應用與產業化。地物波譜數據庫與遙感模型庫相結合是我國新一代地物波譜數據庫的基本特征之一。遙感模型庫與地物波譜數據庫相結合,一方面可以對觀測數據進行檢驗,并彌補觀測數據的不足;另一方面可以與數據庫中的數據有機結合,用于知識挖掘和知識發現,從而進一步拓展觀測數據的使用尺度和領域。
1遙感模型庫的設計原則
新一代地物波譜結構知識庫對遙感模型庫提出了較高的要求,主要體現在以下幾個方面:①模型庫要具有基于網絡的運行服務能力;②模型庫要實現普通數據庫具有的模型管理功能,如模型信息查詢、模型上傳下載等;③比較關鍵的一點就是在整個波譜知識庫中模型庫應與地物波譜數據庫緊密結合,這種結合貫穿于波譜知識庫建設的始終,并體現在遙感模型庫的組織、管理、運行等各個環節。在波譜知識庫中,遙感模型庫可以作為獨立的模型庫被直接觸發,也可以作為知識庫的一部分間接觸發。例如當用戶查找波譜知識庫中不存在的波譜時就會間接觸發模型庫,其觸發流程為:用戶查詢請求→觀測數據→模擬數據→運行模型。在遙感模型庫系統設計中應遵循以下原則:
(1)模型庫服務和管理網絡化。計算機技術和網絡技術的發展,使建立網絡化的遙感模型管理服務體系成為可能。該體系的建成可以使模型庫得到及時推廣,并可以在使用過程中及時發現問題、解決問題,從而保證庫的先進性和可靠性,實現模型庫本身的價值。
(2)模型庫實現技術現代化。模型庫的實現技術應盡可能地與最新的計算機和網絡發展技術相適應。現代應用促使網絡技術得到了飛速的發展,數據建模能力不斷增強,體系結構更加完善[1]。隨著分布式計算和網絡技術的發展,模型的共享能力也越來越強。充分利用最新的計算機技術可以增強模型庫的穩定性、實用性、靈活性和共享能力。
(3)模型庫必須具有動態擴充性。現有的遙感模型并不完備,為了與未來的遙感模型發展相適應,模型庫應具有動態的遙感模型改進和擴充機制,能夠隨時做到吐故納新,以體現遙感模型的最新研究進展。
(4)模型庫與數據庫緊密結合。模型庫與數據庫結合,優勢互補,是波譜知識庫的主要特色和創新。數據庫要利用模型的時空尺度擴展能力;模型庫應能充分利用數據庫提供的波譜數據和先驗信息。兩者采用相同的變量命名規范并共享基礎信息表。
遵循上述原則,并考慮與已有軟硬件產品的兼容性,遙感模型庫的網絡發布采用B/S三層分布式體系結構。B/S結構在邏輯上分為三個層次,即客戶層、應用服務層和數據服務層。客戶層主要負責人機交互;應用服務層主要負責對應用邏輯的集中管理;數據服務層負責數據的存儲和管理。B/S模式簡化了客戶機的工作,用戶只要裝有網絡瀏覽器,就可以通過互聯網連接遠程服務器接受服務。由于數據都在應用服務器上進行分析處理,客戶端只起顯示結果的作用,所以傳送數據量小,對網絡要求不高。B/S結構增強了系統的可擴展性,更新方便,易于管理和維護[2,3]。因現有的遙感模型一般都是用C或Fortran開發的,從速度和兼容性等角度考慮,確定ASP+COM架構作為遙感模型庫的實現技術,后臺數據庫采用Oracle數據庫管理系統。
2系統結構與運行流程
遙感模型庫的用戶主要分為三個層次,即普通用戶、領域專家、系統管理員。普通用戶可以執行的功能包括模型查詢、信息查看、模型運行、提交新模型供審核等;領域專家除具有普通用戶的權限外,還負責模型的審核與質量評價;系統管理員負責模型和用戶管理與維護,并可以針對具體用戶增加或減少相應用戶群下的模塊執行權限。遙感模型庫的主要系統結構與運行流程如圖1所示,框圖中不同紋理代表不同用戶級別特有的權限,虛線部分為波譜知識庫中與數據庫有關的流程,實線部分為模型庫流程。用戶發出波譜查詢請求后,波譜查詢模塊先依次在實測數據庫和模擬數據庫中尋找符合查詢條件的波譜,如果找到,則返回查詢結果;若找不到,則自動啟動模型查詢模塊,并啟動符合用戶輸入條件的模型運行。模型運行結果可以選擇是否入庫,若選擇入庫,則運行結果被暫存于臨時庫中供領域專家和系統管理員審核,通過審核后方可入模擬數據庫。用戶模型請求包括模型信息查詢、模型運行和模型下載等。模型運行包括實時和非實時兩種運行方式。實時運行方式主要針對計算量不大的用戶請求,可以即時返回運行結果;非實時運行方式需要占用較多資源,無法即時返回計算結果,用戶提交的計算請求被保存在后臺作業調度表中,系統自動對該作業調度表進行管理,并合理分配資源,作業完成后系統自動將計算結果返回給相應用戶。這兩種運行方式都可以按需調用數據庫中的數據。為方便模型庫及時更新和擴充,系統提供用戶增加和修改模型的功能,該功能支持用戶上傳和修改模型,普通用戶上傳和修改模型被放入臨時庫中,經領域專家和系統管理員審核通過后方可入庫。領域專家具有在線審核和評價模型的功能和權限。系統管理員可以分配用戶權限,并對模型庫使用情況進行監測和統計。
在上述系統結構中,模型對觀測數據的擴展和數據對模型的支持通過數據查詢模塊與模型的鏈接,模型模擬數據入庫,模型運行時調用數據庫數據等得以體現。為保證入庫模型質量,采用模型提交者、系統管理員、領域專家三層質量控制體系嚴把模型質量關,同時用戶還可以通過電子郵件、系統討論區等多種途徑及時反饋模型使用中發現的各種問題。
3分布式遙感模型庫的數據結構
遙感模型的管理是在模型方法元數據的基礎上,通過Oracle數據庫管理軟件實現的。遙感模型庫涉及的數據表主要包括模型表(Model)、模型類型表(ModelType)、模型類型關系表(ModelTypeRelation)、模型尺度表(ModelScale)、模型尺度關系表(ModelScaleRelation)、模型領域表(ModelField)、模型領域關系表(ModelFieldRelation)、模型地物關系表(ModelClassFamilytreeRelation)、模型參數表(ModelParameter)、用戶模型后臺計算請求表(UserModelRunAsk)、模型參數值表(ModelParameterValue)等。上述模型數據表從標志信息、原理信息、管理和運行信息等幾方面描述模型。各表在數據庫中的關聯關系如圖2所示。
4關鍵技術解析
遙感模型庫除具有一般數據庫系統設計與實現的基本特點外,還依賴以下關鍵技術的解決以及基本模塊的設計與實現。
4.1模型庫元數據的設計與定義
元數據是關于數據的數據,是關于數據的內涵、數據質量、條件和其他特性的數據。它可以描述數據的內容、數據源、數據質量、數據基礎結構和數據精度,提供空間數據多方面的信息[4]。元數據具有以下幾個特點[5]:①用于描述信息資源高度結構化的數據;②可以管理和組織信息;③可以挖掘信息資源;④可以幫助用戶準確地查詢所需要的信息,并在以不同的資料或組織獲取數據時,可以通過對相同的元數據元素進行比較和對比,獲取自己所需要的信息內容。
模型元數據是關于模型的描述信息。它說明模型要解決的問題、適用范圍、模型的思路與實現以及模型對輸入/輸出數據的要求和格式。模型元數據是管理、使用模型的基礎,是聯系模型庫與其他數據庫的紐帶。模型元數據標準的制定過程實際上就是模型方法元數據的提煉過程,設計的目標就是確定需要哪些元數據內容才能簡潔、準確、完備地描述模型庫中的模型。模型方法元數據迄今并未受到足夠重視,也沒有相關的標準,在波譜知識庫建設中針對遙感模型的具體情況,參照有關元數據標準[6~9],我們主要從標志信息、模型參數信息、運行環境信息、模型質量信息、模型原理信息等幾方面設計模型元數據表并制定了相應標準[10]。模型元數據使得模型的分類、管理、運行和共享以及模型庫與數據庫的交互成為可能。
4.2模型的上傳與解析和組件自動注冊與反注冊
模型庫要具有動態擴充和更新能力,滿足遙感科學不斷發展的需要。除要求組件本身具有數據無關性外,還要求系統具有組件的動態管理能力,包括組件的動態添加、更新和刪除等。與純數據管理相比,模型的管理更為復雜,模型的上傳包括生成元數據、建立和保存路徑、保存模型、組件注冊等過程。同樣,刪除模型時除刪除數據庫中的相關數據外,還要進行組件反注冊操作和物理刪除保存在硬盤上的與其關聯的文件。上述組件自動注冊過程可以通過如下代碼實現:
Dim Executor
Set Executor=Server.CreateObject("ASPExec.Execute")
/*調用aspexec組件,該組件用于在ASP中運行可執行程序*/
Executor.Application="regsvr32.EXE"/*注冊組件*/
Executor.Parameters="/s " & Request.ServerVariables("APPL_PHYSICAL_PATH") & "coms modelCom" & rst.Fields ("modelcomponent")/*在此輸入要注冊組件的名稱和路徑*/
strResult=Executor.ExecuteDosApp
/*注釋Request.ServerVariables("APPL_PHYSICAL_PATH")& "coms modelCom¥"是組件的路徑;rst.Fields ("modelcomponent")是組件的名字*/
反注冊過程與其類似,只要改變regsvr32.EXE命令參數就可以了。
4.3模型與數據庫交互和組件編寫
在波譜知識庫中,為了能夠同時滿足模型庫與數據庫動態擴充和更新的需要,數據與算法程序是分離的。兩者通過構模腳本語言和數據庫提供的公用API函數聯系到一起(圖3)。構模解釋器通過匹配算法模塊輸入/輸出的變量及其約束的元數據和模型所調用數據的元數據來判斷模型方法與模型數據的可連接性和適用性,自行確定轉換規則并實施轉換,以完成模型數據的提取。
遙感波譜數據的特殊性要求模型組件必須有接收數組輸入、輸出的能力。用VC編寫ASP可以調用的組件時,對數組的調用有比較嚴格的約定。為了保證在ASP頁面中數組能夠正常傳入、傳出組件,要求其輸入/輸出數組在VC中定義為Variant型指針變量。以最簡單的線性光譜混合模型為例,系統按要求從波譜庫中調用組份波譜,從模型庫中調用波譜混合模型組件,按相應權重混合后返回混合波譜。其組件函數及輸入、輸出變量定義和使用形式如下:
/*輸入光譜曲線1,輸入曲線1對應權重,輸入曲線2,輸入曲線2對應權重,輸入曲線維數,輸出曲線數組*/
STDMETHODIMP CMixLine::MixSpecByWeight(Variant*m_x1, float weight1, Variant*m_y1, float weight2,int count,Variant*pm_y)
{
HRESULT hr=S_OK;
_variant_t vtArrayx(m_x1);
_variant_t vtArrayy(m_y1);
SAFEARRAY*psa;
SAFEARRAY*psa2;
hr=SafeArrayCopy(*(vtArrayx.pparray), &psa);
hr=SafeArrayCopy(*(vtArrayy.pparray), &psa2);
AFEARRAY *psa3;
SAFEARRAYBOUND rgsabound[1];
rgsabound[0].lLbound=0;
rgsabound[0].cElements=count;
psa3=SafeArrayCreate(VT_VARIANT,1,rgsabound);
for(long index=0;index<count;index++)
{
_variant_t out1,out2;
SafeArrayGetElement(psa,&index,&out1);
SafeArrayGetElement(psa2,&index,&out2);
_variant_t res1; //result
res1.vt=VT_R8;
…
SafeArrayPutElement(psa3,&index,&res1);
}
pm_y->vt=VT_ARRAY|VT_VARIANT;
pm_y->parray=psa3;
SafeArrayDestroy(psa);
SafeArrayDestroy(psa2);
return S_OK;
}
4.4模型的運行方式
為實現基于網絡的遙感模型運行,并盡可能滿足大多數客戶的服務請求,從運行速度、運行環境要求等角度出發,將遙感模型的運行方式劃分為實時和非實時運行兩大類。對于計算量較小的用戶請求,可以直接采用基于網絡的實時運行方式提供服務;而對于計算量較大的用戶請求,則只能采用非實時運行方式提供服務。非實時運行服務主要通過后臺計算請求表和后臺作業調度程序實現。用戶的運行請求被存入后臺計算請求表;后臺作業調度程序定期掃描后臺計算請求表,完成命令審核,并啟動相應作業。運算結果被放入相應用戶下載空間并發出電子通知。為保證用戶作業的正常運行和反饋,用戶模型后臺計算請求表中應包括用戶信息、模型信息、模型運行信息等,其結構如表1所示。圖4為分布式模型庫中SAIL模型的運行實例。
5結束語
以前的光譜庫建設是在一定程度上從滿足定性遙感的需要出發,在數據精度和配套參數獲取上沒有充分考慮定量遙感的特點,忽略了數據庫與模型的結合問題,模型無法利用數據庫提供的知識,數據庫也無法利用模型提供的拓展能力,因而限制了模型的發展和數據庫的適用范圍,無法完全適應當前定量遙感發展的需要。我國新一代波譜數據庫提出以地物波譜數據的積累、知識化和應用為突破口,以目標地物結構、波譜、模型的相互配套為特色,建立融波譜數據和遙感模型于一體的波譜知識庫。作為我國新一代地物波譜知識庫的重要組成部分,遙感模型庫在設計上力求做到模型與數據緊密結合,體現數模一體化的思想。
新一代遙感模型庫要求具有較強的開放性、共享性和可擴展能力。隨著分布式技術和網絡技術的發展,模型庫的共享能力也越來越強,共享的模型可分布在世界各地,建立網絡化的
模型管理服務體系將成為可能。基于組件的三層分布式遙感模型庫體系結構在考慮已有成果的基礎上,充分利用了最新的數據庫技術,模型庫的開放性、穩定性、可擴充性和共享能力都得到了顯著增強。提供基于網絡的多種運行和服務方式,也極大地擴充了遙感模型庫的使用范圍。
參考文獻:
[1]諸峰,張再躍.數據庫技術在現代應用中的發展[J]. 世界科技研究與發展,2002,24(2):65-68.
[2]陳孝威,陳凌云.三層體系結構的客戶機/服務器[J].計算機應用,2000,20(1):23-26.
[3]周皓峰,方方,朱揚勇.ActiveX技術對瀏覽器Web服務器構架的功能擴充[J].計算機工程,1999,25(12):33-35.
[4]范愛民.礦區GIS建設中元數據問題研究[J].礦山測量,2000,(1):10-12.
[5]馬智民,高鳳亮,張振飛,等.多源地學信息系統數據字典設計與實現[J].西安工程學院學報,2000,22(1):13-17.
[6]Geographic Information Metadata, ISO Standard 15046 15 Metadata version 2.0[S]. ISO/TC211, 1997.
[7]李軍,周成虎.地球空間數據元數據標準初探[J]. 地理科學進展,1998,17(4):55-63.
[8]姚艷敏,姜作勤,嚴泰來. 國土資源信息核心元數據的研究[J].測繪學報,2001,30(4):349-354.
[9]趙寒冰,曾志遠, 龐崇林.流域模型庫管理系統初步研究[J].計算機應用研究,2004,21(9):92-97.
[10]唐世浩,蘇理宏,帥艷民,等.分布式遙感模型庫的構建及其運行機制[J].地球信息科學,2004,6(1):89-93.
作者簡介:
唐世浩(1971-),男,副教授,主要研究方向為遙感基礎理論及遙感與GIS應用;王錦地(1955-),女,教授,主要研究方向為遙感基礎理論;張立新(1966-),教授,主要研究方向為冰雪凍土的微波遙感;龍科峰(1979-),男,碩士,主要研究方向為計算機網絡應用;周公樂(1977-),碩士,主要研究方向為遙感與地理信息系統;帥艷民(1973-),博士研究生,主要研究方向為波譜數據整合與數據挖掘;王森(1981-),博士研究生,主要研究方向為波譜數據整合與數據挖掘。
注:本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。