多源海量遙感數據分頁查詢策略的優化研究

徐故成，崔賓閣，2

(1.山東科技大學信息科學與工程學院，山東 青島 266590;2.國家海洋局第一海洋研究所，山東 青島 266061)

1 概述

隨著Internet 的發展和遙感技術的成熟，遙感圖像的數據來源越來越多，數據量急劇增長，呈現出海量和分布存儲的特征［1］，這對傳統的遙感圖像檢索系統的查詢效率帶來嚴峻的挑戰。分頁是實現數據快速檢索的手段之一，目前已被廣泛應用在遙感數據檢索系統中，如中國科學院對地觀測與數字地球科學中心的存檔衛星遙感數據目錄服務系統、北京大學的遙感圖像Web 發布系統等［2-3］。傳統的分頁方法包括用戶界面分頁方法和數據源分頁方法。用戶界面分頁方法的核心思想是從數據庫中提取所有滿足條件的查詢結果，在Web 服務器上對整個查詢結果集執行分頁操作以截取請求頁;數據源分頁方法的核心思想是在數據庫服務器上實現截取請求頁的分頁操作，在Web 服務器上無需做分頁操作［4］。

用戶界面分頁方法編程實現簡單。由于結果集需要加載到Web 服務器內存中，在數據規模較小時對系統性能沒有較大影響，在數據規模較大時將對Web 服務器和數據庫服務器造成較大負擔。數據源分頁方法的分頁操作是在數據庫服務器上實現。數據庫服務器和Web 服務器之間傳輸的數據量只是請求頁的數據量，而一頁顯示的數據量通常只有幾十條，有效降低了傳輸的數據量和Web 服務器的負擔，一般由存儲過程實現。存儲過程保存在數據庫服務器上［5-6］，優點是查詢速度快，但是只能對一個數據庫中的數據進行分頁操作。綜上，用戶界面分頁方法受數據規模影響較大，而數據源分頁方法通常只能查詢單個數據源。

用戶界面分頁方法和數據源分頁方法都難以實現對多個數據源的分頁查詢。當前的多數據源查詢方法基本思想是利用網格等分布式計算技術將多個物理數據源整合為單個虛擬數據源，如俄亥俄州立大學的GRIDDB-Lite 中間件項目［7-8］、國防科技大學的數據網格系統GridDaen［9-10］等。上述工作雖然實現了分布式環境下大數據集的查詢，但是沒有研究分頁查詢的優化策略，存在查詢速度慢、響應時間長的問題。為此，本文研究了多源海量遙感數據環境下分頁查詢的物理優化策略，其基本思想是減少分布式環境下各個數據源需要查詢的數據量和通過網絡傳輸的數據量，降低中間查詢結果的處理時間和傳輸時間，從而提高遙感數據的查詢效率。

2 多源遙感數據分布式查詢模型

2.1 查詢模型總體設計

多源海量遙感數據分布式查詢模型由客戶端、Web服務器、智能Agent 和數據源4 個模塊組成，每個模塊主要功能以及模塊之間的交互關系如圖1 所示。

圖1 多源海量遙感數據分布式查詢模型

(1)客戶端

客戶端是用戶和查詢系統交互的可視化接口，一般是瀏覽器，主要實現用戶查詢條件的輸入和查詢結果的顯示。用戶根據自己的需要選擇不同的查詢條件。

(2)Web 服務器

Web 服務器是Web 應用程序運行的容器。一方面通過HTTP 協議和客戶端完成消息的交互，另一方面向智能Agent 發送SOAP 消息調用Web 服務，實現遙感數據查詢。Web 服務器主要包含了查詢條件組合、查詢條件編碼和頁面內容解析等功能。

Web 服務器將用戶在客戶端中輸入的所有查詢條件進行編碼組合，然后封裝在SOAP 消息中發送給智能Agent。查詢結果返回時，Web 服務器解析查詢頁面的內容，然后發送到客戶端。

(3)智能Agent

智能Agent［11］是具有一定智能性的計算機程序。它能夠代表人們在動態變化的環境中進行交互操作。在本文中，智能Agent 是整個查詢系統的核心，它接收Web 服務器的查詢請求，訪問注冊的所有數據源，獲取滿足條件的遙感數據。

(4)數據源

數據源是遙感數據的存儲中心，它提供用于訪問本地遙感數據的Web 服務接口。智能Agent 發送SOAP 消息調用這些Web 服務接口，實現多源遙感數據的分布式查詢［12-13］。

2.2 智能Agent 設計

智能Agent 由查詢預處理、查詢處理和查詢后處理3 個功能模塊構成，如圖2 所示。查詢預處理模塊解析來自Web 服務器的頁面請求，查詢處理模塊訪問所有數據源獲取滿足條件的記錄集合，查詢后處理模塊負責記錄片段的合并。當查詢頁面內容分布在多個數據源中時，每個數據源中的相關記錄集合稱為子頁面。

圖2 智能Agent 執行流程

(1)查詢預處理

查詢預處理模塊經過參數解析和參數重組獲得用戶的查詢條件，Web 服務器以SOAP 消息的形式發送頁面請求，所有的查詢參數封裝在消息內部，參數解析即對SOAP 消息的解析，獲得用戶的查詢參數。參數重組根據應用需求重新組合各個參數，獲得與應用相關的SQL 語句。

(2)查詢處理

查詢處理模塊是智能Agent 的核心功能模塊，處理過程分為查詢頁面定位、查詢條件重構和子頁面查詢3 個階段。查詢頁面定位階段利用頁面轉換算法將查詢頁面劃分為多個子頁面。查詢條件重構階段確定子頁面內容所在數據源，重新構建查詢條件，加入子頁面的位置信息。子頁面查詢階段將新的查詢條件分發給相關數據源，進行分布式查詢獲得子頁面內容。

(3)查詢后處理

查詢后處理模塊負責對子頁面查詢結果的后續處理，分為子頁面合并和頁面內容編碼2 個階段。子頁面合并階段將查詢處理階段獲得的所有子頁面合并，組合成完整的頁面。頁面內容編碼階段將完整的頁面內容封裝到SOAP 消息中，回送給Web 服務器，完成頁面響應過程。

3 多源遙感數據分頁查詢策略優化

由于用戶查詢的內容可能分布在多個數據源中，因此需要將用戶查詢的頁面轉換為相關數據源的查詢頁面集合。頁面轉換過程需要輸入每個數據源中滿足查詢條件的記錄總數。智能Agent 通過調用每個數據源的查詢Web 服務接口，可以獲取這些統計信息。

本節首先定義頁面轉換的基本概念，然后介紹頁面劃分規則，最后給出頁面轉換算法的具體實現。

3.1 基本概念

其中，ti對應單源查詢表SQ 的第i 個數據元素，i 稱為數據元素ti在單源查詢表SQ 中的位序;N 表示單源查詢表SQ 中的數據元素數目，由智能Agent 在查詢頁面定位階段獲得。

定義2(多源查詢表) 多個數據源中滿足查詢條件的所有記錄組成的有限序列，用線性表MQ 表示，線性表的數據元素來自于各個單源數據表SQ，表示為:

其中，SQj表示組成多源查詢表MQ 的第j 個單源查詢表;m 表示數據源個數;Nj表示單源查詢表SQj中的元素數目;t'i表示多源查詢表MQ 中的第i 個元素。為了建立單源查詢表SQj與多源查詢表MQ 中數據元素的對應關系，本文將單源查詢表SQj表示為:

其中，tjk表示單源查詢表SQj的第k 個元素。

已知每個單源查詢表中的數據元素數目N1，N2，…，Nm，定義tjk和t'i的位序映射關系如下:

混合并購：混合并購是指兩個經營活動不相關的企業發生的并購，目的是為了開拓別的市場，分散企業的經營風險，從而達到提升企業競爭力的效果。

(1)位序正映射

(2)位序逆映射:

定義3(多源查詢表分頁) 保持多源查詢表MQ 中的各個數據元素的序偶關系不變，將多源查詢表MQ 劃分為若干個滿足下列3 個條件的非空子集LP1，LP2，…，LPl:

其中，稱子集LPi為多源查詢表MQ 的第i 個邏輯頁面;Card(S)表示有限集合的數據元素數目;pageSize表示邏輯頁面大小;l 表示邏輯頁面個數。

定義4(單源查詢表α -β 劃分) 以單源查詢表SQ 中的第α 條和第α +β 條記錄為分界點，保持單源查詢表中的數據元素序偶關系不變，將查詢表劃分為滿足下列3 個條件的子集PP1，PP2和PP3:

其中，稱子集PPi為單源查詢表SQ 的第i 個子頁面。

3.2 單源查詢表α-β 劃分規則

頁面轉換算法的基本思想是將邏輯頁面劃分為多個子頁面，每個子頁面來自于一個單源查詢表。根據定義2 中單源查詢表和多源查詢表的包含關系，以及查詢表中數據元素的序偶關系，可以確定邏輯頁面LPi與單源查詢表集合滿足下列3 種關系之一:

基于上述關系，本文定義了3 條單源查詢表的α-β劃分規則:

規則1 如果邏輯頁面包含在單個數據源中，即LPi?SQj，則單源查詢表SQj的αj為LPi第一條記錄和SQj第一條記錄在MQ 中的距離:

SQj的α-β 劃分示意圖如圖3 所示。

圖3 SQj的α-β 劃分示意圖

在這種情況下，用戶查詢的邏輯頁面LPi=PPj2。

規則2 如果邏輯頁面包含在2 個連續的數據源中，即LPi?SQj∪SQj+1，則單源查詢表SQj的αj為LPi第一條記錄和SQj第一條記錄在MQ 中的距離:

單源查詢表SQj+1的αj+1為LPi最后一條記錄和SQj最后一條記錄在MQ 中的距離:

SQj和SQj+1的α-β 劃分示意圖如圖4 所示。

圖4 SQj和SQj+1的α-β 劃分示意圖

在這種情況下，用戶查詢的邏輯頁面LPi=PPj2∪PP(j+1)1。

規則3 如果邏輯頁面包含在多個連續數據源中，即LPi?SQj∪SQj+1∪…∪SQj+k，則單源查詢表SQj的αj為LPi第一條記錄和SQj第一條記錄在MQ中的距離:

SQj和SQk之間的單源查詢表中的元素都是邏輯頁面的內容，因此這些單源查詢表不需要做α -β劃分。

單源查詢表SQk的αk為LPi最后一條記錄和SQk-1最后一條記錄在MQ 中的距離:

SQj和SQk的α-β 劃分示意圖如圖5 所示。

圖5 SQj和SQk的α-β 劃分示意圖

在這種情況下，用戶查詢的邏輯頁面LPi=PPj2∪SQj+1∪…∪SQk-1∪PPk1。

根據上述3 種劃分規則可以確定構成邏輯頁面的子頁面集合。智能Agent 將對每個單源查詢表做α-β 劃分，確定α 和β 參數，然后重構每個數據源的查詢條件，最后調用每個數據源的Web 服務接口查詢獲得各個子頁面。在查詢后處理階段將所有子頁面合并為單個邏輯頁面，傳回客戶端。

3.3 頁面轉換算法實現

算法 頁面轉換算法

輸入 邏輯頁面頁碼num，邏輯頁面大小pageSize和智能Agent 查詢獲得的每個數據源中滿足條件的記錄數目N1，N2，…，Nm

輸出 子頁面集合SubPageSet

(1)計算邏輯頁面LPnum的第一條記錄和最后一條記錄在多源查詢表MQ 中的位序pageSize·(num-1)+1 和pageSize·num。

(2)計算每個單源查詢表SQj的第一條記錄和最后一條記錄在多源查詢表MQ 中的位序和

(3)根據定義2 描述的位序映射關系，以及邏輯頁面LPnum第一條記錄和最后一條記錄在多源查詢表MQ 中的位序，計算它們所在的單源查詢表SQj和單源查詢表SQk。

(4)如果k=j，則根據規則1 對單源查詢表SQj做α-β 劃分，SubPageSet=PPj2;如果k=j+1，則根據規則2 對單源查詢表SQj和SQj+1做α -β 劃分，SubPageSet=PPj2∪PP(j+1)1;如果k≥j+2，則根據規則3 對單源查詢表SQj和SQk做α -β 劃分，

(5)輸出邏輯頁面映射后的子頁面集合SubPageSet，算法結束。

在算法中，問題的規模(數據源個數)為m。假設每一種數學運算執行一次所需的時間均是單位時間，通過分析每個步驟的計算過程，得出算法的最大時間耗費T(m)=2+2m+2m+2m=6m+2，因此該算法的時間復雜度為O(m)。

4 實驗與分析

為了驗證本文的分頁查詢優化策略在遙感數據分布和海量情形下的有效性，開發了一個海岸帶遙感數據共享系統。該系統由3 臺通過局域網互聯的計算機組成，每臺計算機的主頻為3.0 GHz，內存為2.0 GB，操作系統為Windows XP。其中，2 臺計算機作為數據源，安裝了Tomcat 應用服務器、JVM 和Microsoft SQL Server 2000，存儲了大約10 萬條遙感圖像元數據。每條元數據描述了一幅遙感圖像覆蓋的區域范圍、拍攝時間、衛星名稱和傳感器類型等信息。所有遙感圖像都是從中國資源衛星應用中心的網站下載，包括環境衛星(HJ-1A/B)遙感圖像和中巴資源衛星(CBERS)遙感圖像等。另一臺計算機作為Web 服務器，安裝了Tomcat 應用服務器、JVM 和IIS，部署了Agent 服務以及海岸帶遙感數據共享系統網站。

為了比較頁面轉換算法在各種查詢條件下的效率和穩定性，本文設計了2 種不同類型的查詢條件，對應于遙感圖像查詢時最常用的2 種查詢方式。第1 種查詢條件是查詢完全包含在某個區域范圍內的遙感圖像，此時圖像的4 個頂點坐標都應該包含在用戶劃定的區域范圍內。第2 種查詢條件是查詢全部或部分包含在某個區域范圍內的遙感圖像，即只要遙感圖像一部分包含在用戶劃定的區域范圍內，則該圖像滿足查詢條件。顯然第2 種查詢條件下滿足條件的記錄數量要多于第1 種查詢條件，但是由于查詢執行過程復雜，查詢時間也更長。

本文針對這2 種不同的查詢條件做了2 組對比實驗。在每一組實驗中，固定圖像查詢的空間范圍，反復擴大查詢的時間范圍，測試傳統分頁查詢策略和本文的分頁查詢優化策略的響應時間，總共進行了11 次實驗。每次實驗中滿足查詢條件的記錄數目以及查詢的響應時間如表1、圖6 和圖7 中所示。

表1 傳統分頁查詢策略與本文分頁查詢優化策略對比實驗結果

圖6 圖像完全包含關系的查詢時間對比

圖7 圖像完全或部分包含關系的查詢時間對比

從表1、圖6 和圖7 中可以看出，隨著查詢結果數據量的增加，傳統分頁查詢策略與分頁查詢優化策略的響應時間呈現不同的變化趨勢:傳統查詢策略的響應時間呈線性增長趨勢，而分頁查詢優化策略的響應時間總體上變化較平坦，即基本不受查詢結果數據量的影響。此外，第2 種查詢條件下得到的數據量是第一種查詢條件下的2 倍左右，這是由于它包含了與用戶劃定區域部分重疊的遙感圖像。這2 種查詢條件下傳統分頁查詢策略與分頁查詢優化策略的響應時間變化趨勢是完全一致的，證明了頁面轉換算法是高效的和穩定的。

5 結束語

本文提出一種多源海量遙感數據快速查詢的方法，利用Web 服務和智能Agent 技術實現多數據源同時訪問，采用頁面轉換技術實現用戶查詢頁面的劃分和合并，以此降低服務器需要處理和傳輸的遙感數據量，加快遙感圖像的查詢速度。通過比較不同查詢條件下傳統分頁查詢策略和分頁查詢優化策略的實驗結果，發現后者在多源海量情況下查詢速度更快，通常小于0.5 s，能夠滿足遙感數據快速查詢的要求。

［1］謝冰川，趙 亮，李莎莎.分布式海量遙感圖像編目檢索機制［J］.計算機工程，2010，36(20):281-285.

［2］存檔衛星遙感數據目錄服務系統［EB/OL］.(2013-06-10).http://cs.rsgs.ac.cn/ cs_cn/cshome.asp.

［3］宋 爽.基于地理信息Web 服務的海量遙感圖像分布式處理與發布［D］.鄭州:解放軍信息工程大學，2007.

［4］陳 南.APS.NET 中大數據量分頁技術的研究與實現［J］.計算機應用與軟件，2011，28(4):206-207.

［5］郭紹忠，甄 濤，賈 琦.基于存儲過程的海量郵件數據挖掘［J］.計算機工程，2010，36(1):40-43.

［6］黃龍軍.應用存儲過程實現數據分頁［J］.計算機系統應用，2012，21(12):186-189.

［7］石 柯，林海華，徐 彬.AnyQuery:網格環境下基于服務的分布式查詢處理系統［J］.小型微型計算機系統，2006，27(8):1432-1438.

［8］Narayanan S，Kurc T，Catalyurek U，et al.Database Support for Data-driven Scientific Applications in the Grid［J］.Parallel Processing Letters，2003，13(2):245-271.

［9］Xiao Nong，Li Dongsheng，Fu Wei，et al.GridDaen:A Data Grid Engine［C］//Proc.of GCC'03.［S.1.］:IEEE Press，2003:519-528.

［10］Bader S A，Chaumette S.International Parallel and Distributed Processing Symposium［C］//Proc.of IPDPS'03.Washington D.C.，USA:IEEE Computer Society，2003:90-91.

［11］何瑞波，陳立云，連云峰，等.基于智能Agent 的模型自動選擇［J］.計算機系統應用，2010，21(5):50-54.

［12］胡 堅，汪超亮，李子揚.基于REST Web Services 的分布式遙感數據檢索技術研究［J］.計算機工程與設計，2010，31(14):3207-3209.

［13］劉相娟.基于語義Web 的多Agent 移動應用平臺研究［D］.齊齊哈爾:齊齊哈爾大學，2012.