基于SOA架構的地質(zhì)資料在線服務系統(tǒng)設計與實現(xiàn)

樊旭東, 鞠紅艷, 王 冕, 劉莉茗

(1.湖北省地質(zhì)調(diào)查院,湖北 武漢 430034; 2.湖北省國土資源資料館,湖北 武漢 430071)

地質(zhì)資料是地質(zhì)工作者用勞動和智慧淀積下來的寶貴社會財富,是經(jīng)濟建設的重要依據(jù)。地質(zhì)資料服務是基于海量地質(zhì)資料積累和數(shù)字化產(chǎn)品的科學組織與服務[1],是地質(zhì)工作成果和價值的體現(xiàn)。在網(wǎng)絡化、大數(shù)據(jù)、云計算的新時代背景下,新技術、新方法、新理念不斷涌現(xiàn),地質(zhì)資料的管理以及社會化服務也將發(fā)生變化。如何利用現(xiàn)代計算機技術,提高資料服務現(xiàn)代化水平,使地質(zhì)資料服務融入當今信息社會,已經(jīng)成為館藏機構、地質(zhì)科技人員和社會公眾比較關注的問題。

首先對地質(zhì)資料的數(shù)據(jù)特點進行分析,以湖北省國土資源資料館的信息化需求和地質(zhì)資料管理技術的應用現(xiàn)狀和發(fā)展趨勢為研究背景,在對地質(zhì)資料數(shù)據(jù)關鍵應用技術研究的基礎上,通過分析SOA的實現(xiàn)技術和業(yè)務場景,明確系統(tǒng)的基本組成功能,整合組件及中間件，構建出基于SOA架構的地質(zhì)資料服務接口,并對服務接口的架構及開發(fā)框架和技術進行設計,最后通過開發(fā)實例服務說明該服務接口實現(xiàn)了SOA的業(yè)務流程。

1 面向服務的架構SOA

面向服務的架構SOA(Service Oriented Architecture)是一種新的軟件系統(tǒng)架構模型,將應用程序的不同功能單元(稱為服務)通過這些服務之間定義良好的接口和契約聯(lián)系起來,利用服務接口將不同的業(yè)務功能模塊進行封裝與發(fā)布[2]。SOA是實現(xiàn)云計算開放架構的基礎理念之一,是構造分布式計算程序的方法,適用于大型復雜業(yè)務系統(tǒng)的數(shù)據(jù)共享和交換。SOA使用開放標準和協(xié)議,不受硬件平臺、操作系統(tǒng)和編程語言的限制,將應用程序功能作為服務發(fā)送給最終用戶或者其他服務,實現(xiàn)系統(tǒng)及信息的互聯(lián)互通和互操作[3]。

2 地質(zhì)資料數(shù)據(jù)分析與處理

地質(zhì)資料按照專業(yè)類型分為區(qū)調(diào)、海洋地質(zhì)調(diào)查、礦產(chǎn)勘查、物化遙勘查、地質(zhì)科學研究、技術方法研究、其他等7個大類,29個小類;根據(jù)內(nèi)容和形式的不同,地質(zhì)資料分為正文報告、附圖、附表、附件、審批件、多媒體、數(shù)據(jù)庫、軟件、其他等9種數(shù)據(jù)類型。

由于地質(zhì)資料數(shù)據(jù)結構復雜,要想實現(xiàn)統(tǒng)一存貯和數(shù)據(jù)集成比較困難。經(jīng)過數(shù)據(jù)結構分析,將地質(zhì)資料數(shù)據(jù)分為案卷級數(shù)據(jù)和文件級數(shù)據(jù)兩大類,其中案卷級數(shù)據(jù)包括地質(zhì)資料的檔號、題名、形成單位和時間、工作方法、勘查礦種、工作行政區(qū)、專業(yè)類型、工作程度等信息,這些數(shù)據(jù)信息大都具有特定的格式,或經(jīng)過數(shù)據(jù)轉(zhuǎn)換,可以使用關系型數(shù)據(jù)庫進行存貯,一般稱之為結構化數(shù)據(jù);而文件級數(shù)據(jù)包括地質(zhì)資料的正文報告、各式圖件、審批掃描件、各類附表等,無法通過關系型數(shù)據(jù)庫進行存貯,稱之為非結構化數(shù)據(jù)。

2.1 結構化數(shù)據(jù)處理

對于結構化數(shù)據(jù),基于SQL Server建立關系型數(shù)據(jù)庫,經(jīng)過數(shù)據(jù)規(guī)范整理和格式轉(zhuǎn)換,這類數(shù)據(jù)具有統(tǒng)一的編碼、代碼和數(shù)據(jù)類型,可以完整地存貯在數(shù)據(jù)表中,并通過關鍵字段建立其間的聯(lián)系。

2.2 非結構化數(shù)據(jù)處理

對于非結構化的數(shù)據(jù),首先建立各類文件級資料的元數(shù)據(jù),元數(shù)據(jù)是文件級資料的描述類信息,內(nèi)容包括:文件級資料名稱、類型、數(shù)據(jù)格式、實體文件名、比例尺、密級等,然后將元數(shù)據(jù)字段內(nèi)容存貯在關系數(shù)據(jù)庫中,而具體的文件實體則存貯在文件服務器上。通過元數(shù)據(jù),使結構化數(shù)據(jù)與非結構化數(shù)據(jù)之間建立關聯(lián),實現(xiàn)了地質(zhì)資料數(shù)據(jù)快速和低成本的統(tǒng)一存貯和數(shù)據(jù)集成。

3 系統(tǒng)設計

3.1 總體設計

目前多數(shù)地質(zhì)資料館藏機構使用的地質(zhì)資料服務系統(tǒng)開發(fā)年代較早,部分館藏機構仍然使用ASP+ACCESS數(shù)據(jù)庫的方式提供服務,功能上僅能進行簡單的地質(zhì)資料目錄查詢,無法滿足社會公眾對地質(zhì)資料的服務需求。

基于SOA架構設計的地質(zhì)資料在線服務系統(tǒng)框架主要由數(shù)據(jù)訪問層、業(yè)務邏輯層、集成服務層和前端用戶界面表現(xiàn)層4部分組成(圖1)。通過對現(xiàn)有已建成地質(zhì)資料數(shù)據(jù)庫和文件服務器的資源共享利用,達到以業(yè)務為核心,選擇適用技術服務業(yè)務的目的。基于此框架,系統(tǒng)可以同時在廣域網(wǎng)和局域網(wǎng)環(huán)境下部署,開發(fā)的系統(tǒng)更加便于功能擴展和維護。

圖1 SOA架構的地質(zhì)資料在線服務系統(tǒng)框架Fig.1 On-line geological data service system framework based on SOA architecture

基于SOA架構的地質(zhì)資料在線服務系統(tǒng)具有以下技術特點:

(1) 任意系統(tǒng)在Web用戶界面層都可以調(diào)用集成服務層提供的功能,系統(tǒng)功能易于拓展,部署比較靈活。

(2) 由于SOA具有優(yōu)良的擴展性以及其組件性特征,系統(tǒng)可以根據(jù)不同的需求,直接利用現(xiàn)有的資源,按照需求進行重新組合和構造。

(3) 簡化了提供、尋找和使用服務的過程,使系統(tǒng)的升級、分布和維護有更多的優(yōu)化與擴展。

(4) 通過對現(xiàn)有的資源共享利用,可以迅速創(chuàng)建新的業(yè)務流程,減少了軟件和硬件開支成本,縮短應用系統(tǒng)開發(fā)和部署周期。

3.2 數(shù)據(jù)訪問層設計

數(shù)據(jù)訪問層主要用來存儲持久化數(shù)據(jù)到數(shù)據(jù)庫中,具體就是實現(xiàn)對地質(zhì)資料數(shù)據(jù)庫的Select,Insert,Update,Delete的操作。數(shù)據(jù)訪問層通過數(shù)據(jù)訪問組件對數(shù)據(jù)庫進行地質(zhì)資料數(shù)據(jù)的讀取和寫入,其職責包括選擇數(shù)據(jù)源、調(diào)用存儲過程、返回數(shù)據(jù)集等。在進行系統(tǒng)設計時,數(shù)據(jù)訪問層除了訪問數(shù)據(jù)庫系統(tǒng)外,還可以訪問地質(zhì)資料文件服務器中的柵格圖形文件、文本文檔、PDF文檔和XML文檔等非結構化數(shù)據(jù)。

3.3 業(yè)務邏輯層設計

業(yè)務邏輯層主要針對具體的問題的操作,處理業(yè)務邏輯和存儲管理數(shù)據(jù),是數(shù)據(jù)訪問層和服務層之間的橋梁。業(yè)務邏輯具體包含:驗證、計算、業(yè)務規(guī)則等,對輸入數(shù)據(jù)的正確性及有效性校驗,負責邏輯性數(shù)據(jù)的生成、處理及轉(zhuǎn)換。在系統(tǒng)設計中,主要需要實現(xiàn)的業(yè)務邏輯有:

(1) 地質(zhì)資料目錄查詢。根據(jù)接收的檔號、題名、工作程度、工作方法、空間位置等參數(shù)信息,在進行有效性驗證后,調(diào)用數(shù)據(jù)訪問層的接口,獲取地質(zhì)資料目錄數(shù)據(jù),并將數(shù)據(jù)轉(zhuǎn)換成JSON或者XML格式傳送給上層服務。

(2) 文件級地質(zhì)資料編碼。根據(jù)接收的文件級資料參數(shù)信息,調(diào)用數(shù)據(jù)訪問接口,對文件服務器中的實體文件進行轉(zhuǎn)換和編碼,使用Base64編碼傳送結果數(shù)據(jù)。

(3) 資料借閱。主要提供資料預約、查詢、續(xù)借的資料管理業(yè)務流程。

(4) 用戶服務。提供用戶登錄、登出、修改密碼、更新個人資料、找回密碼等用戶服務業(yè)務流程。

3.4 集成服務層設計

集成服務層是整個系統(tǒng)功能的核心,采用SOA架構、Web Services技術,并以Web服務接口的形式提供服務。在設計中,集成服務層用來簡化外部操作,同時達到解耦的目的。集成服務層定義了應用的邊界和客戶端所能看到的可操作集,它封裝了系統(tǒng)的業(yè)務邏輯、事務控制及操作協(xié)調(diào),簡單的理解就是服務層隱藏了業(yè)務邏輯層的細節(jié),將業(yè)務層的服務類或非服務類封裝,向客戶端提供簡潔的服務接口,實現(xiàn)遠程服務開發(fā)。

3.5 用戶界面表現(xiàn)層設計

用戶界面表現(xiàn)層用來處理用戶和系統(tǒng)之間的交互,是整個系統(tǒng)的最外層,直接和用戶交互,用于顯示數(shù)據(jù)和接收用戶輸入的數(shù)據(jù)。用戶界面層基于HTML和網(wǎng)頁瀏覽器的Web程序,在設計用戶Web界面時,為了符合用戶的操作習慣,采用WebGIS的顯示界面,使用OpenLayers技術調(diào)用國家地理信息公共服務平臺天地圖的全球矢量地圖WMTS服務作為地理底圖,在Web地圖上實現(xiàn)地質(zhì)資料的位置空間展示和操作。通過WebGIS方式,提高搜索資料的命中率,加快資料的利用過程。

4 系統(tǒng)服務與接口設計

4.1 系統(tǒng)服務流程

客戶端首先對用戶發(fā)送的數(shù)據(jù)請求進行解析和預處理后,通過集成服務層調(diào)用相應的服務接口,向業(yè)務邏輯層發(fā)送服務請求,業(yè)務邏輯層將參數(shù)轉(zhuǎn)換生成SQL語句發(fā)送至數(shù)據(jù)訪問層;數(shù)據(jù)訪問層調(diào)用相應的存儲過程,在數(shù)據(jù)庫中進行數(shù)據(jù)篩選生成數(shù)據(jù)集,業(yè)務邏輯層從返回的數(shù)據(jù)集中獲取數(shù)據(jù)進行處理并重新組織,將數(shù)據(jù)以XML或者JSON格式進行封裝,集成服務層對返回的數(shù)據(jù)重新解析和構建為實體對象,最后通過界面表現(xiàn)層向用戶展示所需的數(shù)據(jù),從而形成完整的系統(tǒng)服務流程。地質(zhì)資料在線服務系統(tǒng)的核心服務流程如圖2所示。

4.2 服務接口設計

系統(tǒng)服務設計中通過綁定具體實現(xiàn)服務的組件進行封裝,并通過接口遠程調(diào)用服務,實現(xiàn)了服務的透明化。服務接口能夠與支持HTTP協(xié)議的主機和服務器建立通信和交互,由于任何編程語言都支持XML和JSON文本解析,從而通過服務接口實現(xiàn)不同應用系統(tǒng)間的信息交換和互操作。

系統(tǒng)服務提供了資料目錄查詢服務、資料數(shù)據(jù)編碼服務、資料數(shù)據(jù)查詢服務、搜索詞服務、資料借閱服務以及借閱用戶服務的接口。其中資料目錄查詢服務和文件級資料數(shù)據(jù)查詢服務是系統(tǒng)中調(diào)用頻率最多的兩個服務,分別用于地質(zhì)資料案卷級目錄信息查詢和地質(zhì)資料文件數(shù)據(jù)瀏覽,是整個地質(zhì)資料服務系統(tǒng)的核心服務。

圖2 系統(tǒng)服務流程Fig.2 System service flow

(1) 資料目錄查詢服務接口。資料目錄查詢服務接口根據(jù)用戶輸入的參數(shù),返回地質(zhì)資料的案卷級目錄信息,內(nèi)容包括:檔號、資料題名、編著者、專業(yè)分類、工作程度、工作方法、工作區(qū)的行政區(qū)和起止經(jīng)緯度、主要次要礦產(chǎn)以及形成時間和單位等信息。為了提高響應時間和減少網(wǎng)絡的傳輸量,返回的信息較多時會將信息進行分頁傳送。資料目錄查詢服務接口的請求參數(shù)、響應參數(shù)見表1。

(2) 文件級資料數(shù)據(jù)查詢服務接口。資料數(shù)據(jù)查詢服務接口主要返回地質(zhì)資料文件級目錄的有關信息以及文件實體內(nèi)容數(shù)據(jù)。資料數(shù)據(jù)查詢服務提供地質(zhì)資料數(shù)據(jù)的最小單元,包括地質(zhì)資料的文件實體內(nèi)容,是數(shù)據(jù)服務的基本數(shù)據(jù),在地質(zhì)資料系統(tǒng)的開發(fā)中具有重要的作用。地質(zhì)資料文件級數(shù)據(jù)包括正文報告、附圖、附表、附件、審批件等,數(shù)據(jù)以Base64編碼方式返回文件內(nèi)容。資料數(shù)據(jù)查詢服務接口的請求參數(shù)、響應參數(shù)見表2。

5 系統(tǒng)開發(fā)關鍵技術

通過分析地質(zhì)資料數(shù)據(jù)特點和功能需求,結合云計算、大數(shù)據(jù)的發(fā)展應用,在系統(tǒng)設計與開發(fā)中使用到了一些關鍵性技術,這些技術成為實現(xiàn)系統(tǒng)設計的支撐體系,為系統(tǒng)的功能實現(xiàn)和穩(wěn)定運行以及良好的用戶體驗提供了保障。

5.1 Web Services技術

系統(tǒng)服務接口采用了Web Services技術開發(fā)。Web Services通過HTTP協(xié)議傳輸數(shù)據(jù),能夠在不同系統(tǒng)之間進行數(shù)據(jù)交換,最適合實現(xiàn)SOA架構。使用Web Services技術開發(fā)的系統(tǒng)服務接口提供以下功能:

表1 資料目錄查詢服務接口參數(shù)Table 1 Parameters of service interface of data directory query

表2 資料數(shù)據(jù)查詢服務接口參數(shù)Table 2 Parameters of data query service interface

(1) 支持數(shù)據(jù)交換。使用XML和JSON數(shù)據(jù)格式進行信息交換。

(2) 支持文檔交換。支持大型非XML文檔的交換,例如PDF文件、JPG文件和二進制文件。

(3) 支持同步和異步客戶端。系統(tǒng)服務支持與客戶端進行同步和異步通信。

5.2 OpenLayers技術

OpenLayers是一個用于開發(fā)WebGIS應用的地圖引擎,可在Web客戶端提供強大的地圖展示功能[4-5]。借助WebGIS技術,在前端Web頁面使用了最新OpenLayers框架,實現(xiàn)地質(zhì)資料地理信息化的定位和可視化功能[6],改變傳統(tǒng)的地質(zhì)資料檢索模式,將地質(zhì)資料檢索從文本查詢轉(zhuǎn)變?yōu)镚IS空間查詢,增強地質(zhì)資料檢索的便捷性和易用性,提高地質(zhì)資料檢索的命中率和地質(zhì)資料的利用率。

5.3 柵格圖形文件數(shù)據(jù)處理

地質(zhì)資料中的附圖、附件、審批件的文件級數(shù)據(jù)以JPG、TIFF、BMP等柵格圖形格式存儲在文件服務器中。為實現(xiàn)地質(zhì)資料的在線預覽,需要對柵格圖形實時處理,包括改變分辨率以適合網(wǎng)絡傳輸,添加館藏機構水印實現(xiàn)版權保護等。

柵格圖形文件數(shù)據(jù)處理流程是:首先通過Drawing.Size對象取得原始柵格圖形的尺寸,并根據(jù)預設的參數(shù)使用Drawing.Graphics對象對柵格圖形進行變換,然后使用DrawString和DrawImage方法在柵格圖形上添加版權保護水印文字,最后將處理后的柵格圖形文件進行Base64編碼,從而實現(xiàn)地質(zhì)資料中圖形文件在Web客戶端的預覽和遠程地質(zhì)資料文件數(shù)據(jù)服務。

5.4 PDF文件處理與瀏覽

地質(zhì)資料中的報告正文、附表以PDF格式保存在文件服務器中。由于PDF文件具有多頁屬性,開發(fā)時使用iTextSharp的pdfStamper.GetOverContent方法在PDF文件的所有頁面添加了版權水印文字。為方便在Web客戶端瀏覽PDF文檔,開發(fā)了PDF Viewer組件,用戶在瀏覽器中不需要使用Flash、Adobe PDF Reader等插件即可實現(xiàn)報告正文等地質(zhì)資料文檔的在線查看,提高了地質(zhì)資料在線服務的易用性和通用性。

6 系統(tǒng)實現(xiàn)

地質(zhì)資料在線服務系統(tǒng)包括資料查詢與預約服務和資料業(yè)務數(shù)據(jù)管理兩大功能模塊,資料查詢與預約服務實現(xiàn)了成果地質(zhì)資料的檢索、地質(zhì)圖件和正文報告即時瀏覽、資料預約借閱、續(xù)借等在線服務功能,資料業(yè)務數(shù)據(jù)管理實現(xiàn)了成果地質(zhì)資料數(shù)據(jù)管理與系統(tǒng)配置、借閱用戶管理和資料借閱歸還等管理功能。

6.1 資料信息查詢

在進行資料信息查詢時,可以指定條件進行精確搜索,也可輸入部分條件進行模糊搜索,搜索的結果系統(tǒng)會以列表和WebGIS地圖兩種方式進行顯示(圖3)。搜索結果列表展示位于窗口左側(cè),在WebGIS展示方式中,每個搜索結果會以圖標的形式將資料的空間位置標注在地圖上,點擊搜索結果列表或者標注,會彈出汽泡小窗口顯示該資料的簡要信息和地質(zhì)資料的工作區(qū)覆蓋范圍。

圖3 地質(zhì)資料查詢與展示Fig.3 Inquiry and display of geological data

6.2 文件級資料在線瀏覽

地質(zhì)資料在線服務系統(tǒng)用戶界面采用最新的HTML5、jQuery等技術開發(fā),用戶使用主流瀏覽器,無需安裝各類插件即可實時查詢、瀏覽地質(zhì)資料的各類正文報告文檔(圖4)和地質(zhì)圖件(圖5)。

6.3 資料預約與借閱

地質(zhì)資料在線服務系統(tǒng)借鑒了O2O(Online To Offline,線上/線下)的商業(yè)服務模式,將線下的資料借閱服務與互聯(lián)網(wǎng)結合,讓互聯(lián)網(wǎng)成為線下服務的前臺,將傳統(tǒng)資料借閱的業(yè)務流程網(wǎng)絡化。資料借閱用戶可以不受時間和空間的限制,通過網(wǎng)絡實現(xiàn)資料在線借閱流程。在方便資料借閱的同時,將資料管理人員的工作從接待資料借閱用戶的服務當中解放出來,根據(jù)預約信息對待借資料提前做好復制和光盤刻錄,提高工作效率(圖6)。

7 結論

基于SOA架構的地質(zhì)資料在線服務系統(tǒng)以業(yè)務為中心,通過把完成地質(zhì)資料服務流程中所需的資源組織為一系列松散耦合的服務來實現(xiàn),這些服務可以根據(jù)需求組合、重用,從而保護前期的信息化投資和資產(chǎn)積累,節(jié)省軟件開發(fā)周期和維護成本。

圖4 地質(zhì)正文報告在線瀏覽Fig.4 Online browse of geological text report

地質(zhì)資料信息化服務應當依據(jù)互聯(lián)網(wǎng)技術來加強各級館藏機構的聯(lián)系,從縱向與橫向兩方面來開展地質(zhì)資料社會化服務。基于SOA架構的地質(zhì)資料在線服務系統(tǒng)的設計和實現(xiàn),通過互聯(lián)網(wǎng)實現(xiàn)湖北省國土資源資料館與全國地質(zhì)資料館之間的數(shù)據(jù)交換與共享,為館藏機構之間的地質(zhì)資料數(shù)據(jù)融合提供有效的技術方案,更好地展現(xiàn)整體館藏機構的作用,讓整個地質(zhì)資料社會化服務充分展現(xiàn)科技化、網(wǎng)絡化的優(yōu)勢。地質(zhì)資料在線服務系統(tǒng)對提高地質(zhì)資料的利用率,實現(xiàn)從地質(zhì)資料服務到地質(zhì)數(shù)據(jù)服務的業(yè)務模式轉(zhuǎn)變,對提升地質(zhì)資料服務水平和增強地質(zhì)資料數(shù)據(jù)共享性等方面都具有積極的意義。

圖5 地質(zhì)圖件在線瀏覽Fig.5 Online browsing of geological maps

圖6 地質(zhì)資料借閱預約Fig.6 Borrowing and reservation of geological data