韋廣昊,相文璽
(1.中國海洋大學 青島市 266100; 2.國家海洋信息中心 天津市 300171)
國際浮標資料業務化處理系統軟件項目建設研究
韋廣昊1,2,相文璽2
(1.中國海洋大學 青島市 266100; 2.國家海洋信息中心 天津市 300171)
通過介紹國際浮標資料的應用前景,指出建設國際浮標資料處理系統的意義,闡述建設國際浮標資料處理系統的建設原則和實施過程,旨在為同類軟件項目設計提供參考。
軟件項目 國際浮標 建設
近年來,隨著國際業務化海洋學合作的不斷深入,所獲得的觀測資料在一定程度上為全球大洋研究、海洋防災減災等方面發揮了重要的支撐保障作用,國際海洋資料已成為重要的資料來源。盡管如此,我國目前某些海域的海洋環境數據基本上還是空白,尤其是缺乏長期、定點、連續的觀測數據。美國國家海洋資料浮標中心(NDBC)和國際資料浮標聯合工作組(DBCP)負責收集和實時發布全球錨系浮標資料,觀測資料覆蓋大西洋、太平洋和印度洋等重要海域。建設國際浮標資料業務化處理系統以獲取并處理此部分資料對于增加國際海洋環境資料儲量、分析掌握全球大洋溫、鹽、流、浪、氣象等環境場分布,提高海洋防災減災和海洋環境保障能力,尤其是海洋領域應對氣候變化等方面,均具有重要的現實意義。
國際浮標資料業務化處理系統建設是一項涉及領域廣、技術要求高的業務化能力建設項目,在項目建設過程中,要以科學發展觀為指導,以服務海洋經濟、海洋管理、海洋權益和防災減災為重點,統籌規劃,明確項目建設的目標、任務和質量保障措施,同時結合國家海洋局已建和在建業務化系統和平臺,按照業務集成的整體要求,形成結構合理、標準統一、服務規范、安全可靠、快速高效的國際浮標資料業務化運行處理體系,提高國際浮標數據的處理和管理水平。
系統開發必須做好前期可行性研究,加強NDBC 與 DBCP 網站發布數據現狀以及存在問題分析、系統業務化運行需求分析等,開展系統建設規劃與設計,既要體現和遵循海洋環境業務化觀測信息技術的科學性,又要突出和強化系統建設的實用性。
系統建設盡量采用國家已有的標準和規范。同時,為了實現與國內海洋環境保障體系、海洋環境綜合數據庫、海洋環境信息產品制作系統以及目前國家海洋局規劃建設的海洋環境與地理信息服務平臺等內部與外部的信息交互與共享,制定必要的信息、編碼、接口等標準體系。
充分利用先進的計算機技術和數據處理技術,切實提高國際浮標資料接收/收集/下載、處理、管理和應用服務能力,同時從業務化運行的目標出發,集成建設能夠長期穩定運行,信息及時方便更新、系統功能不斷完善的國際浮標資料業務化處理與服務平臺。
系統建設應從國際浮標資料基礎信息和基本數據的組織和處理技術研究著手,構架起堅實的信息基礎;以應用目標牽動分析建模工作,以點帶面,逐步深入,分步實施,最終集成。

圖1 國際浮標資料業務化處理系統物理結構圖
國際浮標資料業務化處理系統在物理體系層是由服務器—客戶端等組成的局域網絡環境,包括數據下載與解析服務器、數據處理客戶端、數據加載服務器、數據庫、外設、網絡及相關的軟、硬件系統,為國際浮標資料的業務化接收、處理和輸出等環節的正常運轉提供必要的保障。國際浮標資料業務化處理系統物理結構見圖 1 。
國際浮標資料業務化處理系統由邏輯上集成、但又均能靈活配置獨立運行、且均具有可復用性的 7 個功能模塊組成,包括資料下載與解析模塊、資料標準化處理模塊、基礎數據庫、基于基礎數據庫的質量控制模塊、基于基礎數據庫和 GIS 平臺的數據可視化與監視模塊、專題數據庫系統,按照數據接收處理的流程設計各功能模塊之間的邏輯關系,邏輯結構關系如圖 2所示。

圖2 國際浮標資料業務化處理系統邏輯結構圖
國際浮標資料業務化處理系統主要包括資料下載與解析、資料標準化處理、數據庫存儲和管理、數據質量控制、數據可視化與監視、專題數據制作與數據庫存儲和管理等六大功能。
2.3.1 資料下載與解析功能
根據數據發布更新頻率、資料特點和網頁結構等,通過設置數據接收服務器、系統啟動參數、系統運行周期、下載與解析策略配置等參數,實現對現有各個網頁發布的國際浮標資料的自動下載、解析與存儲,輸出原始數據集和臨時網頁代碼文件,對數據下載狀況進行顯示、監控和日志記錄。同時跟蹤網站結構變化、站點增減與更新、數據無更新周期等信息,單獨日志記錄和警報更新及異常情況。
2.3.2 資料標準化處理功能
根據國際浮標資料編碼屬性,實現資料的識別、解碼、格式檢查、代碼轉換等預處理,同時制定國際浮標資料標準記錄格式,對資料進行標準化轉換和數據庫與數據文件的雙路同步輸出,顯示、監控和日志記錄數據標準化處理狀況,單獨日志記錄和警報異常情況。
2.3.3 數據庫存儲和管理功能
建立國際浮標資料基礎數據庫和數據庫管理系統,實現標準化數據的存儲、排重、基于元數據導航的查詢檢索、不同時空范圍與時空分辨率的要素統計分析、查詢檢索與統計分析結果的圖形/表格可視化展示及輸出文件功能。
2.3.4 數據質量控制功能
基于基礎數據庫和靈活配置的質量控制參數,實現對國際浮標資料的非法碼檢驗、范圍檢驗、全等性檢驗、合理性檢驗、極值檢驗、相關性檢驗、尖峰檢驗、著陸點檢驗、梯度檢驗、恒定檢驗、氣候學檢驗、溫鹽關系檢驗等計算機自動質量控制和人工審核,同時對質控日志進行顯示、查詢與輸出。
2.3.5 數據可視化與監視功能
基于基礎數據庫和GIS 平臺,利用站位分布圖、時間序列圖、空間分布圖以及數據表格等形式,實時監視和可視化顯示下載的實時數據;利用設定的范圍、極值等參數,實現異常數據的警示可視化顯示和與常態數據的對比分析,為異常海洋狀況、海洋災害等情況的分析,提供數據預警、警報信息。
2.3.6 專題數據制作與數據庫存儲和管理
研究專題數據制作方法,利用系統實現逐年逐日、逐年逐月、累年逐日、累年逐月統計分析等各類要素專題數據的制作功能,同時建立專題數據庫和數據庫管理系統,實現專題數據的加載存儲、查詢檢索和統計分析等功能。
根據系統的總體功能定位,以數據的下載、處理、存儲和監視過程為主線,采用多線池技術、正值表達式技術和模塊配置調度機制,結合開源或已授權的第三方軟件,構建靈活、穩定的架構模式。
第一階段,完成國際浮標資料的下載與解析、標準化處理、基礎數據庫及數據入庫模塊的開發,實現網站國際浮標資料的下載、解析、預處理檢驗、代碼轉換、標準格式轉換、基礎數據庫實體建設以及基于基礎數據庫的數據排重、查詢檢索、統計分析和輸出功能。
第二階段,完成基于基礎數據庫的質量控制、基于基礎數據庫和 GIS 平臺的數據可視化與監視、專題數據庫系統模塊的開發;實現基于基礎數據庫的實時資料自動質量控制和延時資料可視化人工審核,基于基礎數據庫和 GIS 平臺的實時可視化監視和異常數據警示,基礎數據庫到專題數據庫數據的自動提取、計算和加載更新等功能。
第三階段,實現各功能模塊的集成;整個系統的聯調、測試、對各方面細節進行優化和完善;得到最終可用系統。
隨著我國國際海洋學合作的不斷加深,國際海洋資料的獲取、處理與服務必將成為今后海洋資料處理中的一項重要工作。以國際浮標資料處理系統為例,闡述了該軟件項目建設的原則、結構組成和階段目標,為其他同類軟件項目建設研究提供了參考。
2011年10月24日