海洋底質標準化處理系統設計與開發

劉志杰，梁建峰

（1.中國海洋大學 青島市 266003；2.國家海洋信息中心 天津市 300171）

海洋底質標準化處理系統設計與開發

劉志杰1，2，梁建峰2

（1.中國海洋大學 青島市 266003；2.國家海洋信息中心 天津市 300171）

介紹海洋底質標準化處理系統的開發背景、總體結構、功能及特點。該系統基于海洋底質標準化數據記錄格式，解決了數據格式轉換繁瑣和不規范等問題，具有代碼及格式維護、轉換規則配置、數據格式轉換、文件瀏覽和錯誤日志生成等功能，在實現人機交互和高度集成的基礎上，具有靈活性和可擴展性。應用結果表明，該系統操作簡單、使用方便、運行穩定，是海洋底質標準化處理的一種有效工具。

海洋底質 標準化處理 系統設計

隨著我國“海洋開發戰略”的實施，海洋調查項目日益增多，海洋數據的積累呈加速態勢，海洋底質數據也不例外。如何實現大量不同時期、不同來源的數據統一和科學管理是資料管理工作者面臨的一個首要任務。為滿足數據整合需求，海洋數據標準化是實現數據科學管理的一個重要環節。海洋數據標準化處理就是指將海洋數據從多源、不同數據格式的文件通過格式變換、代碼轉換、字段添加、異常處理等操作轉變為統一、標準的數據文件的過程。

一直以來，底質資料標準化處理缺乏規范的處理軟件。底質分析數據類型眾多，包括沉積物粒度、碎屑礦物、沉積物化學成分和化學元素、工程物理力學性質以及古生物等十多種數據類型[1]。然而，由于分析手段和測試方法的不同，即使同一類型數據，不同單位匯交格式也不盡一致。因此，在進行標準化處理之前，需要進行預處理，將原始資料整理成格式相對固定或一致的格式，然后才能通過程序進行判讀、轉換和數據庫的加載。資料整理過程繁雜、各程序模塊功能單一、相互獨立、缺乏系統性，因此，難以保證數據處理效率，數據格式變換易存在誤差隱患，難以滿足數據處理業務工作的需要。

隨著我國近海綜合調查與評價項目的開展，底質調查數據作為一種重要的信息源，廣泛應用于環境與資源評價和數字海洋建設中。為滿足不同形式格式的處理，保持數據轉換最大限度的靈活，以海洋基礎數據庫平臺創建為契機，在底質標準數據格式基礎上，設計開發數據標準化處理系統是當前業務工作所需。該系統為底質數據標準化處理提供了一種快捷、方便的使用工具，從而使繁雜的數據整理工作得以簡化，提高了數據處理的效率和標準化程度。

1 軟件系統設計與開發原則

系統以Microsoft Visual Studio.NET 為開發平臺，以面向對象程序設計語言 C# 和 XML作為開發工具[2,3]。總體設計以需求為導向，采用構件設計思想，實施“總體規劃、分模塊實施”的策略。通過轉換規則配置（字段自動查找與匹配、站位匹配、代碼匹配與轉換）、數據格式轉換、錯誤日志的生成、文件瀏覽等功能的開發，實現系統的功能及性能需求，另外還需滿足系統更新和擴展需要。為保證設計目標的實現，系統在設計和實施過程中主要遵循如下原則：

(1)一致性：在系統的設計和建設過程中，以現有的底質標準數據記錄格式為設計基礎，力求標準化、規范化和統一化。軟件應具有統一的結構化組織、界面風格和操作模式，對變量的設置、模塊的調用塊間的相互關系等問題應做出統一安排。

(2)擴充性：采用面向對象和模塊化開發的設計思想，保證用戶的需求發生變化時，使系統代碼和數據修改量減到最小。

(3)通用性：底質數據標準化處理系統要處理多種類型底質數據，各不同類型數據均采用通用的處理模塊，且不受操作系統限制。

(4)實用性：系統設計充分考慮到海洋底質數據標準化處理的實際需要，在設計中構造靈活的體系結構，便于更改。軟件系統的人機交互界面友好、操作簡便，能滿足使用者的要求；另一方面，盡可能將用戶所需要的操作包含在同一界面內。

2 系統結構與功能介紹

底質數據標準化處理系統采用菜單操作和界面選擇結合方式，方便用戶的使用。主界面包括菜單區、目錄區、配置區、轉換規則區、文件瀏覽和錯誤日志區（見圖 1 ）。菜單區包括瀏覽源/目標文件夾、標準格式維護、代碼表維護、站位信息瀏覽及目錄設置等功能。系統結構設計如圖 2 所示。

圖1 底質標準化處理系統主界面

系統維護功能包括標準記錄格式的維護和代碼表維護。標準數據文件是數據入庫的重要接口，為使數據庫查詢檢索方便和數據格式規范，對于一些公共信息，標準數據集中一般用代碼來替代字符。根據用戶的需要，標準數據記錄格式需要定期維護更新，比如字段長度的增加，字段類型的添加等等，代碼也會不斷增加和完善。系統為標準數據記錄格式配置和代碼維護提供了接口，各類代碼通過 ACCESS 數據庫存儲管理，標準數據記錄格式通過 Excel 文件進行維護。用戶可以根據實際需要增加、修改或刪除字段，無需修改程序代碼，增加了數據處理的靈活性。

圖2 系統結構圖

系統配置功能主要包括系統目錄設置、表頭字段的配置、轉換規則設置和特殊轉換配置。系統配置的目的是快速完成標準數據格式的轉換。以往在資料處理過程中一般采用程序讀取源文件字段，然后將其轉換到標準格式中相應的位置。由于源文件格式不統一，轉換程序也需要不斷調試修改，降低了工作效率。為解決這一問題，該軟件采用系統配置功能，通過人機交互方式讓源文件表頭字段自動與標準格式字段查找匹配，根據匹配結果再進行個別字段匹配修改。轉換規則的設置包括直接轉換、不轉換、代碼轉換和站位匹配 4 個規則，系統默認為直接轉換，用戶可以根據字段格式的要求進行選擇。此外，對于一些源文件中不包含的特殊字段，需要在處理過程中增加，也可以通過人機交互界面選擇的方式來完成。這樣可以減少對源文件處理的步驟，且轉換過程中不易造成字段的遺漏。

數據格式轉換功能是指對選定的源文件轉換為標準化文件。數據格式轉換是標準化處理的關鍵一步，就是根據標準格式設計將原來不規則的源文件格式轉成統一的、規范的文本文件的過程。處理程序功能實現主要步驟如下：用戶首先要從左側類型目錄區選擇所要處理的資料類型，然后設置源文件和轉換后文件存放路徑及文件名（轉換后的標準數據文件名會自動記憶源文件名，僅后綴發生改變）；讀取相應數據標準記錄格式；根據字段配置，輸入特殊轉換規則；最后通過格式轉換命令完成格式轉換。

系統錯誤提示功能可以隨時記錄數據處理過程中出現的一些錯誤信息。源文件在錄入或處理過程中會不可避免地出現一些錯誤，一般很難通過人工審查發現。出現的錯誤類型主要包括字符串長度越界、站位不匹配、代碼轉換不匹配、數值轉換異常等幾種。錯誤日志可以將錯誤的字段名稱、所在行號以及數值和錯誤類型給出，方便用戶查找和修改，減少程序調試的麻煩。

文件瀏覽功能可快速地幫助用戶查看源文件及標準數據文件，無論文件存放在幾級目錄下，都能直接找到目標文件。結合系統錯誤提示功能，可以快速查找、處理錯誤信息，方便對源文件的預處理。

3 系統特點

3.1 系統集成性

底質資料類型眾多，涉及沉積物粒度、碎屑礦物和化學成分等十多種數據類型，針對每一種數據類型進行程序設計工作量龐大，且系統不夠優化。考慮到底質各類數據格式的共同特點，采用高度的集成方式是系統開發的一大特點。源文件輸入、標準數據文件輸出、數據存儲結構設計、各種要素字段的轉換、錯誤日志的輸出和轉換規則的匹配都采用集成統一的程序模塊。

3.2 系統靈活性和可擴展性

根據底質源數據特點，基于Excel 文件讀取數據，是系統開發靈活性考慮的一個方面。用戶可以直接對Excel文件進行操作，無需再將源文件轉換成文本格式后進行處理，減少處理環節，方便了用戶的使用。系統的配置功能也極大地增強了系統的靈活性，用戶可以通過數據表頭字段的自動匹配，轉換規則設置和代碼自動轉換來實現格式轉換過程，從而提高了數據處理的效率。此外系統還具有很強的可擴展性，比如在調整字段個數、字段長度或位置等標準數據記錄格式改變的情況下，僅需要調整標準數據記錄格式配置文件，無需對源程序進行修改。

3.3 系統交互性

系統提供了友好的人機交互界面，改變過去傳統的后臺程序運行的模式，極大地方便了用戶的使用。系統結構設計合理，操作流程簡單，資料處理的整個過程都提供可視化的人機交換操作界面，并很好地解決了處理過程中的流程控制和異常控制。

4 結論

海洋底質標準化處理系統基于海洋數據處理的業務工作實際需求設計開發，解決了長期以來的海洋底質數據格式不規范的問題。系統根據海洋底質標準數據記錄格式設計，具有字段配置、轉換規則設置、代碼及格式維護、數據格式轉換、文件瀏覽和錯誤提示功能。軟件系統高度的集成性、靈活性、適用性以及可視化人機交互的操作界面，使繁雜的數據處理過程變得簡單易于操作，能夠快速、準確完成底質數據的標準化處理，應用前景廣闊。經測試和應用檢驗證明：軟件運行穩定、使用方便，提高了數據標準化處理效率和質量。目前，該系統已應用于海洋底質數據標準化處理工作中。

[1]國家海洋局908辦公室. 海洋底質調查技術規程[S].北京：海洋出版社，2006.

[2]Benny Johansen. Windows應用程序高級編程——C#編程篇[M]. 北京：清華大學出版社，2003.

[3]Didier Martin. XML高級編程[M].北京：機械工業出版社，2001.

[4]高瑩，陸建華，狄建華.上海洋山港水文數據處理系統的建立[J]. 交通科技，2007(5)：115-116.

2011年4月14日

國家海洋局908專項(18070609C)