大洋數據加載系統的設計與開發

韓春花，張 歡，張俊明

（1.國家海洋信息中心 天津市 300171； 2.青島地球軟件技術有限公司 青島市 266012）

我國大洋調查始于上個世紀80年代初，至今已先后執行了近40 個航次，獲取了大量的數據資料，內容涵蓋水文、氣象、生物、化學、地質、地球物理等多個學科，數據資料類型多樣，結構復雜，數據量大，是我國大洋工作的重要基礎，是政府進行相關決策的重要信息支撐，對其進行科學有效的管理，使其充分發揮作用至關重要。目前，我國大洋調查獲取的各類數據資料由大洋資料中心統一匯集、整理與管理。“十二五”期間，大洋資料中心通過建設大洋數據管理與共享平臺實現大洋數據資料的管理與共享[1]，大洋數據管理與共享平臺的核心是大洋數據庫，將大洋調查獲取的不同類型、不同結構的原始數據資料準確、自動、批量地加載入具有統一標準規范的大洋數據庫中是大洋數據管理的基礎和至關重要的工作。隨著計算機技術的飛速發展，目前將外部文件加載到數據庫有多種方法，常用的包括：可用Powerbuild、SQL*LOADER 等工具將Excel、Word 等外部數據加載到oracle 數據庫[2-6]。但是對于大洋數據庫來說，還無法直接利用現有的數據加載工具進行加載。有必要開發專門的大洋調查數據加載系統，作為大洋數據管理與共享平臺的基礎技術工具，以實現大洋數據的高效、批量、準確加載。

1 數據分類與加載方式的確定

1.1 數據分類

大洋數據庫內容包括大洋調查獲取的各類專業數據、研究成果及綜合信息等內容。①專業數據：包括大洋各航次開展的海洋水文、海面氣象、海洋生物、海洋化學、海洋地質、海洋地球物理調查等獲取的原始數據資料、后處理數據、樣品分析測試與鑒定結果數據等內容。②研究成果：包括大洋各研究開發項目或課題研究報告、整編數據、成果圖件，以及研發的數據庫、程序軟件、論文等內容。③綜合信息：包括大洋各航次的調查日期、調查單位、參加人員、主要設備、航跡等內容。

從數據管理的角度，將大洋數據歸納為：元數據、載體數據、基礎數據、標準化數據和專題數據5 個層次。①元數據：描述數據的數據，在大洋數據庫中采用核心元數據，并能夠利用核心元數據進行導航。②載體數據：匯集的第一手數據，存于光盤或硬盤載體上，主要用于備查。③基礎數據：在載體數據的基礎上，對其進行分類、整理、篩選后形成的數據集；④標準化數據：依據一定的數據文件標準記錄格式，經標準化處理和質量控制之后形成的格式統一、標準統一的標準化數據集。⑤專題數據：在標準化數據集基礎上，依據特定的使用需求，研制的統計分析數據、圖形產品等。這5 個層次的數據既相互獨立又有內部關聯[7]。通過元數據可以方便地了解到全部大洋數據的基本情況；載體數據是最完整、最原始的大洋數據，但一般不直接利用；基礎數據是經過整理和處理后的原始數據，是整個大洋數據的基礎；標準化數據是具有統一標準的數據，可直接供用戶使用；基礎數據并不一定全部都能形成標準化數據。專題數據的應用性最強，可直接提供用戶使用。

1.2 存儲方式

大洋數據存儲方式有如下幾種：①電子表格文件存儲的數據文件，數據文件的第一行是表頭信息，包含列項和計量單位，從第二行開始記錄數據，每列數據與表頭對應，樣品分析測試數據多采用此種存儲方式；②數據說明＋數據實體：此種方式一般用來記錄特殊結構的數據，如多波束、重力、磁力、地震等原始數據，數據說明文件是一個電子表格或文本文件，用來記錄數據的空間位置、時間范圍、數據內容、數據量等說明信息，采用一個相對地址來指向數據實體；③具有標準格式的ascII 碼文本文件：此種方式一般用來記錄具有標準記錄格式的數據，如CTD、ADCP、走航氣象等標準化數據集。

1.3 加載方式

根據不同類型、不同層次、不同存儲方式的大洋數據特點，筆者設計了不同的數據加載方式。大洋數據的加載方式歸納為以下4 種：①加載數據文件至數據庫表：此種加載方式適用于采用電子表格直接記錄的數據文件。電子表格文件的第一行是描述信息，與數據庫表字段相對應。大洋數據中的化學、地質樣品分析測試數據多采用此方式加載。②加載清單文件同時上傳數據文件到服務器指定目錄：這種加載方式適用于非明碼的數據文件，將數據說明文件加載至對應的數據庫表中，同時將數據實體上傳到服務器指定位置，通過說明文件記錄的位置信息能夠準確定位到數據實體文件。大洋數據中的重力、磁力、淺剖、地震、多波束等原始調查數據采用此方式加載[8～13]。③加載數據文件到數據庫表同時備份數據文件：按照一定的規則解析數據文件中的有關信息并將其加載到數據庫指定表中，同時備份數據文件到服務器指定目錄。這種方式一般用來加載具有標準格式的ascII 碼文本文件，如CTD、ADCP、走航ADCP 標準化數據集多采用此方式加載。④抽取/統計相關信息到數據庫表：從其他數據庫表中自動提取或統計信息加載到新的數據庫表中[14-16]。這種加載方式主要用于專題數據和元數據的加載。

2 加載系統的設計與實現

依據不同的專業數據類型、數據層次和加載方式，基于C++語言封裝好的類庫MFC，設計開發了大洋數據加載系統。該加載系統可實現對各類大洋專業數據、研究成果及綜合信息的數據校驗與加載。系統界面友好，操作簡便，維護方便，靈活性強（圖3）。

加載系統采用模塊化設計思路，核心模塊包括：配置文件、參數設置、文件校驗和日志管理4 個模塊，整個大洋數據加載系統的算法設計如圖2 所示。

2.1 制作配置文件

圖1 大洋數據加載系統界面

大洋數據的類型多種多樣，不同時期的同一種數據類型的內容與結構時常發生變化，如果完全用人工進行調整將花費大量的人力，也容易出。在大洋數據加載系統中，通過制作各種數據類型的配置文件，將數據庫中的表結構與數據說明文件、數據文件和格式化文本文件建立關聯，通過計算機程序自動進行查找與匹配，再經過可視化界面進行人工干預與調整，可靈活實現不同類型、不同結構數據的加載。無論數據庫結構或是數據文件結構有變動時，只需維護配置文件即可。制作配置文件的過程是：選擇待加載的數據文件和數據庫表，在表格視圖中顯示數據文件中列與數據庫表中的字段的對應情況，當數據庫中的字段與數據清單文件中的字段不一致無法自動匹配時，采用手動匹配，確保對應無誤后，程序將表格視圖中的對應關系形成XML 格式的配置文件（圖3）。

2.2 參數設置

參數設置模塊的功能主要包括數據庫連接、服務器連接及初始化字典表等。通過該模塊的參數設置，可實現加載系統與數據庫、服務器的連接，指定加載目標位置，保證數據配置文件與目標數據庫結構類型一致。如數據庫、服務器乃至數據庫結構有所改變時，只需更改相關參數即可。在數據庫維護過程中，如數據庫結構有所改變，則可通過初始化字典表來實現加載程序的自動更新。

2.3 數據校驗

數據加載入庫的正確性、唯一性將直接影響到數據的專業應用，因此在加載數據前進行數據校驗尤為重要[17]。大洋數據加載系統的數據校驗主要包括數據的規范性校驗、范圍校驗和重復性校驗。①規范性校驗：針對待加載的數據文件格式、內容、規則的規范性進行校驗。校驗的主要內容包括：比對待加載數據清單文件的列項與相應的配置文件中的列項是否一致、驗證每條記錄的各個數據要素的數據類型、長度、精度是否符合數據庫標準等。②范圍校驗：依據經驗對異常值進行判別。在校驗程序中內置一套范圍參數，在進行數據校驗時進行范圍判別，找出超出范圍的數據并在日志中進行提示，由用戶進行判別此數據是否合法、是否進行加載。③重復性校驗：比對待加載的數據記錄是否已經在數據庫中存在，如果存在，則不進行加載。在數據加載前必須進行數據校驗，校驗成功方可進行數據加載，如校驗失敗則可通過日志管理進行瀏覽、查找和更正。

圖2 大洋加載系統的算法設計

圖3 配置文件的制作

2.4 日志管理

日志管理模塊的主要功能是方便用戶查看對加載系統進行操作的各種記錄，包括加載數據的時間、內容、類型、數量、是否加載成功等內容。日志內容以列表框的形式展示，同時為了滿足用戶更方便的對日志進行有效的管理，程序還提供一鍵快捷的操作，包括清空列表、刪除選中、輸出文件、打開日志、導出所選等功能。

目前大洋加載系統已經實現了大洋資料目錄、大洋載體數據、大洋基礎數據、大洋專題數據四大類數據下110 個小類大洋數據向大洋數據庫的加載。大洋數據庫是一個高效管理大洋海量數據的數據庫系統，數據庫管理系統利用B/S 系統結構，通過圖形、表格、關鍵字等多種檢索模式，實現各類數據的在線查詢、檢索。針對各類數據特點，大洋數據加載系統在數據加載及數據校驗方面提供了多種有效的手段，保證數據快速、準確入庫，通過完善的數據和用戶分級分類管理體制，可將數據推到用戶桌面，為大洋科研和相關工作提供數據檢索和決策支持。

3 結 語

大洋數據加載系統在Microsoft windows 操作系統下運行，依據大洋數據的類型與特點，采用專業軟件開發，通過配置文件、參數設置、數據校驗和日志管理等模塊，實現大洋數據的快速、準確加載。運用該加載系統，大洋資料中心完成了大洋“十二五”期間所有航次的調查數據加載，加載效果良好，該系統已成為大洋資料中心數據管理的重要基礎技術手段之一。

[1] 韓春花，梁建峰，張俊明，等.大洋數據管理與共享平臺設計，計算機與現代化，2012，7：218-221.

[2] 姚琦云.將外部文件中的數據加載到Oracle 表的若干方法[J].電信技術，2000，8：45-46.

[3] 周敏.如何實現ORACLE 外部文件數據的自動加載[J].金融電子化，2000，11：14-17.

[4] 滕永昌.將Excel 數據加載到Oracle9i 數據庫[J].電腦知識與技術：學術交流，2006，9（26）：126.

[5] 張希.文本數據文件向遠程ORACLE 數據庫加載的實現方法[J].計算機系統應用，1996，12：45-46.

[6] 姜典言，吳濤，張麗茹.海量數據裝載工具SQL Loader 技術分析[J].無線電工程，2012，42（5）：57-60.

[7] 石綏祥，雷波.中國數字海洋——理論與實踐[M].北京：海洋出版社，2011.

[8] 唐江浪，李剛.基于GeoFrame 二維地震數據加載的研究與應用[J].軟件，2013（4）：23-25，56.

[9] 梁宇，苗放，陳富龍.基于World Wind 的數據加載方法的研究[J].電腦與電信，2014，1：22-26.

[10] 王舒遲，邢會民.勘探開發動靜態數據庫數據加載研究[J].天然氣與石油，2013（6）：13-15，69.

[11] 孟照旭，于會松，趙愛國，丁韋.全準噶爾盆地解釋項目數據庫地震數據加載方法[J].新疆石油地質，2009，30（3）：376-378.

[12] 孫強，孫龍清.統計數據加載模型的研究與實現[J].微計算機信息，2009，18：155-157.

[13] 張守昌，吳雅麗，施大廣，等.油田地震勘探數據建設探索[J].中國管理信息化，2013，22：45-47.

[14] 先曉兵，常晉義.數據倉庫實現中ETL 的應用研究[J].計算機與現代化，2007，10：43-46.

[15] 熊忠陽，張玉芳，吳中福.數據倉庫數據加載技術[J].重慶大學學報（自然科學版），2002，25（2）：106-108.

[16] 孫安健，王星，閆曉瑜.通用ETL 工具的研究與實現[J].計算機應用與軟件，2012，29（12）：175-178，210.

[17] 劉麗麗，莊成三，周艷芳.基于XML 與.NET Remoting 的數據傳輸與加載[J].計算機與現代化，2004，5：81-83.