WOD與Argo數據集的排重方法與軟件實現?

紀風穎， 于 婷,2， 董明媚,3， 梁建鋒(.國家海洋信息中心，天津 3007；2. 中國海洋大學，山東 青島 26600; 3.天津大學，天津3007)

?

技術報告

WOD與Argo數據集的排重方法與軟件實現?

紀風穎1， 于 婷1,2， 董明媚1,3， 梁建鋒1
(1.國家海洋信息中心，天津 300171；2. 中國海洋大學，山東 青島 266100; 3.天津大學，天津300171)

海水的溫度和鹽度是描述海水性質的重要物理量，其時空分布和變化幾乎與海洋中所有現象都有密切的聯系。因此世界各國都非常重視對海水溫度和鹽度的觀測。自1772年第一個海水溫度觀測數據記錄在案，截至目前全球已經積累了2 000多萬站次的溫鹽數據。由于目前海洋調查中儀器自動觀測、衛星傳輸數據的特點，導致同一個觀測數據會被重復定位和傳送接收多次，而國際上不同的數據收集計劃，導致同一個數據也被不同的數據集所收集。這些被重復收集的數據，可能會造成錯誤的海洋特性的研究與分析結果。針對多來源重復收集的國際海洋數據問題，首先根據觀測儀器精度、觀測頻率，研究設定了不同儀器重復數據判斷參數?；诤Ａ刻幚砉δ芎腿斯そ换ナ讲僮鞯男枨?，基于Windows平臺，在Win32體系架構下，選用VisualC++ 6.0作為項目開發工具，圖形顯示部分則直接調用圖形顯示功能比較強大MATLAB的圖形函數庫完成，使用窗口嵌入技術將MATLAB圖形庫生成的圖形完美融合到VC開發的界面中，實現了海量溫鹽數據的準確排重。對目前應用最為廣泛的海洋數據集(WorldOceanDatabase,WOD)數據集、Argo浮標數據集進行了數據集內和數據集間的排重，為溫鹽數據集的整合奠定了基礎。

Argo；WOD； 排重； 排序

海水的溫度和鹽度是描述海水性質的重要物理量，其時空分布和變化幾乎與海洋中所有現象都有密切的聯系。現有的數值同化模型、海平面高度變化和業務化海氣耦合模式都迫切需要海洋溫度和鹽度數據，從而改進模式的初始場和邊界約束條件。由于對于全球海洋溫鹽數據的需求，海洋觀測儀器不斷更新換代，從最早的顛倒溫度計、機械式溫深計(Mechanical Bathythermograph，MBT)、溫鹽深自計儀(Conductivity-Temperature-Depth，CTD)，到今天的自持式拉格朗日環流剖面觀測(Argo)浮標、水下滑翔機(Glider)等，獲取數據方式也從人工讀數發展到今天的衛星定位和自動傳輸。由于任何一個國家都不可能單獨完成全球海洋數據的觀測工作，為此，眾多全球/區域海洋觀測、資料收集計劃應運而生，如世界海洋環流實驗(WOCE)、全球溫鹽剖面計劃(GTSPP)、全球Argo浮標陣列觀測計劃等等，這些觀測計劃為海洋研究和管理提供了大量的溫鹽數據。但是新的觀測儀器和數據收集機制也帶來了重復數據的問題。

對于Argo、Glider和浮標等自動觀測并由衛星進行定位和傳輸觀測數據的海洋調查儀器，雖然精度高，時效性強，但是同一個觀測站的數據需要向衛星重復傳送多次，以保證數據接收完整。在向衛星傳輸數據的過程中觀測儀器本身仍在運動，衛星繼續定位，加之部分衛星系統定位誤差可以達到數百米，這樣同一個觀測站數據所對應的定位時間和定位位置存在很大差異。多次傳輸過程也存在數據接收不完整，不完整數據和完整數據以不同觀測站數據發布，從而造成了重復數據。

對于全球溫鹽數據的收集與發布，以美國國家海洋大氣局/國家海洋數據中心(NOAA/NODC)的海洋氣候實驗室(OCL)制作的世界海洋數據集WOD[1]最為著名，其數據時間序列長，其海水溫度數據可以上溯至1772年，鹽度數據的最早觀測時間為1803年；覆蓋范圍廣，數據來源眾多，包括Argo計劃、GTSPP和WOCE等300多個全球或區域海洋觀測/數據收集計劃。更新頻率也較快，每隔3～4個月，美國NODC網站都會發布WOD收集到的最新數據，截至2013年6月該WOD數據集已經發布了2 000多萬站次的溫鹽數據。

另外，法國和美國2個全球Argo數據中心也實時(逐日更新)發布自1998年全球Argo觀測計劃的開始實施后獲取的100多萬個高精度的溫鹽剖面數據。由上可見，眾多的觀測項目由不同的國際機構發起，數據收集渠道不同，導致同一個數據會被不同的數據集所收集，而全球資料中心沒有實施嚴格的排除重復數據工作[2-4](以下簡稱排重)。

在數據集的綜合利用中，如果簡單的合并使用，這些重復接收和重復收集造成的重復數據，勢必會影響海洋氣候和變化趨勢的研究與分析結果。排除數據集中的重復數據成為數據處理工作中的一個重要組成部分。美國海洋數據中心也指出了排重工作的重要性，并提出了重復數據和“準重復數據(near-duplicate data)”的定義，但并沒有介紹WOD數據集排重工作進展和結果，發布的數據中也沒有相應的標識。全球Argo數據中心同樣沒有相應的排重工作報告。

為了保障海洋數據分析與相關研究的嚴謹性和正確性，本文根據儀器觀測周期、精度和傳輸頻率確定了判斷重復數據的關鍵信息項以及對應的臨界值，制定了排重處理流程，開發出相應的軟件，對WOD和Argo數據集進行了數據集內和數據集之間的精細化排重。排重結果表明這2個數據集本身存在不同程度的重復數據，而2個數據集也不是簡單的包含關系，而是交叉重復。

1 判斷重復數據的關鍵信息項

排重工作的關鍵是重復數據的判斷。重復數據從字面上可以簡單地定義為完全相同的數據。這個概念容易理解但不容易實現。目前所有的溫鹽數據基本采用計算機進行采集存儲，而計算機只能用固定的存儲位寬來存儲數據，因此計算機存儲的浮點類型數據能夠表示的實際數值不僅有限，而且離散。即使完全相同的數據在不同的計算機操作系統下存儲也有所差異。而對于觀測數據的背景信息項，如調查儀器、航次號、調查船等需要用字符串表示的信息，若編碼規則、寫法順序不同，結果數據都不可能完全一樣。因此對于WOD這種來源眾多的數據集，采用完全相同來判斷重復數據具有很大的局限性，其結果與實際情況相差很遠。

而對于Argo、Glider和浮標等自動觀測并由衛星進行定位和傳輸獲取的觀測數據，單純采用完全相同方法也無法解決多次傳輸，多次定位造成的重復數據問題。

針對以上2種情況，必須根據儀器觀測和傳輸數據的屬性，精確判斷重復數據。而這個處理過程中需要首先確定表征數據的信息項，這些信息項不能太多，太多容易丟失重復數據；也不能太少，這樣會造成誤判。通過以上對造成重復數據的原因的分析，確定表征數據的關鍵信息項(Key item)為觀測儀器、觀測時間、觀測經緯度、觀測數據，輔助說明信息項為國家、調查機構、調查項目，其余信息在目前的排重工作中忽略不計。

2 重復數據與準重復數據的判定

根據已確定的判斷重復數據的關鍵信息項，本文對重復數據的定義為：關鍵信息項都相同的數據。在計算機判定中即為關鍵信息項的差異不大于設定的重復數據臨界值。

目前WOD數據集中包含11種海洋觀測儀器獲取的溫鹽數據，具體為：大面測站、CTD、MBT、拋棄式溫深儀(Expendable Bathythermograph，XBT)、海表面記錄儀、自治式生物攜帶溫鹽計、錨系浮標、Argo浮標、漂流浮標、走航CTD以及Glider等。這些儀器觀測方式和精度各不相同，WOD也按照儀器將數據存放于不同文件中進行發布。因此目前只對同種儀器獲取的數據進行排重工作。

除了觀測儀器，關鍵信息項又可以分為2部分：測站的位置和時間，以及水下1～5000個層次上對應的層深、溫度和鹽度數據。測站時間和位置比較即為測站之間時間間隔與空間距離的比較，因此在重復數據判斷中需設定測站的時間間隔和空間距離臨界值。針對目前儀器的海洋觀測方式、傳輸方式、儀器的精度，以及數據集的制作方式，確定如下完全重復數據臨界值[5-10]，并根據數據的時空分布情況和排重結果對其進行了后期調整。

(1)觀測儀器完全相同。

(2)目前基本所有觀測儀器采用全球定位系統(Global Position System，GPS)進行定位，因此距離臨界值都設定為10m；

(3)采用如下規則來確定測站時間間隔的臨界值：

(a)對于人工下放觀測的大面測站、CTD、MBT和XBT，其時間間隔臨界值為完成一個測站觀測所需的最少時間；

(b)對于自動觀測的Argo浮標、漂流浮標、Glider、和走航CTD，則時間間隔臨界值為完成一次觀測所需時間的最小值，以Glider為例，其完成一次觀測基本為3～9h，因此對于Glider，重復數據的時間臨界值為3h；

(c)對于生物攜帶溫鹽傳感器，根據生物下潛和上浮時間一般情況，目前主觀定為時間臨界值為1min；(d)海表面記錄儀來源于志愿船走航觀測，根據常規觀測頻率并瀏覽相應的觀測數據，時間間隔臨界值為10s；

(e)由于WOD中錨系浮標數據為日平均數據，因此其時間間隔臨界值為24h；

(4)考慮到目前水深測量的精度，確定層深數據重復的臨界值為不大于1m；

(5)對于同一測站數據接收不完整的情況，做如下處理：假定A、B兩個測站的水下數據，并且A的層深個數≥B的層深個數情況，首先按照規則(3)找到A、B中相同層深數據組成新的測站C、D，若D的層深個數小于B總層次數的95%，則不進行進一步比較，否則對同層溫鹽數據進行逐一比較；

(6)對于觀測主體為CTD的下放式CTD、拋棄式CTD(XCTD)、走航CTD(UCTD)、漂流浮標(在WOD中漂流浮標為漂流的溫度鏈或CTD鏈)、Argo、Glider、生物攜帶CTD，觀測數據的重復標準為同層觀測數據溫度差異不大于0.01℃，鹽度差異不大于0.01。對于觀測主體為BT的MBT、XBT和海面浮子，重復數據的標準為同層溫度差異不大于0.1℃。具體判定重復數據的臨界值見表1。

對于準重復數據，參考WOD09的說明文檔，從2個方面定義準重復數據：觀測經緯度和時間相同，觀測數據不同；觀測數據相同而時間和位置不同。鑒于目前計算機的計算和存儲能力，在軟件設計與實現中，對于準重復數據只限定為測站位置和時間小于重復數據臨界值，觀測數據不同的一種情況進行了處理。

表1 WOD中不同儀器判別重復數據的臨界值Table1 Duplicate threshold values of different instruments in WOD

注：1深度數據相差小于1 m時視為同層。Depth differnece is less than 1 m.2PSS-78鹽標。Practical Salinity Scale 1978.

3 排重流程

對于2 000萬站次、所需存儲空間高達42GB的WOD數據集，每一個測站數據關鍵信息項都包含了觀測時間、觀測位置、觀測數據(一般大于10層)，2 000萬站次數據的比較，實際工作量是2億多個數據的比較，即n≥2億。普通計算機的內存無法滿足如此大數據的比較計算。只能采用文件存儲，比較計算中需要不停地進行文件讀取，會造成巨大的時間浪費。

根據文獻[4]，對于大數據集比較計算的情況，首先進行排序，然后進行比較。對于大數據量的WOD，排序方法選取堆排序，其花費時間為O(nlogn)，對排序后的數據再進行比較，花費時間為n。這樣整體數據的比較時間由原來的O(n2)降為O(nlogn)。

實際計算中，對于同一數據集，首先按照觀測儀器將數據分門別類存放。對相同觀測儀器的數據，首先按照觀測時間和經緯度進行堆排序，從而挑選出時間間隔和空間距離小于重復臨界值的站點，再對對應的溫鹽數據進行兩兩比較。對于溫鹽數據完全相同的數據，保留附加信息多的站點。

對于數據集之間的排重，設定資料原始收集者制作數據集的級別為1級，而第二手或第三手的收集者，相應的為2級和3級。對于WOD和Argo數據集的比較，則Argo數據的級別為1級，WOD中Argo數據為2級。在數據集比較后，對于完全重復數據，優先保留直接從原始收集者那里得到的數據。對于準重復數據，仍采用保留附加信息多、數據體更完整的數據原則。具體流程見圖1。

圖1 排重的流程Fig.1 Flow chart of eliminating duplicate data

4 排重軟件功能設計

根據排重的流程，排重軟件不僅需要滿足日常工作需要，并且需保證能夠在穩定運行的基礎上，對海量的溫鹽數據進行及時有效地排重。同時軟件系統架構上需靈活化和自動化，系統的各部分功能既能夠作為整體中的部分使用也能單獨提供使用。軟件必須具有以下功能：

(1)大數據量處理功能。由于海洋溫鹽數據量龐大，單次排重的數據量可能會到達數千萬站次，排重程序應滿足對數千萬站次數據的處理能力。

(2)數據讀取功能。根據用戶選擇方式的不同，靈活的讀取數據集文件，包括：讀取單個文件；讀取同一文件夾多個文件；讀取不同文件夾下的多個文件。

(3)數據集內部排重與數據集之間排重方式的設置與實現。

(4)設置重復數據參數。對于不同儀器，重復數據的參數各不相同，因此軟件必須具有靈活設置重復數據參數的功能，見圖2。(5)自動排重功能。根據用戶所選文件，設置的排重方法和參數，對多個文件進行自動的排重，剔除完全重復數據。

(6)人工審核功能。在程序自動排重的基礎上，對軟件判定的準重復數據提供交互式可視化界面，通過人工審核確定重復數據。人工審核主要具有如下功能：顯示數據的輔助信息項、在重復站位信息列表分組顯示準重復數據站位信息、用不同顏色顯示不同重復數據；表格顯示剖面數據，并與站位信息一一對應；人工標識判定重復數據。

(7)整合排重結果導出功能。根據用戶排重過程中重復數據標識，剔除重復數據，按照統一的溫鹽數據格式輸出為標準數據格式文件，對剔除的站位數據輸出到對應目錄。

(8)批量排重處理功能。在對排重方法和排重參數研究和確認的基礎上，按照用戶設置的參數對批量文件支持排重處理功能。

5 排重軟件的開發與實現

基于海量溫鹽數據處理功能和人工交互式操作的需求，該排重軟件運行環境為Windows系列平臺，主界面以及數據的處理、質量控制部分使用VC6.0開發，圖形顯示部分則直接調用圖形顯示功能比較強大MATLAB的圖形函數庫完成，使用窗口嵌入技術將MATLAB圖形庫生成的圖形完美融合到VC開發的界面中。所以本軟件在圖形顯示方面具有較強的靈活性以及較好的顯示效果，用VC開發數據處理部分也保證了該軟件的運行效率。

圖2 設置重復數據臨界值界面Fig.2 The interface for setting duplicate threshold values

圖3 準重復數據的人工審核界面Fig.3 The interface for visual check of near-duplicate data

6 排重結果

(1)數據集內排重。采用該軟件對WOD和Argo數據進行排重，由于美國海洋數據中心每3～4a制作發布WOD數據集光盤，并在線更新WOD更新數據集，因此對最新版WOD09數據進行排重，并對光盤發布之后的數據集進行排重。

表2 WOD數據的重復率Table 2 Duplicate ratio of WOD

注： 1. 分子為重復站次數，分母為總站次數。Moleculeisthenumberofduplicatestations，denominatoristotalnumberofstations.

2. 采用表1中錨系浮標的重復數據參數。Usingthethresholdvaluesintable1.

3. 采用表1中錨系浮標的重復數據參數，但時間間隔改為1min。Usingthethresholdvaluesintable1，buethetimeintervalis1minuete.

通過計算結果可以發現，WOD09的數據重復率基本小于0.3%，只有錨系浮標和走航CTD的重復率較大。而對于錨系浮標，由于WOD其用戶手冊說明數據均為日均值，設定重復數據時間間隔為24h。但通過人工審核數據，發現1990年以后，部分錨系浮標數據的間隔為30min～1h，因此將重復數據的時間間隔參數調整為30min，其余參數不變，重新計算后得到錨系浮標重復率為0.06%。考慮到儀器的更新換代，錨系浮標的觀測頻率可以達到1min，因此將時間間隔改為1min，對2009年以后錨系浮標重復數據進行排重，與時間間隔為10min時，重復率幾乎沒有變化。大面測站采用時間參數為1min；重復站次數由438675變為438327，僅降低了0.07%。由此可以說明重復參數設置比較合理，而重復數據是客觀存在的。

對于WOD中的走航CTD數據，通過人工審核準重復數據，發現重復數據的觀測深度一般在300m左右，忽略海水的浮力和阻力，走航CTD以自由落體的方式到達這個深度需要8s，因此把時間間隔臨界值設置為10s，發現重復數據仍然不變。因此在現有的重復數據參數下，走航CTD的重復率較高，為0.8%。造成重復的原因應該為后期數據處理造成的。

以上結果表明軟件設置的重復參數的有效性，采用相同參數，對WOD09光盤發布后美國海洋數據中心網站發布的更新數據進行排重，發現重復率基本都超過了3%，進一步證明了重復參數的有效性，另一方面也說明WOD09數據集光盤制作過程中進行了有效地排重工作，而網站發布的數據沒有經過排重。

(2)溫鹽數據集之間排重。利用該軟件對WOD中的Argo數據和法國全球Argo數據中心發布的Argo數據進行了數據集間的排重測試。

在數據集間排重之前，采用表1中重復數據參數對法國全球Argo數據中心發布的Argo數據進行了數據集內排重，發現此數據集的重復率僅為0.1%，重復數據主要有2種：(1)同一個浮標觀測的同一個數據命名不同造成的重復；(2)不同的浮標的數據完全相同。這都應該是后期處理誤操作造成的。這個結果與文獻2中Argo數據重復率0.5%略有差異的原因，是本文對Argo數據重復數據判別準則更加精細而造成的。

由于WOD數據集更新頻率較慢，因此對于2013年1月1日之前經過排重后的2個Argo數據集進行了排重。結果見表3。

表3 WOD與Argo數據的重復率Table 3 Duplicate ratio of WOD and Argo dataset

Note: ①Numberofstations;②ArgodatafromGDACinFrench/ArgodatafromWOD;③Totalnumberofstations;④Numberofduplicatestations;⑤Numberofnear-duplicatestations

通過軟件可視化剖面數據的圖形的比較發現，經緯度不同而數據不同的集中表現為2種形式：(1)深度與溫度相同，而鹽度不同；(2)層深相差2～4m，而溫度與鹽度相同。通過與美國NODC的技術人員溝通，確認出現此現象的原因為WOD中未采用訂正后的Argo數據所造成的[11]。由于收集渠道不同，2個數據集都收集了未參與全球Argo計劃的部分Argo浮標數據。因此在數據整合時，應該根據實際需要來決定數據源。

7 結果分析

該排重軟件已經應用于由MBT、XBT、CTD、Argo、Glider、浮標等觀測儀器獲取的溫鹽數據的排重，實現了多源、大數據量的數據排序、排重與合并等。該系統為業務化運行系統，整體性能良好，具有如下特點：

(1)高度模塊化：模塊化編程技術進行開發，可以提高系統的可重用性和可維護性，易于進行功能模塊的擴充和修改。

(2)交互性強：界面設計靈活，互操作性高，對于數據的瀏覽、人工審核以及查詢檢索都極其便利。

(3)高度自動化：除人工審核外，其他所有工作都無人工參與，全部自動運行，節省了人力物力。

8 結語

該溫鹽數據排重軟件已經應用于國家海洋信息中心國際海洋資料處理、科技部海洋數據共享平臺建設、海洋環境與地理信息服務平臺建設等項目中。系統開發人員一直跟蹤軟件使用過程，按照實際工作需要不斷調整程序的結構，最終實現了系統的整合、排重參數和排重方法調整與優化，并根據使用情況不斷的修改完善，極大地提高了溫鹽數據處理的速度，為溫鹽數據的整合和深層次應用和共享奠定了堅實的基礎。該系統的設計和實現具有廣闊的應用前景。

[1]BoyerTP,AntonovJI,BaranovaOK,etal.WorldOceanDatabase2009 [M].LevitusS,Ed.NOAAAtlasNESDIS66,U.S.Gov.WashDC:PrintingOffice, 2009: 216.

[2] 薛惠芬， 苗春葆， 董明媚， 等． 全球ARGO浮標及其觀測資料狀況分析 [J]． 海洋技術， 2005， 24(4)： 23-28.

[3] 陳帥， 王丹， 張志迅.WOD09的PFL數據和Argo數據的比較 [J]. 海洋技術， 2011， 30(4): 32-37.

[4]CliffordAShaffer.Apracticalintroductiontodatastructureandalgorithmanalysis[M], 張銘， 劉曉丹， 譯.1版. 北京： 電子工業出版社， 1998： 151-174

[5] 侍茂崇， 高郭平， 鮑獻文. 海洋調查方法 [M]. 青島： 中國海洋大學出版社， 2000： 31-52.

[6]GreenAW,Bulkdynamicsoftheexpendablebathythermograph(XBT) [J].Deep-SeaRes, 1984, 31： 415-426.

[7]HallockZR，TeagueWJ.ThefallrateoftheT-7XBT[J].JAtmosphOceanicTech, 1992, 9： 470-483.

[8]BoehlertGW,CostaDP,CrockerDE,etal.Autonomouspinnipedenvironmentalsamples:usinginstrumentedanimalsasoceanographicdatacollectors[J].JAtmosOceanicTechnol, 2001, 18: 1882-1893.

[9]DavisRE,OhmanMD,RudnickDL,etal.GlidersurveillanceofphysicsandbiologyinthesouthernCaliforniaCurrentSystem[J].LimnolOceanogr, 2008, 53(5): 2151-2168.

[10]EriksenCC,OsseTJ,LightRD,etal.Seaglider:Along-rangeautonomousunderwatervehicleforoceanographicresearch[J].IEEEJOceanicEng, 2001, 26(4)： 424-436.

[11]WongAPS,JohnsonGC,OwensWB.Delayed-modecalibrationofautonomousCTDprofilingfloatsalinitydatabyθ-Sclimatology[J].JAtmosOceanicTechnol, 2003, 20: 308-318.

責任編輯 陳呈超

Method and Software for Eliminate Duplicate Data for WOD and Argo Datasets

JI Feng-Ying1, YU Ting1,2, DONG Ming-Mei1,3, LIANG Jian-Feng1

(1. National Marine Data and Information Service, Tianjin 300171, China; 2.Ocean University of China, Qingdao 266100,China； 3.University of Tianjin, Tianjin 300171, China)

Temperature and salinity are essential quantities of oceanography, their distribution and varieties are closely related to almost all the process of ocean. They have been the major focus of oceanography observation in many countries. Until now more than 20 million temperature and salinity casts have been acquired since the first temperature were recorded in 1772. Because of the automatic observing nature and data transferring by satellite, a station may be transferred and received many times. In the meantime, some data may be repeatedly collected by different projects and shared by data exchanges. These duplicate data may induce error in oceanographic analysis and research work. In order to eliminate the duplicates, the primary step is to study and confirm the threshold parameters for data from different instruments based on the accuracy, transferred frequency. Then based on requirements of mass data processing functions and manual interactive operation, Visual C ++ 6.0 is chosen as the project development tool while the MATLAB graphics library is for powerful graphical display part is used for which is more directly using. Under windows platform and Win32 system, MATLAB graphics are embedded with VC interface to eliminate duplicate data from massive temperature and salinity data can be successfully accomplished. Currently this software area applied to check ocean temperature and salinity data from the most widely used dataset, WOD (world ocean database) and Argo dataset, and got the satisfied result, which lay the strong foundation for future dataset integration.

Argo; WOD; eliminate duplicate; heap sort

國家自然科學基金項目(41406024)資助

2013-11-18；

2014-06-10

紀風穎(1974-)，女，博士，副研究員，主要從事物理海洋數據的處理分析等工作。E-mail：2320130582@qq.com

TP

A

1672-5174(2015)08-121-07

10.16441/j.cnki.hdxb.20130360