壽縣氣象科學試驗數據集研制

溫華洋 朱華亮 陳鳳嬌 侯燦 段春鋒 劉惠蘭

（1 安徽省氣象信息中心，合肥 230031；2 安徽省氣象科學研究所，合肥 230031；3 安徽省氣候中心，合肥 230031）

0 引言

科學試驗觀測相較于傳統常規業務觀測，具有觀測儀器設備多樣，觀測方案設計理念先進，觀測目的性和針對性強的特點。如1998、1999年在壽縣開展的淮河流域能量和水循環試驗（HUBEX），應用了微波輻射計、移動通量觀測、多普勒雷達、天氣雷達等多種觀測設備開展協同觀測，形成了大量科學試驗數據，在揭示東亞大尺度環流、梅雨鋒降水特征、開發陸面過程模式、水文模式預報等方面取得了重大突破，相關成果于2000年陸續公開[1-6]?？茖W試驗數據在科研和業務中具有廣闊的應用前景，但另一方面，科學試驗數據科學性要求高、觀測時間相對較短連續性較差、人力物力保障條件要求高和資料共享相對滯后等問題，也是不容忽視的。對于數據集研制而言，常規業務觀測數據形成數據集，用戶更多關注數據是否易用（如格式簡潔、質控方法和業務中一致、更新頻次高），而科學試驗數據集用戶更關注原始數據處理方法、質量控制方法、儀器設備參數說明、設備協同情況等，這些對科學試驗數據集研制技術提出了更高的要求。

安徽省壽縣位于淮河流域，天氣氣候復雜多樣，為全球獨具特色的東亞季風區的典型區域，也是中國氣候觀測系統（CCOS）確定的黃淮農業生態觀測區。壽縣氣象站始建于1955年，歷經國家基本站、基準氣候站、國家氣候觀象臺變遷，開展觀象臺綜合氣象觀測系統的設計和示范建設，開展了常規自動氣候站、近地面層通量、大氣成分、風廓線、輻射和農業氣象觀測，以及大量的中外重大科學試驗觀測，至今已經積累了寶貴的常規觀測和科學試驗觀測資料。截止到2019年底，壽縣觀象臺收集的各類長期、連續、穩定的準業務化科學試驗觀測資料已經超過了6 TB。

為進一步發揮這些科學數據的價值，提升壽縣科學數據的共享服務能力，安徽省氣象局組織開展包括科學試驗數據匯交、數據集研制，共享服務平臺開發等一系列工作。而提升共享服務能力迫切需要解決的問題是如何在大量的原始資料中經過客觀、科學的處理分析，形成一批直接為科學研究與其他公益性活動利用的數據集產品。2017年以來，安徽省氣象局先后完成了包括地面、輻射、雷達、大氣成分、農業氣象和科學試驗等6類氣象觀測資料38個數據集研制工作。本文對本次數據集研制過程，包括源數據的確定、質量控制、實體數據集制作與處理、數據集檢驗評估和數據集說明文檔編制進行介紹，并討論了數據集在相關等領域的應用情況。以期進一步提升科學數據產品研制能力和標準化水平，加強科學試驗數據在數值天氣預報模式、水文預報模式的應用，為人民生產和生活提供氣象保障。

1 數據集研制

數據集研制過程一般包括源數據的確定、源數據質量控制、實體數據集制作與處理、數據集檢驗評估、說明文檔編制等環節。這些環節中要求遵循科學性、規范性和便捷性的基本原則，具體而言要求數據集設計中充分對接用戶需求，內容格式編排上從用戶角度出發使數據集使用方便，從而保證數據集是用戶需要的，用戶方便用的；研制過程則遵循現行的標準、技術規范和應用指南等，本次數據集研制參考了大量行業標準[7-10]，相關文獻[11-15]以及“氣象資料共享系統建設”[13]過程中形成的一些技術規范，如《氣象數據集元數據格式標準》《氣象數據集說明文檔格式標準》《氣象數據集組織及命名規定》等，這些規范實現數據集具有統一的元數據標準、統一的分類編碼和統一的命名規則?？茖W性則貫穿了整個研制過程，重點要求數據處理過程要科學客觀，有充分的依據。

1.1 源數據的確定

源數據的確定依據觀測數據本身特性和研制目的及用戶需求所確定。其中地面觀測資料因時間長、儀器變化多、探測環境變化、信息化手段等原因導致其尤為復雜。壽縣地面資料包含了1955年以來長期一直開展的人工觀測資料、2003年以來自動觀測資料、2012—2013年的新舊址平行觀測資料（原址壽縣縣城城南郊外，新址窯口鎮井圩村農田），以及不同時期不同型號儀器觀測資料。這些地面資料不同時期信息化形成了地面各類報表記錄文件如A0/A1、A6/A7、A、J、R01/R60文件（自記紙記錄的分鐘和小時降水數據文件）和Y文件等。如研制的分鐘降水數據集，其服務于用戶的長序列氣候資料分析，則源數據包括如下幾個部分：在2003年以前數據源為自記紙觀測資料，該部分源自2016年開展的地面降水自記紙跡線提取項目完成的分數數據集[16]，通過R01文件獲取；2004年起則為自動雨量傳感器形成的觀測資料，主要源自J文件，其中2012年及之前使用的為壽縣城南郊外原址資料，而2013年及以后使用的為窯口新址資料。若小時降水數據集則在1955—1990年源自R60文件，1991—2003年源自A7文件，2004及以后源自A文件。

科學試驗觀測數據中經常出現觀測儀器多、數據文件多且格式復雜的情況。如近地層通量觀測試驗形成的通量、梯度、風能類數據文件有8種之多，各類文件中包含多種儀器的觀測數據，如梯度定時觀測文件包含了125個要素觀測值（對應文件命名為PBL_VG_FT_IIiii_YYYYMM.TXT，其中IIiii為區站號，YYYYMM為年月），數據文件復雜。在研制梯度觀測平均風速數據集時，從該定時觀測數據文件中抽取風速觀測設備所有層（2 m、4 m、10 m、20 m和30 m高）的平均風速觀測數據，形成只包含10個觀測要素的數據集，數據格式簡明，且便于用戶綜合分析使用。

1.2 源數據的質量控制

地面、輻射、大氣成分、農氣等月報表文件資料一般均經過嚴格的質量控制。但在數據集研制前尚需要進一步進行質控，防止在轉儲等過程出現數據異常。其質量控制的方法（科學試驗中的常規資料亦同）依據相應的行業標準[7-8]開展。對于標準格式的數據可以直接利用地面自動站觀測資料三級質量控制軟件（CDQC）以及地面氣象測報業務軟件（OSSMO）進行質控和修訂。

科學試驗形成的資料，涉及新型探測設備的觀測資料，一般無成熟的質量控制方法標準規范，此時一般結合科技文獻以及世界氣象組織（WMO）等國際組織推薦使用的方法進行探索性質控。如壽縣開展的輻射觀測是依據世界氣象組織世界氣候研究計劃（WCRP）下地面輻射基準站網（BSRN）[10]的要求建立起來的。其數據集研制中，對于源數據的質控，除了常規的格式檢查外，對各要素采用如下方法：1）太陽直接輻射、散射輻射、總輻射、反射輻射、大氣長波輻射和地球長波輻射等要素依據中行業標準[7]完成氣候界限值、要素一致性和時間一致性的檢查，標記可疑的數據約4.79%。2）大氣長波輻射、地球長波輻射要素等還結合BSRN建議的檢查方法，如物理可能值檢查、極端值檢查和數據比較檢查等方法。通過檢查標記可疑的數據約1.64%。3）紫外輻射和光合有效輻射無文獻提供檢查方法，主要通過BSRN建議的目視檢查法。如圖1中給出了紫外輻射和光合有效輻射10月小時平均值，可以看出日出前和日落后無紫外輻射和光合有效輻射，日出后紫外輻射大于光合有效輻射，且12時前后輻射最大。基于上述規律將逐日變化數據與平均值疊加，用目視檢查法看逐日的小時數據是否符合上述規律，或者數值存在較大量級的差異，發現異常的數據需要結合地面觀測的日照、云量等數據進行一致性分析，確認是否異常。目前該項檢查項目未發現明顯異常。

質量控制方法將影響用戶對數據的判斷和分析工作，應在源數據中充分說明使用的方法、步驟或遵循的標準規范。

圖1 2014—2018年10月小時平均紫外輻射和光合有效輻射變化曲線

1.3 實體數據集制作與處理

各類資料經過質量控制后，形成規范標準實體數據集，對實體數據集的格式、內容、命名均有一定的要求。主要包括：

1）一般要求格式便于計算機識別，目前研制發布的數據集存儲格式均以TXT文件為主。內容格式以數據為主，不宜出現漢字和字母，特殊標記宜使用固定格式的字符表征。如微量降水一般使用“*”表示，缺測一般使用“/”表示等。

2）內容中一般要求包含區站號、經度、緯度、海拔高度、時間（如年份、月份、日期、時次等），對于風速、氣壓等對儀器高度敏感的要素還應該包含儀器高度（或者在數據集說明文檔中統一說明）。數據的單位無特殊情況宜使用常用國際通用單位，如海拔高度使用m作為單位，氣壓使用hPa作為單位，精度無特殊情況應與相應觀測規范[11]一致，如氣溫精度為0.1 ℃。個別要素存在較為復雜的情況，如能見度的觀測，1979年前使用等級觀測，1980—2014年起單位使用為km，精度為0.1 km，2015年起采用自動觀測使用單位為m，精度為1 m。為便于用戶使用，本次能見度數據集的研制中將單位進行統一轉換為米，統一精度為1 m。質控碼與文獻[8]中要求一致。

3）數據集按照《氣象數據集組織及命名規定》要求進行命名，一般要求命名能夠表征數據的資料分類、內容屬性、區域屬性、時間屬性和要素等。如CAWN_AER_BXSO_HOR_ASP.TXT，是壽縣國家氣候觀象臺氣溶膠散射特性數據集，由濁度計觀測而來，其中CAWN表示大氣成分資料[9]，AER表示為氣溶膠資料[9-10]，BXSO表示壽縣，HOR表示小時數據[9]，ASP表示散射特性[10]。

4）無法處理成標準規范格式和內容的應在數據集說明文檔中詳細說明現有的數據格式、組織結構、單位和精度等。

圖2 2014—2018年逐年NOx體積濃度日變化曲線（1ppb=10-9）

1.4 數據集檢驗評估

數據集的檢驗評估往往被認為是非必要，事實上，檢驗評估是數據集研制必不可少的環節。數據集檢驗評估中將對數據集原始資料的處理、數據完整性、質量狀況進行詳細描述分析，還可以進一步分析其典型應用情況，為用戶提供直觀印象，確定是該資料的價值和自身研究需要的相符性，減少大量重復勞動。此外，數據完整性和質量評估過程實際上是對數據集的一次質量控制，通過檢驗可能需要對數據集進行必要的調整。如在對大氣成分數據集研制檢驗評估中發現， 2016年后 NOx體積濃度日變化規律發生了明顯變化（圖2），其波谷在14時前后，而2016年后波谷在06時前后，但儀器觀測規范、軟件使用說明書等均未發現變化。技術人員通過對現場觀測設備和運行軟件的觀察，以及與廠家和軟件開發人員反復溝通，確定是觀測時制發生了變化，其中2016年1月26日13時25分前氮氧化物（NO、NO2、NOx）體積濃度按照北京時進行觀測，同日13時31分開始觀測時制改為世界時。據此將數據集中觀測數據的時制統一為北京時，修改后2014—2018年每年的氮氧化物體積濃度日變化規律基本一致（圖略）。

1.5 說明文檔的編制

為了描述這些數據集，需要編制數據集說明文檔、數據集元數據說明文檔和必要的附加說明文檔等。

數據集說明文檔是數據集實體的說明性、標注性文件，描述數據來源、數據集實體內容、數據的存儲信息、數據的時空屬性、數據處理方法、數據質量狀況、數據的完整性和其他有關數據特征的信息，對準確利用氣象數據是不可或缺的。以數據的時空屬性為例，壽縣前后有11次的拔海高度（包含2次遷站造成的）調整，不對其詳細說明將造成明顯的分析誤判。以氣壓為例，謝偉等[17]利用均值和標準差等統計描述特征對人工站和自動站差值研究表明（圖略，參見文獻[17]圖2），其差值的分布為“雙峰”分布，在研究其氣壓表海拔高度變化后發現，2006年11月人工觀測的氣壓表海拔高度由23.5 m調整到27.7 m，造成了約0.46 hPa的誤差，進行訂正后其差值分布變為“單峰”分布。同時這些數據也是均一化檢驗的基礎，吳必文等[18]的檢驗表明氣壓表高度調整造成了壽縣氣壓序列的非均一。

數據集元數據說明文檔內容包括：數據集名稱、數據集代碼、數據來源、數據集質量狀況、數據集分類、數據集時空標識、數據集共享級別和數據集責任人等信息[14]。其中數據集的共享級別決定了數據集共享的對象和范圍。此次研制的數據集為有條件開放共享，面向對象主要為國內從事非盈利性氣象工作的機構和個人、國內從事省部級以上非盈利性科研項目、公益項目的機構和個人（符合條件的機構或個人可以通過聯系本文通訊作者獲取本次研制的數據集。）

附加說明文檔是對數據集說明文檔的細化和補充，可包括但不限于數據集格式說明文檔、站點基本信息文檔、數據集檢驗評估文檔、觀測儀器設備功能規格書、軟件操作使用手冊和數據集建設背景評審應用相關文檔。如前文所述的謝偉等[17]和吳必文等[18]的文獻可以作為地面氣壓數據集的附件文檔，便于用戶較為全面地了解氣壓序列的狀況。

2 數據集應用

本次研發數據集面向氣象部門內、部門外的科研機構和高校開放，相關機構基于數據集開展專項研究，并嘗試了將準業務化的科學試驗數據應用于氣候變化、大氣環境評價等業務和服務中，使得業務和服務工作的創新性和科學性得到明顯增強，也取得了明顯的社會效益。如安徽省氣候中心等機構利用研制的通量和梯度氣象觀測數據集，用于監測評估中國東部季風區典型農田生態系統主要溫室氣體通量和碳循環過程變化，重點分析了碳通量變化特征，評估了農田生態系統碳收支狀況和固碳能力（圖略，參見文獻[19]圖4.8）。相關結論應用于《安徽省氣候變化監測公報》《中國氣象局氣候變化監測公報（2019年）》《中國氣候變化藍皮書（2019）》[19]等。安徽省氣象科學研究所利用大氣成分數據集，分析了顆粒物、黑碳氣溶膠和反應性氣體變化特征，評估了典型農田區的污染狀況，并支撐2018年1月中國中東部地區發生的嚴重污染過程分析[20]。相關結論應用于《安徽省生態遙感年度報告（簡版）（2019年）》《壽縣國家氣候觀象臺年報（2019年）》等服務材料中。

3 結論與建議

通過標準化的研制步驟和規范的文檔要求，完成2019年的壽縣科學試驗氣象數據集的研發工作，為相關資料共享服務奠定基礎。本文通過示例的方法簡要介紹了此次研制的基本過程和研發數據集的應用情況，同時認為今后需要關注如下幾個問題：

1）壽縣氣象數據中包含大量新型探測資料，其中部分數據的解碼、質量控制、統計加工存在標準規范欠缺，造成一些數據集尚以原始觀測資料為主提供共享服務。完善統計加工規范，開發新型探測資料的質量控制算法，特別是基于人工智能的質量控制算法研制，在未來值得進一步深入挖掘。

2）元數據對數據集的研制和后期的分析至關重要，現有科學試驗過程中儀器設備的性能、維修維護、數據處理過程等元數據經常出現記錄或移交不完整的情況，容易造成數據分析結論出現明顯偏差。因此，形成完整規范的元數據是今后科學試驗工作中需要關注并強化的環節之一。

3）數據集研制規范尚需向深度統一，在研制過程中還存在各類數據的內容格式、檢驗評估深度和元數據描述的詳略上存在差異，需要通過不斷完善研制規范細節上實現。

4）隨著中外野外氣象試驗基地建設和常規氣象觀測業務中目標觀測的推進，準業務化各類氣象科學試驗數據越來越多，如何與常規業務觀測數據進行互補，提升業務的科學性，實現業務的持續創新性，是科學數據進一步發揮應用效益的重要方向。