地面氣象資料質量控制的若干進展及未來建議

封秀燕

(浙江省氣象培訓中心，浙江 杭州 310008)

0 引 言

地面氣象資料是認識和預測天氣變化、探索氣候演變規律、進行科學研究和提供氣象服務的基礎,是天氣監測網收集的最重要的資料之一。因此,所收集資料的準確性和完整性關系重大。質量控制工作是確保資料質量的關鍵環節,起到重要的把關作用。質量控制業務系統的研制適應了目前地面自動氣象觀測系統的業務需求,對提高我國自動觀測站數據收集、處理水平,提高自動氣象站觀測資料的質量,進而提高自動站觀測資料對天氣預報、氣候研究的服務能力,發揮自動站的整體效益,乃至對氣象科學研究以及國計民生具有深遠的意義。

在“全球氣候觀測系統資料與信息管理計劃”中特別提出,為GCOS所建立的數據庫系統中的數據“必須經過嚴格的質量控制”,使“數據質量符合標準,以保證使用此類數據的研究人員能夠接受”。

因此,隨著氣象研究的深入,各國都進一步加強了對氣象資料的質量控制研究。近年來資料質量控制技術有了新的進展。我國在這方面的研究還有待于加強。以下主要概述近年國外在地面氣象資料質量控制中的進展及最新動態,并對我國該技術的發展提出若干建設性的意見。

1 近年來國外地面氣象資料質量控制技術的進展

傳統的質量控制(QC)主要根據氣象學、天氣學、氣候學原理,以氣象要素的時間、空間變化規律和各要素間相互聯系的規律為線索,分析氣象資料是否合理。其方法包括:范圍檢查、極值檢查、內部一致性檢查、空間一致性檢查、氣象學公式檢查、統計學檢查、均一性檢查。這些方法被普遍應用到地面氣象資料的質量控制中。

近年來國外地面氣象資料質量控制技術有了很大發展,如美國對全球月、日、小時地面資料均進行了較完善的質量控制。同時對全球歷史氣候網資料(GHCN)、全球日氣候資料數據集(GDCN)、全球地面小時數據集(ISH),通過一系列QC的計算法則,進行了自動和人工的質量控制。共使用了54種QC方法,包括:變量檢查、極值檢查、內部一致性檢查。

但目前該數據集檢查中未使用空間檢驗方法,NCDC計劃今后進一步發展。

2 當前國外地面氣象資料質量控制方法發展的新動態

2.1 自動觀測資料質量控制對傳統質量控制方法的挑戰

隨著觀測自動化技術的發展,產生了大量的自動觀測資料。自動化資料與傳統資料的QC方法主要差別在于:

傳統的QC主要面向人工觀測的數據,數據的時間跨度大,方法側重于對單個數據的檢查。電子傳感器及自動傳輸的發展,對傳統QC方法是一種挑戰。這是因為電子觀測系統更多的誤差是連續性的漂移,而不是孤立的誤差；因此,對資料的連續性檢查比單個數據的檢查更重要。

電子觀測儀器產生了更多的資料量,具有高時間分辨率,使得自動觀測資料比人工觀測資料需要更多的自動QC方法。

2.2 一些新的質量控制技術的使用

2.2.1 氣候資料質量控制的空間概率方法(A PROBABILISTIC-SPATIAL APPROACH TO THE QUALITY CONTROL OF CLIMATE OBSERVATIONS)

該方法是美國俄勒崗州立大學空間氣候分析所在原1990年建立的降水圖基礎上,又發展了氣候圖的一種新“空間質量控制”工具上實現的。該方法以氣候資料為背景、以統計檢驗為依據、加空間檢驗,是一種綜合檢驗方法。

新的QC系統針對自動觀測的變化及需要而產生,該方法被稱為PRISM(概率空間質量控制系統)。它使用了氣候圖技術和氣候統計對每個觀測值提供連續、定量的概率值。其QC過程由兩個嵌套的循環組成。在“日循環”中,PRISM對每個站逐日資料進行計算,首先將被檢查站去掉,使用所有鄰近站觀測資料,利用PRISM回歸函數,反復計算,得出被檢查站的“預報值”P、偏差R、回歸標準差S。

再計算每日的“長期平均”氣候值,計算每年逐日的平均值、標準差。

將每日觀測值、“預報值”、長期平均的氣候統計值用T-檢驗法比較,計算其概率值。

這種方法的本質是假設了氣象變量是正態分布,這對于氣壓,風,溫度這類,其概率分布是正態分布的隨機變量,是一種很好的方法。但是要注意,不適合象云和降水這樣的非正態分布的隨機變量,需要新的方法來作為其評估標準。

2.2.2 自動控制技術與人機交互可視化技術的結合

在自動控制中的的運算法則使用了傳統QC方法,由于實際地面氣象資料的復雜性,有人工目測的,有人工儀器測的,有雷暴、冷空氣等中小尺度和天氣系統邊緣影響下氣象要素水平空間分布明顯不連續性,因此完全自動控制是困難的。也就是說自動控制的運算法則不能替代有經驗的技術人員的判斷,對一些數據是正確還是錯誤,在界面層通過GUI和WEB平臺,可進行一周資料和一日的編輯瀏覽,用交互處理和圖表進一步人工判斷,即自動與人工相結合的方法。

總之,融合自動控制技術和交互式應用技術,提高自動進程及近實時的能力,也允許在必要時對特殊資料進行詳細的人工判斷。

2.2.3 美國地面自動觀測系統(ASOS)

美國地面自動觀測系統(ASOS)已經有超過1100個觀測站點,能實現數據的自動采集、質量控制、運行監控和數據傳輸和調用。在ASOS的運行中,對資料質量進行了3級監視和控制。

第一級QC在觀測站點內進行,在實時資料發送前完成。在一次觀測完成后,ASOS根據QC算法自動對傳感器探測的原始數據進行質量控制,防止錯誤數據編入報文。如果發現問題,則將有問題的數據從報文中去掉,在報文中加入相應的標志。

第二級QC是在州級,對通過通信網收集的自動站資料進行常規監測。當發現問題時,通知ASOS維護人員進行檢查處理,并對資料進行更正或停止對有問題的資料的使用。

第三級QC在國家級完成。將帶標志的資料、缺發的報文進行檢查和處理。

通過這樣3級的質量控制,能及時發現觀測數據的質量問題,保證實時資料的及時準確并監測自動站運行。

2.2.4 其它國家地面自動觀測系統質量控制

北歐5國(丹麥、芬蘭、冰島、挪威、瑞典)對自動站資料控制流程分4級:臺站級資料質量控制、入庫前實時資料質量控制、入庫后非實時資料質量控制以及人工質量控制。

3 我國地面氣象資料質量控制技術進一步發展的探討

3.1 國內地面觀測系統狀況

氣象觀測業務發展既要采用高新技術,更要提高科學內涵,發揮氣象業務系統整體效益。我國隨著氣象現代化建設的飛速發展,氣象探測從勞動密集型轉向技術密集型,自動氣象站已經成為地面氣象觀測業務平臺。2003—2016年,全國國家級氣象自動觀測站2474個,區域自動觀測站57414個。

我國地面觀測系統的變化使得觀測儀器、觀測方法、觀測資料的密度及信息量、數據文件格式等均發生了巨大改變,同時數值預報技術的發展以及全球氣候與大氣環境的研究需求,地面自動站觀測資料質量控制系統的研制已成為業務急需。

3.2 我國自動站資料質量控制技術及應用

2004年開始,國家氣象信息中心開始研制地面自動站觀測資料三級質量控制業務系統。項目以氣象要素自身的變化規律和各氣象要素相互聯系的規律為依據,針對臺站一日地面氣象觀測數據進行質量控制。質量控制軟件以氣候界限值檢查、極值檢查、要素內部一致性檢查、時間一致性檢查為主,在此基礎之上對有疑誤的記錄進行空間一致性檢查；對由業務軟件確認可疑的記錄,通過人機交互修改,進行人工審核。質量控制的結果不改變觀測記錄,而是通過質量控制,分別給出每個記錄確定質量控制碼,供使用資料時參考。研究成果對控制國家級地面自動站氣象資料起到較好的作用,對推進我國質量控制技術有很好的指導作用。

2005年浙江省氣象局開始研制中國氣象局新技術推廣項目地面自動站氣象資料省市級審核軟件研究應用。在云狀排序和雷暴移動軌跡；要素和天氣現象配合；地溫要素序列的標準差等要素內部一致性質量控制技術有突破,理論得到很好發展,并在實際中投入應用,取得實效。研究成果《地面自動站氣象資料質量控制軟件》在全國各省及自動站投入業務應用。

4 我國地面自動站觀測資料質量控制發展幾點思考

至2016年,我國近2474個國家地面氣象站安裝自動氣象站,大部分站在2003到2004年進行人工和自動站雙軌運行,2005年起自動氣象站單軌運行。目前自動站觀測的數據質量還存在不少問題。其原因之一是我國現有的地面氣象觀測資料的QC方法和業務規程主要是針對人工觀測站而制定的。缺乏從臺站、省到國家級完整的質量控制系統,沒有針對自動站新資料的QC方法和流程。

在自動站資料質量控制方案流程設計時要注重以下幾點。

4.1 強化臺站級質量控制

基于自動站資料的特點,在觀測站的質量控制就顯得更加重要。要充分發揮自動采集數據、計算機自動檢查資料的自動化優勢,使觀測站傳輸出的資料絕大部分得到很嚴格的控制。

臺站的實時質量控制是自動站資料質量控制系統的關鍵。因此,要在質量控制方案的設計中將所有能在臺站進行的質量控制全部做好。對于采集的每一個實時數據,都要及時進行檢查,有可疑數據,顯示提示信息,以人工判斷。在臺站上報的數據文件中要有質量控制的標識。

4.2 加強實時資料質量控制研究

通過無數業務和科技人員幾年的努力,對自動站地面非實時氣象資料的質量控制研究取得成果。由于自動站地面實時氣象資料實時性很強,需不間斷地對資料質量進行監控,我國的國情限制,每個測站只有一套儀器設備,沒有備份記錄資料,不能比較和恢復,對質量控制研究提出增加難度,目前現代氣象業務又迫切需要,加強實時氣象資料的質量控制研究是今后質量控制研究的主題。

4.3 注意自動站儀器的校準漂移等特殊問題

根據國外經驗,自動站儀器的校準漂移會使資料產生問題,在質量控制流程設計中要予以考慮。儀器使用一段時間后要對資料進行均一性檢查,以判斷觀測儀器漂移對資料的可能影響。

4.4 重視質量評估專家的作用

成功的國外質量控制方法表明,完全自動化的質量控制不可能解決所有的數據質量問題,對于一些特殊情況或問題的判斷還要輔助以人工檢查。必須采取計算機自動控制和人工相結合的方式。在各級,尤其是省、國家級要重視質量評估專家的作用。

5 我國地面氣象資料質量控制方法發展方向

通過分析國外地面氣象資料質量控制方法發展動態,結合我國自動站資料的特點,在使用QC方法上,提出以下幾個方面的考慮,用以指導未來的工作。

5.1 傳統的QC方法仍是主要的工具

國外經驗表明,即使針對自動觀測資料,其質量控制仍大量使用了傳統的QC方法。因為,傳統的QC方法基于資料所反映的大氣變量的物理、氣候特征,是資料必須遵循的基本規律。

5.2 自動控制和人機交互技術的結合

以自動控制為主,結合數據庫和人機交互技術形成方便調用的數據及良好用戶界面,輔以人工判別,是非常重要的。

5.3 氣候背景資料和統計檢驗相結合

計算技術及計算機能力的提高,使統計檢驗有了實現的可能。因此,使用大量的氣候背景資料,用統計檢驗的方法,對于判別資料的奇異點和儀器漂移,是一種好的方法。

5.4 空間檢驗方法的適當應用

若有條件,可應用空間檢驗方法,但由于資料計算量大,難度較大。不同時間尺度的氣候變量的空間變化特征不同,對小時資料,其空間變化太大。美國只在月、日資料(GHCN、GDCN)的檢驗中使用,在小時資料(ISH)中的質量控制還未使用該方法。因此,要適當應用空間檢驗方法。

5.5 對于象云和降水這樣的非正態分布的隨機變量,需要新的方法來作為其評估標準

這方面需要從數學和物理上聯合考慮,結合氣象的實際予以解決。這方面的研究,是很重要的,不僅可以提高地面氣象觀測的資料的質量,而且可以提高數值天氣預報的同化水平,對于提高數值天氣預報水平,是極為重要的。我國應加強這方面的研究。

參考文獻：

[1] 熊安元.北歐氣象觀測資料的質量控制[J].氣象科技,2003,31(5):314-320.

[2] 封秀燕,何志軍,王荷平,等.自動氣象站實時資料質量控制開放式平臺設計[J].應用氣象學報,2010,21(4):506-512.

[3] 何志軍,封秀燕,何利德,等.氣象觀測資料的四方位空間一致性檢驗[J].氣象,2010,36(5):118-122.

[4] 中央氣象局.地面氣象記錄報表審核辦法[M].北京:氣象出版社,1982.

[5] 中國氣象局.地面氣象觀測規范[M].北京:氣象出版社,2003.

[6] 中國氣象局.全國地面氣象資料數據模式[M].北京:氣象出版社,2001.