自動氣象站數據質量控制體系設計

白水成，李社宏，周　林

(陜西省氣象局，西安　710014)

?

自動氣象站數據質量控制體系設計

白水成，李社宏，周林

(陜西省氣象局，西安710014)

摘要：數據質量是影響自動氣象站觀測業務發展的一個瓶頸。重新定義了自動氣象站數據質量，分析了影響自動氣象站數據質量的因素，設計了自動氣象站數據質量控制體系，并對體系的各組成部分進行了詳細闡述。自動氣象站數據質量控制體系由質量控制流程、質量控制標識碼、數據質量評估三部分組成，其中,質量控制流程又由數據生產階段、數據傳輸階段、數據檢查階段組成。自動氣象站數據質量控制體系的核心是在減少疑誤數據產生的前提下，對觀測數據進行全生命周期控制和評估。

關鍵詞：自動氣象站；數據質量控制；體系

近年來，為了適應中小尺度、短時臨近精細化天氣預報和特殊行業服務業務需求，地面自動氣象站建設規模不斷擴大，觀測資料時空分辨率不斷提高。截止目前，我國已建成各類自動氣象站(AWS)5.7萬多套。AWS 觀測資料具有站點分布密集、地形差異大、測站環境惡劣、數據采集和傳輸自動化程度高、資料實時性強、中小尺度天氣現象明顯等特點, 因此其質量問題比人工常規地面站(CMWS)觀測資料顯得更復雜和嚴重[1-4]。傳統的質量控制方法主要根據氣象學、天氣學、氣候學原理，以氣象要素的時間、空間變化規律和各要素間相互關聯的規律為線索，分析氣象資料是否合理[5-11]。還有學者[4]發展了一種利用要素數值預報場對觀測數據進行質量控制的技術。目前，我國自動氣象站數據質量控制業務發展較快，多個省份開發了省級數據質量控制系統[12-13]，中國氣象局氣象探測中心開發了綜合氣象觀測系統運行監控平臺(ASOM)[14]，國家信息中心開發了氣象資料業務系統(MDOS)質量控制系統[15]。另外，新型自動站業務軟件(ISOS)也設計了部分質量控制功能。雖然地面觀測數據質量控制工作已經作為一項基本業務在國家、省、臺站三級開展，但地面觀測資料，尤其是區域自動氣象站資料利用率還很低，基本只做存檔或過程總結使用，沒有進入數值模式改善數據結果，很大程度上造成資源浪費。主要原因有三方面，一是目前的地面觀測數據質量控制主要集中在對觀測數據進行篩查，沒有從源頭上進行控制；二是為了避免將極端天氣觀測資料濾除，各類閾值設置的較為寬泛，只能將粗大誤差過濾出來；三是目前的質量控制業務政出多門、規則庫不統一。針對目前地面觀測數據質量控制工作中存在的問題，對數據質量進行了重新定義，分析了影響數據質量的因素，提出了一種全新的自動氣象站數據質量控制體系模型，并對體系的各組成部分進行了詳細闡述。

1自動氣象站數據質量定義和誤差來源

1.1數據質量定義

在傳統意義上，對地面觀測數據質量的要求是代表性、準確性、比較性[16]。近年來，各類數據質量控制業務均是圍繞數據準確性開展，采用各種算法對觀測數據進行甄別、篩查，并將質控過的數據打上正確、可疑、錯誤等標識碼。隨著地面觀測自動化的逐步實現，以及社會各界對氣象預報服務產品要求的不斷提高，對觀測數據質量的要求除了代表性、準確性、比較性外，還增加了完整性和時效性。完整性是指實際觀測到的正確數據與應觀測到的正確數據的比率，提高完整性就要盡可能減少觀測數據的錯誤率和缺測率。時效性是指觀測數據到達資料使用者的時間，提高時效性就要盡可能的縮短數據傳輸和質量控制的時間。新的數據質量定義不但要求剔除錯誤數據，還要求盡可能減少錯誤數據。

1.2影響數據質量的因素

從數據準確性方面來說，氣象觀測資料可能存在3類性質完全不同的誤差：隨機誤差、系統性誤差、過失誤差(偶然誤差)。隨機誤差主要受大量微小隨機因素影響，測量誤差大小和符號沒有一定規律，且無法估計，因此無法避免。系統性誤差包括儀器誤差、方法誤差、操作誤差等。在自動氣象站數據觀測過程中，可能引起系統誤差的事件包括計量檢定不及時、設備選型不標準等。過失誤差是由觀測過程中的非隨機事件如設備維護不規范、測量儀表失靈、設備故障等引發的測量數據嚴重失真現象。影響觀測數據代表性的因素主要是站址選擇不規范、探測環境被破壞等。影響觀測數據比較性的因素主要包括觀測時間、觀測儀器、觀測方法和數據處理等方面的不統一。影響觀測數據完整性的因素比較多，如設備維護、設備檢定、設備故障等。影響觀測數據時效性的因素包括通信線路、報文解析、質量控制、數據入庫等。

2自動氣象站數據質量控制體系總體框架

現有的數據質量控制主要建立在對觀測報文及觀測數據進行分析的基礎上，質量控制效果有限，如3 ℃以內的氣溫誤差很難被發現。為了全面提高自動氣象站數據質量，結合前面對數據質量的定義及對影響觀測數據質量因素的分析，提出建立自動氣象站數據質量控制體系這一概念。自動氣象站數據質量控制體系包括三部分：質量控制流程、質量控制標識碼、數據質量評估(見圖1)。質量控制體系的實施，需要在現有的業務系統中增加一個狀態文件，將數據生產階段各環節的質控信息傳到各級質控中心。

圖1　自動氣象站數據質量控制體系基本結構示意圖

2.1質量控制流程

質量控制流程是對觀測數據進行全生命周期質量控制，主要包括三個階段：數據生產階段，數據傳輸階段，數據檢查階段。數據生產階段是對觀測數據離開采集器前的各個環節進行質量控制，數據生產階段控制環節包括站址選擇、設備選型、設備安裝、設備維護、設備維修、計量檢定、數據采集等。數據傳輸階段是對觀測數據離開采集器到達資料使用者之間各環節的處理時間進行控制，確保觀測數據及早到達資料使用者，傳輸階段的環節包括數據傳輸、報文解析、數據入庫等。數據檢查階段是對數據報文和狀態報文進行解讀，數據報文的控制方法采用MDOS系統的質控方法，MDOS系統已投入業務應用，在此不作詳述。

2.2質量控制標識碼

質量控制標識碼主要是為資料的使用者提供有關資料的質量信息。質量控制流程各階段的每個環節在參與質量控制過程中，均留有標識，這些標識隨報文一起上傳，最終形成一個標識碼(可信度)。可信度用百分數表示，100%表示完全可信，0%表示完全不可信。各階段的標識碼和最終的標識碼與觀測數據一起提供給用戶，用戶根據需要自主選擇不同質量的數據。

2.3數據質量評估

數據質量評估包括兩部分：一是對質量控制的結果進行統計分析，二是評估質量控制的能力。質量控制評估可按月、季、年進行，并出具評估報告。

3質量控制流程設計方案

3.1數據生產階段

3.1.1站址選擇自動氣象站建設時對站址環境有明確要求，特別是對國家級自動氣象站。現實中，由于特殊服務的需要，如為農服務、交通服務、旅游服務等，所選站址不一定達到標準要求。另外，隨著社會經濟的發展，部分站點的探測環境還有可能被破壞。鑒于以上兩點，每年要對探測環境進行評估，并將評估分數錄入觀測系統。

3.1.2設備選型不同型號的設備觀測數據質量不同。雖然氣象部門規定只有獲得準入許可的設備才能進入氣象觀測系統，但是由于特殊服務的需要，部分沒有獲得許可證的設備也進入了氣象觀測系統。在設備安裝階段，要將設備型號錄入觀測系統。

3.1.3設備安裝設備安裝規范與否，對觀測數據的質量有很大影響。如地面溫度傳感器，規范要求一半埋入土中，一半裸露在空氣中，安裝稍不規范，就會造成5 ℃以上的誤差，因此應制定嚴格的設備安裝驗收制度。另外，設備安裝期間，觀測數據不準確，因此設備安裝完成后，要將安裝起止時間錄入觀測系統。

3.1.4設備維修設備故障是造成錯誤數據的重要原因之一，及時高效的維修能夠極大提高觀測數據的質量。維修往往具有滯后性，維修過程中，要對故障的發生時間進行判斷，維修結束后，要將故障的起止時間錄入觀測系統。

3.1.5設備維護及時維護是確保觀測數據準確的重要手段之一。每一類設備都應建立一套維護流程，明確維護時間。超過維護時效的儀器，觀測數據值得懷疑。在維護期間，部分要素的數據是失真的，維護結束后，要將維護的起止時間錄入觀測系統。

3.1.6檢定校準檢定校準是確保觀測數據準確性的一道重要防線，超過檢定期的設備，數據質量嚴重值得懷疑。在檢定過程中，觀測值也不可信，在檢定結束后，要將檢定的起止時間和檢定出的系統偏差錄入系統，并將系統偏差疊加到觀測值中。

3.1.7數據采集中國氣象局印發的《第二代自動氣象站功能規格書》中要求，采集器應具備監測電路，對觀測系統主要部件的運行狀態進行監控。目前ISOS軟件系統中生成狀態文件AWS_M_ST_IIiii_yyyyMMDD.TXT，但文件還沒有上傳。對臺站來說，觀測數據錯誤無外乎兩種原因，一是設備故障，二是外部因素干擾。加強對狀態數據的應用，能夠及早發現設備故障。為了與現有業務軟、硬件對接，在自動氣象站數據質量控制體系中，需要對現有狀態文件內容進行擴充，將數據生產階段其他環節的質控信息寫入該文件，并上傳至質控中心。

3.2數據傳輸階段

觀測數據從臺站到達資料使用者，至少要經歷以下傳輸過程：原始數據從臺站傳到省級信息中心，再從省級信息中心傳到國家級信息中心；原始數據被質控后，疑誤數據從國家級信息中心傳到省信息中心，然后連同省級的疑誤數據一并傳到臺站；臺站對疑誤數據甄別后，再將結果反饋至省級、國家級信息中心；質控過的數據最后進入數據庫，供使用者使用。總體來說，在整個過程中要經歷數據傳輸、報文解析、數據入庫等三個環節。依據現有的信息網絡技術，數據在傳輸、解析、入庫等過程中丟碼現象很少，本階段影響數據質量的原因主要是網絡中斷。為了提高數據傳輸質量，建設雙傳輸線路是非常必要的。為了便于評估，需要將原始報文的到報時間和質控后數據的入庫時間作為質控碼的一部分錄入數據庫。

3.3數據檢查階段

數據檢查階段除了對數據報文進行判斷外，還需要對狀態文件進行解讀。由于數據生產階段設備維護、維修，檢定校準等環節的質控信息具有滯后性，因此數據檢查階段的質量控制要分三個進程同時進行，第一個進程對過去1小時的數據進行控制，第二個進程對過去24小時的數據進行控制，第三個進程對過去1周的數據進行控制。由于數據生產階段的質控信息一般有人工參與，相對比較可靠，因此在數據檢查階段，一旦發現觀測數據在生產階段被標識為錯誤，便可不對該數據進行算法控制，直接標識為錯誤。

4質量控制標識碼設計方案

質量控制標識碼分為過程標識碼和最終標識碼，不同階段的標識碼在可信度指標中所占權重系數不同。各階段的標識碼見表1。

表1　質量控制流程標識碼

數據生產階段的各個環節決定了觀測數據的代表性、準確性、比較性、完整性，同時影響到數據的時效性，因此是數據質量控制的核心。生產階段總的權重系數P的計算公式為

P=P0P1P2P3P4P5P6P7P8P9。

(1)

數據可信度指標(L)計算公式為

L=PC，

(2)

式中，只有生產階段和檢查階段的權重系數進入了可信度指標計算，傳輸階段沒有進入，這是因為數據傳輸階段的各個環節除對時效性影響大外，對其它質量特性影響很小。

5數據質量評估方法介紹

對觀測數據質量的統計分析，用戶可根據需要依據質量控制標識碼對數據的代表性、準確性、比較性、完整性、時效性以及可信度進行統計、分析，統計方法和技術已經比較成熟，不做詳細介紹。對質量控制能力的評估，可通過對國家級自動氣象站的質控結果進行分析得出，因為國家級自動氣象站有人值守，運行管理規章制度較為健全，數據質量可以人工核實。

6結語

依據現實業務需求重新定義了數據質量的概念，分析了影響數據質量的因素，設計了自動氣象站數據質量控制體系框架結構和標識碼，提出了評價數據質量的可信度指標，并對數據質量評估方法進行了介紹。自動氣象站數據質量控制體系非常龐大，雖然在設計過程中盡量考慮與現有業務體系相銜接，但仍需對自動氣象站現有軟硬件、數據質量控制系統進行修改。建設這樣的系統，不但需要各方面的專家和技術人員，還需要建立健全各項規章制度作保證。

參考文獻：

[1]Shafer M A,Fiebrich C A, Arndt D S, et al. Quality assurance procedures in the Oklahoma Mseonet work[J].J Atmos Oceanic Techenol,2000, 17(4):474-494.

[2]Fiebrich C A, Crawford K C.The impact of unique meteorological phenomena detected by the Oklahoma mesonet and ARS Micronet on automated quality control[J].Bull Am Meteor Soc, 2001, 82

(10)：2174-2187.

[3]陶士偉, 徐枝芳.加密自動站資料質量保障體系分析[J].氣象,2007,33(2)：34-41.

[4]陶士偉,仲躋芹,徐枝芳,等.地面自動站資料質量控制方案及應用[J].高原氣象,2009,28(5)：1202-1209.

[5]徐枝芳,陳小菊,王軼.新建地面氣象自動站資料質量控制方法設計[J].氣象科學,2013,33(1)：26-36.

[6]劉小寧,任芝花.地面氣象資料質量控制方法研究概述[J].氣象科技,2005,33( 3)：199-203.

[7]QX/T 118—2010地面氣象觀測資料質量控制[S].

[8]韓海濤,李仲龍.地面實時氣象數據質量控制方法研究進展[J].干旱氣象,2012,30(2)：261-265.

[9]任芝花,許松,孫化南,等.全球地面天氣報歷史資料質量檢查與分析[J].應用氣象學報，2006，17(4)：412-420.

[10]封秀燕,何志軍,王荷平,等.自動氣象站實時資料質量控制開放式平臺設計[J].應用氣象學報，2010，21(4)：506-512.

[11]熊安元.北歐氣象觀測資料的質量控制[J].氣象科技,2003,31(5)：314-320.

[12]竇以文,屈玉貴,陶士偉,等.北京自動氣象站實時數據質量控制應用[J].氣象，2008，34(8)：77-81.

[13]傅娜,陳葆德,譚燕,等.上海自動站氣溫資料的空間質量控制與特征分析[J].大氣科學學報，2014，37(2)：199-207.

[14]李雁,梁海河,孟昭林,等.自動氣象站運行效能統計[J].應用氣象學報，2009，20(4)：504-509.

[15]中國氣象局.實時歷史地面氣象資料一體化試點實施方案[Z].2014.

[16]中國氣象局.地面氣象觀測規范[M].北京:氣象出版社,2003.

文章編號：1006-4354(2016)03-0042-05

收稿日期：2015-09-02

作者簡介：白水成(1980—)，男，河南澠池人，碩士，高級工程師，從事氣象探測技術研究。

基金項目：西安市氣象局科研項目“自動氣象站數據質量控制方法研究(Xp014-07)”

中圖分類號：P412.1

文獻標識碼：A

白水成，李社宏，周林. 自動氣象站數據質量控制體系設計[J].陜西氣象，2016(3)：42-46.