李曉蘭,曹曉鐘
(1.成都信息工程學院,四川成都610225;2.中國氣象局氣象探測中心,北京100081)
隨著氣象觀測臺站數量的增加,氣象觀測資料的數量越來越龐大。為了確保氣象觀測資料的代表性、準確性和比較性,需要對觀測資料進行數據質量控制。CIMO(Commission for Instruments and Methods of Observation)中[1]將與地理坐標有關的、相當于物理單位表示的儀器讀數稱之為Ⅰ級數據,即原始數據。由Ⅰ級數據導出的數據稱之為Ⅱ級數據,即氣象參數。對氣象資料做質量控制提高數據的可用性,提供能真實揭示氣候、天氣變化規律以及用于產品決策的信息。
傳統的QC(Quality Control)主要根據氣象學、天氣學、氣候學原理,以及氣象要素的時間、空間變化規律和各要素間相互聯系的規律為線索,分析氣象資料是否合理。其方法包括:范圍檢查、極值檢查、內部一致性檢查、空間一致性檢查、氣象學公式檢查、統計學檢查、均一性檢查。這些方法被普遍應用到地面氣象資料的質量控制中[2]。
自從1999年中國開始建設氣象自動氣象站以來,針對自動氣象站的數據質量控制方法的研究越來越迫切。國外在自動化觀測數據質量控制方面做了許多研究工作,對提高數據利用率、增強設備維護都有很重要的意義。我國根據自身業務需求,提出了許多針對我國地面氣象觀測資料質量控制的方法,部分方法已經用于現行業務中,并取得了相應的成果。
近年來,國外在氣象觀測資料質控方面的研究日趨成熟,通過改進觀測設備和完善質控方法,使得氣象觀測資料的可用性得到了很大的提高。但是由于大氣本身是混沌的,測量數據受儀器和環境的影響較大,仍會存在數據質量的問題,因此在這些問題的基礎上,各國氣象學家針對本國氣象觀測情況,開展了大量的有關地面氣象觀測資料質量控制方法的研究。
在安達盧西亞(西班牙南部)農業氣候氣象數據信息網絡中引入質量保證程序來評估氣象資料的完整性和可用性[3]。該程序包括數據格式、范圍和界限值的驗證,時間和內部一致性、持久性和空間一致性測試。
緊接著,墨西哥氣象局地面觀測網絡第一次使用一個全面的QA(Quality Assurance)程序對風速記錄進行管理[4]。分析了總共139個測站的數據。QA過程集成11種質量保證檢查分為4類(可信值檢查、內部一致性、時間一致性和系統誤差)。記錄的一部分被質量控制過濾器標記,有近26%的風速記錄和5%的風向記錄顯示異常。
另外,美國對全球月、日、小時地面資料均進行了較完善的質量控制,制作了有代表性的數據集。緊接著在質量保證(QA)方面,美國已有研究員研究表明高效的質量保證程序在揭示氣象數據資料的異常值方面更省時省力。在這項研究中測量相鄰站使用的空間回歸測試提供了測量數據點的初步估計[5]。在一些的極端的天氣事件中采用空間測試研究模式標記數據,例如:1993年中西部洪水,2002年的干旱,安德魯颶風(1992),1990年10月期間一系列的冷空氣。
在美國俄克拉何馬州開發的一個網絡(Mesonet)中,質量控制方面程序包括四個主要組成部分:儀器檢定,實地測驗,自動化的計算機程序,人工檢查。確保儀器檢定中所有傳感器部署在網絡中均達到Mesonet指導委員會建立的高標準[6]。計算機每日自動進行常規數據監測,適當設置數據標志,提醒工作人員數據中潛在的錯誤。人工檢查提供了人類的判斷過程,用于捕捉微妙的錯誤,以及自動化技術中可能存在的錯誤。
基于對氣象資料質量控制方法的研究,國外研究者提出根據觀測到的氣象參數選擇適當的質量控制方法尤為重要,比如空間一致性或時間一致性等。但預期的數據的應用程序或者先驗知識的情況也必須考慮在內。所以利用氣象參數的空間和時間上的一致性,提出了基于自相關性和模型獨立的質量控制過程[7]。該方法適用于測量在時間和空間上具有較高的相關程度的觀測站網。所提出的質量控制程序可以被表示為一個數學上的最小曲率分析領域的優化問題。這個結果在矩陣方程,可以不需要收斂的迭代求解。另外,基于地面氣象航空資料,國外研究者采用內部的或者時間域上的或者閾值限制相互結合的方式來檢測氣象資料[8]。6種內部一致性的檢查以及3種時間一致性的檢查組成了更為復雜的質量控制方法。
在氣象觀測資料質量控制的研究過程中,氣象學家不僅針對相關氣象要素提出了特定的質控方法,同時也提出了更為高效的質控流程。利用國家級接收平臺,收集全國氣象觀測信息,通過分析大量臺站上傳的數據,從中找出質控算法中存在的不足,提出更合適的質控方法,從而提高氣象觀測資料的可用性。
對于氣象資料質量控制中單項檢驗為可疑的數據,如何進一步判別它的錯誤與正確,是氣象資料質量控制中的一個重大技術問題。王伯民提出氣象資料質量控制綜合判別法[9]。隨著觀測系統的加強,中國陸續出現許多新建的地面臺站、地面自動觀測站,徐枝芳等設計了關于新建地面氣象自動站的資料的質量控制方法[10]。任芝花等通過對全國自動站數據,建立全國自動站正點相對濕度資料和全國自動站逐小時降水資料的數據集,并通過深入分析錯誤數據存在的方式,制定了相關的質控方案并將其運用到了相關的資料質量評估中[11-12]。另外,對于地面基礎氣象資料中存在的問題,國家信息中心相關研究員結合國家級和省級氣象資料部門存儲的1951~2009年2474個國家級地面氣象站觀測的氣溫、氣壓、水汽壓、相對濕度、風向、風速、降水量7種要素信息化基礎數據,檢測并分析了數據中存在的問題[13]。
在中國氣象觀測資料一體化進程中,根據不同級別數據的特點,氣象學家針對設備級的采樣值和測量值也做了相關的研究,并提出了相應的質控方法[14]。研究表明,通過在自動氣象站的采集器對設備采集到的數據做相應的質量控制,使得上傳到計算機主機業務軟件接收到的數據更具有代表性。在此基礎上,臺站根據本站長期以來氣象資料的統計值做進一步的質量控制,使氣象觀測數據的準確性大大提高。
在中國氣象資料數據質量控制的發展中,除了中國氣象局氣象信息中心的相關研究員進行的相關研究,各省也根據自身的實際情況,積極開展科研創新,結合國家站與區域站的觀測資料,提出了很多有效的質控方法。
廣西省提出了基于用高度訂正方法確定區域自動氣象站氣候界限值;河南省提出了基于自動氣象站資料評估方法并將其運用于業務工作中取的了很好的成績;江西省建設了自動氣象站數據實時質量控制業務軟件并將其運用到本省的國家站和區域站的工作中;廣東省在自動氣象站全網遠程實時監控系統基本原理和系統架構的基礎上,完善本省區域自動氣象站探測網的監控保障業務,根據實時探測數據判斷采集器及各傳感器的工作狀態,實現故障信息的自動提取與短信報警;安徽省氣象局基于觀測資料一體化業務發展對數據連續性、時效性、一致性具有較高要求,強化數據質量控制、數據分析、設備運行監控和維護維修尤為重要。
根據現代化自動氣象站發展水平,為提高觀測數據質量,在自動化觀測的基礎上,建立基于軟件主動處理為主,人工被動干預為輔的技術體制,形成緊密聯系,分工明確,上下互動的四級綜合質量控制體系來替代原有的三級質控體系。此體系包括設備級、臺站級、省級和國家級質量控制。
以設備狀態作為數據質量控制的前提,從原始采樣數據開始逐級形成分鐘數據、小時數據、臺站空間一致性、通信線路狀態為一體的綜合質量控制。設備級和臺站級的質控,是今后地面氣象要素數據質量控制深入發展的一個重要方向。目前,國外在自動化觀測數據質量控制方面做了許多研究工作,對提高數據利用率、增強設備維護都有很重要意義。國內質量控制較薄弱,其方法和時效性較國外落后,并且針對自動化云、天觀測與常規要素的綜合質量控制算法尚屬空白。隨著新型自動站的投入使用,結合自動化云、天觀測與常規要素的綜合質量控制算法的研究變得尤為重要。
[1] WMO.CIMO/OPAG-SURFACE/ET-ST&MT-1/Doc.6.1(2)[R].Guidelines on Quality Control Procedures for Data from Automatic Weather Stations,2004.
[2] 劉小寧,任芝花.地面氣象資料質量控制方法研究概述[J].氣象科技,2005(3):119-203.
[3] J.Estéveza,P.Gavilánb,J.V.Giráldezc.guidelines on validation procedures for meteorological data from automatic weather stations[J].Journal of Hydrology ,2011:144-154.
[4] Roberto Chavez-Arroyo and Oliver Probst.Quality assurance of near-surface wind velocity measurements inMexico[J/OL].wileyonlinelibrary.com,2013,DOI:10.1002/met.1432.
[5] JINSHENG YOU AND KENNETH G.HUBBARD.Quality Control of Weather Data during Extreme Events[J].Journal of Atmospheric and Oceanic Technology,2005,(23):184-197.
[6] MARK A,SHAFER,CHRISTOPHER A,FIEBRICH.Quality Assurance Procedures in theOklahoma Mesonetwork [J].Journal of Atmospheric and Oceanic Technology,2000:474-494.
[7] Steinacker Reinhold,Mayer Dieter,Steiner Andrea.Data Quality Control Based on Self-Consistency[J].Monthly Weather Review,2011,139(12):3974-3991.
[8] Daniel Y Graybeal,Arthur T DeGaetano,Keith L Eggleston.Complex Quality Assurance of Historical Hourly Surface Airways Meteorological Data[J].Journal of Atmospheric and Oceanic Technology,2004,21(8):1156-1169.
[9] 王伯民.基本氣象資料質量控制綜合判別法的研究[J].應用氣象學報,2004,(S1):50-59.
[10] 徐枝芳,陳小菊,王軼.新建地面氣象自動站資料質量控制方法設計[J].氣象科學,2013,33(1):26-36.
[11] 趙煌飛,任芝花,張強適用于全國氣象自動站正點相對濕度資料的質量控制方法[J].氣象科學,2011,31(6):687-693.
[12] 任芝花,趙平,張強等.適用于全國自動站小時降水資料的質量控制方法[J].氣象,2010,36(7):123-132.
[13] 任芝花,余予,鄒鳳玲,等.部分地面要素歷史基礎氣象資料質量檢測[J].應用氣象學報,2012,23(6):739-747.
[14] 李偉,王柏林,李書嚴,等.自動氣象站觀測資料質量控制方法介紹[C].《儀器儀表學報》雜志社,2007:474-479.