基于質控方法的地面氣象資料預警系統設計

邱忠洋+李濤+吳晶璐+陳宏波

摘要：準確、可靠的地面氣象資料是氣象和地球相關學科研究的重要基礎，是提高氣候預測水平的重要前提，為使氣象觀測數據具有更好的代表性、準確性和比較性，地面氣象資料預警系統在地面氣象資料數據入庫之前，需進行一系列的數據質量控制，控制方法除了傳統的極值，時間、空間、內部一致性檢查之外，還包括數據挖掘中的BP神經網絡算法。此外，系統設計過程包括后臺數據庫結構、前臺入庫及預警系統設計，該系統采用了多線程操作機制進行氣象資料解析入庫，提高了數據處理效率及預警信息的準確性，同時通過圖形化的界面展示預警信息，這在日常生活、農業生產及社會穩定等方面都有重要的意義。

關鍵詞：地面氣象資料；質量控制；數據庫設計；數據挖掘；預警

中圖分類號：P412.1 文獻標識碼：A 文章編號：0439-8114（2017）02-0339-05

DOI：10.14088/j.cnki.issn0439-8114.2017.02.033

地面氣象數據是制作天氣預報和氣候預測的基礎資料，其質量好壞直接影響著天氣預報和氣候預測的準確與否。中國在20世紀90年代末開始在部分臺站布設地面自動氣象觀測系統；隨著軟硬件技術的成熟，自動站建設速度明顯加快，至2011年，全國已經安裝了2 500多個地面自動氣象站[1]，這使臺站氣象觀測手段的自動化和數據傳輸速度持續增快，觀測頻率也大大提高，結果是海量數據被采集、傳輸和保存。因此，標注錯誤可疑的觀測記錄的質量控制方法是必要的，這樣才能快速的為用戶提供盡可能可靠的觀測信息，才能使預報員做出盡可能準確的業務決定。地面氣象資料觀測記錄是人類有器測以來最長的氣象資料，也是氣候狀況的關鍵參數。數據資料的準確與否直接影響氣象事業的發展，而地面氣象數據又最容易受到下墊面環境狀態的改變和人為觀測誤差因素的影響，所以地面氣象資料的質量控制顯得尤為重要。隨著科學事業的不斷深入發展，科技工作者迫切需要更高質量的氣象資料，也要求地面氣象觀測記錄必須具有代表性、準確性、比較性。然而氣象資料受到測站位置、測量儀器、觀測技術、觀測時間、觀測方法等方面的影響，尤其是長期觀測形成的地面氣象資料受各種非氣象因素造成的影響更大，使得氣象資料大打折扣，由此，氣象資料質量控制的重要性已為所有氣象科技工作者所公認。目前自動氣象站主要觀測要素為溫度、相對濕度、風向、風速、氣壓、雨量，在質量控制中將對這些要素進行處理。在此背景下，試驗設計了一種基于質量控制的地面氣象資料預警入庫系統，采用質控方法對氣象資料進行處理，以Visual studio作為開發平臺，以C#作為開發語言，并使用多線程操作機制提高系統處理氣象資料的效率，針對氣象資料多種氣象要素進行數據庫設計，以達到存儲海量氣象數據的效果。

1 系統相關技術

1.1 質量控制方法研究（QC）

地面氣象數據資料的控制和評估業務對保證氣象數據的完整性、可靠性、代表性具有十分重要的意義。課題組以數據質量控制和評估業務系統為基礎平臺，采用計算機技術實現各類氣象數據的質量控制、評估和數列均一性檢驗，以人機交互的方式實現氣象資料的訂正，確保為國家、省市級氣象數據存儲檢索提供準確、標準化、權威性的氣象數據資料。

1.1.1 傳統質量控制方法應用 傳統的QC方法基于資料所反映的大氣變量物理、氣候特征，是資料必須遵循的基本規律，在各國的QC中發揮主要作用。地面氣象資料上傳文件的各要素值的質量控制以實時檢查為主，檢查手段包括人機交互辨別手段，檢查方法包括數據預處理、氣候學界限值檢查、內部一致性檢查、時間一致性檢查、空間一致性檢查等[2]。①數據預處理，是指實現對氣象自動站通過GPRS通信網絡或其他方式傳遞到氣象局中心服務器的數據進行粗差判別，是質控的前期準備工作。②邏輯檢查，根據氣象要素在觀測規律以及氣象要素之間的內部關系對觀測記錄進行邏輯檢查，其邏輯檢查的內容包括溫度、濕度、風向、風速等。③氣候學界限值檢查，指從氣候學角度不可能發生的要素值、觀測記錄應在氣候學界限值之內的檢查。④內部一致性檢查，指同一時間觀測的氣象要素記錄之間的關系必須符合一定規律的檢查。⑤時間一致性檢查，指對氣象記錄在一定時間范圍內變化的規律性檢查。⑥空間一致性檢查，氣象要素在空間上的相關性檢查，主要方法有空間插值、空間回歸檢查、氣候統計比較法等。圖1為傳統質量控制方法簡介。

1.1.2 基于數據挖掘算法的質量控制方法研究 地面氣象資料歷史久遠，并且由于氣象站探測設備故障、人工誤差等原因不可避免的會出現一些誤差。雖然通過傳統的質量控制方法可以提高數據準確性，但為迎接未來天氣數據的準確、高效、實際可靠、具有代表性等發展趨勢，必須對氣象數據資料的質量控制方法做進一步的改進。經過資料查閱，有基于GIS的質控方法數據處理、基于混沌理論的質控方法數據處理等方法[3]，因此在系統中，課題組采用基于數據挖掘算法的質控方法對地面氣象資料進行綜合處理。由于地面氣象數據種類繁多，故選擇氣溫作為樣本測試要素，考慮到數據挖掘經典算法中BP神經網絡具有計算能力、抗干擾能力、容錯能力，加上自學習和自組織性良好、計算結果準確度高等優勢，就選擇BP神經網絡預測算法對氣溫數據進行處理，具體步驟如下：①初始化一組權值wij（0）和閾值θj（0）；②輸入數據沿網絡正向傳播，計算當前輸入模式實際輸出與預期輸出的誤差δ；③如果δ小于給定的？孜，轉至步驟⑤，否則轉至步驟④；④更新各節點閾值θj和權值wij，之后轉至步驟②；⑤輸出結果，算法結束，此時對所有樣本而言，網絡模型的輸出都可以滿足要求；

算法偽代碼如下：

輸入：訓練樣本氣溫，包含各個訓練元組及對應的數據集；

輸出：一個訓練好的神經網絡；

Init wij，θj（Random）//初始化權值和閾值While（預測誤差δ≥給定值ξ或訓練次數≤預測值）

{//正向傳播輸入過程For inputs中的訓練樣本氣溫數據{For each neuron j in hidden layer and output layer{Ij=∑iWijQi+θj//計算節點j關于前一層i的凈輸λOj=1/（1+e-Ij）}//使用Sigmoid函數將每個節點j的輸出映射到[0，1]的區間中//誤差逆向傳播過程For each neuron j in output layer Ej=Oj×（1-Oj）×（Tj-Oj）//依據已知樣本數據對應的真實負荷值，計算節點j的誤差Ej；For each neuron j in output layer Ej=Oj×（1-Oj）×∑（Ek×Wjk）//依據下一較高層中連接到節點j的全部節點的誤差計算該節點的誤差Ej；For網絡各個連接權值{ΔWij=r×EjOj，Wij←Wij+VWij}//連接權值更新For網絡節點閾值θj{Vθj=r×Ej，θj←θj+Vθj}//閾值更新}}

選擇氣溫數據作為輸入測試樣本，數據來源為氣象探測中心多個站點采集的氣溫數據。首先解析數據包進行數據清洗、集成、選擇、轉換，接著建立樣本庫、使用BP神經網絡進行處理[4]，用數據挖掘算法與使用普通質控方法得到的正確錯誤率進行效果對比，結果很明顯，使用數據挖掘算法使得氣象資料的入庫準確率得到了提高。

1.1.3 質量控制對數據可疑度分級及處理 系統將對通過GPRS或FTP協議傳遞的數據進行各項檢查處理，對于通過檢查的數據則認為是經過質控的數據，視為可信數據，沒通過檢查的數據被視為可疑數據。系統對可疑數據設定了4種可疑度：①A級，有足夠的證據證明其為錯誤數據，直接剔除；②B級，強可疑數據，為危險等級數據，將其從業務數據庫中剔除，作為參考檢測數據列入參考數據庫保存；③C級，可疑數據，數據比較可疑，但是具有一定的可信度，對此類數據只進行本地保存，不上報；④D級，弱可疑數據，數據有一點可疑，但可以作為可信數據進行處理，但要進行弱可疑備注。

1.1.4 綜合使用質控方法 為了讓入庫的氣象資料數據更準確、更權威、更有代表性，所以推薦綜合使用多種質控方法對氣象資料進行排錯、控制，以提高精度。圖2為綜合使用質控方法流程。

1.2 后臺數據庫的選擇與設計

開源Postgre SQL數據庫的對象-關系型數據庫管理系統是從伯克利設計開發的Postgre SQL軟件包發展而來，現在已經成為開源界功能最先進的開放源代碼的數據庫系統之一，可提供多版本并能控制，幾乎支持所有的SQL構件，擁有非常廣闊的開放語言綁定[5]。Postgre SQL作為一種自由的數據庫管理系統，與其他商業軟件相比，有其鮮明特征，包括①面向對象特征，可以自由添加屬性。②數據類型豐富，不僅包括數字字符，還可以包含點線面等類型。③全面支持SQL。④可以與Web集成，為用戶提供一種免費高性能的Web解決方案，支持ODBC和JDBC。⑤大數據庫，可以支持海量數據，存儲達到100 GB。基于上述特征，系統選擇Postgre SQL作為后臺數據庫。首先，以其免費特性為系統節省成本；其次，其大數據庫特性滿足了海量地面氣象資料存儲要求，極大地提升了系統的吞吐能力，提高了整個系統的穩定性；最后，系統的良好支持特性可以為未來前臺數據提取的項目開發提供良好的后臺數據庫支持[6]。用Postgre SQL可以對氣象數據備份、查詢檢索、氣象數據挖掘等。圖3為具體的數據庫設計。

1.3 地面氣象數據資料類型及處理

1.3.1 地面數據資料類型 隨著地面氣象自動站建設的發展，地面觀測資料除云、能見度、天氣現象等個別要素保留人工觀測外，其他要素以自動觀測為主。國家氣象信息中心從2005年正式收集“地面氣象觀測數據文件”A文件。A文件是以站月為單位的綜合觀測資料，包括氣壓、氣溫、濕球溫度、水汽壓、露點溫度、相對濕度、云量、云高、云狀、能見度、降水量、天氣現象、蒸發量、積雪、電線積冰、風、地溫、凍土、日照等要素的定時或日值資料[7]。因此，自動站數據質量的控制主要是對A文件的質量控制。由此可見，地面氣象觀測站提供的數據類型繁多，內容也比較豐富。

1.3.2 地面氣象數據資料多線程處理 數據資料是以Excel報表的方式存在，通過GPRS傳遞到中心服務器，由于報文種類的多樣性，系統采用了多線程的操作方式[8]，報文A使用相對應的主線程、讀寫線程、解析線程、入庫線程（圖4）。在使用多線程處理數據的過程中，一方面使用了線程同步機制，即處理數據的各線程依賴掃描主線程，需要掃描線程提供消息進行喚醒調用，而其他的線程則是處于等待狀態。另一方面當有若干個線程要使用共享資源時，又用到線程互斥機制，即任何時候最多只允許一個線程使用資源，其他要使用該資源的線程必須處于等待狀態，直到占用資源的線程釋放了該資源。

2 系統設計與實現

系統設計的任務是根據系統分析的邏輯模型設計應用軟件的物理結構，系統物理模型必須符合邏輯模型，才能完成邏輯模型所規定的信息處理能力。為進一步提高地面氣象資料的可靠性、實用性、權威性及代表性等特征，設計了基于質控的地面氣象數據預警入庫系統，該系統集成了多種實時數據質量控制功能，以提高數據準確率；采用多線程操作機制對氣象數據進行處理，以提高系統的穩定性能；使用Postgre SQL 9.2作為后臺數據庫，以提高數據存儲及處理效率；由于具有一定的技術含量，提高了系統對海量氣象資料處理的吞吐率。

2.1 系統架構

考慮到系統對網絡數據負載、安全性、穩定性以及拓展要求較高，本系統選擇使用C/S（Client/Sever）開發方式，但不再局限于三層架構的開發模式。系統總體架構分為四層體系結構，有設備層、通信解析層、匯聚處理層和表現層，每一層根據各自的功能定義一些基礎類（圖5），派生出來的不同對象可以組合覆蓋類似的質控系統[9，10]。

2.1.1 設備層 實現各種氣象站的無縫接入，該層兼容了基準站、基本站、一般站、區域站及衛星通信站等。

2.1.2 通信解析層 該層在整個系統框架中起到承上啟下的作用，實現自動氣象站數據和中心服務站的通信與解析。

2.1.3 匯聚處理層 實現對通信解析層傳入的數據進行收集并進行質量控制，最后進行入庫處理。

2.1.4 表現層 實現對數據處理狀態的監視記錄、數據統計、參數管理、數據庫備份、文件處理、文件傳輸等。

2.2 系統總體設計

本系統輸入項為Excel格式的《地面氣象要素數據報告書》，使用時需將報告書導入數據庫，供查詢、統計、分析。系統各個模塊之間采用接口、函數調用、參數傳遞、返回值的方式進行信息傳遞，接口傳遞的信息是以數據結構封裝了的數據，以參數傳遞或返回值的形式在模塊之間傳遞，系統擁有的優勢在于支持多終端操作、支持多用戶的并行操作、系統響應時間較短、有權限設置、具有備份功能[11，12]。系統主體流程分為以下幾個步驟：①觀測員對報告書進行填報，數據錄入，觀測員包括縣級，市級，省級基站的觀測人員；②觀測的數據會以類似于GPRS方式上傳到中心服務器，中心服務器會對當前的氣象數據進行預處理，再提交審核；③數據審核模塊進行審核，審核部門為省局和國家局，相關的審核結果為省級業務管理人員審核報告和國家級業務管理人員審核報告，根據報告反饋信息對報表進行修改；④審核之后會產生告警模塊和日志模塊信息，告警模塊將警告信息以短信的方式提交上傳，日志模塊則是將系統運行的具體信息做記錄，并將權限進行變更，認定用戶的權限；⑤信息審核完畢之后會進入質量控制模塊，質控模塊會綜合使用各種控制方法及手段對當前的地面氣象資料進行處理，包括人工檢查，算法檢驗等等；⑥經過質量控制的資料會產生多種級別的數據類型，需要判斷數據的異常性，異常則進入異常處理環節，給出提示或標記；⑦入庫模塊接收多種類別的數據，包括警告信息、日志信息、用戶權限信息、未經過質量控制的信息、質控處理后的信息等等，入庫程序將對這些信息進行具體的判斷操作處理，最后做入庫處理。圖6為系統總體設計流程；⑧最后則是將校驗完畢的數據展示到預警系統中，用于決策統計。

3 系統運行

本系統采用C#語言和最新的.NET技術編程[13]，使用第三方控件Aspose對報表進行讀取操作，同時結合Postgre SQL開源數據庫，提高了系統處理各類數據的能力，并大大降低了應用程序開發的復雜性，提高了可維護性。系統采用C/S架構后對于系統的穩定性以及拓展性具有很大的保障；其次使用多線程技術來提高氣象數據資料的處理能力；系統運行環境為Windows 7，實際運行效果表明，系統各項性能良好，能夠滿足當前用戶基本需求。圖7、圖8、圖9為系統運行效果。

4 小結

高質量的地面資料觀測數據不僅有利于氣象氣候分析研究和天氣預報，而且在氣象防災減災決策以及氣象信息共享中也有著重大的使用價值及指導意義。基于質控方法的地面氣象資料預警系統在實施地面氣象資料入庫前，對地面氣象資料進行準確性研究，并將研究成果放到質控入庫系統設計中，這將大大提高入庫氣象數據的準確性、權威性、參考性；該預警信息可為決策提供強有力的依據。

該系統的具體設計采用多線程操作方法，架構設計突破三層架構模式，系統的穩定性、可移植性得到增強。在接下來的研究中將進一步把數據挖掘的算法應用于氣象數據的處理上，以進一步提高氣象資料的準確性。

參考文獻：

[1] 韓海濤，李仲龍.地面實時氣象數據質量控制方法研究進展[J].干旱氣象，2012，30（2）：261-265.

[2] QX/T 66-2007，地面觀測記錄質量控制[S].

[3] 王衛華，張德龍.地面氣象觀測數據質量控制方法[J].內蒙古氣象，2013（1）：37-38，44.

[4] 鄧芳蓮，齊軍岐.地面氣象觀測數據文件的全程質量控制[J].陜西氣象，2001（1）：34-35.

[5] 劉宏杰.Postgre SQL數據庫及應用[J].石油工業計算機應用，2002（3）：17-22.

[6] 張愛國，鄔群勇，王欽敏，等.基于Postgre SQL數據庫的GML數據存儲[J].測繪科學，2008，33（1）：195-200.

[7] 薛建軍，周 杰，杜景林.改進型實時氣象資料處理系統設計與實現[J].計算機工程與設計，2012，33（4）：1623-1628.

[8] 楊開杰，劉秋菊，徐汀榮.線程池的多線程并發控制技術研究[J].計算機應用與軟件，2010，27（1）：160-170.

[9] 唐 榮.海洋水文氣象觀測數據采集監控系統設計與開發[D].山東東營：中國石油大學（華東），2010.

[10] 潘巨龍，聞 育.無線傳感器網絡的異構性研究[J].航空計算技術，2007，37（2）：124-126，130.

[11] 王海軍，楊志彪，楊代才，等.自動氣象站實時資料自動質量控制方法及其應用[J].氣象，2007，33（10）：102-109.

[12] 陳少雄，盧尚龍，丁建勛，等.數據監理在基礎信息系統數據入庫中的應用[J].地理空間信息，2008，6（4）：33-39.

[13] 李蘭友，楊曉光.Visual C#.NET程序設計[M].北京：清華大學出版社，2004.