基于不足氣象要素時間序列的小時界限值提取

馬 歡，郭 越，廖順寶，劉 曉，劉廣虎

(1.防災科技學院地球科學學院，三河 065201；2.河北省地震動力學重點實驗室，三河 065201；3.防災科技學院電子科學與控制工程學院，三河 065201；4.防災科技學院生態環境學院，三河 065201；5.南昌工程學院水利與生態工程學院，南昌 330099)

氣象數據廣泛應用于交通運輸[1-3]、氣象及農業氣象災害[4-7]、地球物理[8-9]、環境[10]、投資[11]、疾病和健康[12-13]和基礎設施服務[14-15]等領域。尤其是大數據時代的到來，氣象數據在其中扮演的角色越來越重要。隨著這些行業的不斷發展，對氣象數據準確性的要求也在逐漸提高。因此，在利用氣象數據的前期，對氣象數據進行質量控制的重要性和必要性顯而易見。中外眾多學者從20 世紀末就開展了各項氣象要素質量控制的相關研究[16-24]，質量控制內容主要包括界限值檢查、內部一致性檢查、時間和空間異常值檢查和缺失值檢查等。

在氣象數據質量控制過程中，一般首先執行極值檢查，眾多學者對氣象要素的界限值的選取采取了不同方案，尤其是氣溫要素。例如，Feng等[18]、Kubecka[25]采取全球可能記錄地溫最高值93.9 ℃作為氣溫上界限值進行中國地區的極值檢查，但是由于中國地區的歷史氣溫極值沒有達到93.9 ℃的先例，而且該界限值的空間和時間尺度過大，在質量控制中發揮的作用較小；竇以文等[26]和金莉莉等[27]選用研究地區站點的歷史記錄最大值和最小值作為界限值對歷史數據進行檢查，相比將全球可能記錄地溫最大值作為界限值來說，該界限值的空間尺度有所減小，時間尺度較大，在數據質量控制中十分有效。任芝花等[28]、魯奕岑等[29]根據不同季節設定氣象站氣溫界限值，該方法將氣象站點的界限值時間尺度縮至季度，在中國地區和浙江省氣溫質量控制研究中避免了界限值范圍過大。郭昌松等[30]利用福建省各站點各月氣溫極值加上(減去)某個統計值作為該站點各月的極限值，進一步將界限值時間尺度減小至月份。

由此可見，雖然極值檢查作為氣象數據質量控制中較為粗糙的一個環節，但是有效的界限值能夠從基本面上清洗出不合格的數據，為后續質量控制打好堅實的基礎。然而，逐小時氣象數據的質量控制常常為局部地區的天氣預報[31]、不同晴空指數下氣溫隨時間變化的情況[32]、農作物生育期影響[33]等提供數據支撐。若使用上述全球歷史極值、站點歷史極值、站點季節性歷史極值或站點各月份歷史極值作為質量控制中的界限值，會弱化界限值檢查的效果。為了提升氣象數據質量控制中的界限值檢查效果，開展更為精細時間尺度的氣象數據界限值研究十分必要。

基于界限值時間尺度的思考，本研究結合站點歷史值，通過統計學手段，將界限值時間尺度縮小至每小時，確定各站點一年每小時數據的界限值，從而更精細、有效地進行氣象數據質量控制，以便更有效的服務于局部地區的天氣預報、農作物耕種等領域。另外，通過統計學方法來確定逐小時氣象數據的界限值，需要一定量的統計樣本，且氣象要素要在時間尺度上具有一定規律。因此，現選擇氣象站點的氣溫、氣壓和相對濕度3個氣象要素數據。氣象站主要分布在中國東北、華北、長江中下游地區，包含13 個省，4 個直轄市和1 個自治區，共計1 942 個氣象站。由于氣象站數量多，會有大量的統計樣本用于確定逐小時氣象數據界限值。因此，使用MySQL數據庫(特點：快速、有效安全的處理大量數據)存儲所有氣象數據，再利用Python語言的Pandas工具強大的分組功能，在海量氣象數據中抽取統計樣本，計算逐小時氣象數據界限值，進而實現一套用于快速、有效的計算氣溫、氣壓和相對濕度氣象要素逐小時界限值的算法。

1 原理方法

1.1 選取統計樣本方法

本研究收集近兩年(2019 年和2020 年)各站點每小時的氣溫，氣壓和相對濕度數據，由于每個站點的這3類氣象要素相鄰時間的小時數據具有相似性和規律性。每天中午的氣溫最高，夜晚最低。氣壓與海拔、氣溫和大氣密度相關，對于同一站點而言，其年變化規律大致為夏季低，冬季高。相對濕度表現為夜晚高，白天低。因此，以當前數據的時間為中心，挑選臨近時間點的數據進行統計，通過式(1)得到統計的平均值和標準差，進一步獲得界限值標準。

(1)

表1 統計樣本時間Table 1 Statistical sample time

(2)

另外，如果按照上述時間樣本選取規則和樣本數量(50個樣本)要求，在兩年(2019 年和2020 年)數據中，有兩類特殊時間段不滿足50個樣本，其處理方式如下。

(1)位于時間列表邊界的時刻。當某時刻位于時間列表邊界時(2019 年1 月1 日0:00—2019 年1 月3 日1:00，2020 年12 月29 日22:00—2020 年12 月31 日23:00)，統計樣本將達不到50個，這樣達不到應有的統計效果。為此，在計算時間列表邊界處的界限值時，要納入2018 年12 月底和2021 年1 月初的部分數據至統計樣本中，以滿足均值和標準差的樣本數量需求。

(2)2020 年2 月29 日的所有時間。當某時刻在2020年2月29日時，統計樣本同樣達不到50個，由于每4年出現一次，在此不計算2020年2月29日的界限值。在數據的質量控制中，若存在2月29日的數據，則利用2月28日和3月1日的界限值的范圍較大者作為2月29日的界限值。

1.2 數據處理

2019年和2020年一個臺站的每小時數據量為17 520個(24×365×2=17 520)，所選站點共有1 942 個，數據量為34 023 840 個(17 520×1 942=34 023 840)。對于界限值而言，要統計一年每小時數據的界限值，因此界限值個數為數據量的一半，即17 011 920個。由此可見，數據量十分龐大，更為困難的是每個界限值需要50 個樣本計算均值和標準差，不僅需要很大的計算機內存空間，而且由于數據量大引起的數據遍歷時間長，效率低，在普通電腦上將是一個耗時費力的工作。為此，使用Python Pandas模塊中的groupby函數，對龐大的數據體進行分組運算，以達到提高計算效率的目的。

1.2.1 數據處理流程

界限值計算流程如圖1所示，主要步驟如下。

圖1 計算每小時界限值流程圖Fig.1 Flow chart for calculating the hourly extreme value

步驟1將2019年和2020年的每小時數據以每個月數據為一個表存入MySQL數據庫中，共24個數據表。

步驟2通過Python Pandas模塊鏈接MySQL數據庫讀取數據。

步驟3通過Python Pandas模塊中的groupby函數分組，并獲得樣本均值和標準差。

步驟4通過式(2)得到每小時界限值。

由于在讀取數據庫中的每小時數據時，可能存在特征值，如表2所示，所以在計算樣本的均值和標準差時，若樣本中存在特征值，則舍棄這些特征值后，計算剩余樣本的均值和標準差。

表2 氣象要素特征值Table 2 Eigenvalues of meteorological elements

1.2.2 數據處理算法

如圖2所示的偽代碼，在進行數據處理時，面對兩個選擇：一是按氣象站遍歷；二是按時間遍歷。

圖2 算法偽代碼圖Fig.2 Algorithm pseudo code diagram

首先，通過遍歷氣象站求得界限值，其循環次數為1 942次(1 942個氣象站)。在遍歷過程中，每個站點利用groupby函數按照不同時間分成8 760組，每一組收集50個樣本計算均值和標準差。

其次，通過遍歷時間求得界限值，循環次數為8 760 次(365×24=8 760)。在遍歷過程中，利用groupby函數按照不同站點分成1 942組，每組收集50個樣本計算均值和標準差。

從循環次數上看，似乎遍歷氣象站的方式循環次數少，能夠有效減少運算時間，但是這種方案需要提前準備8 760組的統計樣本，每組50個樣本所在時間各不相同，從算法實現的角度來看，較為麻煩。

第二種算法雖然循環次數較多，但是在1 942 組中，每組的樣本所在時間相同，不需要前期準備，這使得算法簡單易懂，便于實現。因此，采用算法二計算了1 942個氣象站的全年每小時界限值8 760個，程序運行18 h 30 min。經測試，若不使用groupby函數分組，利用遍歷統計樣本的方式，運行時將增長約4 倍。

2 界限值分析

經過上述計算可確定全年各氣象站的氣溫、氣壓和相對濕度每小時界限值。101011200 號氣象站的全年氣溫界限值如圖3(a)所示，在-14.6～45.1 ℃范圍，由于全年每小時數據量龐大，故使用每天中午12:00 的均值、上下界限值來繪制曲線(以下氣壓和相對濕度曲線也參考該方法)。從總體趨勢來看，該站點氣溫均值6 月和7 月最高，逐漸向兩端減小。由于界限值過多，不易發現規律。于是選取8 月的界限值(以下氣壓和相對濕度要素也選取8月數據)，如圖3(b)所示，氣溫界限值和統計樣本均值的規律與每天的氣溫變化規律相似，都表現為夜晚氣溫低，白天氣溫高。峰值和最小值各31個，代表每天氣溫均值和界限值的最高氣溫、最低氣溫。另外，該氣象站8 月份氣溫數據統計樣本的標準差表現為氣溫高時，標準差高，氣溫低時，標準差小，如圖3(b)紅色曲線所示。呈現這樣的曲線形態的主要原因是：白天中午溫度梯度較大，統計樣本在平均氣溫附近的波動較大；相反，夜晚凌晨氣溫梯度較小，統計樣本在平均氣溫附近波動較小。總的來說，該氣象站氣溫界限值和統計樣本標準差都符合正常氣溫變化規律，氣溫界限值具備有效性，能夠用于進一步氣溫質量控制。這也從側面驗證了樣本統計方法確定每小時界限值算法也是有效的。

圖3 101011200 號氣象站氣溫界限值及統計樣本標準差Fig.3 Temperature extreme values and statistical sample standard deviation of weather station 101011200

101011200 號氣象站7—11月的每小時氣壓界限值如圖4(a)所示，在980～1 050 hPa區間范圍。由于氣壓與海拔、氣溫和大氣密度相關，與氣溫相比，顯得規律性差，而且由于該氣象站存在大量氣壓值缺測現象，所以1—6月以及12月的界限值無法通過統計手段獲取，這使得曲線被分成兩段。由于每一段曲線兩端只有少數有效統計樣本，即50個樣本中存在大量的特征值，如表2所示，所以頭部和尾部上下界限值與均值趨于交匯。雖然只有5 個月氣壓數據，但是也能夠觀察出氣壓的大致年變化規律。7—11月氣壓逐漸升高，即冬天比夏天氣壓高，這符合大陸型氣壓年變化規律，但是若觀察1 個月的氣壓界限值、均值和標準差數據，其并不呈現規律性變化，如圖4(b)所示，只能通過其統計樣本的標準差得知統計樣本的波動程度。例如，8 月22 日和8 月23 日的統計樣本氣壓起伏較大，使得這兩天的上下界限值范圍較大。

101011200號氣象站的全年每小時相對濕度界限值如圖5(a)所示，在0～100%區間范圍。從總體趨勢來看，該站點全年相對濕度均值并無明顯規律。8月的界限值如圖5(b)所示，相對濕度統計樣本均值(綠色曲線)的規律與每天的氣溫變化規律相反，表現為夜晚相對濕度高，白天相對濕度低。峰值和最小值各31個，代表統計樣本的相對濕度均值的最高值和最低值。該氣象站8月數據統計樣本的標準差表現為白天相對濕度低時，標準差高，夜晚相對濕度高時，標準差小，如圖5(b)紅色曲線所示。這與相對濕度的日變化規律相符。另外，由于相對濕度的變化范圍一定是0～100%，所以在界限值計算過程中，如果式(2)的計算值大于100%或小于0，則直接將界限值設為100%或0。

3 討論與結論

以2019年和2020年的實時氣溫、氣壓和相對濕度氣象要素數據和統計方法為基礎，本研究利用Python語言實現了一套快速、有效的計算氣溫、氣壓和相對濕度的每小時界限值算法，該算法為使用每小時界限值有效的進行質量控制打下堅實基礎，有助于氣象、農業等領域相關工作。

在計算的每小時界限值中，氣溫界限值規律與日氣溫變化規律一致；氣壓界限值規律與大陸型氣壓的年變化規律一致；相對濕度界限值雖然與其日變化規律一致，但是每小時界限值大多還是集中在0和100%，因此相對濕度數據若在0～100%范圍外，則采用0和100%作為其界限值；若在0～100%范圍內，則采用相對濕度每小時界限值。另外，研究也存在不足之處：研究只利用2019 年和2020 年的氣象數據進行界限值計算，想要獲得更具有統計規律的界限值，還需要在現有50 個樣本的基礎上擴充統計樣本數量。這在后續研究中需要加以改進，已經列為下一步研究工作重點，以此提升界限值精確度，保證質量控制效果。