基于隨機森林算法高分土壤濕度產品的構建與評估

朱宏武， 羅 丹， 朱 亮， 賀 煒

（1.湖南省氣象信息中心， 湖南 長沙 410118； 2.氣象防災減災湖南省重點實驗室， 湖南 長沙 410118；3.湖南省氣象服務中心， 湖南 長沙 410118）

0 引 言

干旱通常發生在農作物生長的重要時期，是影響農業生產最為嚴重的自然災害[1]。湖南地處青藏高原下方，是南北冷暖空氣主要交匯地，地形多樣、氣候復雜，旱災風險高，抗旱形勢嚴峻。2013 年中國南方13 省遭遇重大旱災，湖南糧食減產超過16 億斤，是受災最為嚴重的省份之一。在全球氣候變暖背景下，湖南天氣氣候極端事件增多增強，2022 年湖南干旱覆蓋范圍廣、持續時間長，創造了1961 年以來最強高溫干旱紀錄，給農業生產帶來了嚴重影響。干旱災害防御在湖南一直受到高度重視。干旱過程與大氣狀態、土壤質地類型、土壤含水量及植被情況等多種因素相關。其演變過程極其復雜，時間空間變化隨機性強，不同地區干旱特征和趨勢變化差異很大。由于干旱監測站點少，設備昂貴，實現對較大范圍干旱過程動態、精準監測難度非常大。為最大限度地減少旱災造成的影響，開展干旱精細化監測研究對于有效抗旱減災、保障農業生產具有重要意義。

土壤濕度表征土壤的干濕程度即土壤的實際含水量，是水資源循環與能量耗散模型中的重要變量。土壤濕度與大氣環境中氣溫、蒸發量、降水量等變量狀態變化緊密關聯[2]，對土壤濕度狀態變化分析是有效開展干旱監測的重要手段[3-4]。土壤濕度測定可通過觀測站定點觀測[5]及衛星遙感數據獲得[6]，還可以通過陸面模式重構獲取[7-8]。不同獲取方式優缺點不同，定點觀測的數據具有最好的精準度，但由于建站成本高，覆蓋度有限，表達土壤濕度區域狀態能力有限。衛星遙感數據產品具有良好的空間覆蓋度，雖然探測土壤深度不超過10 cm，但它能夠真實地表征較大空間范圍土壤濕度狀態對異常天氣產生的干旱快速響應。

近年對土壤濕度觀測的衛星SMMR、ASMR-E、SMOS、SWAP 等相繼發射，為土壤濕度研究提供了良好的數據支撐。然而通過衛星獲取的土壤濕度產品分辨率在10～40 km 之間，不能有效滿足市縣級干旱過程動態監測的精細化需求。通過陸面模式獲取的土壤濕度具備較大空間覆蓋度和較好的時空連續性，主流產品包括GLDAS、NLDAS、CLDAS 等，分辨率在7～27 km，對干旱精細化監測支撐仍然有限。

高空間分辨率土壤濕度產品不能直接獲取，如何構建高分辨率土壤濕度產品吸引了眾多專家學者興趣。國內外文獻通?；诖植诜直媛释寥罎穸犬a品，應用通用三角形、回歸、機器學習等方法對其進行空間降尺度，從而構建高分辨率產品。結果表明，降尺度高分辨率產品能夠滿足大多數現實業務要求[9-12]。通過文獻分析，隨機森林算法在降尺度方面具備較多優勢，預測精度高，學習過程快，運算速度快，穩定性好且不易產生過擬合，對噪聲和異常值也有較好的容忍性。面向湖南地區干旱精細化監測業務需求，本文應用隨機森林學習算法對粗糙分辨率土壤濕度產品進行降尺度，研制了高分土壤濕度產品，為干旱精細化監測提供了一種可行方案。

1 高分土壤濕度產品加工平臺設計

根據氣象業務實際情況，設計一個高分土壤濕度產品加工平臺，平臺以構建湖南地區時空連續高分辨率（1 km×1 km）土壤濕度日數據為目標，基于多源衛星遙感、實時地面觀測、中國氣象局模式等數據，應用隨機森林機器學習算法對其歷史數據集挖掘，建立土壤濕度因子與地溫、降水、地表反照率、蒸散發、植被覆蓋等多種影響因子的降尺度模型，研制高分土壤濕度產品。進一步將建模形成的高分辨率產品與地面自動站觀測數據對比，評估產品在不同季節、不同空間區域、不同干旱程度情況下的偏差及準確率情況，基于評估結果迭代優化模型參數，增強產品的可靠性，提升本地化干旱監測的精準度。

平臺主要功能模塊如圖1 所示，分為數據收集、數據預處理、隨機森林降尺度建模和系統評估優化四部分。其中，數據收集、數據預處理模塊主要負責平臺各類資料的全面收集與質量控制；隨機森林降尺度建模和系統評估優化負責平臺產品模型的構建與深度加工。

圖1 平臺主要功能模塊

2 平臺數據收集與預處理

2.1 數據收集

產品構建需要的數據包括衛星遙感、模式產品及定點觀測土壤濕度數據。衛星遙感數據包括遙感數據ESA CCI（V4.7）土壤濕度數據集和MODIS 多源數據集。ESA CCI 數據集來源于歐洲航天局，該數據集為主被動混合模式土壤濕度；MODIS 來源于美國宇航局，該數據集包括地溫、反照率、植被指數等高分辨率（1 km×1 km）數據集。模式數據來源于中國氣象局陸面數據同化系統CLDAS（V2.0），該數據集包括土壤濕度（7 km×7 km）、地溫、降水產品等。上述衛星遙感數據、中國氣象局模式產品數據均可通過互聯網公開申請獲取。實時土壤濕度觀測數據來源于湖南省氣象部門地面土壤水分觀測站，站點具體分布圖如圖2 所示。

圖2 湖南土壤水分觀測站分布圖

2.2 數據預處理

數據預處理是產品后期研發發揮效益的關鍵步驟。原始數據往往存在不完整、異常、時空間尺度不一致等情況，對數據預處理需盡可能保障其可靠性和完整性。

1） 實時地面觀測數據預處理

按照資料行業標準和規范，通過要素極值分析、關聯分析、時空一致性等方法對觀測數據綜合質控，排除觀測數據存在的野值和錯誤數據，并對質控后一年有效觀測值小于180 天的站點進行剔除。

2） 土壤濕度背景場預處理

土壤濕度背景場包括ESA CCI 遙感土壤濕度數據和中國CLDAS 模式產品土壤濕度數據。CLDAS 數據可靠性高度依賴陸面模式和驅動數據集的質量。CLDAS土壤濕度數據存在不確定性，采用統計方法對衛星遙感和模式產品土壤濕度數據進行融合，改善背景場數據可靠性。

3） 地溫數據集預處理

時間連續空間完整地溫數據是產品研發的關鍵要素。遙感獲得的高分辨率地溫數據集（1 km×1 km）受云層和衛星軌道間隙影響，造成數據不完整，需對來源不同的補充地溫數據進行質控，統一時間尺度，基于相似要素點匹配、綜合權重、相關系數關系，合理插補多云條件下MODIS 地溫空缺區域數據，與晴空條件MODIS產品組合形成完整的數據集。

2.3 數據評估方法

應用統計學客觀評價指標分析同一時段內觀測值與站點的格點數據的誤差和相關關系，評估產品在湖南地區的適用性。指標包括平均偏差（MD）和相關系數（COR），公式如下：

式中：N為觀測站點數目；Gi為第i個觀測站點實時觀測值；Oi為產品雙線性插值到第i個觀測站點位置的格點數據。

3 產品構建與評估

3.1 基于機器學習產品模型的構建

1） 產品模型的構建

產品采用隨機森林機器學習算法建立土壤濕度因子與地溫、降水、反照率、蒸發、植被覆蓋等影響因子的關聯模型，公式如下：

式中：SSM0為訓練階段觀測站點土壤濕度數據；fRF為關聯站點觀測數據與輸入變量非線性函數；C為輸入樣本向量；A為反照率；N′為歸一化植被指數；T為歸一化地溫；E為歸一化蒸散發數據；P為降水量；S為土壤材質；C—SSM 為粗糙分辨率土壤濕度數據。

非線性關聯特征較為復雜，相互作用關系為隱性知識。模型應用Python 中scikit-learn 機器學習包對預處理后的數據進行分析、挖掘、處理，得到相互作用的顯性知識。應用隨機森林算法從輸入向量C中抽取隨機樣本，設置隨機森林模型決策樹特征數目、深度和擬合參數，建立多顆決策樹，每顆決策樹按比例隨機抽取，通過對所有決策樹回歸來建立土壤濕度降尺度關聯模型。

2） 模型穩定性與精準度迭代調優

隨機森林算法模型在降尺度應用中具有不確定性，需要對不同影響因子進行重要性分析，調整優化隨機森林決策特征向量參數與決策樹深度、廣度參數，并同時利用多重交叉驗證方法提高隨機森林算法模型的穩定性。隨機森林預測結果基于多顆決策樹投票結果得到，預測的結果準確性與數據科學抽樣、特征向量選擇、決策樹生成數目、決策樹深度及多決策樹回歸緊密關聯。學習初始階段默認以n（n為自變量個數）作為最大特征向量個數參考，通過網格搜索對模型重要參數循環調優，提高隨機森林模型預測精準度。

3.2 平臺產品后期訂正優化

平臺系統優化分為建模過程中優化和產品后期訂正優化。建模過程中優化是應用多重交叉驗證對隨機森林決策樹訓練數據集和測試數據集輪流評估，針對模型影響因子貢獻度分析，優化模型提高產品可靠性；產品后期訂正優化是以地面土壤水分自動站定點觀測數據為真值，將土壤濕度格點產品插值到站點，評估在不同季節、不同地區、不同干旱程度等情況下的偏差，基于相關系數、偏差等客觀指標統計分析，找出大區域時空特征差異和變化趨勢，有針對性地優化訂正模型參數，提高產品在湖南地區的適應性。

3.3 平臺流程自動處理與可視化展示

平臺產品制作包括數據收集、數據建模、評估分析等步驟，采用自動化運維與管理技術定制數據采集任務、質量評估模板、可視化模板，實現產品制作的自動化管理。平臺產品可視化需要統一的規范性，圖標色標方案、地圖范圍、制圖特征需要統一風格，平臺產品可視化展示按圖3 所示流程進行管理。

圖3 平臺產品可視化流程

可視化通用流程包括樣式文件配置和工作流配置。產品因實際需求不同要對參數有相應的調整。平臺通過離線模板編輯環境，對圖標色標方案、地圖范圍、制圖特征等進行可視化編輯。將確定后的參數提交給服務器同步更新，完成地圖、圖層樣式文件的配置。平臺通過工作流配置實現業務數據、圖形預制環境參數實時自動加載、插值投影變換、圖層疊加合成、本地化地圖裁剪，定制適應湖南地區的干旱監測產品。

圖4 為基于工作流模型生成的2022 年6 月22 日土壤濕度空間分布圖。圖形較好地模擬了湖南地區土壤濕度的日變化，較精細地展示了全省干旱空間分布情況，從北向南的層次結構和局部特征能較好地滿足干旱動態業務監測的現實需求。

3.4 評估結果分析

以湖南地區2022 年質控后55 個地面土壤水分觀測站點資料作為真值，將建模形成的高分土壤濕度產品插值到觀測站點進行評估。產品值與觀測值的相關性（站點數）關系圖如圖5 所示。

圖5 產品值與觀測值的相關性（站點數）

1） 相關性

根據圖5 進行相關性統計分析得到：產品值與觀測值相關系數達到0.9，從站點數目看，87.3%（合計48 站）相關系數高于0.85，僅7.3%（合計4 站）的站點相關系數低于0.8，表明產品值與觀測值緊密相關，整體一致性高。

圖6 所示為產品值與觀測值相關系數的空間分布圖。由圖6 可知，各站相關系數空間分布比較均勻，湖南中部東部地區相關系數略高于西部地區。相關系數低于0.8 的4 站中有3 站在湖南北部區域，可能與該區域處于湖區到山區過渡帶、地貌多樣、土壤質地復雜等因素有關。

圖6 產品值與觀測值相關系數的空間分布

2） 偏差

產品值與觀測值的偏差（站點數）分布圖見圖7。從站點數目看，偏差主要分布在-0.08～0.08 m3/m3以內，52.7%的站點偏差在-0.04～0.04 m3/m3，呈現負偏差的站點數目為58.2%，略多于呈現正偏差的站點。

圖7 產品值與觀測值的偏差（站點數）

圖7 所示為進行相關性統計分析得到的產品值與觀測值的偏差（站點數）關系圖。由圖7 可知，產品值與觀測值平均偏差為-0.01 m3/m3。

圖8 所示為0～10 cm 土壤濕度產品值與觀測值偏差的空間分布。從圖中可以看出，湖南北部地區產品負偏差對應站點偏多，南部地區正偏差偏多。負偏差高值在中部偏北區域，正偏差高值在湖南北部區域。

圖8 產品值與觀測值偏差的空間分布

圖9 所示為產品值與觀測值四季偏差情況。其中，秋季呈現正偏差，其他季節為負偏差；夏季、秋季偏差顯著小于春季、冬季。表明產品在湖南地區旱情較為嚴重的夏季、秋季具有較高的準確性。

圖9 產品值與觀測值的偏差（季節）

4 結 論

本文以湖南地區干旱精細化監測業務需求為牽引，基于多源衛星遙感、實時地面觀測、中國氣象局模式等資料，應用隨機森林學習算法，建立了土壤濕度因子與降水、地溫、地表反照率、蒸發、植被覆蓋等多種衛星遙感影響因子的降尺度模型，研制了高分辨率土壤濕度產品（1 km×1 km）。面向干旱精細監測高分土壤濕度產品的構建具有重要意義，主要包括以下兩方面：

1） 湖南是農業大省，土壤濕度是農業干旱監測的重要指標，形成的產品能較好地模擬湖南地區土壤濕度日變化特征，也能精細動態地監測干旱空間分布和干旱過程的變化趨勢，為開展干旱精密化監測提供了一種可行方案。

2） 智能化產品基于湖南氣候特征、地形地貌、植被覆蓋進行構建與優化。針對本地化專項建模，平均偏差為-0.01 m3/m3，相關系數為0.9，相對于其他產品有更好的本地適應性。湖南發生旱災的季節絕大多數以夏旱、秋旱或夏秋連旱為主，在旱情較重的夏秋季產品具有更高的準確性，為湖南地區保障糧食生產安全、抗旱防災減災決策提供更為精細的基礎支撐。同時產品也可作為觀測資料補充應用于業務和科研，對于地廣人稀且氣象站點相對較少的地區氣象服務潛力巨大。

注：本文通訊作者為羅丹。