基于氣象數據和FY4A數據霧的機器學習分類研究

摘"要：基于地面氣象站能見度數據將其劃分為無霧、輕霧、霧、大霧和濃霧5個等級，以2021年1月至2024年3月開陽縣氣象站觀測資料和FY4A衛星L1資料作為研究數據，構建機器學習樣本集，使用LightGBM、RF、ET、XGBoost、CatBoost、KNN和DT機器學習算法對模型進行訓練，并采用準確率評分法、分類報告方法、ROC曲線方法等3種方法對各能見度識別模型效果進行評估。結果表明：地面氣象觀測資料結合FY4A衛星L1資料訓練模型，各模型其Accuracy準確率評價結果相比僅使用地面資料和僅使用FY4A資料均有所提升，ET模型準確率最高為0.927，相比地面提高0.014，相比FY4A衛星提高0.05；地面資料和FY4A衛星資料結合可以分類識別霧，為地面能見度觀測盲區提供霧的分類模型。

關鍵詞：霧；開陽縣；機器學習；分類

貴州是典型的多云雨山區，峽谷縱橫，水網交縱，總云量和中低云量在全國均處于高值區，其中總云量可高達80%，中低云量中西部可達70%以上，貴州霧有明顯的季節性和區域性［1］。在19世紀衛星遙感技術還沒有興起時，國外學者就已經開始對大霧進行研究，利用SMS1衛星可見光通道來識別霧和云的，通過可見光通道圖像分析了霧的消散過程，表明霧消散與可見光通道反射率有直接的關系，且霧消散時間與高云的覆蓋率和霧的厚度有關，衛星云圖上較白部分可識別為霧，霧的厚度越厚，消散時間越長［2］。在近紅外通道和紅外通道差值的雙通道插值法霧判識的研究基礎上，針對極軌和靜止氣象衛星成像儀AVHRR、MODIS、SEVIRI分別開發了霧判識流程［34］，并基于小波變換，根據圖像的紋理特征對大霧識別進行更深層次的研究［5］。國內學者在霧的衛星遙感識別方面也取得較多成果：如基于衛星遙感圖像的空間信息，發現了云霧在光譜上的區別，為云霧識別與分類提供了指標，有效區分云、霧和雪，并提出了多通道綜合閾值法和灰度連通域加權分的大霧識別方法［67］。根據圖像結合云霧的紋理特征、消散規律以及移動規律實現了對大霧的實時監測［8］。利用風云衛星數據和支持向量機的方法，選擇出最能反映大霧特征的通道組合來對霧區樣本和非霧區樣本進行訓練，利用所生成的模板對可能的大霧區域進行判識［9］。綜上所述，山區霧的識別尚存在以下需要解決的問題。一是研究數據來源主要氣象監測站和交通氣象站，對霧的識別精度和覆蓋面不夠。山區目前氣象站和交通氣象站的觀測密度比較稀疏，不能滿足當前高速公路的快速發展帶來的精細化預報預警的需求。二是單一利用衛星遙感技術識別霧，未考慮不同類型霧的云圖差異，與氣象觀測的融合不足，對山區霧的識別精細化和精準化程度不足。

1"數據與方法

1.1"數據來源

以開陽站為例，使用2021年1月—2024年3月地面觀測數據和FY4A衛星L1資料作為研究數據。基于“天擎”系統，調用貴州省逐小時國家站地面觀測數據，數據表為SURF_CHN_MUL_HOR（中國地面逐小時全要素數據），地面氣象數據資料包括氣壓、海平面氣壓、氣溫、露點溫度、相對濕度、水汽壓、1小時降水、10分鐘平均風向、10分鐘平均風速、地面氣溫草面溫度和能見度，計算出變量3小時變壓、3小時變溫、溫度露點差。基于數據湖方式獲取FY4A觀測資料，數據湖中FY4A可用L1資料的時間段為2021年6月21日至2024年3月4日。使用Python計算開陽站所在FY4A衛星的行列號，并提取14個波段的詳細值，其中1～6波段為反射率，7～14波段為亮溫。

1.2"訓練集的建立

將能見度按照表1規則劃分為5個等級，并將其進行分類標簽，用于進行分類機器學習訓練。依據國家標準《地面氣象觀測規范總則》（GB/T"35221—2017）中的觀測閾值，對數據進行質控，去除無效值和讀取FY4A觀測失敗時次，共獲得有效樣本22826個，其中濃霧1717個、大霧655個、霧621個、輕霧7631個、無霧12202個，樣本分布不均，為探索樣本集對機器學習模型的影響，建立兩種樣本集，一種為原始樣本集不進行任何采樣處理，另一種為擴充樣本集，通過過采樣算法SMOTE（Synthetic"Minority"Oversampling"Technique），將5類樣本數量過采樣為基本相同，其樣本數量6萬余個。

1.3"模型選取

使用輕量級梯度提升機（Light"Gradient"Boosting"Machine，LightGBM）、隨機森林（Random"Forest，RF）、極度隨機樹（Extra"Trees，ET）、極致梯度提升（Extreme"Gradient"Boosting，XGBoost）、梯度提升樹（Categorical"Boosting，CatBoost）、K最鄰近法（K"Nearest"Neighbors，KNN）、決策樹（Decision"Tree，DT）7個機器學習分類算法進行模型訓練。

極度隨機樹是一種集成學習技術，它將森林中收集的多個去相關決策樹的結果聚集起來輸出分類結果。極度隨機樹的每棵決策樹都是由原始訓練樣本構建的。在每個測試節點上，每棵樹都有一個隨機樣本，樣本中有k個特征，每個決策樹都必須從這些特征集中選擇最佳特征，然后根據一些數學指標（一般是基尼指數）來拆分數據。這種隨機的特征樣本導致多個不相關的決策樹的產生。隨機森林是Bagging算法中最具代表性的算法，主要結合了Breimans的“Bootstrap"Aggregating”想法和Tim"Kam"Ho的“Random"Subspace"Method”算法來構建決策樹集。隨機森林在基于決策樹的學習器構建Bagging集成的基礎上，將隨機屬性選擇引入決策樹的訓練過程中。在隨機森林中，對于基礎決策樹的每個結點，其先從結點的屬性集中隨機選擇一個子集，然后從該子集中選擇一個最佳屬性進行劃分。

LightGBM是微軟開源的一個實現GBDT算法的框架，支持高效率的并行訓練，GBDT（Gradient"Boosting"Decision"Tree）是機器學習中一個長盛不衰的模型，其主要思想是利用弱分類器（決策樹）迭代訓練以得到最優模型，該模型具有訓練效果好、不易過擬合等優點。

1.4"模型評價

采用3種評估方法對各能見度識別模型效果進行評估分析，這3種方法分別為準確率評分法、分類報告方法、ROC（Receiver"Operating"Characteristic）曲線方法。ROC曲線以FPR為橫坐標，以TPR為縱坐標。準確率Accuracy評分法定義為：

Accuracy=（TP+TN）/（P+N）（1）

其中，P為所有正類數量，N為所有負類數量，TP為正類預報正確的數量，TN為負類預報正確的數量。

2"模型訓練試驗

由于樣本數量分布不均，使用ET機器學習霧的分類模型，對原始樣本集和擴充樣本集進行分布訓練，劃分樣本集和測試集比例為7∶3。

2.1"原始樣本集訓練

對原始樣本集10次訓練，平均準確率Accuracy為08056，AUC（ROC曲線下的面積）為0.9379，召回率Recall為0.8056，精確率Pre為0.7882，F1"score為0.7932。ET模型對無霧分類效果較好，輕霧和濃霧次之，霧和大霧效果較差，不符合在實際應用中希望識別大霧以上的霧的期望。

2.2"擴充樣本集訓練結果

對擴充樣本集10次訓練，平均準確率Accuracy為09269，AUC（ROC曲線下的面積）為0.99916，召回率Recall為0.9269，精確率Pre為0.9258，F1"score為0.9260。與原始樣本集相比，擴充樣本集各項評分結果都有提升，從ROC曲線圖和模型報告圖可以看出，無霧較好，輕霧次之，符合在實際應用中希望識別大霧以上的霧的期望。

3"機器學習分類結果

分別利用LightGBM、RF、ET、XGBoost、CatBoost、KNN、DT算法進行機器學習訓練，為探索FY4A衛星數據是否對地面氣象觀測資料有提升，采用3種情況來開展訓練：（1）僅使用地面氣象觀測資料；（2）僅使用FY4A衛星觀測資料；（3）FY4A衛星結合地面觀測資料。

僅使用地面氣象觀測訓練模型，各模型平均準確率Accuracy在0.81分以上ET模型評分第一為0.91分，RF模型評分第二為0.89分，XGBoost、CatBoost、KNN模型評分結果分別為0.85分、0.84分、0.83分，DT和LigthtGBM在081分以下。僅使用FY4A衛星L1資料訓練模型，各模型平均準確率Accuracy在0.74分以上ET模型評分第一為089分，RF模型評分第二為0.87分，KNN模型評分第三為0.8分，其余各模型的Accuracy評分都在0.78分以下。由此可以看出，各模型的Accuray評分FY4A資料低于地面資料，兩者模型評分最高的都是ET模型，對霧以上都具備較好的分類效果，輕霧和無霧分類結果較差。基于ET機器學習模型，通過分析其特征量的重要性可以發現，僅使用地面資料訓練的特征重要性前10個要素分別是：相對濕度、溫度露點差、10分鐘平均風速、氣溫、草面溫度、地面溫度、海平面氣壓、氣壓、10分鐘評價風向、3小時變溫［見圖1（a）］，可見濕度、水汽風速、溫度與霧的相關性較強。僅使用FY4A資料訓練ET機器學習模型中，通道11最重要，其是長波紅外通道，波長為8.5μm，主要用途為總水汽、云；通道8為第二重要，其是短波紅外通道，波長為3.75μm，主要用途為低反照率目標地表；通道12則為第三重要，其是長波紅外通道，波長為10.7μm，其主要用途為云、地表溫度等；9、10波段第四、第五重要，其是水汽通道，波長分別為624μm、71μm，其主要用途分別為高層和低層水汽。由此可以看出，FY4A的紅外通道比可見光通道重要，不同波段對大氣高低層的觀測，對霧的分類起到了重要作用。

地面氣象觀測結合FY4A衛星L1資料訓練模型，各模型其Accuracy準確率評價結果相比僅使用地面資料和僅使用FY4A資料都有所提升，僅DT模型提升較小，ET模型準確率最高為0.927，相比地面提高0.014，相比FY4A衛星提高0.05；其次是RF模型，提高0.911，XGBoost和CatBoost都在0.87左右。從ET模型特征重要性來看，地面氣象要素比FY4A衛星資料更重要。從ET模型分類混淆矩陣來看ET模型大霧以上都有較好分類效果，輕霧和無霧分類效果較差，兩者相互預測錯誤的次數都在300以上，但在實際應用中，輕霧影響較小，因此可利用該模型來開展霧的提取。

4"結論

（1）地面氣象觀測資料結合FY4A衛星L1資料訓練模型，各模型其Accuracy準確率評價結果相比僅使用地面資料和僅使用FY4A資料均有所提升，ET模型準確率最高為0.927，相比地面提高0.014，相比FY4A衛星提高0.05。

（2）由于無霧樣本數量遠大于有霧樣本，導致樣本分布不均，對原始樣本集進行擴充后可有效提高霧的識別準確率。

（3）ET模型對霧、大霧、濃霧具有很好的分類效果，無霧較好，輕霧次之，符合在實際應用中希望識別出霧的期望。

參考文獻：

［1］羅喜平，楊靜，周成霞.貴州省霧的氣候特征研究［J］.北京大學學報（自然科學版），2008，44（5）：765772.

［2］GURKA"J"J，OLIVER"V"J.The"Role"of"Inward"Mixing"in"the"Dissipation"of"Fog"and"Stratus.Monthly"Weather"Review，1978，106（11）：16331635.

［3］LEE"T"F，TURK"F"J，RICHARDSON"K.Stratus"and"Fog"Products"Using"GOES89"3.9μm"Data［J］.Weather"amp;"Forecasting，1972，12（3）：664677.

［4］BENDIX"J.A"satellitebased"climatology"of"fog"and"lowlevel"stratusnbsp;in"Germany"and"adjacent"areas［J］.Atmospheric"Research，2002，64：318.

［5］MALLAT"S.Zerocrossings"of"a"wavelet"transform［J］.IEEE"Trans"on"Information"Theory，1991，37（4）：10191033.

［6］陳林.EOS/MODIS資料的數據處理方法及其在白天低云大霧監測中的應用［D］.南京：南京信息工程大學，2006.

［7］李亞春，孫涵，徐萌，等.衛星遙感圖像上大霧消散特點的分析研究［J］.遙感技術與應用，2002，17（1）：1720.

［8］周紅妹，葛偉強，柏樺，等.氣象衛星大霧遙感自動識別技術研究［J］.熱帶氣象學報，2011，27（2）：152160.

［9］劉年慶，蔣建瑩，吳曉京.基于支持向量機的遙感大霧判識［J］.氣象，2007，33（10）：7379.

資助項目：貴州省氣象局企業基金（QHLQLJ〔2022〕01）：多云雨山區霧的遙感監測方法研究

作者簡介：彭波（1990—"），男，漢族，重慶合川人，本科，工程師，從事衛星遙感應用研究；徐良軍（1988—"），男，漢族，四川資陽人，本科，工程師，從事應用氣象服務研究。