基于殘差Swin Transformer的天氣圖像識別技術研究

張卓然,張 倩,宋 智,何 嘉

(1.成都信息工程大學計算機學院,四川成都 610225;2.活躍網絡(成都)有限公司,四川成都 610000;3.四川省氣象探測數據中心,四川成都 610072)

0 引言

從戶外活動到工業生產,天氣在人類活動中起著十分重要的作用。如在霧、雪、暴雨、沙塵暴等極端天氣條件下,會出現模糊、光滑、濕潤的道路情況,導致交通堵塞甚至造成交通事故。通過對天氣現象的實時監控并結合交通信息,可以有效地避免這些情況的產生。此外,不同的天氣現象也極大地影響著農業生產,準確地對天氣現象進行識別,有助于保障農作物的生長。

在傳統的天氣識別中,主要是依靠各種傳感器和人工采集結果來測量溫度、濕度和天氣狀況。由于傳感器成本普遍較高,又需要定期進行人工維護,導致不能大范圍地布置傳感器,從而使部分區域的天氣預報不準確。

隨著深度學習的發展和攝像頭的普及,通過獲得天氣圖像來進行天氣識別將成為計算機視覺一個重要的應用。近年來,Lu 等[1]采集并創建了一個基于晴天和陰天的天氣數據集,通過分別提取天空、陰影、反射、對比度和模糊5 個天氣特征,提出協作學習框架進行天氣分類。Song 等[2]通過提取圖片本身的特征并結合K-NN 算法實現了對晴天、雨天、霧天和雪天的識別。上述方法均是采用機器學習,未能準確地學習天氣圖像的特征,對天氣現象的識別效果不夠理想。

自2012年AlexNet[3]在ImageNet 大規模視覺識別挑戰賽取得成功以來,卷積神經網絡(CNN)被廣泛應用到天氣現象識別領域。Lin 等[4]提出一種面向多類別天氣識別的區域選擇和并發模型的深度學習框架,但該方法性能開銷過大、時效性差且平均準確率低。Zhao 等[5]提出一種基于CNN-RNN 的多類別天氣識別方法,但該方法需要大規模的數據集作為支持,且只能在高端GPU 上進行訓練,計算代價非常昂貴。Wang等[6]提出一種基于輕量級卷積神經網絡的天氣識別方案,該方案雖然節省模型的內存開銷,但降低了天氣識別的準確度。Tan 等[7]通過一種三通道卷積神經網絡對常見的6 種天氣現象進行有效識別,但只考慮了少數的天氣類別。此外,Xiao 等[8]在VGG16 的基礎上提出一種針對11 種天氣現象的網絡MeteCNN,然而在個別類別識別率較低,沒有達到很好的效果。

上述方法雖然運用了不同的CNN 模型,但都忽視了圖像的全局信息,隨著網絡的加深會產生梯度消失的問題,同時感受野在一定程度上受局限。2021年研究人員提出一個適用于圖像分類的Transformer 模型ViT[9],并在ImageNet 數據集獲得了出色的結果。相比于CNN 模型的平移不變性、局部敏感性和特征之間依賴關系差,Transformer 模型的自注意力(self-attention,SA)不受局部相互作用的限制,可以根據不同的任務目標學習最合適的歸納偏置[10]。

針對以上問題,本文嘗試將視覺Transformer 應用到天氣現象識別領域,選取一種利用滑動窗口操作、具有層級設計的Swin Transformer 網絡結構[11]作為基礎網絡,并在其基礎上加入殘差結構和先進的優化器來增強模型的學習能力。實驗結果表明,本文方法與其他識別方法相比具有更高的識別精度。

1 網絡結構

本文提出一種基于殘差結構的Swin-Transformer網絡模型用于天氣圖像的識別,該模型由圖像塊分割層、線性嵌入層、圖像塊合并層、殘差窗口自注意力塊(residual swin transformer block,RSTB)、歸一化層(layer norm,LN)、自適應平均池化層、全連接層組成。網絡結構圖如圖1(a)所示。

圖1 基于殘差Swin Transformer的天氣圖像識別網絡結構

模型首先通過圖像塊分割層將輸入的RGB 天氣圖片劃分為多個不重疊的patch,每個patch 的大小為4×4,特征維度為4×4×3=48,經過4 個階段構建不同大小的特征圖。其中只有第1 階段通過線性嵌入層將特征投影到任意維度C,后3 個階段通過圖像塊合并層進行下采樣,使特征圖的寬和高縮小一半,通道數擴大1 倍。接著,使用RSTB 模塊進行特征變換,這個模塊由一個殘差結構連接不同數目的窗口自注意力塊(swin transformer block,STB)模塊構成。最后,經過一個歸一化層、一個自適應平均池化層和一個全連接層后輸出天氣圖像的類別。

1.1 窗口自注意力塊

窗口自注意力塊由1 個多頭自注意力機制(multihead self-attention,MSA)和1 層多層感知機(multi-layer perceptron,MLP)組成,在MSA 和MLP 之間需要應用一個LN 層,之后應用一個殘差連接。MSA 擁有兩種不同的結構:窗口多頭自注意力機制(windows multihead self-attention,W-MSA);移動窗口多頭自注意力機制(shifted windows multi-head self-attention,SW-MSA)。

如圖2(a)所示,MSA 在計算過程中需要對特征圖中的每個像素進行運算,這種操作增加了整個模型的計算量。W-MSA 模塊將特征圖按照大小為M×M將大小為H×W的圖像劃分成多個窗口,然后單獨對每個窗口進行自注意力計算,從而減少模型的計算量。MSA 和W-MSA 的計算復雜度如下:

圖2 移動窗口重組示意圖

Ω(MSA)=4HWC2+2(HW)2C

Ω(W-MSA)=4HWC2+2M2HWC

由于單一使用W-MSA 會出現不同窗口之間缺乏信息交互,這限制了模型的能力。因此,需要在W-MSA之后引入SW-MSA 進行跨窗口連接,同時可以保持非重疊窗口的高效計算,SW-MSA 的跨窗口連接重組如圖2所示。首先,將W-MSA 的4 個窗口通過滑動窗口變為SW-MSA 的9 個窗口,且這9 個窗口大小不一致。為方便后續計算需要將SW-MSA 的9 個窗口重新整合成與原W-MSA 窗口大小一致的4 個窗口,再使用掩膜Mask隔絕不同區域的信息,最后將窗口還原。

故STB 模塊必須成對使用,第1 個模塊使用WMSA,第2 個模塊使用SW-MSA,2 個連續的STB 模塊如圖2(b)所示。

1.2 殘差窗口自注意力塊

在天氣識別任務中,為使網絡獲取更多有用信息,就需要對特征進行充分的提取和利用。在之前的研究中,天氣識別任務通常使用卷積神經網絡進行識別,而卷積神經網絡通常使用殘差連接[12]和稠密連接[13]提高網絡性能,減少因模塊堆疊、網絡過深而造成的模型退化問題。由式(1)可知,W-MSA 計算復雜度與通道數成正比關系,而稠密連接使用過多會極大地增加通道數。故本文將在STB 模塊堆疊之間引入殘差連接,并將改進后的堆疊STB 模塊稱為RSTB,其結構如圖1(b)所示。

根據上述數據可知，路面竣工后空隙率、穩定度和流值均滿足規范要求，面層結構為灌入式半柔性面層，且與基層結合很好。說明該半柔性路面施工技術的應用，能有效保證路面施工質量要求。

2 損失函數和優化器

2.1 交叉熵損失函數

模型訓練中需要使用損失函數來衡量模型的效果,進而改進模型參數的質量。本文使用的損失函數是交叉熵(CrossEntropy),主要用于度量兩個概率分布之間的差異性,值總是大于等于0。其值越接近于0,就代表兩個分布越相似。其數學公式:

式中:N代表樣本總數,M代表類別的數量;yic代表符號函數(0 或1),如果樣本i的真實類別等于c則取1,否則取0;pic代表樣本i屬于類別c的預測概率。

2.2 Ranger 優化器

Ranger 優化器[14]結合了RAdam[15]和Lookahead[16]兩種優化器。RAdam 為優化器的初期訓練提供最好的基礎,用一個動態整流器調整Adam 的自適應動量,并有效地提供一種基于當前數據集的自動訓練預熱機制,以確保訓練邁出扎實的第一步。Lookahead 的靈感來自對深度神經網絡損失曲面的理解,并為在整個訓練過程中進行健壯和穩定的探索提供突破。本文選擇的Ranger 優化器將兩者結合起來,這樣可以獲得更高的精度。

3 實驗數據集

3.1 數據集介紹

模型訓練和測試所使用的數據集來自文獻[8]所開源的天氣現象數據集。該數據集包含6877 張具有代表性和獨特的天氣現象圖像,每張圖像的大小不定,被分為11 種常見的天氣現象,如圖3所示。其中,數據集由露水(700 張)、霧/霾(855 張)、霜(475 張)、雨凇(639 張)、冰雹(592 張)、閃電(378 張)、雨(527張)、彩虹(238 張)、霧凇(1160 張)、沙塵暴(692 張)和雪(621 張)組成。

圖3 數據集展示

為方便算法的訓練和驗證,在訓練前先把圖像順序打亂,然后按8 ∶1 ∶1 的比例分為訓練集、驗證集和測試集,它們之間不會出現重復的圖像。

3.2 數據增強

由于視覺Transformer 網絡十分依賴數據量,為抑制模型學習過程中因數據量過少而造成的過擬合問題,本文算法在模型訓練過程中對訓練圖像進行一系列的數據增強處理。包括:將天氣圖片調整為256×256后對圖像進行隨機裁剪到224×224、水平翻轉、水平移動和Cutout 方法,原始圖像經過數據增強后的效果如圖4所示。采用這種方法圖像會在形態上發生變化,模型在學習過程中不會使用任意兩張相同的圖像,這有利于抑制過擬合,提高模型的魯棒性和泛化能力。

圖4 數據增強展示

4 實驗

4.1 實驗環境

實驗在DELL Precision 7920 塔式工作站開展,配置為:CPU:Intel(R)Xeon(R)Silver 4210,125 GB內存,GPU:NVIDIA TITAN RTX,24 GB 顯存,Ubuntu 16.04 LTS 64 位操作系統,Python3.8,PyTorch1.10.2。

4.2 實驗細節

使用加入殘差結構的Swin Transformer 網絡進行訓練,采用遷移學習的方法,將Swin Transformer 網絡在ImageNet 數據集上預訓練的權重遷移到改進模型。為能正確識別出數據集中的所有類別,將模型最后的FC 層改為11 個輸出,預訓練模型的所有層均設置為可訓練。訓練過程使用Ranger 優化器,初始學習率為3×10-5,將單次訓練所取樣本數設為64 張圖片,共訓練的迭代次數為300 個。最終,選擇驗證集上正確率最高的模型進行測試實驗,并重復實驗10 次,將10 次的平均值作為模型最終結果。

4.3 模型評價指標

對于一個多分類任務,可以將每一種類別樣本預測結果分為4 種:TN(True Negative),表示把負樣本正確地預測為負樣本;FN(False Negative),表示把正樣本錯誤地預測為負樣本;TP(True Positive),表示把正樣本正確地預測為正樣本;FP(False Positive),表示把負樣本錯誤地預測為負樣本。針對模型效果的評價,本文采用以下評價指標。

準確率P(Precision)指在被判定為正的樣本中,實際上為正樣本所占的比例。公式如下:

召回率R(Recall)指原本為正的樣本中被判定為正的樣本所占的比例。公式如下:

F1分數(F1-measure)指準確率P 和召回率R 的調和平均值。公式如下:

正確率Acc(Accuracy)指所有樣本中分類結果正確的樣本所占的比例。公式如下:

宏觀準確率ma_P(macro-average of Precision)指各類別準確率的平均值,公式如下:

宏觀召回率ma_R(macro-average of Recall),指各類別召回率的平均值,公式如下:

宏觀F1分數ma_F1(macro-average of F1score)指各類別F1分數的平均值,公式如下:

上述評價指標的值都在0～1。準確率、正確率、召回率和它們的宏觀平均值越高,代表模型的分類性能越好。

4.4 實驗結果分析

4.4.1 Swin Transformer 選擇實驗

由于Swin Transformer 提出4 個網絡模型,即Swin-T、Swin-S、Swin-B、Swin-L,為更好地建立適合本文數據集的分類模型并從模型部署和性能方面考慮,本文分別使用Swin-T、Swin-S、Swin-B 來構建天氣識別模型,并從中選出一個正確率最高的模型來做實驗的基礎模型。實驗結果如表1所示,從表1 可以看出Swin-B 具有更好的精度優勢。

表1 Swin Transformer 模型選擇實驗

4.4.2 殘差模塊嵌入實驗

為驗證在堆疊STB 模塊之間加入殘差結構的有效性,對原Swin-B 模型和加入殘差結構的Swin-B 模型進行對比實驗,實驗結果如表2所示。從表2 可以看出,加入殘差結構的Swin-B 模型相對原模型的正確率顯著提高。

表2 殘差模塊的消融實驗

4.4.3 優化器對比實驗

由于優化器在深度學習過程中扮演著重要的角色,本文設計了基于殘差Swin-B 模型的5 個優化器對比實驗,使用的優化器分別為SGD、RMSprop、Radam、AdamW、Ranger,結果如表3所示。由表3 可知,在殘差Swin-B 模型的基礎上使用Ranger 優化器可以使識別結果達到0.936的正確率,同時,進一步證明了該優化器的優點。

表3 優化器對比實驗

4.4.4 本文方法與其他模型對比實驗

表4 顯示了本文方法與一些主流模型的性能對比。在WEAPD 數據集上,總體分類最佳結構是本文方法,正確率為93.64%。同時,該模型的宏觀準確率、宏觀召回率和宏觀F1分數為94%左右,均超過其他模型。

表4 本文方法與其他模型結果對比

4.4.5 方法結果

本文方法的評價指標結果如表5所示,實現了對11 種天氣現象的有效分類,特別是對冰雹、雷暴、沙塵暴、雪這些極端天氣能夠準確識別。

表5 本文方法的分類性能展示

為進一步證明殘差Swin Transformer 模型對天氣現象分類的性能,使用混淆矩陣來說明分類精度,如圖5所示。

圖5 本文模型的混淆矩陣

5 結束語

本文嘗試將視覺Transformer 應用到天氣圖像識別領域,并提出一個基于殘差結構的Swin Transformer模型,該模型可以很好地學習天氣現象的特征。實驗結果表明,本文所提出的模型對天氣現象識別是有效的,且能避免因主觀誤差造成的錯誤,優于多數深度學習方法。雖然天氣圖像存在相似性、復雜性等問題,但總體來說,殘差Swin Transformer 模型的識別正確率達93.6%,能夠滿足日常生活的需要。因此,本文所提出的模型可以廣泛應用于天氣現象的日常觀測,也可為環境監測、農業和交通運輸提供天氣指導,特別在天氣變化和預報方面。

由于本文是在Swin-B 模型的基礎上加入殘差結構,Swin-B 網絡模型參數較多,對計算機的性能要求較高,這對天氣識別模型的時效性提出了挑戰。后期研究中將考慮使用知識蒸餾、網絡剪枝等思想對模型進行優化,在保證網絡性能不變的情況下,提高時效性,實現一個輕量級天氣識別模型。