基于特征融合的室外天氣圖像分類

郭志強，胡永武，劉 鵬，楊 杰

（1. 寬帶無線通信與傳感器網絡湖北重點實驗室（武漢理工大學），武漢430070；2. 武漢理工大學信息工程學院，武漢430070）

（?通信作者電子郵箱991307071@qq.com）

0 引言

在機器視覺領域，天氣狀況對成像效果的影響是不可避免的。隨著機器視覺在生活中的廣泛應用，比如室外監控、自動駕駛等，自動獲取當前天氣狀況并實現成像設備的自適應調整就顯得極為重要。目前，“特征表達+分類器”是廣泛使用的目標檢測與分類框架，基于圖像的天氣識別分類也不例外，核心在于高效準確的特征提取與表達并構建合理的分類器。傳統的特征提取方法是針對某個特定的問題或者一類問題來設計特征，雖然具有極強的代表性，但實現起來比較耗時。比如圖像梯度特征中使用最為廣泛的尺度不變（Scale-Invariant Feature Transform，SIFT）特征［1］和梯度直方圖（Histogram of Oriented Gradient，HOG）特征［2］。此外，在模式識別中，支持向量機（Support Vector Machine，SVM）作為分類器以其特有的優勢被應用于各個領域，如人像識別、文本分類等。Roser等［3］提取車載監控圖像不同區域的亮度、對比度、銳度、飽和度等直方圖特征構建特征向量，利用支持向量機實現對晴天、小雨和大雨三種天氣圖像的分類；Li 等［4］手動提取圖像功率譜斜率、對比度、噪聲和飽和度等特征，選擇分類決策樹作為分類器并用支持向量機作為樹的節點對特征進行分類，但該模型對降雨天氣識別率較低；Lu 等［5］構建了包含10 000 張晴天和陰天圖像的數據庫，對分組后的天氣圖像提取天空、陰影、反射、對比和陰霾等天氣線索作為天氣特征，再利用支持向量機進行分類；Zhang等［6］構建了任意背景的多類天氣圖像數據庫，提取局部特征和全局特征并利用多核支持向量機方法（Mutiple Kernel Learning，MKL）進行分類；Zhang 等［7］又在此基礎上對分類方法進行改進，提升了分類效果；Zheng 等［8］提取天空和非天空區域的特征，使用判別字典作為分類模型對天氣圖像進行分類。隨著深度學習的發展，基于深度學習的特征表達方法免去了人工設計特征的繁瑣，其中卷積神經網絡［9］廣泛應用于圖像分類并取得了許多優秀的成果，但在圖像天氣分類上的應用不多。Elhoseiny等［10］使用卷積神經網絡對晴陰兩種天氣圖像進行分類并達到了82.2%的分類準確度；Li等［11］利用天氣線索的語義分割作為輔助任務，開發出基于卷積神經網絡的多任務框架，用來同時解決天氣圖像分類任務和天氣線索分割任務；Villarreal 等［12］對雨霧雪圖像做超像素分割的增強處理后用卷積神經網絡進行分類，也取得了較好的分類效果；An等［13］將AlexNet和SVM結合起來，把卷積神經網絡提取出來的天氣特征用支持向量機進行分類，在天氣圖像分類上也有不錯的表現。

本文在對傳統人工設計算法和卷積神經網絡的研究基礎上，對原有的卷積神經網絡結構進行改進，把傳統算法與神經網絡結合，以五種常見天氣現象晴天、陰天、雨天、霧天、雪天的天氣圖像作為樣本，實現天氣圖像的傳統特征和深層特征的融合，并利用融合特征進行天氣圖像分類。本文算法框架如圖1所示。

圖1 特征融合模型算法框架Fig.1 Algorithm framework of feature fusion model

1 特征提取

傳統的特征提取方法需要根據檢測對象進行針對性設計，設計方法極大地依賴于先驗知識，對于檢測對象的本質特征刻畫較為薄弱，同時提取效果受人工設計算法影響較大，局限性較多。同時，在文獻［14］中也提到，卷積神經網絡的方法通過讓機器自動學習樣本特征，無需大量的先驗知識及繁瑣的算法設計，可以反映出人為設計難以實現的特征。但卷積神經網絡也有其局限性，比如低層卷積層感受野太小導致難以兼顧全局特征。在此基礎上，如果可以將針對性的設計特征與卷積神經網絡特征相結合，對于天氣的特征表達將會大有裨益。本文在傳統圖像處理方法的基礎上，研究并提取了4 種基于統計的天氣圖像特征，并稱其為傳統特征；相對地，通過多層卷積神經網絡所提取出來的天氣特征則稱為深層特征。本文希望能兼顧傳統算法與深度學習的優點，將傳統與深層特征提取方法相結合，增加特征表達方法的多樣性，從而使天氣特征得到更加完善的表達。

1.1 傳統天氣特征提取

傳統特征的設計問題是傳統天氣圖像分類研究的重點，早期的天氣特征提取著眼在圖像的全局統計特征，如文獻［3］中的對比度、飽和度，這些方法一定程度上可以反映不同天氣條件下的光照等特征，但是忽略了圖像背景信息，并且當天氣圖像背景比較復雜時易受背景干擾。文獻［5］中提出了利用不同天氣狀況下的天氣線索，比如天空、陰影、反射作為局部特征，同時加上了對比度、暗通道等全局特征，合理利用了背景信息，但是局部特征的分割較為繁瑣，并且容易引入誤差。本文綜合考慮了各種傳統特征的提取方法及其效果，并結合實驗情況選擇了天空、對比度、飽和度和暗通道這4 種特征作為傳統天氣特征。

1.1.1 天空特征

在不同的天氣圖像中，天空區域的特征差異是較為明顯的。比如晴天的天空比較干凈，受攝像頭不同的影響表現出藍色或灰色，雜色較少；陰天則會有不同程度的云彩聚集等。在文獻［5］中詳細介紹了分割天空區域的方法，并對天空區域提取了RGB 顏色直方圖作為天空特征向量。該文中的天空區域的分割算法需要大量的訓練圖片，工作量較大，且分割效果并不完美，容易引入不必要的誤差。本文在對比統計大量監控圖像的基礎上，采取了較為簡單的天空區域特征提取方法，將天氣圖像的高度4 等分，將最上層的部分圖像區域直接作為天空區域，再提取天空區域的Lab 顏色空間［7］的a 通道和b 通道直方圖，直方圖劃分為24 個區間，歸一化處理后得到1× 24 的特征向量作為天空特征向量。樣本圖像的天空特征如圖2所示。

1.1.2 對比度特征

對比度特征可以反映一幅圖像中最亮與最暗之間的對比差異。不同的天氣條件下會有較為明顯的對比度差異，比如晴天圖像中陽光和陰影部分亮暗對比強烈，而霧天圖像的亮度分布較為平均等，因此本文選擇對比度特征作為傳統特征之一。本文根據Michelson 公式［15］計算對比度C 如式（1）所示:

其中:Lmax和Lmin分別代表圖像的最大亮度和最小亮度。而圖像亮度（Luminance）為HLS 顏色模型［16］中L 分量，代表顏色的明亮程度，體現了無色的強度概念。HLS 顏色模型亮度分量計算方法如式（2）所示:

其中:Vmax= max(R，G，B)；Vmin= min(R，G，B)。樣本的亮度圖像如圖3所示。

1.1.3 飽和度特征

在HLS 顏色模型中，飽和度（Saturation）反映顏色的鮮艷程度，與人的眼睛識別色彩機制密切相關，可以較好地反映不同天氣條件下的顏色特征。除天空區域以外，圖像的其他區域有較為復雜的背景，比如森林、草地、建筑等，在不同的光照條件下會呈現出不同的視覺效果，地面干燥及濕潤程度的不同也會有視覺上的差異。因而飽和度可以是體現不同天氣圖像差異的重要特征。飽和度的計算方法如式（3）所示:

本文將提取HLS 顏色空間的飽和度直方圖，圖像中每個像素點取值范圍為0～255，劃分為24 個區間，并作歸一化處理。結果得到維度為1× 24的特征向量。樣本圖像的飽和度特征如圖4所示。

1.1.4 暗通道特征

He等［17］在單幅圖像去霧中提出暗通道先驗規律，即在無霧圖像的非天空區域里，把圖像分為若干子塊，每個子塊中都會有某些像素點的一個顏色通道的亮度接近于0。在此規律的基礎上，暗通道圖像隨不同的天氣狀況會有不同的特征表現。本文將此規律推廣至所有天氣圖像，提取每一種天氣狀況下的暗通道圖像，即每個RGB 分量中最小值構成的圖像，然后提取暗通道圖像的直方圖，并將直方圖劃分為24 個區間，歸一化處理后得到維度為1× 24的特征向量。其中，輸入圖像J的暗通道可以表示為:

其中；Jc表示彩色圖像的RGB 通道。樣本圖像的暗通道特征圖展示如圖5。

圖2 五種天氣的a、b通道直方圖Fig.2 a channel histograms and b channel histograms of 5 kinds of weather

圖3 五種天氣圖像的亮度圖Fig.3 Brightness images of 5 kinds of weather images

圖4 五種天氣圖像的飽和度圖、飽和度直方圖Fig.4 Saturation images and saturation histograms of 5 kinds of weather images

圖5 五種天氣圖像的暗通道圖像、暗通道直方圖Fig.5 Dark channel images and dark channel histograms of 5 kinds of weather images

1.2 深層天氣特征提取

卷積神經網絡的基本結構有輸入層、卷積層、池化層、全連接層、輸出層。其中，卷積層可以通過卷積操作提取天氣圖像的不同局部特征，低層的卷積層提取邊緣、線條等低級特征，高層的卷積層可以提取更為高級和抽象的特征；池化層一般在卷積層之后，并與卷積層交替出現，通過降低輸入特征的分辨率來獲取天氣圖像的空間不變性特征，達到二次特征提取的效果。長久以來，卷積神經網絡的研究與實踐表明，深層的卷積神經網絡可以獲取高層次的抽象特征。最后，全連接層通過層間神經元的全連接對卷積層及池化層提取的全部局部特征進行整合。因此，卷積神經網絡可以滿足天氣圖像特征提取的需求。

卷積神經網絡在圖像分類領域廣泛應用的同時，也存在有一定的不足。卷積神經網絡的核心操作是卷積，通過特定維度的卷積核獲取圖像局部的感知信息。在文獻［18］中提到，兩層3× 3 卷積層堆疊后（無池化）的感受野大小是5× 5。低層的網絡層感受野很小，隨著網絡堆疊，感受野逐步增大。要想獲得更大的感受野，就需要更大尺寸的卷積核和更深的網絡層，與之俱來的是更加復雜的網絡結構、更多的網絡參數和運算。目前經典的卷積神經網絡如AlexNet［18］、VGG［19］等輸入圖像尺寸為227× 227，而室外監控圖像的尺寸一般高于這個尺寸，因而在圖像輸入之前就要放棄一部分圖像信息，再加上局部感受野的卷積操作，會對圖像的全局判斷造成影響。比如陰天云量的不同會導致部分區域亮度很高，表現出晴天特征；而晴天的陰影部分亮度較低，有陰天特征。如果僅著眼于局部信息，很容易造成誤判。人工設計的特征大多為全局的統計特征，并且受圖像尺寸影響較小，可以為卷積神經網絡提取的天氣特征進行一定程度的補充，增加特征的多樣性表達。本文中用到的AlexNet 卷積神經網絡結構及參數將在下一部分給出。圖6 展示了天氣圖像在卷積神經網絡中各卷積層及池化層的部分變化過程，所有特征圖的尺寸與AlexNet對應各層的維度保持一致。

圖6 天氣圖像在卷積神經網絡中的特征圖像變化Fig.6 Feature map changes of weather image in convolutional neural network

1.3 特征融合方法

正如引言中所談到，已經有很多工作分別將傳統方法和深度學習方法用于天氣圖像分類；而將兩種方法結合用于天氣圖像分類的工作還不是很多，特征融合的方法也并不固定。如何進行特征融合，需要考慮的問題有特征融合的位置以及特征融合的方法。在文獻［20］中對于深度學習的特征融合算法有較為詳細的介紹，主要針對神經網絡卷積層輸出的2 個特征圖進行空間上的特征融合。融合方法有加性融合、最大融合、級聯融合等。其中，加性融合就是特征圖對應位置元素的值相加，而融合后的特征圖的通道數不變。該方法適用于維度相同的兩個特征圖融合。最大融合類似于加性融合，將2 個特征圖對應位置元素值較大的作為融合特征的值，同樣適用于維度相同的兩個特征圖。級聯融合則是將兩個特征圖直接相連接，元素全部保留，與之相應的融合后特征圖通道數也是兩個特征圖之和。級聯融合方法適用于任何維度的兩個特征圖。特征圖的選擇可以是原始數據或神經網絡的中間層進行融合。本文采用傳統算法提取到的傳統特征為一維的行特征向量，而在卷積神經網絡中，除全連接層外，其余中間層均為二維或多維特征向量。因此，特征融合的位置確定為卷積神經網絡的全連接層。此時傳統特征和深層特征均為一維特征向量，但二者維度并不相同。考慮到傳統特征與深層特征僅提取方法不同而功能相同，作為分類器的輸入來講并沒有優劣之分，故采用級聯的融合方法更為合適，可以完全保留兩種方法提取出來的不同特征。具體的特征維度以及特征圖級聯結果將在下一部分介紹。

2 分類模型

2.1 數據采集及處理

本文在前人研究的基礎上，結合自身實驗情況，選定的天氣圖像類別為5 類，分別是陰天、霧天、雨天、雪天和晴天。所采用圖像數據集分為兩個部分，命名為Dataset Ⅰ和DatasetⅡ。DatasetⅠ為多背景室外監控圖像，圖像來源為公開數據集AMOS（Archive of Many Outdoor Scenes）［21］。數據集中的圖像由分布在世界各地的固定攝像頭長時間拍攝得到，包含超過10 000個場景，部分圖像有地理位置信息，但沒有天氣信息的標注。從AMOS 數據集中選擇了20 個左右場景，圖中天氣現象的標注由多人協助完成，每人單獨對圖中天氣現象作標注，最終取得票數最高的標簽作為圖片代表的天氣。由于AMOS數據集中的圖像大小不一，為了便于后續處理，將DatasetⅠ中的圖像統一尺寸到1280 × 720。DatasetⅡ為自行拍攝的單背景天氣圖像，采用的攝像機為普通佳能相機，相機位置固定保證背景不變，長期拍攝保證獲取足夠多的天氣圖像，拍攝時間集中在上午9 點至下午4 點間，獲取一幅圖像的時間間隔約為5 min，圖像分辨率為1280 × 720。數據集圖像構成如表1所示。

表1 本文所用數據集的構成Tab. 1 Composition of datasets used in this paper

選取了兩個數據集中的部分圖像進行展示，涵蓋了幾種常見的天氣狀況，如圖7～8所示。

2.2 分類網絡

在傳統特征的提取過程中，首先將圖片長寬4 等分，這樣原始圖片被均勻分為16 張子圖，然后對最上層子圖提取天空特征Lab 直方圖，得到1× 192 維天空特征向量；對所有子圖提取對比度、飽和度和暗通道特征，得到1× 784 維局部特征向量；再加上整張圖的1× 49維全局特征向量，經過串聯融合后構成維度為1× 1025 的傳統特征向量。提取深層特征時，本文對比了幾個經典的卷積神經網絡LeNet-5、AlexNet、VGG-16、GoogLeNet［22］等的網絡結構與參數，考慮到AlexNet的輸入圖 像 維 度227× 227，相 對 于LeNet-5 的 輸 入 維 度32 × 32，AlexNet 可以更多地保留圖片中的天氣信息；此外，AlexNet 的網絡層數及參數遠少于VGG-16，且網絡結構較GoogLeNet 簡單，因此，本文初步選擇AlexNet 作為天氣圖像的深層特征提取框架，所用的AlexNet 各層網絡參數如表2 所示。深層天氣特征的提取則選擇天氣圖像經過全部卷積層和池化層后的特征向量，即為最后一個池化層的輸出。

同時，為了實現特征融合的目的，本文對原有的AlexNet結構進行適度的改造，在輸入層之后并聯傳統天氣提取網絡，用于提取4 種傳統天氣圖像特征；在最后一個池化層之后構建特征融合層，將深層特征與歸一化后的傳統特征進行串聯，得到的特征融合層維度為10 241× 1；最后，原AlexNet最后一層的1 000分類的輸出被改為5分類，經過softmax分類器用于5種天氣狀況的判別。總體的網絡模型如圖9所示。

圖7 DatasetⅠ部分圖像展示Fig.7 Some images in DatasetⅠ

圖8 DatasetⅡ部分圖像展示Fig.8 Some images in DatasetⅡ

圖9 基于特征融合改進的天氣識別網絡Fig. 9 Weather recognition network improved by feature fusion

表2 AlexNet各層參數Tab. 2 Parameters of each layer of AlexNet

3 實驗與結果分析

3.1 實驗參數

本文實驗在Intel Xeon CPU E5 @3.5 GHz、8 GB 內存、64位Windows 10 操作系統、Python 3.5 和OpenCV2 平臺下進行。為了驗證本文提出的融合模型對天氣圖像的分類效果，使用DatasetⅠ和DatasetⅡ分別對模型進行訓練和驗證。其中，DatasetⅠ的訓練集和測試集比例為8∶2，融合模型中的卷積神經網絡部分訓練次數設置為1 000，batchsize 大小為100，學習率設為0.001，衰減率為0.1，使用Adam 優化算法進行優化。DatasetⅠ的測試結果如表3 所示。DatasetⅡ全部作為訓練集，測試集由同一時間收集的其余圖像構成，同時測試集數量及測試結果將在表4中給出。

為了驗證實驗模型及特征融合方法的有效性，在同樣的測 試 集 和 訓 練 集 上，將 本 文 方 法 與SVM［3］、AlexNet［10］和AlexNet+SVM［13］進行對比。實驗時為達到最好的分類效果，需要對各個模型參數進行設置。其中，SVM 使用Python 環境下sklearn 庫集成的SVM 算法，核函數選擇線性核函數，輸入為人工設計提取的維度為1× 1025 的天氣特征向量。AlexNet 的所有參數與本文提出的融合模型中神經網絡部分的參數保持一致，輸入為數據集中的圖像。同時，AlexNet 提取出來的特征還要作為AlexNet+SVM 模型中SVM 的輸入特征向量，這里SVM 的參數與之前保持一致。為了衡量各個模型的性能，本文選擇每一類天氣的分類精準率（Precision，P）和召回率（Recall，R）以及整體的平均精準率（Average Precision，AP）、平均召回率（Average Recall，AR）和準確率（accuracy）指標進行評價。各個模型的實驗結果如表5～6 所示。其中，精準率、召回率和準確率的計算方法如下所示:

其中:TP（True Positive）表示圖像標定為正樣本，分類結果也為正樣本；FN（False Negative）表示圖像標定為正樣本，分類結果為負樣本；FP（False Positive）表示圖像標定為負樣本，分類結果為正樣本；TN（True Negative）表示標定為負樣本，分類結果也為負樣本。

表3 DatasetⅠ實驗準確率Tab. 3 Accuracy on DatasetⅠ

表4 DatasetⅡ實驗準確率Tab. 4 Accuracy on DatasetⅡ

3.2 結果與分析

從表5～6中可看出:在多背景數據集DatasetⅠ上，本文的特征融合方法在AP 和accuracy 兩項指標上均優于其他模型；而在AR 指標上略低于AlexNet+SVM 模型，原因是本文融合模型在霧天類上的分類效果較其他模型差。此外，AlexNet+SVM模型準確率比本文模型稍低，而優于另外兩個模型，也有不錯的表現，說明特征提取+分類器的不同組合會對分類效果有一定的影響。SVM方法因為人工設計特征的局限性分類效果較差。在單背景數據集DatasetⅡ上，本文特征融合方法在所有指標上遠優于其他模型，而AlexNet 在accuracy 和AR 上表現較AlexNet+SVM 更為優秀一些，AP 指標則略有不如，SVM在所有的評價指標上表現均為最差。

同時，從表5～6中還可看出:本文融合模型在陰天、雨天、雪天和晴天上的分類效果是所有模型中最好的，但在霧天上的分類效果比其他三個模型都差；同時可以注意到SVM 在晴天上的分類效果也十分的優秀，因此本文認為人工設計特征對于融合模型分類效果產生了影響，但是這種影響并不一定完全有利，就像融合后可以極大提升晴天分類效果，卻對霧天分類效果造成了差的影響。此外，在單背景數據集上，除了晴天和陰天以外，所有模型在霧天、雨天和雪天上的表現極為接近且識別率均接近100%，原因是與多背景圖片相比，單背景的天氣圖像變化較少，受背景影響小，不同類之間的天氣現象差異更為明顯，因此不需要復雜的分類模型便可以達到較好的分類效果，比如SVM 的表現就已經非常優秀。但是，在去除背景影響后，在單背景數據集上，不同的模型在晴天和陰天上的分類結果有不同的傾向性，SVM 在晴天上的分類表現優于另外3 個模型，但在陰天上表現較差，結合精準率來看，SVM 更傾向于把晴天圖像歸類為陰天；AlexNet在晴天上表現優于SVM，但陰天上不如SVM，同樣結合精準率來看，AlexNet更傾向于把陰天圖像歸類為晴天。這里給出各模型的部分預測結果以便直觀展示模型性能。

本文選取了圖10 對測試集中的雨天圖片和陰天圖片的對比，以及陰天和晴天的對比進行展示，表7 展示了各個模型對于該雨天和陰天圖像的預測結果。可以看到人眼觀測下陰雨天氣的圖片有很多相似的特征，表現為烏云、整體亮度等，而在地面上有細節差異，本文融合模型在特征表達上較其他模型更為多樣，可以正確區分這兩種相近的天氣；類似地，晴天和陰天圖片在天空、建筑陰影上較為相似，而在整體亮度上差異較大，傳統特征和深層特征的融合可以更好地兼顧整體和細節，預測的準確率就更高。

綜合以上結果來看，本文的融合模型在分類效果上同時受人工設計特征和AlexNet的影響，在各個天氣狀況下都有不錯的分類精度，在陰天和晴天的分類上并沒有明顯的傾向性，但是由于AlexNet提取的陰天特征的影響，導致在陰天類的分類結果較SVM弱一些。AlexNet+SVM 受卷積神經網絡特征提取的影響，在陰天分類上表現更差，而在晴天分類上效果更優，說明AlexNet+SVM 模型也是同時受特征提取方法和分類方法的影響，對于AlexNet 未能準確提取到的陰天特征，SVM也難以有好的分類結果，甚至更差。

表5 各個模型在DatasetⅠ的精準率和召回率結果對比Tab. 5 Precision and recall results of each model on DatasetⅠ

表6 各個模型在DatasetⅡ的精準率和召回率結果對比Tab. 6 Precision and recall results of each model on DatasetⅡ

圖10 用于預測的雨天和陰天圖片及對比Fig.10 Rainy and cloudy images and comparison images for prediction

表7 四個模型預測結果對比Tab. 7 Prediction result comparison of four models

4 結語

本文在研究圖像分類的基礎上，對現有的天氣圖像分類方法進行了總結和改進，結合傳統的人工設計特征方法和深度學習方法，將傳統天氣特征和深層天氣特征進行融合，得到了較好的分類效果。同時，從實驗結果中可以得出以下結論:首先，從圖像中識別天氣會受到背景的影響，背景越復雜，分類難度越大，復雜模型的表現越好，而在單一背景天氣圖像下，簡單的分類方法也可以有更優的表現；其次，本文的融合模型同時受到人工設計特征和卷積神經網絡兩個方面的影響，既有可能結合兩者的優點，在相近天氣狀況下表現出更好的分類效果，也有可能結合二者的缺點，使得分類結果變得更差，需要進行更多的訓練和嘗試以使得融合的優點更為突出；最后，融合模型較其他模型分類效果有一定的提升，如果有更為優秀的人工設計特征方法和特征融合方法，融合模型的性能應該可以進一步提升。因此，在下一步工作中，我們將繼續嘗試不同的人工設計特征及其組合，同時嘗試更多的特征融合方法，并不斷改進網絡架構使其更適合進行天氣特征融合及天氣圖像分類。