基于聯合投票網絡的交通場景天氣分類方法

崔洪濤 ，曹 科 ，張 虎 ，崔 瀟

（1.河南省高速公路聯網監控收費通信服務有限公司，河南 鄭州 450016；2.西南交通大學信息科學與技術學院，四川 成都 611756）

目前，智能交通系統中重要的研究課題之一是如何高效和正確地利用廣泛的視頻監控圖像來識別各類交通環境中的氣象狀況.無論是城市交通還是道路交通無時無刻不與天氣狀況有著緊密的聯系，天氣的好壞對交通運輸有著直接的影響.特別是惡劣的天氣不僅會大大削弱交通運輸效率，還會直接導致交通事故，危及人們的生命財產安全.據《中華人民共和國道路交通事故統計年報（2010年度）》[1]統計數據，全國發生21.95萬起交通事故，其中高達29.79%的事故由惡劣天氣導致.所以，城市交通運營、高速公路管理、航班時刻制定等，都需要以準確掌握交通環境中的天氣狀況為前提.例如：暴雨將影響駕駛可見度，這種情況下高車流量容易引發交通事故，而如果能及時捕捉到局部暴雨情況，便可以通過疏導和限制車流達到降低交通事故發生概率的目的；航空運輸對低空天氣狀況更加敏感，造成事故的往往為低空事故，因此及時監測低空天氣環境更為重要，并以此為依據對即將起飛或降落的飛機進行管理.

雖然可以從氣象臺獲取天氣信息，但這往往是大范圍的天氣信息.利用氣象傳感器監測局部天氣狀況，則存在價格昂貴，難以應用于巨大的交通網絡的困境.于是，基于視覺的天氣檢測方法逐漸受到關注.然而，基于視覺的方法普遍存在準確度不足的問題，這個問題在復雜的交通場景下尤為突出.總的來說，目前交通路網天氣檢測主要面臨三方面的挑戰，即局部天氣監測困難、氣象傳感器昂貴、基于視覺的天氣識別方法效果差.

對于已普遍建立在交通路網中的道路監控系統，研究人員更青睞通過采集監控圖像來完成局部天氣精準分類檢測.基于圖像完成天氣識別任務，需要通過模型提取分類特征.有通過直方圖特征來提取天氣信息[2-3]的方法，但適用范圍過于局限.有用場景理解來做分類的方式[4-5]，還有用尺度不變特征變換（scale-invariant feature transform，SIFT）[6]或方向梯度直方圖（histogram of oriented gradient，HOG）[7]等特征信息來做分類的方式，但這些方法提取的特征對于明暗變化劇烈的天氣圖片很難適用.因此，傳統特征提取的方法并不適用于天氣檢測任務.

近幾年，卷積神經網絡（convolutional neural network，CNN）[8]在計算機視覺方面取得了巨大的發展，并在廣泛的圖像分類任務中展示了強大的優勢.但對于復雜交通場景下的天氣識別任務，現有CNN普遍存在準確率不足的問題.最近的研究表明，通過將注意力機制和二階特征處理方法集成到網絡之中，可以增強特征的表達能力.基于此，本文提出融合多種優化機制的聯合投票網絡（joint voting network，JVNet），該網絡能顯著提高在復雜交通場景下的天氣識別精度，使基于交通路網監控圖像的天氣分類成為可能，大大增加交通智能化程度.

因此，針對交通應用任務的有效性，本文構建了一個新的天氣識別數據集，該數據集包含3820張彩色圖片，覆蓋6種天氣類型（包括晴、雨、小霧、中霧、大霧、雪）.圖像來源于網絡，采集內容為各類交通場景.為體現數據集的詳細分布信息，分別統計了不同天氣圖像的數量分布、亮度分布以及圖像尺寸分布，具體見附加材料圖S1～S3.相較于以往提出的數據集，該數據集傾向于交通應用，覆蓋更多天氣類型，類別數量分布不均，亮度分布相似，這都表明了在該數據集上的分類任務難度大，能充分滿足對實際交通場景天氣分類任務的驗證需求.

1 相關工作

1.1 傳統的天氣識別方法

將計算機視覺方法應用于圖像的天氣分類任務上，很多學者做了努力.早期的做法是：利用圖像中的一些先驗信息來做分類[2-3].他們在圖像上劃分不同的興趣區域（region of interest，ROI），然后在設計的先驗信息域（例如銳利度、明亮度、飽和度等）上提取HOG[7]特征，再將不同信息域的特征組合成多維特征送入支持向量機（support vector machine，SVM）中進行分類判斷.但這種方法依賴于特定的先驗信息，所以不具有廣泛應用的能力.

另外的做法是，通過設計各種天氣特征（比如天空、陰影、反射等）提取器用于區分天氣情況.但這種方法在圖片中沒有任何之前設計的天氣特征的情況下，將無法判斷天氣情況.Lu等[9]使用了投票人的協作學習框架：將有著相同天氣特征的圖像分在一組，然后在同一組圖像中構建SVM分類器，最后聯合各組的不同分類器對圖像進行判斷，這種方法取得了76.6%的正確率.

雖然這些工作為天氣分類任務提供了不少的解決方案，但這些方法取得的效果并不理想.與典型的圖像分類任務相比，天氣圖像受到光照、反射、場景和陰影等多種因素的影響，這些因素高度耦合，使得圖像的天氣分類邊界高度非線性，以往的工程方法已經無法捕捉這種分類邊界.

1.2 基于深度學習的圖像識別方法

AlexNet是第一次在大規模圖像分類任務中被提出的卷積神經網絡，它將ImageNet錯誤率降至16.4%[10].隨后，Inception和ResNet相繼被提出，并取得提升效果[11-13].自2012年以來，CNN的方法便廣泛應用于圖像識別領域.

文獻[14]的研究證明了CNN在天氣分類任務上的有效性，將AlexNet的輸出層變成2類，在Lu等[9]的數據集上作訓練，對CNN逐層分析其分類效果并與之前方法比較，CNN更善于發現天氣分類任務中的非線性映射關系，并取得了提高的分類結果（91.1%）.

另外，延續Lu等[9]利用多種區域特征來區分天氣的思想，文獻[15]提出了區域選擇和并發模型的深度學習模型，通過對圖像語義分割后得到不同的語義區域，然后將原始的分類器替換為網絡模型，利用不同區域的特征表達得到區域天氣指示，最后綜合成全圖天氣判斷.在多屬性天氣判斷上取得了不錯的效果.

從分類效果可以清晰地看出：相比于傳統方法，CNN在天氣分類任務上同樣有著較大的優勢.為了提高天氣分類模型的效果，如何提升CNN對復雜交通場景下天氣特征的有效提取成為了任務的關鍵.

有研究工作[16]發現：卷積網絡在逐步降低分辨率時會降低空間結構的辨識度，這限制了圖像分類的準確性.文獻[16]提出了擴展卷積來緩解這些問題，在不減少單個神經元接受域的情況下提高輸出特征圖的分辨率，并且提高了網絡的分類效果.

在之前的工作[17-18]中，特征的各通道相關性通常獨立于空間結構，主要目的在于減少模型參數量和計算復雜度.與此相反，Hu等[19]為特征的通道相關性提供了一種注意力機制，用以學習特征通道之間的非線性依賴關系，這樣顯著增強了網絡的表示能力.之后，Woo等[20]還在空間層面引入注意力機制，對通道和空間進行有區別的特征學習，有效地幫助網絡提取優秀特征.

另一方面，現有多數網絡只專注于設計更廣或更深的結構，Li等[21]在探索高階信息上做出了努力.作者對提取出的特征信息進行協方差池化，產生的協方差矩陣作為全局圖像的特征表示，并在Image-Net 2012數據集[22]上進行了全面的評估，證實了二階特征網絡分類效果優于一階特征網絡.

1.3 本文思路

受以上工作啟發，本文將在復雜交通場景下的監控圖像上，使用現有經典圖像識別CNN的基礎上，加入注意力機制的二階特征方法和聯合投票分類機制，綜合特征可視化方法改進通用CNN，為更加適合復雜交通場景天氣分類的網絡模型，解決目前基于監控圖像的城市交通天氣檢測面臨的識別準確率不足的難題.

2 本文提出的方法

2.1 基于注意力機制的二階特征模塊

2.1.1 現有天氣特征提取方法的不足

雖然現在有許多針對通用圖像識別任務提出的網絡模型，這些通用網絡能提取部分有效分類特征，但對于復雜交通場景的天氣圖像信息，是無法捕獲準確判斷所需要的更多信息，主要原因是現有的通用網絡沒有針對具體應用對分類特征進行有區別的關注和學習，且沒有利用高階信息來進行篩選特征.

在網絡中加入的注意力機制，能告訴網絡注意的重心，提高重心的代表性.在網絡的信息流中，通過混合信道和空間的信息來提取特征，能同時兼顧兩個維度上的特征.因此，網絡通過加入通道和空間的注意力機制，能有效地幫助網絡提升判斷力.

2.1.2 通道注意力的特征提取方法

以簡化的普通淺層卷積網絡為例，基于通道注意力機制的天氣分類網絡結構如圖1.

圖1 特征通道注意力機制網絡結構示意Fig.1 Schematic diagram of channel attention network

對輸入圖像提取到特征圖后，首先是將特征圖每個通道中的二維特征圖轉換成一個實數，然后再通過學習為每個特征通道生成權重，最后將生成的權重通過乘法運算逐層通道加權到先前的特征上，完成在通道維度上對原始特征的重標定.

2.1.3 通道和空間注意力機制的特征提取方法

在網絡中，加入通道和空間軸上的注意力機制后，每個部分便分別在通道和空間軸上學習“什么”和“哪里”需要加大學習力度，簡化的網絡結構如圖2.

圖2 特征通道和空間注意力機制結構示意Fig.2 Schematic diagram of channel and spatial attention network

類似的，對輸入圖像提取到特征圖后，注意力機制分別從通道和空間兩個獨立的維度處理得到權重，然后將權重點乘特征圖進行自適應特征細化.

2.1.4 二階特征方法的設計

Li等[21]提出的 MPN-COV（matrix power normalized covariance）法是對二階特征信息的有效處理手段，圖3為MPN-COV法的正向和反向傳播過程，圖中：p為輸入特征的樣本協方差矩陣；u、a分別為正交、對角矩陣；q為特征值的冪矩陣；feig(p)、fpow(u,a)分別為特征值分解函數、矩陣冪轉換函數；x為模型初始化參數；l為損失值.對于一個輸入的圖像特征，MPN-COV法產生一個歸一化的協方差矩陣作為二階特征表示，表征了特征空間的相關性.

圖3 MPN-COV 方法的前向和后向傳播過程Fig.3 Forward and backward propagation of MPN-COV

MPN-COV方法作為一個網絡層插入到最后一層卷積層和全連接層（fully connected layer，FC）之間，可端到端訓練.

MPN-COV方法其實相當于穩健的協方差估計.樣本協方差等于正態分布隨機向量的極大似然估計的解.該方法非常符合收縮原理，即縮小最大的樣本特征值，拉伸最小的特征值，為每個特征值提供個性化的收縮強度.將與目標結果不相關的特征和相關的特征分離，進一步提高全連接層分類精確度.

2.2 基于聯合投票的復合網絡

2.2.1 現有單一神經網絡無法捕捉全面特征

神經網絡不同的結構可以帶來不同的分類效果，因為結構也隱含了某種特征設計.較早的AlexNet網絡結構比較淺，所以關注的是淺層特征，而后的ResNet網絡能達到1 000層，所以網絡學習到的是高層特征.通過在網絡中增加通道和空間注意力機制，網絡會傾向于在通道和空間部分進行特征選擇，所以，網絡的設計會帶來特征選擇的傾向性.但對于復雜交通場景的天氣特征信息，現有單一網絡仍然無法全面學習.

2.2.2 網絡方法的設計

單一網絡無法全面學習到所有特征，提出綜合網絡判斷結果的聯合推斷方法將融合各網絡的選擇結果.由于每個網絡對圖像輸入都有輸出的判斷結果，所以將每個網絡的輸出判斷結果進行比較，多數的投票結果即為最終復合網絡的輸出結果.聯合投票復合網絡方法的設計如圖4所示.

圖4 聯合投票的復合網絡結構示意Fig.4 Schematic diagram of joint voting network

2.2.3 網絡方法的原理

假定聯合投票網絡復合的是M個不同類型的單一模型集合G={g1,g2,···,gM}中的模型, 并且給定的含有N張圖像的訓練集T={(x1,y1),(x2,y2),···,(xN,yN)}.每個圖像xi（i=1,2,···,N）的真實標簽yi對應C個天氣類別序號k（k=1,2,···,C）.假設對于每個單一模型gj（j=1,2,···,M），圖像xi通過其最終的FC層對天氣類別k的輸出值為Vijk，那么模型gj對圖像xi判斷為天氣類別k的置信度sijk的如式（1）所示.

在給定的組合權重W={w1,w2,···,wM}下，最終聯合投票網絡對圖像xi推斷為天氣類別k的結果bik表示為

最終，復合模型對圖像xi的判斷結果hi為

式中：Index為bik對應的索引序號.

對于通過交通場景圖像進行的天氣識別任務，其最終目的是使聯合投票網絡的所有輸出結果hi與訓練集給定的真實標簽yi盡可能的相符合，如果將期望概率P(yi|xi)和模型概率P(hi|xi)分別用p(xi)和q(xi)來表示：

則可以用相對熵，也稱KL (Kullback-Leibler)散度來衡量這兩個分布的距離：

展開可得

由于p(xi)是確定不變的，所以相對熵H(p,q)最小化等價于將式（7）第二項最小化，即

而聯合投票網絡就通過式（8）約束，達到擬合對天氣類別的綜合判斷.

2.2.4 網絡方法所具有的優勢

復合多個深度神經網絡，在單一網絡后加入投票機制，能夠在提取豐富多樣的特征信息后，融合判斷輸出最終結果，實際上是所有網絡特征的組合表達，所以復合網絡能綜合各網絡學習到的極具表達力的分類特征，形成對復雜交通場景下天氣圖像精確分類的能力.

3 試 驗

3.1 試驗數據集

雖然研究者提出了很多相關數據集，但對公路天氣分類任務針對性不強，例如：Lu等[9]提出了一個包含有1.0萬張2類天氣（晴天、陰天）的數據集，用來評估天氣分類檢測任務相關工作的有效性，但天氣類別單一；Lin等[15]提出了多類別天氣數據集，其中包含6個天氣類別（晴天、多云、下雨、下雪、薄霧和雷雨）的6.5萬張圖像，但該數據集多為自然場景圖片，且沒有對霧天程度進行區分，但這對交通管理十分重要.

試驗在兩個數據集上作驗證，一個是Lu等[9]建立的天氣分類數據集，簡稱為2CWD，一個是本文建立的包含3820張6種天氣類別的數據集，簡稱為6CWD.

兩個數據集的訓練集、驗證集和測試集都是采用互不重疊的隨機分配方法按6∶2∶2的比例組合，訓練集和驗證集一起參與訓練，測試集用于最后模型測試，所有試驗數據集固定不變.

3.2 試驗評估測度

本文從模型在測試集上的推斷準確度來評估模型的性能.測度參考ImageNet圖像識別任務的評價標準[22]，以與現有廣泛的模型結果作比較.在訓練過程中，對圖像進行隨機剪裁并改變尺度到224像素，應用隨機水平翻轉；在測試過程中，對圖像先改變尺度到256像素，然后中心剪裁到224像素.

除了客觀指標外，同樣觀察了模型分類的主觀結果，主要包括模型的混淆矩陣和誤判結果，綜合主觀和客觀結果，全面地分析每個模型的分類效果.

3.3 試驗細節

試驗測試了9種網絡模型，分別是8種候選模型 AlexNet、Inception_v3、ResNet-101、SE-ResNet-101、CBAM-ResNet-101、DRN_D_105、MPN-COVResNet-101以及優化模型MPN-COV-512-ResNet-101和1種最終優化的聯合投票的復合模型JVNet.在8種候選模型中，前3種為經典分類網絡，后5種候選模型都是在ResNet-101上的改進模型：SE-ResNet-101、CBAM-ResNet-101加入了注意力機制，DRN_D_105加入了空洞卷積機制，MPN-COVResNet-101和MPN-COV-512-ResNet-101加入了二階特征機制.測試8種候選網絡模型的目的是在于探究加入不同優化模塊對任務的提升效果，以此為依據為最終的復合模型提供優秀的優化模塊.

為了能真實反映各模型在天氣分類任務上的效果，分別在2個數據集和9種模型之間交叉進行了18組試驗，每組試驗包含3次獨立試驗，模型正確率取3次試驗的平均值，每組中的每次獨立試驗都采用了相同的試驗配置.

試驗配置如下：網絡加載ImageNet預訓練權重；訓練批次設置為64，梯度下降策略使用隨機梯度下降法（stochastic gradient descent，SGD），初始學習率設為0.001，學習率改變步長為40，學習率變化因子0.1，最大迭代次數為100個epoch.訓練用的GPU 是 NVIDIA 公司的 Titan X Pascal（12 GB）.訓練環境基于 Python 3.7，Pytorch 1.0，CUDA 9.0.

3.4 試驗結果比較

表1為模型在6CWD上的分類正確率和包括傳統模型在內的模型在2CWD上的分類正確率.

表1 試驗測試模型在6CWD和2CWD數據集上的正確率Tab.1 Model accuracy on 6CWD and 2CWD %

從表1數據中可以看出，通過增加通道和空間注意力機制的網絡CBAM-ResNet-101有著較好的表現，而二階特征優化的網絡MPN-COV-ResNet-101則顯示出更強的分類能力.而在這兩個數據集上，最終優化的網絡JVNet都有著最佳的分類效果.

JVNet模型在6CWD上的測試混淆矩陣和模型主觀判斷結果的部分展示分別見附加材料圖S4～圖S6.

JVNet模型在2CWD上的測試混淆矩陣和模型主觀判斷結果的部分展示分別見附加材料圖S7～圖S9.

最后，從所有測試模型的主觀和客觀結果，可以得出結論：本文提出的聯合投票的復合模型JVNet在兩個數據集上都有著最好的識別效果，在6CWD數據集上，JVNet的正確率為85.15%，比原有最好模型MPN-COV-ResNet-101的83.18%高出1.97%，該模型可以很好地應用于復雜交通場景的天氣識別任務.

3.5 特征可視化評價

根據文獻[23]的工作，對5種測試模型（ResNet-101、SE-ResNet-101、CBAM-ResNet-101、MPN-COVResNet-101以及JVNet）進行了可視化的網絡特征研究.通過對6CWD測試集上的圖像進行推斷，提取文獻[23]的分類結果，以此顯示網絡所學習到的特征響應.部分特征可視化結果如表2.

表2 6CWD數據集下不同網絡特征的可視化結果Tab.2 Visualization results of different network on 6CWD

通過可視化結果的分析，可以得到與客觀結果相符合的結論.第一，使用注意力機制和二階特征方法能帶來更好的特征學習結果.第二，聯合投票機制使得復合網絡帶來了更平滑的特征學習結果.

3.6 聯合投票優化方法

對于提出的基于聯合投票機制的復合模型JVNet，有2個方面的參數需要確定：一個是復合模型數的確定；一個是投票方式的確定.于是依次通過兩組對比試驗確定最優方式：一組是在置信度投票方式下，對比不同復合模型數量的測試結果；一組是在直接結果投票方式下，對比不同復合模型數量的測試結果.

3.6.1 基于模型置信度的復合模型方法

對復合模型在置信度上聯合投票的方式做了研究，依次復合了3～6種模型，并對各模型的投票置信度做了加權處理，所有加權置信度相加后的結果為最終復合網絡判斷結果.平均加權處理（A）的測試結果和不等加權處理（NA，給正確率高的模型賦予較大權重）的測試結果如表3所示.

表3 平均置信度加權和不等置信度加權復合模型在6CWD數據集上的試驗結果Tab.3 Experimental results of weighted composite model with equal confidence and unequal confidence on 6CWD %

從表3的數據中可以看出：基于置信度的復合方法中，3種模型的復合結構JVNet-3有較好表現，而且不等置信度的加權方式的結果更優.

3.6.2 基于模型結果的復合模型方法

另外，在模型的復合方法上，還考慮了直接基于模型結果的復合方法.類似的，依次復合了3～6種模型，后續直接根據模型的識別結果進行綜合投票.對于模型的投票結果都不相同的特殊情況，考慮了兩種方式：一種是取正確率最佳單模型的識別結果，稱為模式G；一種是取正確率最差單模型的識別結果，稱為模式B.測試結果如表4所示.

從表4的數據中可以看出：在基于模型結果聯合投票方式上，復合模型個數相同的情況下，模式B的效果都要優于模式G；模型復合的種數從3到5的過程中，正確率在逐漸升高，證明綜合有不同特性的天氣識別模型的方法是可行的，但在復合6種模型的結果開始下降，證明低識別率模型的加入不會一直帶來正確率的提升，因為低識別率的模型結果帶來的邊際效應在逐漸降低.

表4 模式G和模式B結果投票復合方法在6CWD數據集上的試驗結果Tab.4 Experimental results of composite model with model G and model B on 6CWD %

綜合試驗結果可以看到：綜合5種模型的模式B結果投票的復合模型達到最好效果.

4 結 論

針對復雜交通場景下的天氣識別問題，本文主要的工作和貢獻如下：

1）將現在主流的CNN應用于該任務，肯定了CNN比傳統方法更適應于復雜天氣特征的提取；

2）構建了一個新的類型豐富并且樣本充足的天氣分類數據集；

3）綜合分析了現有不同模型的效果，展示了各模型學習到的分類特征，從視覺上驗證了客觀結果；

4）提出了基于聯合投票機制的復合深度神經網絡模型，該模型能提取更豐富且具表達力的特征，顯著提升了識別準確度，效果優于最好單一模型；

5）對聯合投票機制做了進一步優化，在驗證了所提出方法的有效性的同時，也實現了更高精度的天氣識別效果.

相比之前的天氣識別方法，本文所提出的方法能為智能交通系統提供更準確有效的天氣識別結果，為后續智能交通系統的穩定運行和正確決策提供有力支撐.接下來的工作，將會對復雜特征有效提取的問題上作進一步的研究.

備注：附加材料在中國知網本文的詳情頁中獲取.