基于遷移學(xué)習(xí)的天氣圖像識(shí)別

（中國海洋大學(xué)數(shù)學(xué)科學(xué)學(xué)院，山東 青島 266100）

惡劣的天氣條件會(huì)對(duì)我們的生產(chǎn)、生活產(chǎn)生影響。如果不能準(zhǔn)確識(shí)別、及時(shí)加以判斷，將會(huì)導(dǎo)致人類的生命及財(cái)產(chǎn)安全受到威脅。天氣有時(shí)候變化非常快。尤其是霧天、雨天、雪天、沙塵等極端天氣會(huì)對(duì)各行各業(yè)造成影響。機(jī)場的天氣預(yù)報(bào)和交通管控、港口的氣象服務(wù)等領(lǐng)域都需要知道天氣狀況的真實(shí)情況，同時(shí)還希望能夠?qū)崟r(shí)監(jiān)測天氣狀況，以便及時(shí)做出處理措施[1-4]。這對(duì)天氣狀況的識(shí)別精度和識(shí)別實(shí)時(shí)性提出了高要求。

目前，傳統(tǒng)的天氣識(shí)別是依靠傳感器或者人類自己的視覺來完成。傳感器的前期安裝和后期維護(hù)需要耗費(fèi)大量的人力、物力和財(cái)力，而且天氣狀況的識(shí)別精度和實(shí)時(shí)性會(huì)受到周圍環(huán)境的影響，導(dǎo)致天氣識(shí)別出現(xiàn)誤差。相比而言，天氣圖像的獲得是比較容易的。因此，基于天氣圖像的天氣識(shí)別方法逐漸盛行起來。Lu 等[5]通過提取圖像的天空、陰影、映射和薄霧特征，實(shí)現(xiàn)了晴天和多云的天氣分類；Roser 等[6]和Yan 等[7]通過計(jì)算天氣圖像不同區(qū)域的亮度、飽和度和色彩等，利用支持向量機(jī)實(shí)現(xiàn)了車載視覺系統(tǒng)的晴天和雨天的識(shí)別。馬嘯等[8]和孟凡軍等[9]在傳統(tǒng)K均值聚類的基礎(chǔ)上，通過提取圖像飽和度分量作為識(shí)別霧霾天氣的特征，從而實(shí)現(xiàn)了霧霾天氣的識(shí)別。于浩等[10]通過提取圖像的色相、飽和度和亮度等特征,采用貝葉斯分類，實(shí)現(xiàn)對(duì)雨天和霧天的識(shí)別。

上述這些方法的缺點(diǎn)是手動(dòng)提取特征，模型只能識(shí)別2 類或3 類的天氣，適用性不廣，準(zhǔn)確率低，模型的魯棒性差。針對(duì)上述的不足，本文以6 種對(duì)人們?nèi)粘＝?jīng)濟(jì)活動(dòng)有影響的天氣（陰天、霧天、雨天、沙塵天、雪天和晴天）為研究對(duì)象，采用基于Xception 模型的遷移學(xué)習(xí)方法來對(duì)天氣圖像進(jìn)行識(shí)別，并且與VGG16[11]、VGG19[12]、ResNet50[13]、InceptionV3[14]模型進(jìn)行了對(duì)比實(shí)驗(yàn)。其實(shí)驗(yàn)結(jié)果表明，所構(gòu)造的天氣模型對(duì)于天氣圖像的總體識(shí)別率達(dá)到94.39%。

1 卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對(duì)于大型圖像處理有出色表現(xiàn)[15-16]。它包括卷積層、池化層和全連接層。卷積神經(jīng)網(wǎng)絡(luò)一般采用卷積層與池化采樣層交替設(shè)置，即連續(xù)的卷積層接一層池化采樣層，池化采樣層后接連續(xù)的卷積層，這樣卷積層提取出的特征，再進(jìn)行組合形成更抽象的特征。全連接層在整個(gè)神經(jīng)網(wǎng)絡(luò)中起到分類器的作用，最后形成對(duì)圖片對(duì)象的描述特征。

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)的目的是將源領(lǐng)域?qū)W習(xí)到的信息應(yīng)用推廣到目標(biāo)領(lǐng)域的學(xué)習(xí)過程中[17]。以天氣圖像為例，訓(xùn)練一個(gè)天氣識(shí)別的分類器所需的數(shù)據(jù)集是巨大的，對(duì)時(shí)間和算力有相當(dāng)高的要求，如果從頭訓(xùn)練，基本上來說是不可能的。因此可以考慮在ImageNet 等大規(guī)模數(shù)據(jù)集上對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，再將模型及參數(shù)推廣到天氣識(shí)別領(lǐng)域。雖然這些模型參數(shù)并不是針對(duì)天氣圖像識(shí)別的，但是經(jīng)過簡單的調(diào)整和訓(xùn)練，就可以很好地遷移到本模型中，同時(shí)無需大量的算力支撐，便能在短時(shí)間內(nèi)訓(xùn)練得出滿意的效果。

1.3 Xception 模型

Xception[18]網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)用了Inception 結(jié)構(gòu)的思想，并且在基于Inception 結(jié)構(gòu)上提出了強(qiáng)假設(shè)，即空間卷積和深度卷積不相關(guān)，分開操作效果更好。本文使用深度可分離卷積替換Inception 結(jié)構(gòu)，同時(shí)引入殘差網(wǎng)絡(luò)結(jié)構(gòu)。在Xception 網(wǎng)絡(luò)結(jié)構(gòu)中先用一個(gè)尺寸為1×1的卷積核進(jìn)行卷積，然后連接M個(gè)尺寸為3×3的卷積，M由輸入的數(shù)據(jù)決定，M中的每個(gè)卷積核都只負(fù)責(zé)一部分，最后再將提取到的特征進(jìn)行拼接，圖1 所示為極致的Inception結(jié)構(gòu)。

圖1 極致的Inception 結(jié)構(gòu)

深度可分離卷積先進(jìn)行通道卷積（濾波器中的一個(gè)卷積核卷積上一層的一個(gè)通道），然后用尺寸為1×1的卷積核進(jìn)行卷積。極致的Inception 結(jié)構(gòu)是先用尺寸為1×1的卷積核進(jìn)行卷積，然后進(jìn)行通道卷積。圖2 所示為深度可分離卷積示意圖，其中M由輸入的數(shù)據(jù)決定，表示通道數(shù)。

Xception 網(wǎng)絡(luò)架構(gòu)有14 個(gè)模塊，36 個(gè)卷積層，除了第一個(gè)模塊和最后一個(gè)模塊，其他每一個(gè)模塊都使用了殘差結(jié)構(gòu)，即Xception 結(jié)構(gòu)是引入了殘差結(jié)構(gòu)和深度可分離卷積。圖3 為Xception 網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖2 深度可分離卷積

圖3 Xception 網(wǎng)絡(luò)結(jié)構(gòu)圖

2 基于Xception 遷移學(xué)習(xí)模型的天氣圖像識(shí)別

2.1 數(shù)據(jù)集的選擇

本文從網(wǎng)上收集了6 750 幅天氣圖像來作為數(shù)據(jù)集。它們的來源有論文、游客照、新聞報(bào)道、航拍等。它們被分為6 類，分別為陰天、霧天、雨天、沙塵天、雪天和晴天，每個(gè)類有1 125 幅圖像。本文選取其中900 幅圖像作為訓(xùn)練樣本，225 幅作為驗(yàn)證樣本。圖4 是部分天氣圖像。

2.2 圖像預(yù)處理

圖4 部分天氣圖像

圖像預(yù)處理包括圖像空間尺度變化（縮放、平移、旋轉(zhuǎn)、鏡像、裁剪等）和圖像均值和方差平衡[19]。因?yàn)槭褂玫氖切颖荆瑘D像預(yù)處理可以增強(qiáng)數(shù)據(jù)樣本，防止過擬合，提高天氣模型的性能。圖5 是處理前的圖像與處理后的圖像對(duì)比。

圖5 處理圖像對(duì)比

2.3 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)硬件環(huán)境、軟件環(huán)境如表1 和表2 所示。

表1 硬件環(huán)境

表2 軟件環(huán)境

2.4 遷移學(xué)習(xí)模型

Xception 的預(yù)訓(xùn)練模型是筆者在Fran?ois Chollet數(shù)據(jù)集上訓(xùn)練而成的，網(wǎng)絡(luò)用TensorFlow 深度學(xué)習(xí)框架，在60 塊K80 上實(shí)現(xiàn)，訓(xùn)練時(shí)間為72 h。在訓(xùn)練過程中，使用SGD（batch gradient descent）進(jìn)行梯度下降，學(xué)習(xí)率設(shè)置為0.045。最終的預(yù)訓(xùn)練模型保存形式為網(wǎng)絡(luò)架構(gòu)和權(quán)重，它的大小為88 MB，參數(shù)個(gè)數(shù)為2 291 萬0 480，深度為126 層。

因?yàn)轭A(yù)訓(xùn)練的數(shù)據(jù)集和本文的天氣圖像數(shù)據(jù)都是圖像數(shù)據(jù)，所以圖像底層的淺層次特征是能夠遷移的。本文的天氣圖像分類任務(wù)是符合遷移學(xué)習(xí)的條件的，所以本文的遷移學(xué)習(xí)是基于Xception模型的遷移學(xué)習(xí)。使用Xception 的預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)，就是把在ImageNet 數(shù)據(jù)集上已經(jīng)訓(xùn)練好的權(quán)重遷移到本文的天氣圖像分類任務(wù)中，實(shí)現(xiàn)過程如圖6 所示。

圖6 遷移學(xué)習(xí)流程

為了預(yù)訓(xùn)練模型更加符合天氣圖像的分類任務(wù)，對(duì)已經(jīng)訓(xùn)練好的Xception 模型進(jìn)行了改進(jìn)，改進(jìn)的Xception 模型一共有44 層：前41 層的結(jié)構(gòu)和參數(shù)設(shè)置與Xception 網(wǎng)絡(luò)結(jié)構(gòu)相同；第42 層為新添加的全連接層，節(jié)點(diǎn)數(shù)設(shè)置為1 024，因?yàn)樵瓉淼娜B接層的權(quán)重和天氣圖像分類任務(wù)不匹配，需要重新訓(xùn)練此全連接層；第43 層為新添加的Dropout 層，參數(shù)設(shè)置為0.5，可以防止過擬合，提高模型的泛化能力；第44 層為新添加的Softmax 層，節(jié)點(diǎn)數(shù)設(shè)置為6，因?yàn)樽罱K任務(wù)要分為6 類。

2.5 模型訓(xùn)練結(jié)果及分析

天氣模型經(jīng)過120 次迭代，并且對(duì)數(shù)據(jù)集進(jìn)行了5 折交叉驗(yàn)證。其結(jié)果表明：在訓(xùn)練集上的準(zhǔn)確率為94.39%，訓(xùn)練集上的誤差為0.15；在驗(yàn)試集上的準(zhǔn)確率為85.56%，驗(yàn)證集上的誤差為0.39。由此可知，訓(xùn)練的模型能夠得到較高的準(zhǔn)確率和較低的誤差。

為了清楚地知道模型的誤分類情況，以便對(duì)模型做出有針對(duì)性的調(diào)整，本文構(gòu)造測試集600 張，每類100 張，統(tǒng)計(jì)每類分類的準(zhǔn)確率。混淆矩陣如表3 所示。

表3 測試結(jié)果混淆矩陣

2.6 Xception 模型與其他模型的比較

為了說明所構(gòu)建的Xception 天氣識(shí)別模型的效果，選擇了其他遷移學(xué)習(xí)模型與其進(jìn)行比較，使用同一數(shù)據(jù)集進(jìn)行訓(xùn)練，模型訓(xùn)練參數(shù)相同、迭代次數(shù)相同以及相同的硬件環(huán)境和軟件環(huán)境，比較的內(nèi)容包括識(shí)別準(zhǔn)確率、識(shí)別誤差、參數(shù)數(shù)量。其比較結(jié)果如表4 所示。

表4 Xception 模型與其他模型的比較

從表4 可以看出，相比于其他遷移習(xí)模型，本文構(gòu)造的天氣識(shí)別Xception 模型在準(zhǔn)確率和誤差上有了很大的提高，而且參數(shù)更少。這表明所構(gòu)造的Xception 模型在天氣圖像識(shí)別問題上的表現(xiàn)是比較優(yōu)秀的，構(gòu)造的模型是可行的。

3 結(jié)論

本文利用遷移學(xué)習(xí)的知識(shí)，在Xception 模型的基礎(chǔ)上，添加了一個(gè)全連接層，全連接層后使用Dropout 正則化方法，最后一層選用softmax 函數(shù)作為輸出。實(shí)驗(yàn)結(jié)果表明，對(duì)于小樣本的天氣圖像識(shí)別問題，新Xception 模型可以達(dá)到顯著提高天氣圖像識(shí)別的目的，模型具有較高的準(zhǔn)確率和魯棒性。但同時(shí)存在以下問題需要進(jìn)一步研究。

1）在訓(xùn)練過程中，是否存在更優(yōu)的調(diào)參策略，有待進(jìn)一步確定。

2）是否有更好的模型或其他改進(jìn)的模型用于天氣圖像識(shí)別，并且識(shí)別效果更好。