基于稀疏自編碼深度神經網絡的林火圖像分類

王 勇，趙儉輝，2，章登義，2，葉 威

1.武漢大學 計算機學院，武漢 430072

2.武漢大學蘇州研究院，江蘇 蘇州 215123

基于稀疏自編碼深度神經網絡的林火圖像分類

王 勇1，趙儉輝1，2，章登義1，2，葉 威1

1.武漢大學 計算機學院，武漢 430072

2.武漢大學蘇州研究院，江蘇 蘇州 215123

1 引言

森林火災對人類森林資源構成嚴重危害。目前，現存的火災檢測系統大部分是用光感或溫感等傳感器來檢測森林火災，但利用視頻圖像處理技術來識別真實林火場景中火焰方面的研究與應用也越來越常見。林區煙火的視覺特征主要包括顏色特征、形狀特征、紋理特征、空間關系特征等[1-2]。上述類別特征的提取常需借助一定的數學工具如拉普拉斯算子、傅里葉變換、灰度共生矩陣、隱馬爾科夫模型、LBP算子、離散小波分析等[3-4]。靳琪琳和段鎖林[5]基于神經網絡，采用逐級判斷和分析，提出一種多特征融合算法來識別室內火焰。馬宗方等[6]提取了火災圖像的面積重疊率、圓形度以及火焰尖角數目三個特征量，選擇SVM進行分類器訓練，最終利用訓練好的分類器實現了火焰及干擾物體的分類識別問題。Ko等[7]提出一種基于亮度地圖和SVM從視頻序列中獲得可靠火災檢測結果算法。賈潔等[8]針對SVM在數據量很大時求解時間過長的問題，提出一種基于最小二乘支持向量機的視頻火災煙霧識別算法。Khashei等[9]提出一種結合人工神經網絡模型和多元線性回歸模型的新分類模型。Yuan[10]訓練神經網絡分類器用來區分煙和非煙目標。黃儒樂等[11]探索了支持向量機（SVM）方法解決由脈沖耦合神經網絡（PCNN）提取的林火煙霧圖像特征后的計算機視覺模式識別問題。但是，上述火焰識別算法一方面訓練過程均是采用有監督的特征學習，對數據集的泛化能力不是很好；另一反面，與火焰顏色、形狀、紋理等視覺特征均相近的物體對林火識別干擾較大，導致識別率較低。近年來，機器學習領域中深度學習技術已逐步應用到圖像處理中，深度學習可通過學習一種深層非線性網絡結構，實現復雜函數逼近，表征輸入數據分布式表示，并展現了強大的從少數樣本集中學習數據集本質特征的能力[12]。胡昭華等[13]提出一種用連續自編碼神經網絡來實現非線性降維的方法。Le等[14]從無標簽數據中利用稀疏自編碼算法建立高層次的人臉特征檢測器。Coates等[15]通過實驗表明深度神經網絡模型中隱藏層神經元數量可能比特征學習算法（如稀疏自編碼、稀疏受限波茲曼機等）以及模型深度更加重要。因此，本文采用無監督特征學習算法稀疏自編碼來構建深度神經網絡，并采用ZCA白化技術來做數據預處理和顯示學習到的特征，用softmax回歸訓練多分類的分類器。

2 本文算法

針對林火圖像及與火焰特征相近的其他圖像的分類應用，本文算法大致可分為以下4個步驟（2.1節～2.5節）。首先，在2.1節介紹與展示用于本文算法的數據集；然后，2.2節介紹用于特征學習的稀疏自編碼詳細算法過程；緊接著，2.3節介紹用于數據預處理和可視化學習到特征的ZCA白化技術；接下來，2.4節詳細介紹了用2.2節生成的稀疏自編碼深度神經網絡從有標簽訓練集圖像中提取特征，并卷積和池化上述特征得到池化后特征，最后，2.5節介紹用池化后特征訓練softmax多分類器。從而得到最終的softmax分類器。

2.1 數據集

為了區分出林火和與火焰特征相近物體，本文選取紅旗和紅葉作為與火焰特征相近的代表性物體類別。從Internet上選取火焰圖片371張，紅旗圖片171張，紅葉圖片190張，部分圖片如圖1所示。將上述三種類別圖片共732張分為三個子數據集，如表1所示。

圖1 三個類別部分圖片集

表1 三個數據集

其中，無標簽圖片集用于無監督的特征學習，學習三個類別圖片數據間相關性，建立稀疏自編碼深度神經網絡；有標簽訓練集用于接下來的softmax分類器的訓練；有標簽測試集用于測試該深度神經網絡的圖像分類準確率。

2.2 特征學習算法

自編碼神經網絡是一種無監督的學習算法，它讓樣本的輸出值等于輸入值。如果神經網絡的隱藏層神經元個數遠小于輸入層和輸出層，這樣就迫使自編碼神經網絡去學習輸入數據的壓縮表示，假設神經網絡輸入數據是完全隨機的數據，那么，要學習這些隨機數據的壓縮表示是十分困難的；但是如果輸入數據間隱含有某些有聯系的特定結構，如某些輸入特征間是彼此相關的，那么，自編碼算法就能發現這些有聯系數據間的相關性，并在輸出層重構出輸入數據。相反，如果神經網絡的隱藏層神經元個數較多或與輸入輸出層相當時，還可以對隱藏層神經元加上稀疏性限制，這樣自編碼神經網絡仍然能發掘出輸入數據間的相關性。如一幅大小100×100灰度圖像，自編碼神經網絡的輸入向量 x∈R10000為圖像中10 000個像素點的灰度值，采用稀疏自編碼神經網絡處理后，能夠發掘出圖像中像素灰度值數據間的相關性。

假設神經元的激活函數為sigmoid函數，當神經元的輸出接近1時認為該神經元處于激活狀態；反之，當神經元的輸出接近0時認為該神經元處于抑制狀態。因此，對神經網絡稀疏性限制是指限制神經元絕大多數時間處于抑制狀態。如圖2所示，這是一種典型的自編碼神經網絡，包括輸入層layer1（3個神經元，即x1、x2、x3），隱藏層layer2（5個神經元）和輸出層layer3（3個神經元，即）。其中，+1為偏置項（截距項）系數。

圖2 自編碼神經網絡與softmax分類器

其中，Sl是第l層的神經元總數。

在自編碼神經網絡中，仍然采用BP算法并讓無標簽輸入樣本與輸出結果目標相等，即 yi=xi，則無標簽的樣本集表示為{x1，x2，…，xi，…，xm}，1≤i≤m（m為無標簽樣本數量）。用a(j2)(xi)表示第i組樣本輸入xi情況下隱藏層第 j個神經元的輸出值，則隱藏層(l=2)中第j個神經元的平均激活值為：

其中，nl為自編碼神經網絡層數；λ是規則化系數；hw，b(xi)是第i組樣本神經網絡輸出層的輸出值；β是控制稀疏性限制懲罰項的系數。公式（3）中由三部分的和組成，其中，第一部分是均方差項，第二部分是規則化項，最后一部分是懲罰項，該項是懲罰那些和ρ顯著不同的情況以實現對該神經網絡的稀疏性限制。 KL()是與 ρ間的相對熵，相對熵是一種常用的測量兩個分布間差異的方法。相對熵為凸函數，在設定 ρ=ρ0情況下，存在唯一的極小值且在=ρ0處取得。KL計算公式如下：

公式（3）中的代價目標函數的前兩部分為非凸函數，對它的求解通常使用的是迭代法，如批量梯度下降法、牛頓法和LBFGS等。根據BP算法，該自編碼神經網絡（激活函數采用sigmoid函數）各層殘差向量形式計算如下：

當采用線性解碼時，輸出層的輸出值不必經過sigmoid函數處理，即 a3=z3，a3·(1-a3)=1，則 σ3=-(y-a3)。該深度神經網絡權重向量和偏置項向量的梯度下降方向為：

圖3 稀疏自編碼學習到的特征

其中，l=1，2。這樣就確定w和b的迭代規則，待迭代算法收斂或達到最大迭代次數，隱藏單元就獲得了學習好的特征，即訓練好了稀疏自編碼深度神經網絡的權值向量w和偏置向量b。如圖3所示，是400個隱藏神經元訓練后對應的特征在可視化后的結果，分為20行20列顯示，每個特征表示所對應的隱藏單元學會了在圖像的不同位置和方向進行邊緣檢測。

2.3 ZCA白化

與主成分分析（Priciple Components Analysis，PCA）類似，ZCA也是一種有利于提高無監督特征學習算法速度的數據降維技術。白化（Whitening）是為了降低輸入圖像像素間相關聯度，是很多算法進行預處理的步驟。ZCA白化在本文中主要有兩個應用：對無標記樣本數據進行預處理和可視化學習到的特征。對數據的預處理中，首先，對樣本數據的特征維（本文中的特征維數具體指輸入層神經元個數）進行零均值化，用樣本數據每一維減去該維平均值得到 xi，并歸一化樣本數據到[0，1]范圍內。Σ實際上是訓練樣本的協方差矩陣，然后，對Σ作奇異值分解得到特征向量U和特征值對角矩陣S，其中，U= [u1u2… un]，u1是協方差矩陣 Σ的主特征向量，u2是協方差矩陣Σ的次特征向量，依次類推，un是最次特征向量，這些特征向量構成了新的維度坐標下的一組向量基。則維度轉換后的新的樣本數據為xrot=UT·x，顯然xrot中各維間相互獨立，若將xrot除以標準差得到各維方差為1，從而滿足白化的均值接近于0、方差相等兩個必要條件，最終的ZCA白化數學公式如下：

其中，ε是ZCA白化參數，通常取0.01～0.1之間。最后可視化學習到的特征，看是否學習到好的特征，若不是則需調節ε，從而改變數據的預處理，直到得到較好的特征為止。較好的特征圖像中含有豐富的邊緣信息等。

2.4 卷積與池化

2.2節介紹了稀疏自編碼神經網絡，它的輸入層和隱藏層神經元間是全連接的。它適用于低分辨率的圖像，如MNIST手寫體數據集（分辨率28×28）。但對于分辨率較高圖像，如圖像大小100×100，若要從中提取出100個特征，則該稀疏自編碼神經網絡有106個參數需要學習，這樣網絡訓練時間會大大延長。對于一幅自然圖像，圖像局部范圍內的統計特征與其他部分的相似，因此沒必要讓輸入層和隱藏層神經元間全連接，為了減少由于高分辨率圖像帶來的神經網絡模型參數過多的問題，卷積操作被應用進來，從而實現局部連接網絡，局部連接網絡的基本思想是基于人大腦視覺皮層神經元僅響應某些局部區域的刺激，局部連接神經網絡只允許隱含層神經元與部分輸入層神經元連接。具體地，可以先從大圖像(Dimage×Dimage)中用一個大小為Dpatch×Dpatch的小塊學習特征，這可以用稀疏自編碼神經網絡訓練完成，然后對訓練圖像用前面學習到的特征參數依次進行卷積運算提取訓練集圖像的各個特征，設卷積運算的步長為1，則卷積特征圖像大小為(Dimage-Dpatch+1)× (Dimage-Dpatch+1)。最終，用學習到的特征參數對2.1節中有標簽訓練集和測試集圖像卷積得到卷積后特征圖像。

雖然卷積操作可以減小神經網絡需要訓練的參數個數，大大簡化特征提取過程，但是，正是由于卷積操作，會隨之帶來卷積后輸出向量維數過大的問題，假設隱藏層神經元數量為HiddenSize，那么，卷積特征圖像的維數為 (Dimage-Dpatch+1)×(Dimage-Dpatch+1)×HiddenSize，這樣會大大增加后續softmax分類器設計的困難。因此，池化技術引入到了對卷積后特征的處理中。

池化分為最大值池化和均值池化。池化是利用自然圖像中局部區域統計特征來實現特征降維效果，而且能防止出現過擬合。如用池化小方塊Dpooling×Dpooling對其范圍內圖像像素值取平均值（最大值）得到一個像素值，稱為均值（最大值）池化。池化具有平移不變性，本文中池化操作與卷積操作的一個重要區別是圖像池化是作用于不重復的區域內，即池化步長為Dpooling。

2.5 Softmax回歸

與logistic回歸解決的是二分類問題相對應，softmax回歸解決的是多分類問題，softmax回歸是logistic回歸的一種擴展。假設有標簽樣本集為(x′1，y′1)，(x′2，y′2)，…，(x′i，y′i)，…，(x′m，y′m)，1≤i≤m，logistic回歸的類標簽 y′i∈{0，1}，softmax回歸的類標簽屬于 y′i∈{0，1，…，k}，這里的k指分類類別數量，本文實驗中取k=3，即林火、紅旗和紅葉3個類別。用于訓練softmax回歸模型的樣本集是指用2.1節有標簽訓練集池化后的特征。通過向softmax回歸模型代價函數中加入規則化權重衰減項后，新的代價函數為凸函數，存在唯一的極小值。因此，可用2.1節求解稀疏自編碼特征學習算法代價函數最小值時用到的一些迭代算法，如批量梯度下降、牛頓法、LBFGS等得到全局最優解。最后，待迭代算法完成后便得到了訓練好的softmax多分類器。最后，測量softmax分類器圖像分類的準確度，對于2.1節有標簽測試集，先用2.4節提取卷積特征并池化得到池化后特征，輸入訓練好的softmax多分類器中得到分類標簽，若softmax分類器輸出標簽與測試樣本一致，表明分類結果正確，反之，則分類結果錯誤；統計整個有標簽測試集中分類正確樣本數量除以樣本總數，得到針對該有標簽測試集圖像分類的正確率。

3 實驗結果與分析

本文用于提取特征的圖像小塊的大小Dpatch=8，從無標簽樣本集每張圖片中隨機提取1 000個小塊，100張圖片共提取10萬個小塊；有標簽訓練集和測試集圖片均統一圖片大小到Dimage=64；池化小方塊大小為Dpooling= 19。首先，采用Matlab工具箱中自帶neural network toolbox構建傳統BP神經網絡（分別采用192個隱藏神經元和400個隱藏神經元），訓練集和數據集仍采用2.1節中的有標簽訓練集和測試集。傳統BP神經網絡實驗結果和本文算法實驗結果及對比如表2所示。其中，本文稀疏自編碼深度神經網絡輸入層和輸出層神經元數量InputSize為192，隱藏層神經元數量HiddenSize為400。

表2 傳統BP神經網絡和稀疏自編碼神經網絡對比 （%）

從表2可看出，不論傳統的BP神經網絡各層神經元數量等于稀疏自編碼輸入層神經元數量（192）還是隱藏層神經元數量（400），稀疏自編碼深度神經網絡對林火圖像及與林火特征相似圖像的分類準確率均高于傳統的BP神經網絡。而且BP神經網絡隱藏層神經元數量越多，其分類準確率不一定越高，可能會導致過擬合。實驗結果表明，本文提出的基于稀疏自編碼算法深度神經網絡應用到林火圖像分類中，能夠進一步提高分類準確率。

4 結論

本文提出的稀疏自編碼神經網絡采用無監督的特征學習算法，不需要提取顏色、紋理、形狀等特征，而是對圖像塊像素直接操作提取出圖像數據的特征；能夠有效地提高林火及類似特征物體的分類準確率。實驗結果表明，該算法應用到林火、紅旗、紅葉圖像分類中，較傳統的BP神經網絡，圖像分類更準確。但圖像分類的準確率仍不是很高，可能是數據集較小，還不能充分體現無監督特征學習強大的泛化能力。接下來，仍可從以下幾個方面進一步提高本文算法準確率：

（1）增大樣本數據集到幾萬甚至幾十萬張圖片，相應地調整本文算法相關參數；

（2）增加神經網絡的層數；

（3）數據集增大后，為提高處理速度，可采用并行處理。

[1]Subakan ? N，Vemuri B C.A quaternion framework for color image smoothing and segmentation[J].International Journal of Computer Vision，2011，91（3）：233-250.

[2]Liu M，Vemuri B C，Amari S I，et al.Shape retrieval using hierarchical total bregman soft clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（12）：2407-2419.

[3]Siang T K，Mat I N A.Color image segmentation using histogram thresholding-fuzzy C-means hybrid approach[J]. Pattern Recognition，2011，44（1）：1-15.

[4]Gunay O，Toreyin B U，Kose K，et al.Entropy-functional-based online adaptive decision fusion framework with application to wildfire detection in video[J].IEEE Transactions on Image Processing，2012，21（5）：2853-2865.

[5]靳琪琳，段鎖林.基于神經網絡與加權融合的火災火焰識別研究[J].計算機工程與應用，2013，49（13）：156-159.

[6]馬宗方，程詠梅，潘泉，等.基于快速支持向量機的圖像型火災探測算法[J].計算機應用研究，2010，27（10）：3985-3987.

[7]Ko B C，Cheong K H，Nam J Y.Fire detection based on vision sensor and support vector machines[J].Fire Safety Journal，2009，44（3）：322-329.

[8]賈潔，王慧琴，胡燕，等.基于最小二乘支持向量機的火災煙霧識別算法[J].計算機工程，2012，38（2）：272-275.

[9]Khashei M，Zeinal H A，Bijari M.A novel hybrid classification model of artificial neural networks and multiple linear regression models[J].Expert Systems with Applications，2012，39（3）：2606-2620.

[10]Yuan F.Video-based smoke detection with histogram sequence of LBP and LBPV pyramids[J].Fire Safety Journal，2011，46（3）：132-139.

[11]黃儒樂，吳江，韓寧.林火煙霧圖像自動識別中的模式分類器選擇[J].北京林業大學學報，2012，34（1）：92-95.

[12]孫志軍，薛磊，許陽明，等.深度學習研究綜述[J].計算機應用研究，2012，29（8）：2806-2810.

[13]胡昭華，宋耀良.基于一種連續自編碼網絡的圖像降維和重構[J].數據采集與處理，2010，25（3）：318-323.

[14]Le Q V.Building high-level features using large scale unsupervised learning[C]//2013 IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP），2013：8595-8598.

[15]Coates A，Ng A Y，Lee H.An analysis of single-layer networks in unsupervised feature learning[C]//International Conference on Artificial Intelligence and Statistics，2011：215-223.

WANG Yong1,ZHAO Jianhui1，2,ZHANG Dengyi1，2,YE Wei1

1.Computer School,Wuhan University,Wuhan 430072,China
2.Suzhou Institute of Wuhan University,Suzhou,Jiangsu 215123,China

With the problem that forest fire and its similar objects are difficult to distinguish,this paper presents a new forest fire image classification approach based on deep neural network of sparse autoencoder.Using an unsupervised learning algorithm sparse autoencoder to learn features of large number of small patches from some unlabeled images has completed the training for deep neural network,and then with the learned features,the features can be extracted from large scale images and be convolved and pooled.It uses pooled features to train the softmax classifier by softmax regression.Experimental results show that this new image classification approach can more effectively distinguish forest fire and its similar objects, red flag,red leaves,etc.than traditional neural network does.

sparse autoencoder;unsupervised learning;convolve and pooling;softmax regression

針對林火與相似目標很難區分的問題，提出一種基于稀疏自編碼深度神經網絡的林火圖像分類新方法。采用無監督的特征學習算法稀疏自編碼從無標簽圖像小塊中學習特征參數，完成深度神經網絡的訓練；利用學習到的特征從原始大小分類圖像中提取特征并卷積和均值池化特征；對卷積和池化后的特征采用softmax回歸來訓練最終softmax分類器。實驗結果表明，跟傳統的BP神經網絡相比，新方法能夠更有效區分林火與紅旗、紅葉等類似物體。

稀疏自編碼；無監督學習；卷積與池化；softmax回歸

A

TP391.4

10.3778/j.issn.1002-8331.1401-0392

WANG Yong,ZHAO Jianhui,ZHANG Dengyi,et al.Forest fire image classification based on deep neural network of sparse autoencoder.Computer Engineering and Applications,2014,50（24）：173-177.

蘇州市國際科技合作計劃項目（No.SH201115）；湖北省自然科學基金（No.2009-514）。

王勇（1988—），男，碩士研究生；趙儉輝（1975—），通訊作者，男，副教授，研究領域為圖像處理、模式識別、計算機仿真。E-mail：jianhuizhao@whu.edu.cn

2014-01-23

2014-05-04

1002-8331（2014）24-0173-05

CNKI網絡優先出版：2014-07-11，http∶//www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1401-0392.html