基于深度遷移學習的煙霧識別方法

王文朋，毛文濤,2，何建樑，竇 智,2

(1.河南師范大學 計算機與信息工程學院，河南 新鄉 453007；2.河南省高校計算智能與數據挖掘工程技術中心，河南 新鄉 453007)

基于深度遷移學習的煙霧識別方法

王文朋1，毛文濤1,2*，何建樑1，竇 智1,2

(1.河南師范大學 計算機與信息工程學院，河南 新鄉 453007；2.河南省高校計算智能與數據挖掘工程技術中心，河南 新鄉 453007)

針對傳統的基于傳感器和圖像特征的煙霧識別方法易被外部環境干擾且識別場景單一，從而造成煙霧識別精度較低，而基于深度學習的識別方法對數據量要求較高，對于煙霧數據缺失或數據來源受限的情況模型識別能力較弱的問題,提出一種基于深度遷移學習的煙霧識別方法。將ImageNet數據集作為源數據，利用VGG-16模型進行基于同構數據下的特征遷移。首先，將所有的圖像數據進行預處理，對每張圖像作隨機變換(隨機旋轉、剪切、翻轉等); 其次，引入VGG-16網絡，將其卷積層特征進行遷移，并連接預先使用煙霧數據在VGG-16網絡中訓練過的全連接層；進而構建出基于遷移學習的深度網絡，從而訓練得到煙霧識別模型。利用公開數據集以及真實場景煙霧圖像進行實驗驗證，實驗結果表明，和現有主流煙霧圖像識別方法相比，所提方法有較高的煙霧識別率，實驗精度達96%以上。

深度學習；遷移學習；煙霧識別；微量數據集

0 引言

隨著城市經濟的快速發展，火災對于人類的生命、財產以及企業正常運轉造成了極大的威脅。火災具有突發性、危害大等特點[1]，對火災進行檢測和早期預警具有明確的現實需求，而如何在火災發生早期進行煙霧識別具有重大的理論和實際意義。

傳統的煙霧識別方法多采用物理信號進行監測。例如: Yamada等[2]提出基于逐層自組裝電解質薄膜的煙霧傳感器進行煙霧感知識別；Keller等[3]提出利用光聲傳感器進行火焰煙霧監測；Cheon等[4]提出利用溫度傳感器和煙霧傳感器進行火焰煙霧識別。但是，該類方法對環境的依賴性強，如果周圍環境發生改變，識別精度會急劇下降甚至失效; 同時，該類方法識別距離有限，需要安裝大量的傳感器，對人力和物力都是極大的考驗。

近年來，圖像處理和模式識別技術的發展與成熟，為煙霧識別提供了新的解決途徑，基于圖像的識別方法受到了廣泛重視: Yu等[5]提出基于光流的視頻煙霧識別方法，該方法通過背景估計方法確定視頻中的運動像素和區域，使用Lucas-Kanade方法提取光流特征，最后使用反向傳播(Back Propagation, BP)神經網絡進行模型訓練和預測；Wang[6]提出基于機器視覺的煙霧識別，該方法首先采用模糊邏輯進行圖像質量增強，然后使用高斯混合模型提取候選煙霧區，進而提取煙霧的動態和靜態特征，最后使用支持向量機(Support Vector Machine, SVM)進行模型訓練和預測。該類方法相對于傳統的基于物理信號的煙霧識別方法，降低了人力物力需求，同時提升了識別精度和穩定性；但是該類方法需要人工提取圖像特征，同時大多針對某一特定場景下的煙霧識別，訓練模型多針對當前固定場景，一旦場景改變，火焰煙霧狀態隨之改變，則模型識別效果下降，故不具有通用性。

基于深度學習的煙霧識別能夠較好地克服上述不足。深度學習注重模型的深度和自動特征提取，逐層地由高到低進行特征學習，具有較高的特征提取和選擇能力，已在自然語言處理、知識圖譜、醫學和圖像等領域得到了廣泛應用。然而深度學習是以海量數據為基礎條件的，同時要求訓練集和測試集符合相同的數據分布。在煙霧識別領域，實際可用數據量通常是較小的，這主要是因為大多數煙霧數據是基于固定場景拍攝的煙霧視頻，每幀之間煙霧狀態差別較小，造成重復數據較多。如何從已有的相關領域數據中遷移知識到煙霧識別領域是目前急需解決的一個問題。在眾多的解決方法中，遷移學習是利用已有的知識對不同但相關領域問題進行求解的一種新的機器學習方法[7]。遷移學習主要可以分為三大類：1)基于實例的遷移學習；2)同構空間下基于特征的遷移學習；3)異構空間下的遷移學習。因此，通過遷移學習，可以將海量數據集中的相關實例或者特征遷移到微量數據集中，從而提高模型的泛化能力。

本文提出一種基于深度遷移學習的煙霧識別方法進行同構空間下的特征遷移。這種遷移方法不需要源數據與目標數據具有相同的數據分布，遷移的是特征提取的能力。相對于煙霧數據集，ImageNet[8]數據集在數據量和種類上非常豐富，ImageNet的圖像分類數據集ILSVRC2011中訓練集包含1 229 413張圖片，驗證集中包含50 000張圖片，測試集包含100 000張圖片。盡管ImageNet中沒有大量的煙霧圖像，但是，由于煙霧圖片的識別歸根結底是利用邊緣、紋理、顏色等特征，因此，特征遷移模型更多的是關注特征學習能力。用ImageNet作為源數據可以提取到豐富多樣的圖像空間特征信息，即邊緣特征、紋理特征和局部細節特征等，進而遷移到煙霧識別問題上。本文從ImageNet上訓練好的模型著手，進行特征遷移。具體思路是，將VGG-16網絡[9]在ImageNet中學習到的特征層遷移到具有較少數據的煙霧識別問題上，被遷移的特征層中涵蓋了復雜多樣的特征提取能力(邊緣特征、紋理特征和局部抽象特征等)。Simonyan等[9]于2014年提出VGG(Visual Geometry Group)網絡，并于2014年在ImageNet大規模數據挑戰賽的定位和分類兩個問題上分別取得了第一名和第二名。VGG-16是一個具有16層的卷積神經網絡，其中卷積層有13層，每個卷積濾波器的大小為3×3。本文將VGG-16網絡中的全連接層以上的隱特征層進行遷移，同時加入預先在VGG-16網絡使用煙霧數據訓練過的全連接層(Fully Connected Layers, FC)，進而構建一個新的深度遷移學習網絡進行訓練預測，訓練過程中會凍結由VGG遷移過來的卷積層和池化層參數，對全連接層進行微調。本文實驗采用真實場景數據，通過構建深度遷移學習網絡，可大幅提高識別精度。

1 研究背景

1.1 VGG-16網絡

相對于傳統的卷積神經網絡，VGG-16在深度上作了提升。圖1表示VGG-16網絡(pool/2代表2維下采樣,)。網絡的輸入采用224×224的RGB彩色圖像。網絡中共有13個卷積層，5個下采樣層以及3個全連接層。所有的卷積濾波器的大小為3×3，卷積步長為1。使用Max-pooling進行下采樣。網絡中共有3個全連接層，對應的神經元節點個數為4 096、4 096、1 000，最后一個全連接層神經元節點對應ImageNet中標簽的數量。網絡中共有16層含有參數，參數個數為1 380 000 000。

圖1 VGG-16網絡Fig. 1 VGG-16 convolutional neural network

VGG-16網絡的特點在于使用尺寸較小卷積濾波器(大小為3×3)，這樣有助于更加細致地提取局部特征，減少了參數個數，同時提升了決策函數的區分性[9]。VGG-16使用多個卷積層進行堆疊，并且卷積濾波器的個數。卷積層中每個神經元的計算公式如式(1)所示。其中：k表示卷積核權重，x為輸入樣本，l代表層數，Mj代表上一層中可選輸入特征圖集合[10]，bl代表每層的偏置項。卷積神經網絡的權值更新過程與反向傳播神經網絡類似，對于每個卷積層l，本文假設其后都會連接一個下采樣層l+1。根據反向傳播神經網絡[11-12]可知，反向傳播的誤差可以看作是每個神經元的基的靈敏度。式(2)卷積層中每個特征圖的計算公式,up(·)代表上采樣，° 代表逐項相乘。式(4)、(5)分別計算基的靈敏度和卷積權值的梯度:

(1)

(2)

up(x)≡x?1n×n

(3)

(4)

(5)

式(4)中u和v為輸出卷積映射的位置坐標。式(6)表示下采樣的過程，down(·)表示下采樣函數。下采樣層權值更新與卷積層類似，都需要利用式(4)先計算基的敏感度，再通過式(7)、(8)得到最后的權值梯度:

(6)

(7)

(8)

1.2 遷移學習

近年來，遷移學習[13]逐漸引起廣泛的關注和研究。如圖2所示，傳統的機器學習方法要求訓練集與測試集必須在相同的特征空間，同時必須有相同的數據分布。然而現實生活中，多數領域的數據是有限的，特征是異構的，遷移學習很好地解決了如何從已有的源領域遷移知識到目標領域，甚至可以解決異類數據之間的知識遷移問題。

圖2 傳統機器學習和遷移學習對比Fig. 2 Comparison between traditional machine learning and transfer learning

遷移學習主要分為三大類：1)同構空間下基于實例的遷移；2)同構空間下基于特征的遷移；3)異構空間下的遷移學習。Dai等[17]提出同構空間下基于實例遷移的Tradaboost算法。Yang等[18]提出異類遷移學習，將不同特征空間下的數據進行知識遷移，從而提高了分類效果。目前遷移學習在多個領域內都有發展。Xie等[19]利用遷移學習從衛星拍攝的大量圖像中遷移知識，應用到社會經濟指標分析中；Sonoyama等[20]將遷移學習應用到內窺鏡圖像分類問題上，通過從陳舊機器拍攝的內窺鏡圖像中遷移知識，從而提高新設備拍攝內窺鏡圖像的識別率。

基于實例的遷移學習大多發生在源數據集與目標數據集有較大相似度的情況下，主要是將源數據集中有助于目標數據集分類的數據盡可能地篩選出來，加入到目標數據集進行模型訓練，從而提高模型的泛化能力?；谕瑯嬁臻g下的特征遷移學習，能夠很好地克服領域間數據差別較大的情況，在特征層面上尋找一些公共特征，例如紋理特征、邊緣特征、高層抽象特征等，然后遷移這種特征提取能力到目標數據集，進而提高在目標數據集上的模型泛化能力。

2 基于遷移學習的煙霧識別

2.1 煙霧識別

煙霧識別對于早期預警火災具有重大的意義。傳統的機器學習、深度學習方法對數據量要求較高，無法直接應用于煙霧識別，例如文獻[14-16]基于固定場景的煙霧識別中延誤數據較為單一，當煙霧場景等環境改變時模型泛化能力較弱。鑒于此，本文使用基于同構空間下的特征遷移，將在同為圖像數據的ImageNet數據集上預訓練好的VGG-16模型中的特征提取層(卷積和池化層)遷移到目標數據集的分類任務中，其中遷移的是模型的特征提取能力(例如邊緣特征提取能力、紋理特征提取能力、形狀等高層抽象特征提取能力)，從而提高煙霧識別模型的泛化能力。

盡管ImageNet數據與目標煙霧識別數據具有一定的差異性，但是在特征層面上存在一些不變的普適性特征，例如邊緣、紋理、形狀等高層抽象特征，這些特征無論是對于ImageNet數據集，還是目標煙霧數據集均是存在的共性特征，因此可以進行基于同構空間下的特征遷移。

2.2 模型流程

圖3表示本文的流程，可分為4個階段。首先對數據進行預處理，預處理階段主要將所有的圖像數據按照對應的類別進行調整大小(統一成三通道，大小為3×150×150)、隨機變換(隨機旋轉、剪切、翻轉等)和歸一化；其次，構建基于深度遷移學習的網絡。在這個過程中首先在煙霧數據集上利用VGG-16網絡預訓練一個全連接網絡，具體做法是將煙霧數據集作為輸入，獲取在ImageNet上已訓練好的VGG-16網絡中的卷積部分輸出，從而利用這個輸出訓練一個全連接網絡；然后,將已在ImageNet上訓練好的VGG網絡中卷積部分保留參數遷移過來，與之前預訓練的全連接網絡進行對接，從而得到基于深度遷移學習模型，并進行模型訓練和微調參數;最后,進行模型預測。

圖3 實驗流程Fig. 3 Experiment flow chart

2.3 基于遷移學習的煙霧識別模型架構

本文將使用基于VGG-16網絡的遷移學習模型來進行煙霧識別。圖4是模型的架構，其中，左側是本文所使用的煙霧識別模型，主要由兩部分構成：1)卷積層和下采樣層，該部分是由VGG-16網絡遷移過來的，同時加載了對應的VGG-16網絡已經訓練好的參數；2)全連接層，該部分的全連接層來自預先訓練好的全連接層。

圖4 基于VGG-16網絡的遷移學習模型Fig. 4 Transfer learning model based on VGG-16

為了便于描述，圖4中缺省了輸入層和輸出層。本文所用模型共包含13個卷積層、5個下采樣層，以及3個全連接層。第1～2層中卷積濾波器(大小為3×3)個數為64；第3～4層中的卷積濾波器(大小為3×3)個數為128；第5～7層中的卷積濾波器(大小為3×3)個數為256；第8～13層中的卷積濾波器(大小為3×3)個數為512；第14～16層為全連接層，對應的神經元個數分別為：256、128、5。

3 實驗設計與結果分析

3.1 實驗數據集

本文采用的實驗數據集來自于火焰煙霧公開數據集(http://signal.ee.bilkent.edu.tr/VisiFire/)和網絡采集。實驗數據集分為訓練集和測試集，每個集合均含有5個類別，分別是火焰、煙霧、生活場景、樓道、隧道。表1給出了具體的實驗數據情況。圖5是實驗數據實例展示圖，其中每個類別中的圖像數據均來自不同場景，有利于模型的訓練和泛化。綜合表1和圖5，可以看出本文所使用的數據集隸屬于小數據集，所以本文采用ImageNet大型數據集作為源數據集進行遷移學習。ImageNet分類數據集共含有1 000個類別的圖像數據，數據量之大和種類之豐富為基于深度遷移學習的模型構造提供了強大支撐。

表1 實驗數據Tab. 1 Expermental data

圖5 實驗數據實例Fig. 5 Experimental data examples

3.2 實驗設置

本文的對比實驗有5個，分別是基于SIFT(Scale-Invariant Feature Transform)特征的支持向量機煙霧識別方法、基于深度神經網絡的煙霧識別方法、基于卷積神經網絡的煙霧識別方法、基于TrAdaboost的煙霧識別方法和基于Cifar-10數據集的遷移方法，為方便描述本文依次稱之為SVM(Support Vector Machine)、DNN(Deep Neural Network)、CNN(Convolutional Neural Network)、TrAdaboost和TLBC(Transfer Learning Based on Cifar)。

SVM方法首先使用SIFT提取圖像的特征描述符，在將其轉化為特征向量，最后放入支持向量機進行訓練和預測，該方法的主要參數采用徑向基核函數，正則項C設置為1 000。DNN方法將圖像預處理歸一化后放入神經網絡進行訓練預測，該方法采用一個4層的神經網絡(不包含輸入層，神經元個數分別為2 048、768、512、5)進行訓練預測。

CNN方法中包含3個卷積層(卷積濾波器大小為5×5和3×3兩種)，2個下采樣層以及兩個全連接層，其中卷積層與下采樣層交替連接，最后與全連接層連接進行模型訓練。

TrAdaboost方法中分為目標數據集和源數據集，源數據集主要包括霧霾(723張圖像數據)、煙火混合(929張圖像)兩大類圖像，目標數據集與表1一致，然后通過TrAdaboost方法進行訓練、預測，調整每個樣本的權重，TrAdaboost中使用的訓練模型為邏輯回歸模型。

TLBC方法首先在Cifar-10數據集上采用VGG-16模型進行訓練，然后將訓練好的模型中的特征隱層(卷積和池化層)遷移到煙霧識別數據上，再增加相應的全連接層進行微調。DNN和CNN方法中模型迭代次數均為100，學習率為0.01。

本文所提深度遷移學習模型簡稱為DMTL(Deep model based on Transfer learning)。為了增加數據的多樣性，同時防止模型過擬合，首先對數據作預處理。將所有的圖像數據縮放到統一的大小(3×150×150)，同時將所有的數據作隨機變換(隨機旋轉、剪切、翻轉等)，并進行歸一化；然后對已在ImageNet上訓練好的VGG-16網絡中的全連接層以上部分(主要為卷積層和下采樣層)保留參數進行遷移；再次，使用煙霧數據集作為輸入，獲取在ImageNet上已訓練好的VGG-16網絡中的卷積部分輸出，從而利用這個輸出預訓練一個全連接網絡。如圖4所示，將遷移過來的卷積層與預訓練好的全連接層進行對接，開始模型訓練，在訓練過程中會凍結VGG-16遷移過來的卷積層的參數，只對全連接層參數進行微調。這樣可以防止過擬合，同時提高訓練效率。DMTL的詳細模型配置如圖4所示，模型的學習率為0.000 1，迭代次數為100。實驗中DNN、CNN以及本文模型均在GPU(Graphics Processing Unit)上進行訓練預測，實驗所用的GPU為Tesla K40(共三塊)，實驗環境是基于Linux的Keras。

3.3 實驗結果與分析

圖6是使用本文所提的基于深度遷移學習的煙霧識別模型所提取出來的特征圖，其中分別顯示了使用VGG-16網絡在Cifar-10和ImageNet兩個數據集下進行遷移的中間隱層特征圖。如圖6所示，為了方便展示，從目標數據集的5個類別中分別抽出一張圖像顯示出網絡第二層的輸出特征圖。圖6(a)～(e)是在Cifar-10數據集下訓練好的VGG-16網絡進行遷移后對應樣本的隱層特征圖，圖6(f)～(j)是在ImageNet數據集下訓練好的VGG-16網絡進行遷移后對應樣本的隱層特征圖?？梢悦黠@地看出，兩種方法均能提取到一些高層抽象特征(紋理、邊緣、形狀、高層抽象特征)，但是與基于Cifar-10數據集的遷移方法相比，結合圖6，可以明顯地觀察到，基于ImageNet數據集的特征遷移方法要比前者優秀，無論從特征的局部細節展示還是邊緣、紋理等高層抽象特征，后者均能很詳細地在卷積過濾器中體現出來，這主要是因為ImageNet的大量數據使得訓練出來VGG-16網絡能夠更詳盡、精準地學習到樣本的抽象特征，總的來說，將已在ImageNet數據集上訓練好的VGG-16模型遷移到煙霧識別問題上很好地提取圖像的抽象特征，進而提高模型的泛化能力。

圖6 TLBC與DMTL模型隱層特征對比Fig. 6 Hidden feature maps based on Cifar-10 and ImageNet

表2為各方法在煙霧圖像數據集的對比實驗結果。

表2 幾種方法在煙霧圖像數據集的性能對比Tab. 2 Performance comparison of several methods on smoke image data sets

從表2中可以看出: SVM在訓練時間和測試時間上有較大優勢，但是訓練和測試精度非常低，這是由于傳統的圖像特征提取方法極大地依賴于先驗知識；另一方面，這種傳統的機器學習方法對數據依賴性較高，需要有大量的數據來訓練模型。DNN、CNN方法相對于SVM方法在訓練集精度和測試集精度上有明顯提升，這主要是由于深度模型自動提取特征的方法優于傳統的人工特征提取方法，但是深度模型對數據本身的依賴性極大，本文實驗中的數據集屬于小數據，因此DNN、CNN方法的訓練、測試精度遠遠低于本文方法。TrAdaboost方法在訓練精度和測試精度上相較于SVM、DNN和CNN方法又有一定的提升，這主要是因為后者對數據的要求較高，需要大量的數據進行學習，才能保證模型的泛化能力，然而TrAdaboost能夠從源數據集的實例中根據一定的權重規則來逐步地提高相關樣本的訓練權重，弱化非相關樣本的權重，從而在目標訓練集上進行模型訓練，提高模型的泛化能力。TLBC方法在訓練時間測試時間上和本文方法相差不大，訓練和測試精度相對于DNN和CNN，有較大的提升(在測試集上精度提高了超過20%)，相對于TrAdaboost提高了近5個百分點，這主要是因為很多情況下源數據集與目標數據集的數據分布差異過大，造成可以進行實例遷移的樣本極為稀少，有時可能造成負遷移等問題，然而同構空間下的特征遷移能夠找到源數據和目標數據在特征層面上的共同特征來進行遷移。相對于其他四種對比方法，本文方法從VGG-16模型中遷移知識，應用到本文的微量煙霧識別數據集，在訓練集精度和測試集精度上占絕對優勢，訓練集精度達到 99.6%，測試集精度達到96.1%。本文方法的訓練時間為3 500 s，在模型訓練時間上略長于其他對比方法，但是這可以通過線下訓練模型來解決。總而言之，通過表2中的TLBC和本文所使用的DMTL與其他對比實驗的結果可知，基于同構空間下的特征遷移能夠很好地解決煙霧微量數據集的識別問題。

圖7為DNN、CNN、TLBC和本文方法DMTL在訓練集和測試集上的精度變化對比。其中，圖7(a)為4種方法在訓練集上的精度變化，可以看到，DNN和CNN方法在前30次迭代中精度迅速上升之后逐漸趨于穩定，DNN穩定在70%～80%，CNN穩定在83%～85%，TLBC方法穩定在92%～96%,DMTL方法從迭代開始94%逐漸上升到99%;圖7(b)是4種方法在測試集上的精度變化，其中DNN和CNN方法在前20次迭代中精度迅速上升，之后基本趨于穩定，DNN方法精度穩定在45%～60%，CNN方法穩定在56%～62%，TLBC穩定在82%左右, DMTL方法在迭代過程中基本穩定在96%。

圖7表明DNN、CNN方法在微量煙霧數據集上的學習能力明顯弱于本文方法，這主要是由于前者對數據有極大的依賴性，需要大量的數據來進行特征學習。然而本文采用微量火焰煙霧數據集，使用DNN、CNN方法使得模型容易陷入過擬合，從而導致模型的泛化能力降低，導致測試集的精度較低。本文采用基于深度遷移學習的煙霧識別方法DMTL，從已在ImageNet數據集訓練好的VGG-16網絡中遷移知識，應用到數據量較小的火焰煙霧數據集上，使得模型的學習能力和預測能力相對于前兩種方法有大幅提升，測試集精度比DNN、CNN提升了36個百分點左右。綜上所述，本文所提的基于遷移學習的煙霧識別方法有較強的學習和泛化能力。

圖7 訓練集和測試集精度變化對比Fig. 7 Accuracy comparison of training set and test set

4 結語

煙霧識別的核心問題在于提取有效的煙霧特征。然而對于僅有小數據的煙霧識別問題，如何從其他領域進行知識遷移則顯得尤為重要。本文成功地將遷移學習引入煙霧識別問題中，從已在ImageNet數據集訓練好的VGG-16網絡中遷移特征用于煙霧識別，在訓練集精度和測試集精度上有較大幅度的提升。本文方法對煙霧識別和其他微量數據領域具有明確的理論和實踐意義。同時，針對時序數據的相關性，在下一階段工作中，擬引入長短期記憶模型針對時間序列的煙霧視頻識別深度遷移模型進行研究。

References)

[1] YIM H,OH S,KIM W.A study on the verification scheme for electrical circuit analysis of fire hazard analysis in nuclear power plant[J]. Journal of the Korean Society of Safety, 2015, 30(3):114-122.

[2] YAMADA M, SHIRATORI S. Smoke sensor using mass controlled layer-by-layer self-assembly of polyelectrolytes films[J]. Sensors and Actuators B: Chemical, 2000, 64(1/2):124-127.

[3] KELLER A, RüEGG M, FORSTER M, et al. Open photoacoustic sensor as smoke detector[J]. Sensors and Actuators B: Chemical, 2005, 104(1):1-7.

[4] CHEON J, LEE J, LEE I, et al. A single-chip CMOS smoke and temperature sensor for an intelligent fire detector[J]. IEEE Sensors Journal, 2009, 9(8):914-921.

[5] YU C, ZHANG Y, FANG J, et al. Video smoke recognition based on optical flow[C]// Proceedings of the 2010 2nd International Conference on Advanced Computer Control. Piscataway, NJ: IEEE, 2010:16-21.

[6] WANG Y. Smoke recognition based on machine vision[C]// Proceedings of the 2016 International Symposium on Computer, Consumer and Control. Washington, DC: IEEE Computer Society, 2016:668-671.

[7] 莊福振,羅平,何清,等.遷移學習研究進展[J].軟件學報, 2015, 26(1):26-39.(ZHUANG F Z, LUO P, HE Q, et al. Survey on transfer learning research[J]. Journal of Software, 2015, 26(1):26-39.)

[8] RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3):211-252.

[9] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL].[2016- 11- 20]. http://www.robots.ox.ac.uk:5000/～vgg/publications/2015/Simonyan15/simonyan15.pdf.

[10] LI J, CHENG J H, SHI J Y, et al. Brief Introduction of Back Propagation (BP) Neural Network Algorithm and Its Improvement[M]// Advances in Computer Science and Information Engineering. Berlin: Springer, 2012:553-558.

[11] CUN Y L, JACKEL L D, BOSER B, et al. Handwritten digit recognition: applications of neural network chips and automatic learning[J]. IEEE Communications Magazine, 1989, 27(11):41-46.

[12] BOUVRIE J. Notes on convolutional neural networks[EB/OL].[2016- 11- 20]. http://cogprints.org/5869/1/cnn_tutorial.pdf.

[13] PAN S J, YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10):1345-1359.

[14] 饒裕平,柴紅玲.林火視頻監控中煙識別方法概述[J]. 林業調查規劃, 2009,34(1): 59-62.(RAO Y P, CHAI H L. A general introduction to a method for smoke recognition in vision monitoring of forest fire[J]. Forest Inventory and Planning, 2009, 34(1):59-62.)

[15] SAHINER B, CHAN H P, PETRICK N, et al. Classification of mass and normal breast tissue: a convolution neural network classifier with spatial domain and texture images[J]. IEEE Transactions on Medical Imaging, 1996, 15(5):598-610.

[16] HUANG Y, TIAN S, SUN X, et al. Forest fire smoke recognition based on gray bit plane technology[J]. International Journal of Signal Processing, Image Processing and Pattern Recognition, 2013, 6(6): 309-320.

[17] DAI W, YANG Q, XUE G R, et al. Boosting for transfer learning[C]// Proceedings of the 24th International Conference on Machine Learning. New York: ACM, 2007:193-200.

[18] YANG Q, CHEN Y, XUE G R, et al. Heterogeneous transfer learning for image clustering via the social Web[C]// Proceedings of the 47th Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the AFNLP. Stroudsburg, PA: Association for Computational Linguistics, 2009:1-9.

[19] XIE M, JEAN N, BURKE M, et al. Transfer learning from deep features for remote sensing and poverty mapping[C]// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Menlo Park, CA: AAAI Press, 2016: 3929-3935.

[20] SONOYAMA S, TAMAKI T, HIRAKAWA T, et al. Transfer learning for endoscopic image classification[EB/OL].[2016- 11- 20]. http://www.researchgate.net/profile/Tetsushi_Koide/publication/306474619_Transfer_Learning_for_Endoscopic_Image_Classification/links/587af87308ae4445c0630cc7.pdf.

This work is partially supported by the National Natural Science Foundation of China (U1204609), the Program for Science & Technology Innovation Talents in University of Henan Province (15HASTIT022), the Funding Scheme of University Young Core Instructors in Henan Province (2014GGJS-046), the Foundation of Henan Normal University for Excellent Young Teachers (14YQ007), the Key Scientific Research Project in University of Henan Province (15A520078), the Key Scientific and Technological Project of Henan Province (172102210333).

WANGWenpeng, born in 1989, M. S. candidate. His research interests include machine learning, pattern recognition.

MAOWentao, born in 1980, Ph. D., associate professor. His research interests include machine learning, weak signal detection.

HEJianliang, born in 1993, M. S. candidate. His research interests include machine learning, time series prediction.

DOUZhi, born in 1977, Ph. D., associate professor. His research interests include image processing, pattern recognition.

Smokerecognitionbasedondeeptransferlearning

WANG Wenpeng1, MAO Wentao1,2*, HE Jianliang1, DOU Zhi1,2

(1.CollegeofComputerandInformationEngineering,HenanNormalUniversity,XinxiangHenan453007,China;2.EngineeringTechnologyResearchCenterforComputingIntelligenceandDataMiningofHenanProvince,XinxiangHenan453007,China)

For smoke recognition problem, the traditional recognition methods based on sensor and image feature are easily affected by the external environment, which would lead to low recognition precision if the flame scene and type change. The recognition method based on deep learning requires a large amount of data, so the model recognition ability is weak when the smoke data is missing or the data source is restricted. To overcome these drawbacks, a new smoke recognition method based on deep transfer learning was proposed. The main idea was to conduct smoke feature transfer by means of VGG-16 (Visual Geometry Group) model with setting ImageNet dataset as source data. Firstly, all image data were pre-processed, including random rotation, cut and overturn, etc. Secondly, VGG-16 network was introduced to transfer the features in the convolutional layers, and to connect the fully connected layers network pre-trained by smoke data. Finally, the smoke recognition model was achieved. Experiments were conducted on open datasets and real-world smoke images. The experimental results show that the accuracy of the proposed method is higher than those of current smoke image recognition methods, and the accuracy is more than 96%.

deep learning; transfer learning; smoke recognition; small dataset

2017- 05- 16;

2017- 06- 07。

國家自然科學基金資助項目(U1204609);河南省高?？萍紕撔氯瞬胖С钟媱?15HASTIT022);河南省高校青年骨干教師資助計劃(2014GGJS-046);河南師范大學優秀青年科學基金資助項目(14YQ007);河南省高等學校重點科研項目計劃(15A520078); 河南省科技攻關項目(172102210333)。

王文朋(1989—)，男，河南新鄉人，碩士研究生，主要研究方向:機器學習、模式識別； 毛文濤(1980—)，男，河南新鄉人，副教授， 博士，CCF會員，主要研究領域為機器學習、弱信號檢測； 何建樑(1993—)，男，河南信陽人，碩士研究生, 主要研究方向:機器學習、時間序列預測； 竇智(1977—)，男，河南新鄉人，副教授，博士，主要研究方向:圖像處理、模式識別。

1001- 9081(2017)11- 3176- 06

10.11772/j.issn.1001- 9081.2017.11.3176

(*通信作者電子郵箱maowt@htu.edu.cn)

TP391.41

A