基于遷移學習的紅外圖像分類

鄧 玲，張 軍，周 寬

（天津職業(yè)技術師范大學電子工程學院，天津 300222）

紅外目標分類是紅外圖像處理研究的一個重要分支，但是紅外圖像相對于可見光圖像存在成像質(zhì)量差、分辨率低、信息單一等問題，導致紅外目標分類識別出現(xiàn)許多難點問題。目前，對紅外目標進行有效分類的文章較少，為了實現(xiàn)對紅外圖像目標的識別分類，首先需要對紅外目標進行特征提取[1]，特征提取可以定義為從特征選擇階段生成的特征中提取一組新特征的過程[2]，常用的特征提取方法有梯度直方圖（HOG）[3-5]、局部二進制模型（LBP）[6-8]、基于局部強度差異直方圖（HLID）[9]、梯度位置-方向直方圖（GLOH）[10-11]等，這些方法能對紅外目標的紋理、亮度以及外形輪廓等特征進行提取，但這些研究都只能對紅外目標的某單一特征進行表示，雖然能取得一定效果，但是提取的特征信息不全面，且不能多角度、全方位對紅外目標進行不同類型的特征提取。

傳統(tǒng)的圖像分類需要經(jīng)過一系列步驟，其中核心步驟是數(shù)據(jù)預處理、特征提取、降維并分類。通常圖像預處理過程復雜，處理效果也不盡理想，直接導致后續(xù)算法難以有效提取到目標的特征屬性，其最后的特征表達與分類效果都不盡樂觀。在可見光領域，由于卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）[12-13]具有強大的特征提取能力，在目標識別、檢測和分類任務上表現(xiàn)良好，它不僅能逐層抽取圖像特征，獲得圖像的深層次語義特征和結(jié)構(gòu)特征，還能通過并行學習的方式提高網(wǎng)絡效率。在簡化模型方面，通過獲取局部感受野、權重調(diào)參、降維等策略，有效減少了訓練參量，訓練效率明顯提升。在抑制過擬合方面，卷積神經(jīng)網(wǎng)絡效果亦佳。而對目標識別和分類時，模型可以直接讀取圖像數(shù)據(jù)，避免了復雜的前期處理，端到端的操作使得卷積神經(jīng)網(wǎng)絡效率極高。卷積神經(jīng)網(wǎng)絡作為圖像分類領域一種快速且高效的方法，在圖像分類問題上得到了廣泛的應用[14]，也迅速成為研究熱點。

受到遷移學習（transferring learning）[15]的啟發(fā)，本研究提出用于紅外圖像分類的遷移改進模型（transferring improvement model，TIM）。先用可見光數(shù)據(jù)集作為源域數(shù)據(jù)集，對模型進行預訓練，再對模型進行知識遷移、訓練、迭代改進，訓練后的模型能準確提取紅外目標特征，實現(xiàn)紅外目標分類。

1 遷移學習基本原理

1.1 遷移學習基本介紹

所謂遷移學習，就是把一個領域的模型在源域?qū)W習到的知識，應用于新的相關領域進行求解，并在新的領域得到良好的表現(xiàn)和應用。具體過程為：先訓練好一個卷積神經(jīng)網(wǎng)絡模型，接著通過對已訓練好的模型進行知識遷移，遷移模型時保持原卷積層的整體結(jié)構(gòu)不變，只對權重、偏置值、學習率等參數(shù)進行微調(diào)；根據(jù)目標域圖像的特征，設計一個新的全連接層，與進行過微調(diào)的卷積神經(jīng)網(wǎng)絡共同組成新的模型，用目標域的紅外數(shù)據(jù)集對新模型進行再次訓練、修改，模型穩(wěn)定后進行測試、驗證，以完成紅外目標的特征提取、檢測、識別、分類等任務。遷移學習必須找到源域和目標域的特征關系，用共同特征將源域和目標域聯(lián)系起來，實現(xiàn)知識遷移，并且將在源域?qū)W習到的知識應用于目標域；還必須利用源域和目標域的不同特征修改全連接層，完成目標域的新任務，實現(xiàn)知識遷移。

1.2 基本模型

遷移學習能很好地解決如何從可見光源域?qū)⒅R遷移到紅外目標域并應用的問題，解決了這2 種異類數(shù)據(jù)之間的知識遷移問題[16]。可見光圖像的特征和紅外圖像特征相同點為：目標的邊緣輪廓大體一致，故可將適用于可見光圖像分類的模型遷移用于紅外圖像的分類。不同點為：2 類圖像的紋理特征、色彩特征、特征復雜度不一致，分類任務也不同，因此需要新的全連接層實現(xiàn)分類，其具體實現(xiàn)過程如下：

（1）給定一個可見光圖像數(shù)據(jù)集，作為源域數(shù)據(jù)集，預訓練一個分類模型為A，并把預訓練模型中的卷積網(wǎng)絡結(jié)構(gòu)和參數(shù)作為紅外目標域訓練模型的初始參數(shù)[17-19]。

（2）給出目標域紅外圖像對應的分類任務，遷移可見光圖像分類模型，結(jié)合紅外圖像的特征，設計一個新的全連接層，與預訓練模型A 中的卷積層一起構(gòu)成紅外圖像分類的模型B，幫助提高紅外圖像在目標域的分類效果。紅外圖像分類遷移學習模型如圖1所示。

圖1 紅外圖像分類遷移學習模型

2 遷移模型重構(gòu)與改進

2.1 基于Inception-v3模型的遷移學習

在人工智能迅速崛起的時代，深度學習是目前解決圖像分類最主流也最高效的方法。2014 年，VGG-Net和Inception-Net 首次應用于ILSVRC 分類挑戰(zhàn)賽[20]，并取得巨大成功。此后，眾多研究者開始對這2 種網(wǎng)絡進行深入研究，并將其應用至各個領域，盡管VGG-Net 結(jié)構(gòu)簡單，但其參數(shù)量高達140 M，網(wǎng)絡計算量大，運行成本高。相較于Alex-Net、VGG-Net，Inception-v3 模型的參量大大減少，僅有500 萬參數(shù)。該模型共有11 個Inception 模塊，共計46 層，在增加了網(wǎng)絡寬度的同時，可有效降低網(wǎng)絡維度，并對特征提取功能進行了強化[21]。Inception-v3 具有良好的性能，完全可以遷移應用至紅外圖像處理領域。

Inception-v3 網(wǎng)絡在Image Net 源域數(shù)據(jù)集上能夠?qū)W習到一張圖像的基本信息，如基本結(jié)構(gòu)和邊緣輪廓等，因此可以將Inception-v3 模型預訓練得到的提取圖像邊緣等通用特征的權重參數(shù)作為分類網(wǎng)絡的初始權重。本實驗先將訓練好的Inception-v3 模型進行遷移，再將模型學習到的權重作為紅外目標分類模型的初始權重，利用模型中間的隱含層對紅外圖像特征分層學習，使模型更好地對紅外目標進行特征提取。在瓶頸層后訓練新的全連接層及Softmax 層，使全連接層準確提取訓練集的目標特征，構(gòu)建出一個能對不同格式的紅外目標圖像進行高精度分類的卷積神經(jīng)網(wǎng)絡。

2.2 遷移模型重構(gòu)過程

現(xiàn)有紅外數(shù)據(jù)集有限，難以訓練出較好的分類模型，因此考慮遷移模型，遷移過來的模型可以共享原卷積層的參數(shù)，只需對頂層結(jié)構(gòu)進行重新設計，故可以大量節(jié)省模型搭建和訓練的時間，而把重點放在模型重構(gòu)、改進上，這樣不僅能實現(xiàn)特定的分類任務，還能使模型得到更廣泛的應用。基于遷移學習的紅外圖像分類模型重構(gòu)過程如下：

（1）選定紅外圖像訓練的樣本集合{x（1），x（2）…，x（n）}。

（2）初始化權重、偏置值等網(wǎng)絡參數(shù)，正向讀取樣本數(shù)據(jù)。正向傳播的計算式為

式中：z 為輸出；i 為神經(jīng)元的值；xi為輸入；wi為權重；b 為偏置值。

（3）計算其損失函數(shù)，并將損失函數(shù)最小化。

（4）計算輸出結(jié)果和真實值之間的誤差，進行反向傳播，重新調(diào)整算法參數(shù)。反向傳播公式為

式中：θ 代表參數(shù)（權重或偏置）；α 為學習率，初始學習率設為0.001。

（5）迭代完成，結(jié)束模型重構(gòu)；若迭代未完成，返回（3）繼續(xù)調(diào)優(yōu)。

由于缺少全連接層對圖片的全局信息分析，圖片的局部特征也沒有經(jīng)過整合，因此需要在模型最后使用全連接層整合圖像局部特征，然而使用過多的全連接層難以避免過擬合問題，故本實驗只使用一層全連接層，并使用dropout 方法降低過擬合。

2.3 遷移模型改進

除了對模型進行遷移，修改參數(shù)使其適用于紅外圖像的處理，本文還對遷移后的模型進行了改進。

在Inception-v3 模型中，將7×7 的卷積核分解為2 個 1×7 和 7×1 的一維卷積核，將 3× 3 的卷積核分解為1×3 和3×1 的卷積核，這類變換削減了大量深層參數(shù)并拓寬了網(wǎng)絡寬度，非對稱的拆分結(jié)構(gòu)使得模型能處理更豐富的圖片特征。但由于本實驗使用的是紅外圖像，圖像的信息量比較單一，圖片位深度僅為8，溫度越高的地方其亮度特征越明顯，并且紅外圖像沒有可見光那么多的紋理特征，顏色信息也較單一，當特征不夠豐富時，Inception-v3 模型中一些濾波器的卷積核實際上是冗余的；還有一部分神經(jīng)元未發(fā)揮作用，處于未激活狀態(tài)，故改進的模型將冗余卷積核和未激活神經(jīng)元刪除，這樣做的目的是為了給模型瘦身，進而提高模型訓練效率和訓練速度。實驗用迭代的方式對網(wǎng)絡進行了刪減，改進的模型迭代過程如圖2 所示，先固定遷移后的網(wǎng)絡結(jié)構(gòu)，再確定冗余部分和未激活部分，最后重新訓練修改后的網(wǎng)絡，并驗證網(wǎng)絡分類的準確度。假設實驗輸出的準確率為Acc，需要達到的準確率閾值為T，若Acc ＜T，則繼續(xù)迭代，修改網(wǎng)絡參數(shù)并訓練；若Acc ＞T，則說明修改有效，停止迭代。實驗結(jié)果表明，刪除冗余卷積核和未激活神經(jīng)元對提升網(wǎng)絡運行速度有一定幫助。

大多數(shù)基于Inception-v3 的遷移學習模型的算法都只能識別.jpg 格式的圖片。本實驗為了提高模型的適用性，增加了.png 格式的數(shù)據(jù)類型，故需要對訓練程序進行修改，使修改后的模型能同時對2種格式的圖片做標簽，并能同時對2 種格式的圖片進行分類。

圖2 改進的模型迭代過程

3 數(shù)據(jù)集準備及預處理

3.1 數(shù)據(jù)集準備

本實驗采用的數(shù)據(jù)集為俄亥俄州立團隊的紅外圖像數(shù)據(jù)庫（OTCBVS benchmark dataset）[22-23]，該數(shù)據(jù)庫包含了多種紅外圖像，含有12 個子數(shù)據(jù)集，一些科研人員和學生以該紅外圖像數(shù)據(jù)集為基準，作為相關算法的測試對象，如對紅外目標進行檢測和識別，進而驗證所提算法的可行性與準確性。本實驗選取的部分數(shù)據(jù)集為數(shù)據(jù)庫中的第12 個子數(shù)據(jù)集，以戶外運動場景為主，涵蓋了各種形式的紅外目標，如：馬、車、無人機、犀牛、持槍械的軍人、交錯目標、足球場目標等，用于測試和評估基于遷移學習的紅外圖像分類算法。部分紅外圖像數(shù)據(jù)集如圖3 所示。

圖3 部分紅外圖像數(shù)據(jù)集

3.2 數(shù)據(jù)預處理

數(shù)據(jù)預處理的過程即tfrecord 文件的生成，具體過程為：先將訓練集保存在不同目錄下，分為7 組，每組圖片500 張，將訓練數(shù)據(jù)隨機打亂，增強網(wǎng)絡的泛化能力，并給打亂后的紅外圖像打標簽。再將不同大小、不同格式的紅外目標圖像分別轉(zhuǎn)化為模型需要的格式，存放在tfrecord 文件里，此文件用于訓練時對圖片自動調(diào)用。最后保存每個圖片的絕對路徑，輸出各圖片的分類labels，將分類名稱保存為字典格式。

4 實驗環(huán)境及結(jié)果分析

4.1 實驗環(huán)境

實驗設備為Intel（R）-Core（TM）i3-6100 CPU@3.70 GHz，操作系統(tǒng)為ubuntu 16.04，操作環(huán)境為Tensorflow+python3.5+jupyter。

4.2 模型訓練

訓練過程中選擇俄亥俄州立團隊的紅外圖像數(shù)據(jù)集，訓練集與測試集的比例為4 ∶1，初始learning rate 設為 0.001，batch 設為 100，epoch 為 150。loss 值使用交叉熵損失函數(shù)，先將函數(shù)求導，再利用式（3）得到交叉熵損失函數(shù)的計算值。

式中：q（k）為期望類別概率；p（k）為模型預測類別概率；L 為損失值。

在使用Softmax 層對紅外目標進行分類時，Softmax層要先讀取來自全連接層的數(shù)據(jù)，其具體的分類網(wǎng)絡如圖4 所示。

圖4 分類網(wǎng)絡

式中：W 為權重，所有W 構(gòu)成一個權重矩陣；bias 為偏置值；x 為全連接層的輸入；Z 為全連接層的輸出；wj為第j 類圖像的特征權重，包含圖像每維特征的重要信息。

式（5）的計算最終得到類別k 的概率，即準確率p。簡單來說，模型的分類結(jié)果經(jīng)過Softmax 層直接映射為概率，正如分類模型圖右邊得到的即為各個類別的概率，概率最高的為當前正確識別的概率，其他概率為誤分類概率，概率之和為1。

4.3 實驗結(jié)果分析

實驗以紅外圖像作為數(shù)據(jù)集，以Inception-v3 模型作為基礎框架，取得了良好的分類效果。為了使模型更加適用于紅外圖像分類，提出對模型的卷積核進行改進，改進前后的模型對比如表1 所示。

從表1 中可以看出，模型改進后訓練耗時明顯縮短，說明提出的迭代法刪除冗余卷積核和未激活神經(jīng)元使網(wǎng)絡的運行速度得到提升。而分類精度和識別耗時基本不變，這是因為改進前后的模型都能學習到目標所有特征，故在驗證時分類精度和識別耗時基本不變。

表1 模型對比

本實驗的遷移改進模型（transferring improvement model）能實現(xiàn)對不同格式的紅外圖像進行分類，例如car 和weapon people 為.jpg 格式的圖像，其余圖像則為.png 格式，對于2 種不同的圖像數(shù)據(jù)，分類精度均高達98%以上。在改進的遷移學習模型中，前端深度卷積層已取得良好預訓練效果，改進后的模型收斂速度較快，耗時短，并能迅速尋找到全局最優(yōu)解，在相同的訓練數(shù)據(jù)集和迭代次數(shù)下，網(wǎng)絡運行效率得到提高。部分實驗結(jié)果如圖5 所示。

圖5 部分實驗結(jié)果

最終模型分類結(jié)果如表2 所示。第1 行和第1 列{0，1，2，3，4，5，6} 分別對應 {car，horse，quadrocopter，rhino，soccer people，walking people，weapon people }這7組紅外目標，黑色表格表示對當前目標的分類精度，表示最優(yōu)結(jié)果，其余表格表示誤分類為其他目標的概率。由表可知，就單一分類而言，模型能對不同的紅外目標進行準確分類，誤分類為其他目標的概率極低；且由于目標特征明顯，數(shù)據(jù)樣本相對合理，整體平均分類精度達到99.4%，說明改進的模型在紅外圖片分類上表現(xiàn)良好。

表2 最終模型分類結(jié)果 %

在訓練過程中，模型的準確率逐漸升高，損失值逐漸降低，這是卷積神經(jīng)網(wǎng)絡的學習能力逐漸提高的結(jié)果。模型運行變化如圖6 所示。

圖6 模型運行變化

為了驗證遷移學習算法的有效性，查閱了近年來有關紅外圖像分類的文獻，其中張秋實等[24]利用圖像融合的方法對紅外圖像的分類做了闡述，其在紅外+可見光融合的模型上最高分類精度為88.7%；邵保泰[25]的紅外超分辨率成像及小目標分類研究，F(xiàn)LIR 數(shù)據(jù)集的分類精度為93%；國外的Gundogdu 等[26-27]利用神經(jīng)網(wǎng)絡（CNN）和前饋神經(jīng)網(wǎng)絡（FCFFNN）做了一系列紅外圖像分類研究，在FFCNN 模型上的分類精度為88.75%。各模型對比結(jié)果如表3 所示，其列出了各種紅外圖像分類模型的精度，經(jīng)過對比，本文的TIM 模型在紅外圖像上的分類效果更好，較之前的分類算法的精度有所提高，其平均分類精度達到99.4%，并能實現(xiàn)對不同格式的紅外圖像進行高效分類。

表3 各模型對比結(jié)果

5 結(jié) 語

針對紅外圖像質(zhì)量差、分辨率低、信息單一、特征提取較難等問題，利用遷移學習的原理構(gòu)建紅外目標分類識別算法，完成了對Inception-v3 模型的遷移，利用俄亥俄州立團隊的紅外圖像數(shù)據(jù)庫對模型進行訓練、驗證。實驗結(jié)果驗證了遷移模型的可行性，最后根據(jù)紅外目標信息單一等特性，剔除卷積核中獲取顏色信息和復雜紋理特征的冗余核和模型的未激活神經(jīng)元，進一步給模型瘦身，提高模型工作效率。改進的模型可以對紅外目標進行準確分類，工作效率也明顯提升，實現(xiàn)了紅外目標的自動分類。但由于模型未能應用至具體硬件平臺，故其還未能實現(xiàn)實時拍攝紅外目標并對其進行分類，下一步將優(yōu)化模型，利用GPU 來加快訓練速度，并研究其如何與硬件平臺相連接，實現(xiàn)實時紅外圖像的分類。