融合FV-SIFT特征和深度卷積特征的車輛圖像細粒度分類

楊志鋼，馬俊杰

哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001

隨著社會的不斷發展，人們對汽車這一交通工具的需求日益增長，道路上的車輛種類也越加繁多。車輛在給人們出行帶來便捷的同時，也滋生了一些交通安全、違法犯罪問題，譬如車輛超速、超載、套牌、無牌等。車輛的監管一般采用攝像頭抓拍的方式，通過圖像確定車輛的信息與行為，其中車輛種類的識別分類是一個重要研究方向。目前主流的車輛分類算法按目標范圍大致可分為3類：基于車型種類的分類算法、基于不同品牌轎車的分類算法、基于轎車子品牌的分類算法。基于車型種類的分類算法用于區分大、中、小體型的不同用途車輛，如卡車和轎車；基于不同品牌轎車的分類算法專注于區分轎車的品牌信息，如吉利、比亞迪等；基于轎車子品牌的分類算法深入區分同一廠類品牌下的子品牌轎車，如奔馳旗下的smart、邁巴赫系列車型。本文提出車輛圖像細粒度分類屬于基于轎車子品牌的分類算法。

車輛圖像的細粒度分類相較于一般的多分類任務，難度更大，主要體現在兩個方面：第一，同一類別的車輛圖像取決于拍攝條件，角度、環境、清晰度、以及遮擋條件導致其圖像低層特征類內距離大；第二，不同車輛之間由于相似度較高造成低類間差異。因此，要想實現對車輛圖像的正確分類，必須對所提取的車輛特征有很高的要求。2010年，F. Perronnin等[1]提出了一種基于SIFT特征與改進的Fish核的圖像細粒度分類方法，該方法對光照變化具有良好的適應性，但對圖像拍攝角度變化表現得不是很好。近年來，深度學習在計算機視覺領域迅速發展，作為實現深度學習的一項重要技術，卷積神經網絡在圖像識別領域已經取得了卓越的成績。Zhang N等[2]利用卷積神經網絡出色的性能在圖像細粒度分類任務中得到了較好的效果。2017年，王秀席等[3]利用改進的LeNet-5卷積神經網絡在車型識別中取得了好的識別結果。基于深度卷積特征的圖像分類方法依靠多層卷積自行學習有效的特征表示，免去了傳統方法中挑選合適的基于先驗知識的圖像特征算法的繁瑣步驟，且采用端到端的訓練方式快速使模型具有表達目標特征的能力。

因此本文提出了一種融合FV-SIFT特征和深度卷積特征的車輛圖像細粒度分類算法，該算法首先采用SIFT特征描述子對車輛圖像提取特征，再采用Fisher Vector算法對提取的特征向量進行編碼得到FV-SIFT特征，然后采用VGG-16卷積神經網絡對車輛圖像提取深度卷積特征，最后將FV-SIFT特征與VGG-16深度卷積特征進行線性融合并采用支持向量機對其進行分類。實驗結果表明，融合后的車輛圖像特征對單一FV-SIFT特征表現不佳的現象進行了改善，且相較深度卷積網絡基礎上提高了車輛圖像細粒度分類的準確率指標。

1 FV-SIFT特征提取

FV-SIFT特征提取方法由兩部分組成：1)對輸入圖像使用SIFT描述子進行特征提取，獲得特征向量；2)對高維特征向量使用PCA算法進行降維處理，提升表達能力的同時減少參數計算量；3)通過Fisher Vector算法對特征向量進行編碼，從而得到車輛圖像的FV-SIFT特征向量。如圖1所示。

圖1 FV-SIFT特征提取流程

1.1 SIFT特征

D G Lowe等[4]于2004年提出基于SIFT特征的檢測算法，利用了該特征具有的尺度不變性，能提取對尺度縮放、旋轉、亮度變化無關的特征向量，獲得了良好的檢測效果。SIFT特征提取共分為4個步驟：1)構建尺度空間檢測極值點；2)特征點過濾以及精確定位；3)獲取特征點的方向值；4)最后生成特征描述子。本文采用Dense SIFT算法來加速特征提取，巧妙地避開SITF描述子檢測的前3個步驟，即直接定位關鍵點位置和描述子采樣區域，計算SIFT特征向量。提取過程如圖2所示。

圖2 Dense-SIFT特征提取過程

首先采用一個矩形窗口在邊界框內以一定的步長在圖像上從左到右、從上到下的順序滑動獲取像素塊，接著對像素塊進一步劃分為4×4的16個方格，方格上的每個像素點都需計算梯度方向，得到8方向的梯度直方圖，作為當前方格的特征向量，最后將每個小塊的特征向量連接起來得到該像素塊的4×4×8=128維的Dense-SIFT特征向量。由于得到的Dense-SIFT特征維數較高，為了便于后續計算方便，本文采用主成分分析(PCA)方法[5]對Dense-SIFT特征進行降維處理。

1.2 Fisher Vector編碼

主流的模式識別方法按概率模型可以分為生成式模型和判別式模型。生成式模型通過構建同類目標的聯合概率分布，來描述同類目標的相似度，如高斯混合模型(GMM)[6]，且可以用于處理長度不一的輸入數據；另一類是判別式方法，比如SVM，這類方法主要反映異類數據之間的差異，在數據量較少的情況下分類效果更好。結合兩者優勢的Fisher Vector算法，用生成式模型(GMM)對樣本輸入進行建模，再進一步得到樣本的Fisher Vector特征表示。

定義似然函數p(X|λ)的梯度向量表示為

UX=λlogp(X|λ)

(1)

式中：X={xt,t=1,2,…,T}為圖像的特征集合并且服從高斯分布;λ={wi,μi,σi,i=1，2，…，N}是GMM的模型參數。

為了能夠讓梯度向量能夠更好地表示圖像特征，對其進行歸一化處理，得到Fisher Vector特征向量。如式(2)所示：

(2)

2 深度卷積特征提取

深度學習的概念源于人工神經網絡的研究，啟發自人腦的分層結構，通過逐層級的提取不同維度的語義特征信息，獲得有效的表征數據顯式特征的能力，通過訓練的方式，讓多層級網絡自主學習特征表達參數，從而實現端到端的模型[7]。其中，卷積神經網絡在圖像上的表現較為突出，被廣泛應用于計算機視覺領域的個方向。

卷積神經網絡(convolutional neural network，CNN)是將局部感受野、權值共享和空間亞采樣的思想融合在一起來獲取某種程度的位移不變性、尺度不變性、以及形變不變性[8]。卷積神經網絡是一種層次模型，每一層包含若干個二維特征面，特征面又由若干個獨立神經元所決定。通常一個卷積神經網絡中包含卷積層、非線性映射層、池化層以及全連接層(fully connected layer，FC)[9-10]。卷積層作用是提取表達能力強的局部圖像特征，通過若干卷積塊加強卷積層的特征表達能力；非線性映射層引入了非線性的因素來提升網絡表達能力，避免了線性不可分的現象；池化層的作用是對卷積特征映射圖進行降采樣，同時降低網絡運算復雜度；全連接層源自多層感知機模型，對特征維數進行降維并進行分類。

卷積神經網絡是通過監督學習模式進行訓練，具體過程為：設置網絡初始參數，將輸入數據喂入網絡，得到網絡輸出值，與原標簽值對比得到損失值，然后計算利用梯度反向傳播算法調整網絡各層的參數，依此迭代至終止條件。VGG-16卷積神經網絡是由Karen Simonyan和Andrew Zisserman[11]所提出的，并且該網絡在2014年的ILSVRC比賽上取得了定位問題第一名和分類問題第二名的優秀成績。VGG模型如圖3所示。

圖3 VGG-16

可以得知，VGG-16有13個conv層、5個maxpool層、3個fully connect層，最后由softmax層輸出分類結果。其中conv(i)-(n)代表該層的的卷積核是n個i×i的方塊；maxpool表示最大值池化[12]；FC-(m)表示全連接層的輸出特征向量的個數為m。在每個卷積層的后面，加入了ReLU激活函數，引入了非線性，加強特征表達能力和避免了梯度飽和問題。ReLU激活函數為：

f(x)=max{0,x}

網絡的參數傳遞過程如下所示：由于VGG-16網絡的限定，輸入圖像統一為448×448；第1、2個conv層的輸出為64個448×448大小的feature map，然后步長為2的max pooling層將其縮小為64個大小為224×224的feature map；第3、4個的conv層輸出128個224×224大小的feature map，隨后的max pooling將其縮小為128個112×112的feature map；第5、6、7個的conv層輸出256個112×122大小的feature map，隨后的max pooling將其縮小為256個56×56的feature map；第8、9、10個的conv層輸出512個56×56大小的feature map，隨后的max pooling將其縮小為512個28×28的feature map；第11、12、13個的conv層輸出512個28×28大小的feature map，隨后的max pooling將其縮小為512個14×14的feature map。本文選擇第13層卷積層的輸出作為深度卷積特征。

由于VGG-16網絡中包含3個卷積層，網絡參數量高達上億個，相較于少樣本量的車輛樣本庫，直接訓練網絡易出現過擬合，從而導致深度卷積網絡特征表達能力不足。因此，本文采用模型遷移策略，即將大樣本數據集上學習到的網絡權重參數應用到數量級較小數據集的任務上，通過微調的方式將網絡參數適用于車輛數據集，從而得到符合條件的車輛圖像的卷積網絡模型。

本文采用在ILSVRC-2012數據集上訓練好的VGG-16網絡模型參數，修改網絡最后一層全連接層的輸出，使其輸出類別數量與車輛類別相同，在車輛圖像數據集中微調，得到有效的車輛類別分類模型。然后提取網絡中的卷積層參數，作為深度卷積網絡特征提取器，對輸入圖像進行特征提取，獲取深度卷積特征向量。圖4為采用卷積神經網絡遷移策略提取深度卷積特征流程圖。具體步驟如下：

1)采用ILSVRC-2012數據集對VGG-16卷積神經網絡進行預訓練，得到VGG-16卷積神經網絡預訓練模型；

2)根據實際的車輛類別數修改VGG-16卷積神經網絡預訓練模型最后一個全連接層輸出個數；

3)將車輛圖像數據集(訓練集)輸入到VGG-16卷積神經網絡預訓練模型中進行權重參數的微調，得到關于車輛的VGG-16卷積神經網絡微調模型；

4)將車輛圖像輸入到VGG-16卷積神經網絡微調模型中，通過前向傳播的方式將網絡第13層卷積層輸出的特征作為該圖像的深度卷積特征。

圖4 卷積神經網絡遷移策略提取特征流程

3 融合FV-SIFT和深度卷積特征的分類算法流程

本文算法總體流程如圖5所示，先將車輛圖像數據集分為兩部分，一部分為訓練集，另一部分為測試集。

圖5 本文算法總體流程

具體實驗步驟如下：

1)對車輛圖像訓練集提取FV-SIFT特征(X1)；

2)對車輛圖像訓練集提取VGG-16深度卷積特征(X2)；

3)將步驟1)提取的FV-SIFT特征和步驟2)提取的VGG-16深度卷積特征連接起來組成一個大特征，即為融合特征(X=[X1，X2])；

4)將對車輛圖像訓練集提取的融合特征作為SVM分類器的輸入進行分類訓練，得到關于車輛的SVM分類模型；

5)對車輛圖像測試集按照步驟1)～3)提取融合特征，并輸入到步驟4)中訓練好的車輛SVM分類模型中進行分類預測。

4 實驗結果及分析

本文實驗在BMW-10車輛數據集上，詳細論證了融合FV-SIFT特征和深度卷積特征的分類方法的有效性。

實驗環境是CPU為Intel(R) Xeon(R) E5-1620，主頻3.7 GHz，內存16 GB；GPU為Quadro P4000，顯存8 GB；操作系統為Windows10；軟件采用MATLAB，選用MatConvNet框架。

4.1 數據集

本文研究的是基于轎車子品牌的車輛細粒度分類，特點是不同類的車輛外觀、體型等特征相似度較高。圖6為本文所采用的BMW-10車輛數據集中的部分車輛圖像，該數據集包含了512張10類不同寶馬車輛圖像，每一類中的車輛圖像的角度、像素尺寸均存在較大范圍差異，每類車型樣本數量在50張左右。每張圖片大小不一，由于VGG-16的輸入要求為448×448，因此在實驗中將車輛圖像大小歸一化為448×448。在每種車型樣本中隨機選取三分之二作為訓練集，其余三分之一作為測試集。

圖6 部分車輛圖片

4.2 實驗結果

為了驗證方法的有效性，本文采用的對比實驗方案如下：1)基于FV-SIFT特征的車輛細粒度實驗；2)基于VGG-16深度卷積特征的車輛細粒度分類實驗；3)融合FV-SIFT特征和深度卷積特征的車輛細粒度分類實驗。

考慮到深度卷積特征網絡VGG-16得到的特征維數為40多萬的數據量，存在數據冗余和計算量過大的問題，因此對其進行最大值池化的降維處理。降維采用的不同窗口進行池化對分類精度的影像如表1所示。

表1 深度卷積特征不同窗口下的分類精度比較

由表1易知，VGG-16特征提取網絡的數據量隨著池化窗口的增大而逐漸下降，特征數據維度從幾十萬可降至幾萬；分類精度隨著窗口大小變化而規律變化，于窗口大小11×11時取得最佳分類精度80.3%。

可以通過建立分類結果混淆矩陣的方法，觀察分類器對每一類的分類效果。如圖7～9所示，混淆矩陣中的第i行第j列的值，代表真實樣本為第i個類別時，其為第j類的概率值。易知每一行的概率值和應為1。

圖7 基于FV-SIFT特征的車輛圖像分類結果混淆矩陣

圖8 基于深度卷積特征的車輛圖像分類結果混淆矩陣

圖9 融合FV-SIFT特征和深度卷積特征的車輛圖像分類結果混淆矩陣

由圖7可知，基于FV-SIFT特征的車輛圖像細粒度分類算法對類別1、4、9的分類效果較好，對8類別8的分類效果不理想，因此FV-SIFT特征能用于部分車輛的特征表示。

由圖8可知，基于VGG-16深度卷積特征的車輛圖像細粒度分類算法對大部分類別均能較準確的分類；相較傳統人工設計的FV-SIFT特征，特征表達能力有明顯提升，說明深度卷積特征在車輛細粒度分類算法上具備有效性。

由圖9易知，融合FV-SIFT和深度卷積特征的車輛圖像細粒度分類算法對類別7、9可達100%的準確分類能力，展示了該改進方法的有效性。與圖7的結果對比，可知該方法對所有類別的分類精度都較圖7的方法有明顯提升，由此展示了該方法的融合特征較傳統人工設計的FV-SIFT更具良好的特征表達能力；與圖8的結果對比，可知該方法在類別1、4、7、8、9、10上的分類精度較圖8所用方法有所提升，說明該融合特征比單獨的深度卷積特征方法的特征表達能力更加突出，而對部分類別的分類精度不如圖8的原因，是因為FV-SIFT特征在融合特征中所占權重較大，從而使得這些類別的特征表達結果趨向FV-SIFT特征。

本文不僅采用了FV-SIFT特征、VGG-16深度卷積特征與融合后的特征進行對比實驗，還采用了文獻[13]、[14]中的算法與融合特征進行對比，文獻[13]中的算法采用的是VGG-M卷積神經網絡提取VGG-M深度卷積特征，文獻[14]中的算法采用的是兩個相同的VGG-M卷積神經網絡提取雙VGG-M深度卷積特征。如表2所示為5種對比實驗的比較結果。

表2 不同特征下的分類精度比較

由表2易知，在整體分類精度下，基于VGG-16深度卷積特征的車輛細粒度分類算法比基于FV-SIFT特征的分類算法的精度高約13%，說明逐層級深入提取圖像語義特征的深度卷積特征學習到了車輛圖像的語義特征，從而提高了分類準確率。本文提出的融合特征方法相較基于FV-SIFT特征的分類方法在整體分類精度上提升15.4%，較基于VGG-16深度卷積特征的分類方法精度提高了2%左右，較基于VGG-M深度卷積特征的分類方法精度提高了8.5%，較基于雙VGG-M深度卷積特征的分類方法精度提高了1.9%，說明本文方法的有效性。

5 結論

針對現有的SIFT特征在車輛細粒度分類中存在的特征表達能力弱和分類精度低的問題，本文提出了一種融合FV-SIFT特征和深度卷積特征的車輛圖像分類算法，該算法采用FV-SIFT特征和深度卷積特征相融合的方式對車輛圖像進行分類。實驗結果表明該方法在分類準確率上較基于FV-SIFT特征的車輛圖像分類算法有明顯提高，較基于VGG-16深度卷積特征的車輛圖像分類算法也有略微提高。盡管本文最終的對比實驗結果比較理想，但是本文工作也存在著一些不足之處：1)實驗所用車輛圖像數據集存在樣本量少、種類少、拍攝車輛角度不充分等問題，這使得深層網絡模型的學習能力不能最大化；2)對于深度卷積神經網絡的選取可以做進一步的研究，使融合后的特征能夠更加具有表達能力。因此，接下來可以圍繞上述的兩個方面展開進一步的研究。