基于多重卷積神經網絡跨數據集圖像分類

劉鑫童，劉立波，張 鵬

(寧夏大學 信息工程學院，寧夏 銀川 750021)

0 引 言

利用少量的有標簽圖像訓練樣本，構建一個合理準確的模型對來自不同數據集的測試樣本進行預測分類，是跨數據集圖像分類工作主要解決的問題。傳統的分類學習必須使用大量可利用的訓練樣本，還要保證訓練樣本與測試樣本服從同一分布[1]。跨數據集分類學習如果無法滿足這一條件約束，容易造成訓練圖像過期、人工圖像標記任務繁重、訓練模型失效和評估分類不準確等問題。通過研究跨數據集共同類圖像的內在聯系和共同特征，能夠減少圖像標記和提高分類模型利用率。對不同數據集進行有效特征提取是研究的關鍵[2]。

當前的跨數據集分類方法主要包括特征選擇和特征轉換兩類。特征選擇是將訓練樣本和測試樣本中的共有特征直接從中分解出來[3]，更新設置樣本特征在整個分類模型中權重。Herndon N等[4]構建了一種在域適應設置中基于生物序列建立的樸素貝葉斯分類器算法，結合任何可用標記數據和未標記的目標數據，減輕監督分類器手動標記大量序列的需要。Zhu Y等[5]提出了一種異構數據集學習方法，將每一張圖像上的Tag標簽作為連接多個數據集合的紐帶。朱廣堂等[6]充分考慮跨數據集圖像數據分布的方差，對訓練樣本方差最大化約束，結合L1范數正則化的Logistic回歸函數，保證高維度圖像特征提取。特征轉換是通過高維度特征到低維度特征的非線性映射，實現訓練樣本和測試樣本盡可能達到相同分布。Yeh Y等[7]先將跨數據集問題通過典型相關分析方法(CCA)轉換為相關子空間問題，再用核典型相關分析方法(KCCA)提取相關子空間的非線性特征。趙鵬等[8]通過核主成分分析(KPCA)將樣本映射到跨數據域子空間，利用最小化最大均值差異(MMD)減小條件和邊緣概率分布差異，并分別設置權重調節因子。Pan S J等[9]通過轉換成分分析(TCA)的方法將圖像數據映射到分布近似相同的子空間，在子空間中使用無監督和半監督特征提取方法，達到處理大型數據集分類的要求。

相關研究在跨數據集分類領域取得了一定的進展，但是仍然存在一些問題。特征選擇的方法預處理過程復雜，圖像依賴大量人工標記，分類器適應性較差；特征轉換的方法不能充分考慮數據分布差異，子空間內很難實現參數共享，而且數據降維難以解決過擬合的問題，因此影響分類效果。

本文嘗試采用深度學習網絡模型解決跨數據集圖像分類問題，提出一種基于多重卷積神經網絡結構的圖像分類方法。在簡單預處理后采用多重卷積層增強了特征提取能力，通過Softmax函數提高了分類器適應能力，Dropout方法和L2范數正則化有效減少過擬合，并實現網絡參數共享提高了分類模型的整體穩定性。本文利用深度學習思想，避免了繁重的圖像標注工作，通過多重卷積神經網絡自動地從不同分布的數據集圖像中提取特征，采用經典的公共數據集進行測試，表明該方法具有特征提取能力更強，平均準確率更高的優點。

1 多重卷積神經網絡的構建

卷積神經網絡是一種源于人工神經網絡的深度學習方法，與一般神經網絡相比較為高效。其優點在于圖像分類過程預處理工作較少，避免了人工設計和提取特征，具有較好的自學習能力和很強的自適應性，已廣泛應用于多個研究領域[10]。本文充分考慮跨數據集圖像分類特點，設計了一種多重卷積神經網絡結構，首先在最初的卷積層提取低級特征，隨后采樣統計后通過連續卷積層得到高級特征，繼而選取更適合的激活函數，使得優化網絡在復雜跨數據集情況下具有更好的泛化能力。

如圖1所示，本文神經網絡模型包括5個卷積層(C1-C5)和2個池化層(S1-S2)，原始圖像尺寸大小為32*32，由輸入層進入網絡模型，由輸出層輸出10類中概率最大的類別，對分類進行預測。由于該模型采用局部連接和權值共享，保持了網絡的深層結構，因此模型較容易訓練且具有良好的泛化能力。在本文提出的多重卷積神經網絡中，圖像的特征提取和采樣統計分別由多個卷積層和池化層自動完成。

圖1 多重卷積神經網絡結構

1.1 多重卷積層

卷積層是卷積神經網絡的核心，在特征提取中起到關鍵作用。在多重卷積神經網絡中，卷積層的圖像單元由若干個具有相同尺寸的特征圖組成，內部每個單元都通過一個被稱為卷積核的矩陣進行卷積計算操作。本文對第一個卷積層(C1)設置大小為5*5的卷積核，對其它4個卷積層(C2-C5)設置大小為7*7的卷積核。由卷積核進行卷積操作后，需要經過一個激活函數才能得到輸出特征圖。激活函數能夠提高網絡的特征學習能力[11]。常用的卷積層激活函數有Sigmoid函數和ReLUs函數[12]，其數學表達式分別為

Sigmoid函數：f(x)=(1+e-x)-1

(1)

ReLUs函數：f(x)=max(0,x)

(2)

函數曲線如圖2所示。從圖2可以看出，相比于Sigmoid函數這種飽和非線性函數，ReLUs函數的優點是梯度不飽和。如果x<0，f(x)=0，如果x>0，f(x)=x，強制將小于零的數據置為零，因而卷積神經網絡具備稀疏表達的能力。這就能夠在反向傳播過程中減輕梯度彌散，使得網絡前幾層參數可以得到很快更新。同時，Sigmoid函數需要指數級運算，而ReLUs在計算激活值時只需設置閾值，使得運算過程得到簡化。由于采用ReLUs函數作為非線性激活函數使得深度網絡學習不需要預訓練，更適合跨數據集分類情況，加快了計算速度。因此，本文設計的多重卷積神經網絡中，所有卷積層的激活函數都使用ReLUs函數。

圖2 兩類激活函數圖像

C1層的輸入為

(3)

其中，w為卷積核，*表示2維卷積，x1-xi為特征圖的輸入，bj為偏置，l為卷積層數，f(·)表示激活函數ReLUs函數。則輸出為

(4)

由于C1層的卷積核大小為5*5，因而每個神經元與輸入圖像有5*5*3的連接區域，即每個神經元會產生75個權值參數。又因為有64個32*32*1的特征圖，連接特征圖的權值參數為65 536個，因此共產生75*65 536=4 915 200個權值參數。本文為降低模型復雜度和硬件設備資源消耗，在訓練和測試中采用權值共享的連接方式。每個特征圖上的參數和閾值均實現共享，則卷積操作只需要75*64+64=4864個權值參數。

C1層卷積輸出得到的特征圖作為C2層和C3層兩個卷積的輸入。在C1層后，分別采用兩個連續卷積層能有效增強模型的抽象能力。C2層和C3層卷積后輸出的特征圖表達式為

(5)

C2-C5層卷積層的輸入是通過一個可以學習的7*7大小卷積核與前一層的一個小鄰域內神經單元相連接，并提取出該領域局部特征，增加了網絡的非線性能力。在提取特征時，同一個特征圖使用相同的卷積核。C4層和C5層卷積后輸出的特征圖表達式為

(6)

在對跨數據集圖像分類實驗時，容易出現過擬合，即訓練樣本輸出與真實結果相同，但是測試樣本輸出與真實結果產生極大差異。為了解決過擬合問題，增強模型的訓練能力和適應性，本文分別在兩個卷積層之間采用Dropout方法。Dropout是將卷積層神經元節點的輸出以概率為0.5的方法停止權重設置，使得每次權值的更新節點不再固定不變，而是以更加隨機的方式更新神經元，暫時停止一部分神經元節點的權重設置，增強了網絡的泛化能力，有效防止過擬合，使網絡模型訓練出的結果更具一般性。

1.2 池化層

輸入圖像通過兩組連續卷積層進行特征精化并取均值，進而在下一個池化層降維，完成對特征的采樣統計。本文將C4層和C5層的兩個卷積操作輸出取均值后，作為池化層的輸入。池化層將每張輸入特征圖分成不重疊的矩形區域，本文采用2*2大小的區域。池化層通常采用平均池化和最大池化兩種方法，對圖像區域取平均值和最大值來描述卷積特征。與平均池化相比，最大池化能夠降低卷積層參數誤差造成的訓練實驗偏移誤差，更好地保留圖像特征，因此本文實驗池化層采用最大池化方法。在池化層中，特征圖個數保持不變，大小減小為原來的一半。池化層的數學表達式為

(7)

其中，p(·)為最大池化函數，β為權重系數。最大池化操作降低了上層的計算復雜度，并具有一定的平移不變性。

2 正則化損失函數的網絡模型

通過多重卷積層和池化層的特征提取和特征采樣，將在全連接層產生600維的特征向量，最終利用輸出層的Softmax損失函數進行分類。

2.1 Softmax損失函數

logistic主要針對二分類問題，Softmax函數[13]對logistic進行改進，可以解決多分類問題。假設m個輸入特征x(i)和樣本標簽y(i)記為

{(x(1),y(1)),(x(1),y(1)),…,(x(m),y(m))}

則Softmax回歸的損失函數如下

(8)

其中

k為樣本標簽的種類數，θ為模型參數，hθ(x(i))為假設函數，用作預測樣本x(i)屬于每一類別的概率。通過最小化Softmax損失函數可以求得θ的數值，從而估計一個新樣本的類別。Softmax損失函數實質是計算所有值用e的n次方，全部求和后分別計算每個值占的比率。由于分類的結果互斥，使得計算出的標簽值唯一，因此保證了跨數據集圖像中的所有樣本圖像只能歸屬一類。

2.2 L2范數正則化

數據中極小的波動往往會引起較大的損失函數值變化，會造成模型過擬合，影響預測性能。而L2范數能夠通過壓縮回歸系數得到較小的模型參數值，從而避免過擬合。L2范數是指所有權重的平方和除以樣本個數，再乘以正則項系數。

引入L2范數的Softmax損失函數如下

(9)

其中

3 實驗結果及分析

本文所有實驗都是在同一臺機器上進行，系統為Ubuntu 16.04，編程語言為Python 2.7；Intel Core i5-4200(2.79 GHz)，內存8 G，顯卡為Nvidia Geforce GTx950，顯存為4 GB；操作平臺為Tensorflow深度學習系統框架。

3.1 數據集介紹

在研究跨數據集分類問題時，采用的經典公共數據集有Caltech256、Amazon、Webcam和Dslr[14]。Caltech256數據集囊括不同類別的圖像，其圖像具有視角各異和背景復雜的特點，被大量應用于圖像識別和分類實驗的訓練和測試；Amazon數據集中所有圖像均來自于購物網站Amazon商城中的商品展示圖像；Webcam數據集中的低像素圖像是由網絡攝像頭拍攝生活實物獲得的；Dslr數據集中的高像素圖像來自數碼單反相機，本文選取以上4個具有不同背景和拍攝環境的數據集進行實驗訓練和測試，以保證實驗結論的準確性和普遍性。本文選取所有4個數據集的共同類為數據樣本。這10類共同類圖像分別是：雙肩背包，山地自行車，計算器，頭戴式耳機，電腦鍵盤，筆記本，電腦顯示器，鼠標，咖啡杯，投影機。其中山地自行車類在4個數據集下的部分抽樣圖像，如圖3所示。從圖3看出，同一類圖像在不同數據集中存在較大差異。

圖3 不同數據集共同類圖像對比

3.2 圖像預處理

本文將原圖像轉換為灰度矩陣后，利用中值濾波消除圖像噪聲，濾波器窗口大小為2*2。由于部分圖像經過濾波器后顯示為幾乎全白或呈現無規律的黑色點狀物，因此本實驗刪除一些無意義圖像，又通過隨機裁剪和旋轉對數據擴增。實驗中用到的圖像數量見表1。原始圖像經過中值濾波等預處理之后，才能進行訓練或評估。同時，為增加數據集大小以及增強訓練結果的普遍性，對圖像隨機翻轉和亮度及對比度變換。

表1 預處理前后圖像數量對比

部分原數據集圖像由預處理到多重卷積神經網絡輸入特征圖的變化過程，如圖4所示。從圖4可以看出，原始圖像經過中值濾波預處理后能去除噪聲，本文提出的網絡模型能有效提取輸入特征圖。

3.3 結果分析

首先，本文基于多重卷積神經網絡結構的圖像分類方法，從Caltech256、Amazon、Webcam和Dslr4個數據集中依次選擇兩個不同數據集分別作為訓練集和測試集，形成6對組合進行對比實驗，共進行了12組實驗。用TensorBoard對所有實驗記錄了訓練多重卷積神經網絡迭代15 000次的loss值曲線。圖5展示了Caltech256分別與其它3個數據集跨數據集實驗結果，“-”前面表示訓練集，后面表示測試集，橫坐標為訓練次數，縱坐標為loss值。通過圖5觀察其loss值的變化曲線，可以看出該模型收斂速度較快。同時，在訓練超過7000次后，所有實驗的loss值均降到0.5以下，并維持在0.2-0.3之間，分類器適應能力較好，收斂速度和收斂效果較好；同時，多重卷積神經網絡參數共享可以降低網絡復雜度，采用Dropout方法和L2范數正則化有效避免網絡訓練過擬合，特征提取能力更好。

圖4 圖像預處理過程

其次，為驗證本文多重卷積神經網絡的分類效果更具優勢，實驗中采用了轉換特征學習方法(JDA)[15]、轉換主成分分析方法(TCA)、核主成分分析的方法(KPCA)及本文方法共4種方法在Caltech256、Amazon、Webcam和Dslr這4個數據集中進行跨數據集圖像對比測試分類實驗，準確率對比結果見表2。由表2中數據可知，“Caltech256-Amazon”、“Caltech256-Webcam”、“Caltech256-Dslr”、“Amazon-Caltech256”、“Amazon-Webcam”、“Amazon-Dslr”、“Webcam-Caltech256”、“Dslr-Amazon”、“Dslr-Caltech256”這9組對比實驗中，本文方法均比傳統的JDA方法、TCA方法、KPCA方法更高。

圖5 訓練過程loss曲線

表2 幾種方法準確率對比結果

其中，“Caltech256-Amazon”這組實驗本文方法比傳統JDA方法的準確率提高明顯，從44.78%提高到74.23%，提高了29.45%。綜合所有12組對比實驗結果，與傳統JDA方法相比，本文方法的平均準確率從46.31%提高到60.11%，提高了13.80%；本文方法比TCA方法和KPCA方法也分別提高了12.08%和10.63%。從表2可以看出，由于利用深度學習模型，采用多重卷積層增強了特征提取能力，充分考慮跨數據集圖像差異，提高了分類器適應能力，因此分類的平均準確率較高。

最后，為驗證ReLUs函數比Sigmoid函數更適合做激活函數，本文又在相同條件下使用不同激活函數進行對比實驗。由于訓練迭代7000次后loss曲線趨于平緩，因此主要分析了迭代7000次之前的情況。圖6為“Caltech256-Webcam”這組實驗對比結果。由圖6可以看出，在訓練過程中，采用ReLUs函數作為非線性激活函數的一組實驗loss值明顯下降更快。在訓練1000次到4000次之間，采用ReLUs函數實驗loss值從5.5降到0.5，而采用Sigmoid函數實驗loss值從5.5降到2.5，因此，采用ReLUs函數作為激活函數收斂效果更好，有利于圖像特征提取，更適合跨數據集分類情況。

圖6 Sigmoid和ReLUs的loss曲線

4 結束語

針對傳統方法的不足，本文提出一種基于多重卷積神經網絡結構的跨數據集圖像分類方法，驗證了深度學習網絡模型在解決不同數據集的圖像分類問題中的可行性。充分利用多重卷積神經網絡更好的特征提取能力和快速收斂的特性，通過在Caltech256、Amazon、Webcam和Dslr經典數據集上對多重卷積神經網絡的評估測試比較，驗證本文方法能有效地解決跨數據集下訓練網絡特征學習不完全和分類器適應能力不佳的問題，并獲得了更高的平均分類準確率。由于使用Dropout方法和L2范數正則化能夠有效抑制多重卷積神經網絡過擬合的現象，同時網絡參數共享降低了網絡復雜度，從而提高了分類模型的整體穩定性。采用不飽和非線性函數ReLUs函數作為激活函數，能夠使該網絡收斂能力提高，并使網絡參數自動優化，更好地適應跨數據集分類的復雜情況。相比于傳統的分類方法，本文提出的多重卷積神經網絡模型分類方法在跨數據集圖像中的特征提取能力更強，平均分類準確率更高，具有實際應用意義。