基于復雜網絡描述的圖像深度卷積分類方法

洪 睿, 康曉東, 郭 軍, 李 博, 王亞鴿, 張秀芳

(天津醫科大學 醫學影像學院, 天津300203)(*通信作者電子郵箱hr8229862@163.com)

0 引言

紋理是非常重要的圖像識別特征之一，對圖像紋理進行合理描述是圖像分類識別的基礎，圖像紋理包含了非常豐富的圖像信息，可以應用于多種任務，如基于內容的圖像檢索、圖像分割、圖像融合、圖像分類或者聚類等。圖像紋理特征描述的方法主要有基于幾何學的特征描述、基于模型的特征描述、基于信號處理的特征描述，以及基于統計的特征描述。基于復雜網絡模型的紋理特征描述方法屬于基于統計的特征描述的一種，具有穩定性好、抗噪聲能力強等優點[1]。

在計算機視覺領域，圖像分類一直是研究的重點之一。傳統基于特征的圖像分類方法都是先定義一種特征，再根據預先定義的特征進行分類識別，存在著泛化能力弱、可移植性差、準確度相對較差的缺點。深度學習作為機器學習的重要發展，能夠逐層地自動學習合適的表示特征，因而在眾多領域中得到了廣泛應用，如人臉特征點檢測[2]、行人檢測[3]、人臉識別[4]和車牌識別[5]等。卷積神經網絡作為深度學習的三大重要模型之一，繼承了深度學習技術自動提取特征的優點，并且通過權值共享大大減少了所需要訓練的參數，使卷積神經網絡(Convolutional Neural Network, CNN)能快速處理高維圖像，還具備一定的平移不變性，因此在圖像分類領域取得了較好的效果,其在手寫數字識別以及人臉識別方面都被驗證有著較好的性能。

20世紀80年代，Fukushima等[6]提出了第一個多層次的神經網絡模型Neocognitron。Lecun等[7]構建了LeNet-5模型，該模型首次提出了使用梯度反向傳播算法(Back Propgation algorithm, BP)，對卷積神經網絡進行有監督訓練；當時在MNIST 數據集上取得了最好的識別效果，其模型采用交替連接的卷積層和池化層，最后通過全連接層分類，確立了現代卷積神經網絡的基礎，后來的大多數卷積網絡模型都是以LeNet-5模型為基礎的。Krizhevsky等[8]提出的AlexNet模型在2012年的ImageNet圖像分類競賽中大放異彩，錯誤率比上一年的冠軍下降了10個百分點，且遠遠超過當年的第二名；也因此將深度CNN(Deep CNN, DCNN)啟動了在圖像分類研究方面的廣泛應用，對后來的VGG[9]、ResNet[10]、Google Net[11]等模型都具有非常深刻的影響。

為了在不增加較多計算量的前提下，提高卷積網絡模型用于圖像分類的正確率，本文提出了一種基于復雜網絡描述的圖像深度卷積分類方法。首先，以復雜網絡的圖像描述方法，將圖像轉化為基于三個不同閾值產生的三組度矩陣；然后，由三個深度卷積網絡分別學習三組度矩陣的特征；最后，將得到的特征向量進行特征融合。在ILSVRC2014數據庫上進行了驗證實驗，實驗結果表明，所提出的模型具有較高的正確率和較少的迭代次數。

1 深度卷積網絡

圖像分類是通過對圖像整體的分析，預測圖像的類別。圖像分類是計算機視覺的挑戰領域之一，每年有賽事ILSVRC (Imagenet Large Scale Visual Recognition Challenge)[12]。在ILSVRC2012中，來自多倫多大學的Alex Krizhevsky團隊設計出卷積神經網絡AlexNet，將測試的top-5 錯誤率下降到15.3%，而其他團隊做出的最小的top-5 錯誤率仍為26.2%。此后，不斷有更加高效、準確的模型出現，如牛津大學的VGG[9]、谷歌研究院的GoogLeNet[10]等。近年來的優秀模型甚至突破了人眼識別的平均錯誤率，展示了卷積神經網絡在圖像分類上的強大優勢。卷積神經網絡需要用帶有標簽的數據集做有監督的網絡訓練，目前有許多用于圖像分類的帶標簽數據集，如ImageNet[13]、CIFAR10/100[14]、NORB[15]、Caltech-101/256[16]等。ILSVRC 使用的為ImageNet 數據集的子集，該子集包含1 000 個分類、128萬張測試圖片。

AlexNet 最終的網絡結構共有7層，包含5個卷積層和2個全連接層，有約65萬個神經元和6 000萬個可訓練的參數。采用dropout 和激活函數ReLu 等技術，訓練環境為2 路GTX580，對128萬測試圖片的訓練周期在5～6天，與之前的卷積神經網絡相比，在分類正確率和訓練時間上都有明顯提升。

2 復雜網絡模型

復雜網絡存在大量的靜態統計特征描述量，如度、網絡直徑、平均路徑長度、聚類系數、最大度和最大核數等。這些特征量可以用來度量復雜網絡的重要屬性，如網絡的表示、分類和建模等[17]。

動態演化是復雜網絡的一個重要特征。在動態演化過程中，復雜網絡的特征度量是一個時間的函數，在同一種演化方式下，不同時刻得到的兩個子網絡具有不同的特征。因此，用復雜網絡動態演化過程中不同時刻的靜態統計特征量來進行網絡的分析與分類是十分重要且有效的一種方式[18]。

目前，基于復雜網絡理論的圖像描述方法受到了越來越多研究者的關注[19]。Gon?alves等[20]通過對人臉圖像建立復雜網絡模型，實現了人臉圖像的特征提取與識別。Backes等[21]利用復雜網絡對圖像邊緣進行建模，實現了圖像形狀特征提取。湯進等[22]在Harris特征點的基礎上建立復雜網絡模型，實現了圖像的形狀特征提取。Couto等[23]通過建立圖像的復雜網絡平均度矩陣，在平均度矩陣的基礎上運行部分自回避確定性游走算法，實現了圖像的紋理特征提取。由于基于復雜網絡的圖像描述是基于復雜網絡靜態統計特征量的特征描述，相比于傳統的圖像描述方法，該類方法具有穩定性好、抗噪聲能力強等優點。

3 基于復雜網絡的DCNN圖像分類

3.1 復雜網絡度矩陣

本文根據復雜網絡的靜態統計量建立圖像在不同閾值下的度矩陣，通過統計網絡節點在每個狀態下的度分布完成圖像的描述。

文獻[17]中提出了一種建立圖像復雜網絡模型的方法，將圖像的每個像素看作是復雜網絡的一個節點，并認為每個節點之間都有邊相連，邊的權值由兩個像素之間的距離和灰度差的加權和決定。通過設定一系列邊權值的閾值對初始的復雜網絡完全圖模型進行閾值動態演化，權值高于閾值的邊被刪去，得到的就是距離較小且像素值相近的像素之間的邊。為了簡化復雜網絡模型，本文選取節點周圍與其距離小于3的28個節點作為鄰域，只有在鄰域內的節點可以有邊相連。文獻[17]中兩個節點i(x,y)與j(x′,y′)之間邊的權值w(v(x,y),v(x′,y′))為節點之間距離與節點代表的像素的灰度值差的加權和，為了使節點的度分布更加均勻，本文采用的權值w為以上兩項的直接加和，如式(1)所示；

|I(x,y)-I(x′,y′)|

(1)

文獻[17]方法和本文方法得到的度矩陣元素分布如圖1所示。

在將得到的邊權值歸一化之后，設定一系列閾值t，節點之間邊權值高于閾值的邊將被刪去，得到每個節點與閾值對應的鄰域θ(vt)和度deg(vt)。如式(2)～(3)所示。

θ(vt)={v′∈V|(v,v′)∈E&w(v,v′)≤t}

(2)

deg(vt)=|θ(vt)|

(3)

度矩陣可以作為衡量像素與鄰域的相似度的標準，同時也包含大量的紋理信息。原始圖像和閾值t分別為0.8、0.7和0.6時生成的度矩陣圖像如圖2所示。

圖1 不同方法得到的同一圖像同一閾值的度矩陣元素分布直方圖Fig. 1 Degree matrix element distribution histograms of same image with same threshold acquired by different methods

圖2 原始圖像及其度矩陣圖像Fig. 2 Original image and its degree matrix images

3.2 深度卷積網絡

DCNN一般由卷積層、池化層、全連接層三種神經網絡層以及一個輸出層(Softmax 等分類器)組成，每層由多個二維平面塊組成，每個平面塊由多個獨立神經元組成，AlexNet模型的結構示意圖如圖3所示。

卷積層通過局部感受域與上一層神經元實現部分連接，在同一局部感受域內的神經元與圖像區域中對應像素有固定二維平面編碼信息關聯，迫使神經元提取局部特征，在每層的各個位置分布著許多組不同的神經元，每組神經元有一組輸入權值，這些權值與前一層神經網絡矩形塊中的神經元關聯，即共享權值，減少了權值數量，降低了網絡模型的復雜度。卷積層在DCNN中起著至關重要的特征提取的功能，通過局部感受域方法獲取的觀測特征與平移、縮放和旋轉無關，其權值共享結構減少了權值數量，進一步降低了網絡模型的復雜度。

圖3 AlexNet模型結構示意圖Fig. 3 Structure schematic diagram of AlexNet model

池化層是特征映射層，選擇卷積特征圖中不同的連續范圍的作為池化區域，然后取特征的最大值或平均值作為池化區域的特征，從而減小特征向量維度，實現局部平均和抽樣，使特征映射輸出對平移、旋轉、比例縮放等形式變換的敏感度下降。池化層通常跟在卷積層之后，這樣便構成了一個兩次特征提取的結構，從而在對輸入樣本識別時，網絡有很好的畸變容忍能力。

全連接層是本層神經元與上層神經元兩兩連接但本層神經元之間不連接的結構，相當于多層感知器(Multi-Layer Perceptron, MLP)中的隱含層，局部特征信息作為輸出層(Softmax等分類器)的輸入，其后不再接卷積層，因通過全連接層之后，圖像特征已由二維信息降為一維信息，無法進行二維卷積運算。

本文提出的基于復雜網絡描述的圖像深度卷積分類方法結構圖如圖4所示。

圖4 本文方法流程圖Fig. 4 Flow chart of the proposed method

由圖4可以看出，對于1張彩色圖像，其RGB3個維度上的分量均可視為1張圖像，由每個分量圖像可得到3個復雜網絡模型度矩陣，即為3組(9個)度矩陣；將每個分量得到的度矩陣作為AlexNet的輸入，學習得到3組圖像的特征；再將特征融合，由分類器得到分類結果并輸出。

4 實驗結果與分析

為了驗證本文方法的有效性，本文對ILSVRC2014數據庫的樣本進行了分類仿真實驗。實驗環境為聯想80SH、4 GB內存、Windows 10系統。選取10類圖像中的100張，共1 000張圖像作為分類的訓練集合；選取這10類圖像中另外200張作為樣本集合；進行K近鄰(K-Nearest Neighbors,KNN)分類，分類原則為K=1，分類判別距離為歐氏距離。復雜網絡描述中，閾值選取在0.5到0.9 之間，實驗驗證閾值在0.5到0.9之間能保留更多的信息，保證分類實驗較高的正確率；當閾值小于0.5時，隨著閾值下降，產生的度矩陣能保留的原圖信息非常少。實驗共設置3個閾值，由三組AlexNet生成3 000維的特征向量。實驗中對比模型AlexNet、VGGNet和在VGG模型的基礎上使用復雜網絡描述的神經網絡模型，最大迭代次數設為500次，每50次迭代進行一次驗證并輸出分類正確率。

隨著迭代次數的變化，不同網絡模型的分類正確率如圖5所示。由圖5可以看出，當迭代次數為50時，AlexNet的分類正確率為24%，最終收斂于85%；迭代次數為50時，本文方法分類正確率為50%，最終收斂于90%；在迭代次數為50時，VGG模型分類正確率為73%，最終收斂于94%；而在VGG模型上使用復雜網絡描述(Complex Network Description, CND)的神經網絡模型(CND+VGG)最終的數據結果與VGG模型的結果幾乎相同。

圖5 不同網絡模型隨著迭代次數變化的分類正確率Fig. 5 Classification accuracy of different network models with different number of iterations

實驗結果表明，與AlexNet相比，本文提出的方法分類正確率較高，且較早收斂；與VGG相比，本文方法較差，仍有改進空間；由于AlexNet 與VGG相比，網絡結構較為簡單，增加一個復雜網絡描述層之后，分類正確率有明顯的改進，而VGG由于其網絡層數較多，增加復雜網絡描述層之后，結果并沒有明顯變化。

為了驗證復雜網絡描述方法中閾值大小選取，以及AlexNet網絡模型的第一層卷積核大小對于正確率和收斂時迭代次數的影響，改變第一個卷積核的大小，分別記錄了最高正確率和收斂時迭代次數，結果如表1所示。其中，高閾值為0.8、0.7、0.6，低閾值為0.4、0.3、0.2。

表1 復雜網絡描述方法及卷積網絡模型第一層卷積核大小的影響Tab 1 Influence of complex network description method and kernel size of convolution network model first layer

實驗結果表明，選擇復雜網絡描述方法的閾值選擇和深度卷積網絡第一層卷積核大小對正確率和收斂時迭代次數的影響較大。選取較高的閾值能得到較高的正確率，但是收斂時迭代次數較高；選取合適10×10或者9×9的首層卷積核大小能得到較高的正確率和較少的收斂時迭代次數。

5 結語

為了在不增加較多計算量的前提下，提高卷積網絡模型用于圖像分類的正確率，本文提出了一種基于復雜網絡描述的圖像深度卷積分類方法。該方法以復雜網絡的描述方法構建度矩陣，然后采用AlexNet進行特征學習，完成圖像分類的工作。與主流分類模型VGGNet、AlexNet的對比實驗結果表明，本文提出的方法具有較高的圖像分類正確率，迭代次數收斂較早，具有較強的穩定性和一定的提升空間。