基于雙交叉熵的自適應(yīng)殘差卷積圖像分類算法

李 偉，黃鶴鳴

(1.青海師范大學(xué) 計(jì)算機(jī)學(xué)院，青海 西寧 810008；2.青海師范大學(xué) 藏語智能信息處理與應(yīng)用國家重點(diǎn)實(shí)驗(yàn)室，青海 西寧 810008)

0 引 言

不同于傳統(tǒng)的圖像分類方法，卷積神經(jīng)網(wǎng)絡(luò)通過引入卷積層和池化層來增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)，獲取更好的空間位置特征和局部感應(yīng)偏置[1，2]，更符合圖像自身特性。Chen等提出使用不同結(jié)構(gòu)CNN提取異構(gòu)特征豐富圖像信息表達(dá)的分類模型[3]；Bartunov等將注意力機(jī)制應(yīng)用于CNN，在增強(qiáng)圖像重要特征表達(dá)的同時(shí)抑制次要特征或非目標(biāo)信息[4]；Wang等提出適用于細(xì)粒度數(shù)據(jù)集的多通道視覺注意的全卷積網(wǎng)絡(luò)[5]；Li等改進(jìn)了交叉熵?fù)p失函數(shù)，通過加入正則化項(xiàng)，提出了雙交叉熵?fù)p失函數(shù)并將其應(yīng)用于CNN[6]；Pathak等提出基于深度遷移學(xué)習(xí)的COVID-19分類模型[7]；Zhang等提出了一種結(jié)合擴(kuò)展卷積和注意機(jī)制的串聯(lián)3D-2D卷積神經(jīng)網(wǎng)絡(luò)模型，此模型在小樣本條件下，能有效地提高分類準(zhǔn)確率[8]；Zhang等將長短時(shí)記憶網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)結(jié)合，構(gòu)建了基于注意力機(jī)制的異構(gòu)并行神經(jīng)網(wǎng)絡(luò)模型來提高特征的表征能力[9]。

綜上所述內(nèi)容，由于CNN能夠快速、全面地獲取圖像的空間位置特征，在圖像分類方面取得了較好的性能。但是，CNN對顏色特征并不敏感；并且隨著網(wǎng)絡(luò)層數(shù)的加深，獲得的圖像語義信息越多的同時(shí)也會導(dǎo)致梯度消失或梯度爆炸現(xiàn)象[10]。為了彌補(bǔ)以上所提及的不足之處，提出了自適應(yīng)殘差卷積圖像分類方法，利用6個(gè)卷積池化殘差塊，不但可以讀取更多的語義信息，而且還可以抑制梯度消失，并參照文獻(xiàn)[11]的演化算法來優(yōu)化深度融合多特征之間的權(quán)重值，實(shí)現(xiàn)了多特征融合時(shí)，殘差卷積網(wǎng)絡(luò)提取的空間位置特征權(quán)值的自適應(yīng)選取。在充分考慮圖像自身特性的基礎(chǔ)上，彌補(bǔ)了CNN對顏色特征不敏感的問題。

此外，針對實(shí)驗(yàn)使用的小樣本圖像庫中樣本數(shù)較少的問題，使用雙交叉熵?fù)p失函數(shù)進(jìn)行數(shù)據(jù)增強(qiáng)，將其應(yīng)用于深度卷積生成對抗網(wǎng)絡(luò)中的判別模型，提高其判別生成圖像與真實(shí)圖像的能力，以迫使生成模型生成更逼真的圖像樣本。

1 殘差卷積網(wǎng)絡(luò)模型框架

為了讀取更多的圖像語義信息和一定程度上抑制梯度消失，提出了殘差卷積神經(jīng)網(wǎng)絡(luò)模型，其整體框架如圖1所示。該框架共有6個(gè)殘差卷積塊，每個(gè)殘差卷積塊由卷積層、激活層和池化層組成。按照式(1)計(jì)算第i塊的輸出Bi

Bi=Pool(LReLU(Conv(Input(x))))

(1)

式中：Conv表示卷積運(yùn)算操作，Pool表示池化運(yùn)算操作，Input(x)表示原圖像x作為模型輸入。每個(gè)卷積層后面緊跟一個(gè)ReLU激活函數(shù)和一個(gè)池化層。每兩個(gè)殘差卷積塊組成一組，記為Rj，其中j∈{1，2，3}。 前一組中兩個(gè)殘差卷積塊的輸出作為后一組的輸入，因此R2和R3的輸入可按照式(2)計(jì)算得到

Rj=Concat(Rj-1，B1，Rj-1，B2)

(2)

圖1 殘差卷積網(wǎng)絡(luò)模型總體框架

因?yàn)楹瘮?shù)Concat(·)連接的是兩個(gè)特征，所以Rj的維度數(shù)是Rj-1，B1和Rj-1，B2的維度數(shù)之和。第一組、第二組和最后一組的卷積核大小分別為5×5、3×3和2×2，最后一組中的卷積層進(jìn)一步提高了特征的抽象表示。將R1、R2和R3通過函數(shù)Concat(·)得到殘差卷積網(wǎng)絡(luò)所提取的空間位置特征fs，如式(3)所示。最后，按照式(4)～式(6)分別計(jì)算3個(gè)全連接層

fs=Concat(R1，R2，R3)

(3)

FC1=Concat(fs，fc)

(4)

FC2=FC1(fs，fc)

(5)

FC3=FC2(FC1(fs，fc))

(6)

其中，fc表示采用k-means++算法提取的圖像主顏色特征，F(xiàn)C表示全連接運(yùn)算，函數(shù)Concat(·)與式(2)中的意義完全相同。在網(wǎng)絡(luò)的末端，使用多分類問題的監(jiān)督學(xué)習(xí)方法Softmax層進(jìn)行分類[12，13]，最終的分類概率按照式(7)計(jì)算得到

CP=Softmax(FC3(FC2(FC1(fs，fc))))

(7)

模型總框架圖1中的圖像庫，使用基于雙交叉熵?fù)p失函數(shù)的深度卷積生成對抗網(wǎng)絡(luò)進(jìn)行了數(shù)據(jù)增強(qiáng)，其具體的數(shù)據(jù)增強(qiáng)流程如圖2所示。

圖2 基于雙交叉熵?fù)p失的生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)由Ian Goodfellow提出后[14]，在理論算法和應(yīng)用方面都取得了令人滿意的成果。具體來說，生成對抗網(wǎng)絡(luò)的模型結(jié)構(gòu)由生成模型G(生成器)和判別模型D(判別器)構(gòu)成，其工作原理如下：首先，判別模型用于判別輸入樣本是生成圖像還是真實(shí)圖像；其次，生成模型根據(jù)判別模型的判別結(jié)果，迫使其自身生成更逼真的樣本數(shù)據(jù)；最后，根據(jù)判別結(jié)果對生成器和判別器進(jìn)行參數(shù)調(diào)優(yōu)，直到epoch達(dá)到設(shè)定值。生成對抗網(wǎng)絡(luò)的優(yōu)化過程是一個(gè)極小極大博弈問題，其優(yōu)化的目標(biāo)函數(shù)如式(8)所示

(8)

式中：Pr是真實(shí)圖像的數(shù)據(jù)分布，Pf是生成圖像的數(shù)據(jù)分布，D(x)是x來自真實(shí)圖像的概率，z表示輸入到生成模型G的隨機(jī)噪聲，其輸入形式是一個(gè)(32，100)的兩維張量，32是指批處理大小，100是指隨機(jī)噪聲z的維度數(shù)。使用基于雙交叉熵?fù)p失函數(shù)的生成對抗網(wǎng)絡(luò)，需要優(yōu)化的目標(biāo)函數(shù)如式(9)所示

(9)

式中：LDCE表示雙交叉熵?fù)p失函數(shù)。Pr、Pf、D(x)和z表示的意義與式(8)中的意義相同。此外，圖2中的生成模型包含一個(gè)全連接層和4個(gè)反卷積層，而判別模型包含了4個(gè)卷積層和一個(gè)全連接層，同時(shí)，將判別模型中的損失函數(shù)由交叉熵?fù)p失替換為雙交叉熵?fù)p失，提升判別模型判別真實(shí)圖像和生成圖像的能力，來間接促使生成模型能力的提升，從而生成模型和判別模型互相監(jiān)督和不斷優(yōu)化，形成一個(gè)雙方能力同時(shí)提高的良性循環(huán)，使生成對抗網(wǎng)絡(luò)的總體性能得到提升。總體而言，圖2中使用的是基于雙交叉熵?fù)p失的深度卷積生成對抗網(wǎng)絡(luò)模型。

2 基于雙交叉熵?fù)p失的卷積GAN數(shù)據(jù)增強(qiáng)與自適應(yīng)權(quán)值殘差卷積圖像分類算法

基于雙交叉熵的自適應(yīng)殘差卷積圖像分類算法，共有兩部分組成。第一部分首先使用基于雙交叉熵?fù)p失的卷積GAN進(jìn)行數(shù)據(jù)增強(qiáng)，通過逼迫生成模型生成更真實(shí)的樣本數(shù)據(jù)，來擴(kuò)充小樣本圖像庫，提高圖像分類準(zhǔn)確率；第二部分是對擴(kuò)充后的圖像庫，進(jìn)行深度多特征融合，并引入改進(jìn)的差分演化算法來優(yōu)化多特征之間的權(quán)重值，這一部分稱為自適應(yīng)權(quán)值殘差卷積圖像分類算法。

2.1 使用雙交叉熵?fù)p失的卷積GAN進(jìn)行數(shù)據(jù)增強(qiáng)

雙交叉熵?fù)p失函數(shù)(dual cross-entropy loss，LDCE)是在交叉熵?fù)p失(cross-entropy loss，LCE)中加入了一個(gè)正則化項(xiàng)，由Li等提出，用于小樣本細(xì)粒度汽車圖像庫的車輛分類[6]。正則化項(xiàng)對樣本被分配到除其真值類以外的其它類的概率施加約束，這樣，隨著模型訓(xùn)練不斷深化出現(xiàn)梯度消失，LCE的值接近零時(shí)，LDCE可抑制梯度的消失且通過限制這些概率的增加，可加快優(yōu)化速度，間接提高了網(wǎng)絡(luò)性能。

假設(shè)D={(x1，y1)，…，(xi，yi)，…，(xM，yM)} 是有M個(gè)樣本的訓(xùn)練集，其中yi是第i個(gè)樣本xi的真實(shí)標(biāo)簽值，pi是第i個(gè)樣本xi的預(yù)測標(biāo)簽值。那么，LDCE的定義參見文獻(xiàn)[6]為

LDCE=LCE+β1Lr

(10)

(11)

(12)

其中，β1≥0，β2>0，都表示權(quán)重系數(shù)，在實(shí)驗(yàn)部分設(shè)置β1=0.2，β2=1。LCE負(fù)責(zé)增加樣本分配給其真值類的概率，Lr負(fù)責(zé)降低樣本分配給除其真值類以外的其它類的概率。當(dāng)β1的值越大時(shí)，Lr對LDCE的影響也越大；當(dāng)β1的值等于0時(shí)，LDCE衰減為LCE。相比于LCE損失，LDCE損失在圖像分類方面的優(yōu)勢如圖3所示。

圖3 雙交叉熵?fù)p失的優(yōu)勢

從圖3(a)可以看出，LCE關(guān)注的只是樣本被分配到其真值類(用深灰色標(biāo)記)的概率，而沒有對樣本被分配到其真值類以外的其它類的概率施加任何約束。圖3(b)展示了LDCE不僅增加樣本被分配到其真值類的概率，并且通過添加限制，降低了樣本被分配到其真值類以外的其它類的概率。另外，從圖3(a)和圖3(b)的左右對比中還可以觀察到：LCE隨著模型訓(xùn)練的不斷深化，不但樣本真值類被分配的概率會出現(xiàn)增長，除真值類以外的其它類被分配的概率在模型訓(xùn)練過程中也有可能會出現(xiàn)增長，這樣就會導(dǎo)致模型訓(xùn)練結(jié)束后，其它類被分配的概率高于樣本真值類的概率，樣本真值類在訓(xùn)練過程中被覆蓋，加大了模型訓(xùn)練難度，從而抑制了圖像分類準(zhǔn)確率的提高；反觀LDCE在模型訓(xùn)練的不斷深化過程中，不斷增加樣本真值類被分配的概率，同時(shí)，限制其它類被分配的概率。在模型損失定量的情況下，樣本真值類逐漸突出，加快了模型優(yōu)化速度，提高了網(wǎng)絡(luò)性能。

因此，利用LDCE判別樣本分類的優(yōu)勢，將其用于深度卷積生成對抗網(wǎng)絡(luò)中的判別模型，提高判別模型判別真實(shí)圖像和生成圖像的能力，從而逼迫生成模型生成更逼真的圖像樣本。同時(shí)，經(jīng)過數(shù)據(jù)增強(qiáng)后生成的新樣本，可增加原始圖像庫中樣本的多樣性，防止神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)的過擬合現(xiàn)象，提高圖像分類準(zhǔn)確率。

2.2 自適應(yīng)權(quán)值殘差卷積圖像分類算法

從殘差卷積網(wǎng)絡(luò)提取的空間位置特征，表示為fs，采用k-means++算法[15]提取的圖像主顏色特征，表示為fc，將這兩部分互補(bǔ)特征fs和fc按照式(13)級聯(lián)，得到深度融合的多特征fm

fm=αfc+βfs

(13)

在充分考慮圖像自身特性的基礎(chǔ)上，彌補(bǔ)了CNNs對顏色特征不敏感的問題，并引入改進(jìn)的差分演化算法優(yōu)化深度融合多特征之間的權(quán)重值，實(shí)現(xiàn)了多特征融合時(shí)，各特征權(quán)重值的自適應(yīng)選取。由于多特征融合過程中，空間位置特征占主導(dǎo)作用，故將空間位置特征權(quán)重系數(shù)β取值為1，主顏色特征權(quán)重系數(shù)取為α，從而在改進(jìn)的差分演化方法中，僅選取一個(gè)待優(yōu)參數(shù)α。設(shè)定α的適應(yīng)度值fit(α)由十次交叉驗(yàn)證的平均分類精度和十次交叉驗(yàn)證中Top10圖像(從測試集批處理中隨機(jī)選擇的前10張圖像)完成正確分類的難度系數(shù)之和決定，如表達(dá)式(14)所示

fit(α)=ZVAL+ZCORTop10

(14)

(15)

(16)

(17)

(18)

其中，n表示模型訓(xùn)練過程中epoch的個(gè)數(shù)，m表示實(shí)驗(yàn)所用小樣本圖像庫的總圖像數(shù)。VALi表示模型完成一次訓(xùn)練，即一次交叉驗(yàn)證的平均分類準(zhǔn)確率，ZVAL表示十次交叉驗(yàn)證的平均分類準(zhǔn)確率。Cm表示Top10中第m張圖像完成正確分類的難度系數(shù)，CORiTop10是一次交叉驗(yàn)證中Top10圖像完成正確分類的難度系數(shù)之和，ZCORTop10是十次交叉驗(yàn)證中Top10圖像完成正確分類的難度系數(shù)總和。參見文獻(xiàn)[11]中使用的改進(jìn)差分演化算法，針對只有一個(gè)優(yōu)化權(quán)重值的情況，舍棄傳統(tǒng)差分演化算法中的雜交運(yùn)算，只使用變異和選擇運(yùn)算進(jìn)行α的自適應(yīng)優(yōu)化，其具體的算法操作步驟如圖4所示。

圖4 改進(jìn)的差分演化算法的操作步驟

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

此外，在改進(jìn)的差分演化算法中，將演化代數(shù)t設(shè)置為50，種群規(guī)模NP設(shè)為37，縮放因子F設(shè)為0.5。殘差卷積網(wǎng)絡(luò)模型的批處理大小為100，最后的Softmax層有10個(gè)神經(jīng)單元，且網(wǎng)絡(luò)模型中不同卷積層的參數(shù)設(shè)置見表1。

表1 卷積層的參數(shù)設(shè)置情況

實(shí)驗(yàn)使用交叉熵?fù)p失函數(shù)[16]作為模型損失函數(shù)，再用Adam優(yōu)化器[17]來優(yōu)化損失函數(shù)。此外，設(shè)置丟棄率Dropout為0.5，學(xué)習(xí)率為0.001，通過采用多層ReLU激活函數(shù)[18]與Dropout相結(jié)合的網(wǎng)絡(luò)正則化方法，從而有效抑制了模型訓(xùn)練的過擬合問題。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 基于雙交叉熵的深度卷積生成對抗網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果

針對實(shí)驗(yàn)使用的Corel-1k標(biāo)準(zhǔn)圖像數(shù)據(jù)庫中樣本數(shù)較少的問題，深度卷積生成對抗網(wǎng)絡(luò)被用來增加樣本的數(shù)量。并針對生成對抗網(wǎng)絡(luò)中使用的LCE函數(shù)不能抑制非真值類概率的問題，將LDCE函數(shù)應(yīng)用到深度卷積生成對抗網(wǎng)絡(luò)中的判別模型，提高其判別真實(shí)圖像和生成圖像的能力，從而逼迫生成模型生成更逼真的圖像樣本。為了驗(yàn)證LDCE函數(shù)應(yīng)用在深度卷積生成對抗網(wǎng)絡(luò)中的性能效果，分別將LCE函數(shù)和LDCE函數(shù)在Corel-1k的第三個(gè)子庫上進(jìn)行對抗生成實(shí)驗(yàn)，且相應(yīng)的實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 LCE和LDCE在第三個(gè)子庫上的損失曲線

從圖5可以看出：由于LCE函數(shù)在模型訓(xùn)練過程中，只關(guān)注樣本真值類的概率，對樣本非真值類的概率不加限制，導(dǎo)致非真值類概率在訓(xùn)練過程中超過其真值類的情況發(fā)生，所以，無論生成模型損失或者判別模型損失，LCE函數(shù)的損失曲線都會出現(xiàn)明顯波動(dòng)；而LDCE函數(shù)則在模型訓(xùn)練時(shí)，不僅增加了樣本真值類的概率，并對樣本非真值類的概率產(chǎn)生抑制，隨著模型深化訓(xùn)練的同時(shí)樣本真值類的概率不斷明顯突出，所以，LDCE函數(shù)的損失曲線則相對穩(wěn)定。

因?yàn)閷?shí)驗(yàn)使用圖像庫的樣本數(shù)量較少，每個(gè)子庫里面只有100幅圖像，過少的樣本數(shù)使得生成模型生成的圖像質(zhì)量不佳，為了獲得更逼真的生成圖像，故將第二個(gè)子庫的樣本數(shù)量復(fù)制成批處理的整數(shù)倍，即6400幅圖像。LCE和LDCE在64倍第二個(gè)子庫上的損失曲線如圖6所示。

圖6 LCE和LDCE在64倍第二個(gè)子庫上的損失曲線

從圖6可以看出：在模型訓(xùn)練過程中，當(dāng)梯度消失時(shí)，LCE函數(shù)的損失曲線在300個(gè)周期后變?yōu)?；而LDCE函數(shù)中設(shè)置了一個(gè)限制樣本被分配到除其真值類之外的其它類概率的正則化項(xiàng)，這可以緩解當(dāng)LCE函數(shù)的損失曲線接近零時(shí)的梯度消失。所以，相對于LCE函數(shù)，把LDCE函數(shù)應(yīng)用于深度卷積生成對抗網(wǎng)絡(luò)更容易獲取與原始圖像相近的生成圖像。

本研究將基于交叉熵?fù)p失的深度卷積生成對抗網(wǎng)絡(luò)，簡稱為DCGAN-LCE；將基于雙交叉熵?fù)p失的深度卷積生成對抗網(wǎng)絡(luò)，簡稱為DCGAN-LDCE；將基于均方誤差損失的深度卷積生成對抗網(wǎng)絡(luò)，簡稱為DCGAN-LMSE。模型DCGAN-LMSE、DCGAN-LCE和DCGAN-LDCE生成圖的實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 DCGAN-LMSE生成圖、DCGAN-LCE生成圖和 DCGAN-LDCE生成圖

從圖7可看出：首先，生成效果最不理想的是DCGAN-LMSE生成圖；其次，由于LDCE函數(shù)不但適當(dāng)緩解了LCE函數(shù)損失曲線接近零時(shí)的梯度消失還提升了判別模型的判別能力，因此，DCGAN-LDCE生成圖比DCGAN-LCE生成圖略微清晰。

3.2.2 基于雙交叉熵的自適應(yīng)殘差卷積實(shí)驗(yàn)結(jié)果

本研究將結(jié)合了k-means++聚類算法提取的主顏色特征的卷積神經(jīng)網(wǎng)絡(luò)，簡稱為MCNN；在多特征融合的基礎(chǔ)上，又使用了殘差卷積模型總框架的神經(jīng)網(wǎng)絡(luò)，簡稱為FRCNN。設(shè)置式(13)中權(quán)值α=2.5e-4且β=1時(shí)，在測試集上各模型的實(shí)驗(yàn)結(jié)果見表2。

表2 CNN、MCNN和FRCNN在測試集上的 準(zhǔn)確率和提高率比較

從表2可以看出：由于MCNN融合了主顏色特征，所以與CNN相比，分類精度提高了7.36%；在此基礎(chǔ)上，F(xiàn)RCNN利用特征的重復(fù)使用，抑制了模型訓(xùn)練的梯度消失現(xiàn)象，所以與CNN相比，在很大程度上提高了分類精度，分類精度提高了9.82%。其中，算法提高率的計(jì)算公式為

(21)

Accuracy=r/a

(22)

其中，準(zhǔn)確率是r與a的比值。r表示實(shí)驗(yàn)使用圖像庫中分類正確的圖像數(shù)，a表示圖像庫的總圖像數(shù)。

為了更直觀展示分類效果，還進(jìn)行了針對性較強(qiáng)的對比實(shí)驗(yàn)，在測試集上各模型的精度曲線如圖8所示。從圖8可以觀察到：與CNN相比，F(xiàn)RCNN和MCNN由于彌補(bǔ)了CNNs對顏色特征不敏感的問題，兩者都有效提升了圖像分類準(zhǔn)確率，加速了模型收斂。此外，F(xiàn)RCNN還采用了殘差結(jié)構(gòu)，利用特征的重復(fù)使用，有效抑制了模型訓(xùn)練過程中的梯度消失現(xiàn)象，所以其網(wǎng)絡(luò)的魯棒性相對更好。相對CNN和MCNN而言，F(xiàn)RCNN在測試集的分類精度曲線上，沒有出現(xiàn)明顯波動(dòng)，其模型的穩(wěn)定性明顯更優(yōu)良。

圖8 CNN、MCNN和FRCNN在測試集上的精度曲線

當(dāng)模型MCNN、FRCNN和AFRCNN使用深度融合的多特征進(jìn)行圖像分類時(shí)，不同的特征權(quán)重值會對模型實(shí)驗(yàn)效果產(chǎn)生不同程度的影響，同時(shí)，由于空間位置特征在多特征融合時(shí)起主導(dǎo)作用，所以設(shè)置權(quán)重值β=1。為了驗(yàn)證特征權(quán)重值對各模型實(shí)驗(yàn)結(jié)果的影響，在測試集上設(shè)置β=1和不同α值的實(shí)驗(yàn)結(jié)果見表3。

表3 測試集上不同α值、β=1的準(zhǔn)確率比較

從表3可以看出：不同的α、β值對模型MCNN、FRCNN和AFRCNN有不同的實(shí)驗(yàn)效果。當(dāng)α=1e-4時(shí)，MCNN的準(zhǔn)確率為84.6%；當(dāng)α=2.5e-4時(shí)，MCNN的準(zhǔn)確率為87.5%；提升了2.9個(gè)百分點(diǎn)。當(dāng)設(shè)置相同的α值時(shí)，與MCNN相比，由于FRCNN不但進(jìn)行了多特征數(shù)據(jù)融合，還加入了殘差運(yùn)算，所以實(shí)驗(yàn)性能提升了2.0個(gè)百分點(diǎn)。同樣的與MCNN相比，AFRCNN的實(shí)驗(yàn)性能在最優(yōu)權(quán)重值下提升了6.7個(gè)百分點(diǎn)；與FRCNN相比，AFRCNN的實(shí)驗(yàn)性能在最優(yōu)權(quán)重值下提升了1.8個(gè)百分點(diǎn)。

當(dāng)模型AFRCNN用于小樣本圖像庫進(jìn)行圖像分類時(shí)，本研究將基于雙交叉熵?cái)?shù)據(jù)增強(qiáng)的自適應(yīng)殘差卷積神經(jīng)網(wǎng)絡(luò)，簡稱為ADRCNN；將基于交叉熵?cái)?shù)據(jù)增強(qiáng)的自適應(yīng)殘差卷積神經(jīng)網(wǎng)絡(luò)，簡稱為ACRCNN，二者在測試集上的實(shí)驗(yàn)結(jié)果見表4。

表4 AFRCNN、ACRCNN和ADRCNN在 測試集上的準(zhǔn)確率比較

從表4可以觀察到：因?yàn)樵谛颖緢D像分類時(shí)，使用了基于深度卷積生成對抗網(wǎng)絡(luò)生成圖像樣本的數(shù)據(jù)增強(qiáng)，增加了圖像總樣本數(shù)量，提高了分類準(zhǔn)確率。與未使用數(shù)據(jù)增強(qiáng)的AFRCNN模型相比，ACRCNN的實(shí)驗(yàn)性能提升了0.55個(gè)百分點(diǎn)，而由于ADRCNN模型生成的圖像樣本更清晰和逼真，實(shí)驗(yàn)性能則提升了0.95個(gè)百分點(diǎn)。

為了進(jìn)一步驗(yàn)證本研究所提議模型的實(shí)驗(yàn)性能，將ADRCNN模型在Corel-1k圖像庫上與其它分類方法進(jìn)行了比較分析，對比實(shí)驗(yàn)見表5。從表5可以看到：所提議的ADRCNN模型取得了更好的實(shí)驗(yàn)結(jié)果，將圖像分類準(zhǔn)確率大幅度提高到了92.25%。

表5 提議方法與其它圖像分類方法的比較結(jié)果

4 結(jié)束語

本研究提出了基于雙交叉熵的自適應(yīng)殘差卷積圖像分類算法，彌補(bǔ)了卷積神經(jīng)網(wǎng)絡(luò)在圖像分類方面對顏色特征的不敏感、讀取更多的圖像語義信息、抑制梯度消失以及生成更逼真的圖像樣本，提高了圖像分類準(zhǔn)確率。但本研究提議算法具有較高的計(jì)算復(fù)雜度和對硬件設(shè)備有較高的配置要求等問題。在未來的研究工作中，針對卷積神經(jīng)網(wǎng)絡(luò)只讀取圖像局部語義信息的特點(diǎn)，嘗試生成圖像的全局空間描述符，對卷積特征圖中的特征值完成逐元素全局空間校正，從而進(jìn)一步提高模型的圖像分類效果。