基于多分辨率自蒸餾網絡的小樣本圖像分類

仇真，奚雪峰，崔志明，盛勝利，胡伏原

（1.蘇州科技大學 電子與信息工程學院，江蘇 蘇州 215000；2.蘇州市虛擬現實智能交互及應用重點實驗室，江蘇 蘇州 215000；3.蘇州智慧城市研究院，江蘇 蘇州 215000；4.德州理工大學 計算機科學系，美國 拉伯克79401）

0 概述

深度神經網絡（Deep Neural Network，DNN）在圖像分類、目標檢測、語義分割等方面取得較優的效果。研究人員通過增加網絡的深度和寬度以提高神經網絡精度，但通常增加的計算量與精度不平衡。為了使網絡在計算資源受限的平臺上運行，盡可能地提高網絡模型的精度，知識蒸餾是網絡模型壓縮中常用的方法。與傳統的知識蒸餾方法不同，自蒸餾（Self-Distillation，SD）［1］學習方法不需要預先訓練教師網絡，而是對具有相同架構的單個模型進行知識蒸餾，以減少對復雜教師網絡訓練所耗費的成本，最大程度地提高網絡精度。然而，深度學習模型在學習過程中存在過擬合問題。研究人員可以從少量的樣本中快速學習某一類事物。受此啟發，小樣本學習（Few-Shot Learning，FSL）［2］的概念應運而生。小樣本學習旨在使深度學習模型根據訓練任務之間的共性，將所學到的先驗知識快速推廣到只含少量標注樣本的新任務中，極大地減少了樣本數據的獲取成本和難度，并且緩解了深度學習中存在的過擬合問題。因此，充分發揮小樣本學習在圖像分類任務上的潛力逐漸成為研究熱點。

在小樣本學習任務中，對于圖像分類結果的可靠性有著嚴格的要求，而圖像中相似冗余背景會對目標特征的識別存在顯著干擾。當面對背景非常復雜并且含有大量冗余信息的輸入圖像時，注意力機制對感興趣區域（Region of Interest，ROI）［3］著重處理有助于模型精準的分類。研究人員通過對提取圖像中的感興趣區域進行處理，從而忽略圖像的冗余信息。基于度量學習的方法在小樣本分類任務上取得較優的效果，在圖像分類過程中根據頂層的特征進行度量學習。從特征提取的角度分析，頂層的樣本特征分辨率較低，圖像的通道信息、空間信息等細節信息基本丟失，導致小樣本圖像分類任務的精度降低。文獻［4］分別使用空間注意力機制和通道注意力機制來減少分類過程中細節信息的損失，使模型獲得較高的準確性。因信息減少和維度分離，這些注意力機制僅利用來自有限接受域的視覺表征。在這個過程中，它們失去了全局空間通道的相互作用，從而削弱了圖像的全局表征信息。

本文提出一種多分辨率自蒸餾網絡（Multi-Resolution Self-Distillation Network，MRSDN），用于解決小樣本學習任務中圖像空間冗余問題。通過多分辨率學習的方法擴充圖像的輸入信息。為了提升整體網絡的性能，將改進的全局注意力機制（Global Attention Mechanism，GAM）融入自蒸餾學習方法中，利用順序通道-空間注意機制模塊來保留信息且放大全局跨維度的相互作用，以加快圖像的處理速度并提高模型分類的準確性。

1 相關工作

1.1 小樣本學習

現有的小樣本方法可分為基于模型的方法［5-6］、基于優化的方法［7］和基于度量學習的方法［8-10］。基于模型的方法是通過構建合適的元學習模型，建立輸入與預測的映射函數，并不斷地在少量樣本上更新參數來獲得經驗知識。文獻［5］提出的元網絡具有快速泛化能力，通過學習元級知識和不同任務中轉移歸納偏差得到經驗知識。基于優化的方法是在進行小樣本學習任務時，考慮到使用梯度下降方法會造成模型的擬合度降低，通過調整優化的方式來完成小樣本學習任務。文獻［11］提出MAML 方法，以學習模型的初始化參數，在梯度下降優化步驟后最大限度地提高新任務的性能。基于度量學習的方法是通過度量支持樣本和查詢樣本之間的距離，以實現不同樣本相似性的度量，并根據最近鄰原理來完成圖像分類任務。文獻［9］提出原型網絡，在映射后的空間中距離越近的樣本屬于同一類別的可能性越大。每個類都有一個原型表示，類別的原型表示是獲取支持集中所有向量的均值。網絡根據聚類原理將輸入圖像映射到一個度量空間后，使用歐幾里得距離計算查詢集樣本到每個原型之間的距離，將小樣本分類問題轉化為嵌入空間中的最近鄰問題。基于度量學習的方法在小樣本圖像分類方面比其他兩種方法具有更優的性能［8-10］。

本文提出一種基于度量學習的方法，不僅使模型在訓練過程中得到盡可能多的類，而且還強調每個類需要注意的時空特征，同時增大與其他類的差異。

1.2 自蒸餾學習

在深度學習的背景下，本文嘗試獲得一個規模較小的模型，能達到與規模較大模型相當的效果。然而，從頭訓練一個小模型難以實現上述目標。知識蒸餾通過預訓練一個復雜的教師網絡，并將其學到的特征表示蒸餾出來，并傳遞給參數量小的學生網絡，使學生網絡的性能接近預訓練的教師網絡，以實現知識遷移的目的。文獻［3］提出一種自蒸餾框架，該框架提供可以在不同深度提煉知識的單一神經網絡，使其在資源有限的邊緣設備上進行自適應精度與成本的權衡。相比傳統的知識蒸餾方法，自蒸餾學習是一段式蒸餾方法，能縮短模型的訓練時間，并且相比其他改進的蒸餾方法，模型的精度也得到了提升，實現了模型在精度和計算成本之間的動態平衡。

自蒸餾學習方法根據增益信息的來源進行分類，主要分為偽孿生網絡和深度監督兩類。偽孿生網絡是指兩個較相似且權重獨立的網絡，使用的教師和學生模型是同一個模型，在時間維度上細分為同步蒸餾與多階段蒸餾兩個子類。同步蒸餾在自監督任務上規模較大的模型比小模型更加受益。為解決在小模型上自監督預訓練的問題，文獻［12］提出Distill on the Go 模型，利用在線蒸餾方法來改善小模型的表征學習效果。該模型使用兩個權重獨立的相同模型作為偽孿生網絡，使用互學習的策略讓兩個模型在同一時刻相互學習，并分別作為教師和學生網絡，使得兩個模型在相同樣本增強后的相似度上具有一致性。多階段蒸餾核心思想是使用之前時刻的模型作為教師網絡，以蒸餾之后模型作為學生模型。文獻［13］提出一種有效的正則化方法進行多階段蒸餾，通過提取模型本身的知識，生成具有更多信息的訓練目標，并在訓練過程中隱式地進行硬實例挖掘，有效地提高深度神經網絡的泛化能力。深度監督是利用模型中較深層網絡結構作為教師網絡，蒸餾原始網絡中較淺層的網絡結構。文獻［3］提出的自蒸餾框架是典型的深度監督方法，將深層網絡分類器作為教師網絡，通過對網絡中的淺層部分進行蒸餾。本文提出的自蒸餾網絡也是利用深度監督的方式，學生和教師模型來自于相同的卷積神經網絡，將四層卷積作為深層網絡，并對共享第二層卷積模塊權重的淺層網絡進行蒸餾，使模型能夠在網絡間進行知識轉移，顯著提高卷積神經網絡的性能。

1.3 多分辨率網絡與空間冗余

單尺度網絡中的下采樣操作可能會限制網絡識別任意尺度對象的能力。最近，研究人員提出采用多尺度特征映射網絡的方法，以充分利用圖像的粗粒度和細粒度特征，在許多視覺任務上顯著地提高了網絡的性能，包括圖像分類［14］、目標檢測［15］、語義分割［16］和姿態估計［17］。

雖然通過深度神經網絡獲取的高分辨率特征圖對于記錄一些特定任務是必要的，但是通常在高分辨率特征上進行卷積操作會導致資源的消耗量增大。輕量級網絡［18］對具有低分辨率輸入的樣本具有較優的識別率，并且在處理空間冗余問題上也取得了較優的效果。文獻［19］利用Octave Conv 模塊處理小尺度特征圖，提高計算效率和分類性能。此外，文獻［20］提出的AdaScale 網絡能自適應地選擇輸入圖像尺度，提高視頻目標檢測的精度和速度。

然而，現有的研究未考慮根據圖像中的空間冗余信息來設計一個自適應模型。本文提出一種高效小樣本圖像分類模型，在低分辨率網絡上，加入全局注意力機制對輸入樣本進行分類，利用融合策略將局部關系和全局關系自適應地融合在一起，最終將低分辨率網絡中的粗粒度特征重用并融合到高分辨率網絡中，將高頻信息作為識別樣本的補充，以提高模型提取圖像表征的能力，從而顯著地提高模型的精度。

2 多分辨率自蒸餾網絡

2.1 問題定義

小樣本學習方法在訓練階段可以構造多個不同的元任務，通過在這些元任務上進行學習，得到能夠快速適應新任務的模型。與傳統的分類任務不同，小樣本學習的訓練集Dtrain和測試集Dtest由來自同一類的樣本組成，小樣本學習旨在解決Dtrain和Dtest之間標簽空間不相交的問題。本文遵循文獻［21］定義的標準N-wayK-shot 分類場景來研究少鏡頭學習問題。為構建不同的新任務，支持集和查詢集都會隨機產生不同的類別組合，通過不斷進行周期性迭代訓練的方式，使任務更具有普遍性，網絡能夠提取圖像之間的通用特征，以適應新的支持集和查詢集。具體計算過程如式（1）和式（2）所示：

其中：Ssupport表示支持集；Squery表示為查詢集；x與y分別表示支持集中圖像以及其對應的標簽；N×K與C分別表示支持集與查詢集中圖像的總數量。每次從目標數據集合Cbase中隨機選出N個類別，再從已有的N個類別中隨機選取k個樣本作為支持集Ssupport，N-wayK-shot 再從已選的N個類別中隨機選出m個樣本組成查詢集Squery，一組查詢集和一組支持集組成一個task 任務。在學習不同的task 分類任務時，不同的task 之間類別不同，訓練任務與測試的類別不相交。

2.2 整體框架

本文介紹MRSDN 的整體架構和網絡細節。MRSDN 是由不同輸入分辨率的網絡組成，其中低分辨率網絡與高分辨率網絡共享第二層卷積模塊。低分辨率樣本由淺層子網絡進行分類，其特征圖具有最低的空間分辨率。同時，利用高分辨率網絡識別圖像中包含的高頻信息，并作為識別樣本的補充。最終將高分辨率網絡對低分辨率網絡進行蒸餾，不斷優化低分辨率網絡，并將低分辨率網絡中的粗粒度特征重用并融合到高分辨率網絡中，以提高模型提取圖像表征的能力。多分辨率自蒸餾網絡結構如圖1 所示。本文提出的MRSDN 網絡主要由多分辨率模塊、全局注意力模塊、自適應融合模塊和自蒸餾模塊四個部分組成。多分辨率模塊可以學習不同分辨率圖像的特征嵌入，并為輸入圖像生成豐富的深度局部描述符。每個查詢圖像和每個支持類的分布都可以在深度局部描述符的級別上表示。全局注意力模塊可以放大顯著的跨維度接受區域，以捕獲全局維度的重要交互特征。自適應融合模塊能聯合學習得到的權值向量，將局部關系和全局關系自適應地融合在一起，然后采用非參數最近鄰分類器作為動態分類器。自蒸餾模塊是將深層網絡分類器作為教師網絡，對共享第二層卷積模塊權重的淺層網絡進行蒸餾。這四個模塊以端到端的方式從頭開始進行聯合訓練。

圖1 多分辨率自蒸餾網絡結構Fig.1 Structure of multi-resolution self-distillation network

2.2.1 多分辨率模塊

現有研究在降低圖像分辨率的同時，可以減少不必要的細節特征，使得部分圖像的識別精度得到提高。受這種現象的啟發，本文采用一種多尺度的體系結構和密集連接的方法來構建多分辨率網絡。為生成具有高分辨率的新特征圖作為輸入，本文構建一個Regular-conv 層，該層由一個bottleneck 層和一個Regular convolution 層組成，并且每一層都包含一個批處理歸一化（BN）層、一個ReLU 層和卷積層。首先，在Regular-conv 層的卷積過程中，采用雙線性插值的方式對圖像特征進行上采樣，保證產生的特征具有相同的空間分辨率，然后，將得到的特征圖通過密集連接進行融合。將Regular-conv 層中的Regular convolution 的stride 設為2，構建一個strideconv 層，并將其嵌入到帶有下采樣的融合塊中，以減少末端的空間分辨率，進一步壓縮子網絡的特征映射，保證每次得到的分辨率都是最低的，再將得到的不同分辨率樣本數據輸入到網絡中，并且為輸入圖像生成豐富的深度局部描述符，使得每個查詢圖像和每個支持類的分布都可以在深度局部描述符的級別上表示。

多分辨率模塊的結構如圖2 所示。初始層可以用于生成尺度中的基本特征，它只包括圖2 中的垂直連接。本文把初始層的垂直布局看作是一個微型的“H”層卷積網絡（H 是網絡中基本特征的數量），所提的網絡在初始層具有兩個尺度的基本特征。初始層生成基本特征，MRSDN 可以被劃分為兩個網絡，這些網絡進一步由不同的Conv 塊組成，以學習不同分辨率圖像的特征嵌入。其中，將空間低分辨率的特征映射送入淺層網絡中，以避免卷積運算時所引起的高壓縮代價，并將空間高分辨率的圖像送入深層網絡中獲得圖像的高級映射，使這兩種分辨率網絡分別得到圖像由粗到精的表征，豐富整個網絡的表達能力。最終，淺層子網絡使用其對應的基本特征圖獲取圖像低分辨率特征，并結合深層網絡中第二層卷積模塊的高分辨率特征來進行分類任務。

圖2 多分辨率模塊結構Fig.2 Structure of multi-resolution module

2.2.2 全局注意力模塊

傳統通道注意力的計算方法是通過計算每個通道的權重，然后將獲得的權重應用于每個特征通道，從而學習到不同通道的重要性。為了計算這些通道的權重，每個通道都需要標量值來生成注意力權重，該標量一般都是通過全局平均池化的操作獲得，這樣會導致空間信息大量丟失，并且通道維數和空間維數之間的相互依賴性也不存在。雖然CBAM 模型緩解了空間相互依賴的問題，但是依然存在一個問題，即通道注意力和空間注意力的計算是相互獨立的。為減少圖像的信息損失并放大全局維數交互特征，本文設計一種有效的全局注意力機制，采用CBAM 中的順序通道-空間注意機制，并重新設計子模塊。全局注意力模塊結構如圖3 所示。

圖3 全局注意力模塊結構Fig.3 Structure of global attention module

本文給定輸入特征圖F1∈RC×H×W，中間狀態F2和輸出F3的定義如式（3）和式（4）所示：

其中：MC和MS分別為通道注意力圖和空間注意力圖；?表示元素級乘法。

在通道注意子模塊中，本文使用三維排列的方式來保留三維信息，并利用一個兩層的多層感知器來放大跨維的通道-空間依賴關系。為關注空間信息，本文在空間注意子模塊中使用兩個卷積層進行空間信息融合。同時，由于最大池化會減少信息，且產生負向貢獻，因此本文刪除了最大池化操作，進一步保留特性映射。因此，空間注意模塊有時會顯著增加參數量。為防止參數量的顯著增大，本文采用帶有通道混洗的組卷積。通道注意力與空間注意力模塊結構如圖4 所示。

圖4 通道注意力與空間注意力模塊結構Fig.4 Structure of channel attention and spatial attention modules

文獻［22］提出的ResNeSt 模型在進行分組卷積時，采用通道間稀疏連接使每個卷積操作只作用于所需的特征圖，以減少模型的參數量與計算量，并避免因內存頻繁交互所耗費大量時間。但是該操作阻塞了不同組之間的信息傳遞，削弱了圖像的全局表征信息，并且在進行組卷積之后，容易出現欠擬合現象，從而導致模型的精度下降。為保證經組卷積之后不同組的特征圖之間能進行信息交流，本文采用通道混洗的方法對組卷積之后的特征圖進行重新組合。通道混洗的具體方式如下：假定將輸入層分為k組，總通道數為k×n，首先將維度拆分為（k，n）兩個維度，然后將這兩個維度轉置變成（n，k），最后重新Reshape 成一個維度，從而實現均勻的通道混洗目的。

對于來自前一層的特征圖，本文利用通道混洗的方式將該組的特征圖分為多個不同的子組，再將這些子組特征輸入到下一層的組中。這樣可以充分發揮組卷積的優點，使采用組卷積的輸入來自不同的組，因此信息可以在不同組之間流轉，豐富了不同維度的信息交互。相比CBAM 等典型的注意力機制，本文方法在保持精度的同時降低計算成本，在減少信息損失的同時放大了全局交互特征。

2.2.3 自適應融合模塊

MRSDN 通過Conv Block 定義了查詢分布和支持類分布之間的聯合非對稱分布度量，同時考慮到不對稱的局部關系和全局關系，分別使用KL 散度計算全局關系和I2C 測度產生的局部關系，并設計一種融合策略將局部關系和全局關系自適應地融合。本文采用一個可學習的二維權值向量w=［w1，w2］來實現這種融合。由于KL 散度表示不相似性，因此本文使用KL 散度的負值來獲得相似性。查詢Q和類S之間最終融合的相似度定義如式（5）所示：

自適應融合模塊結構如圖5 所示，對于一個5-way 1-shot 任務和一個特定的查詢Q，I2C 分支或KL 分支的輸出是一個5 維相似向量。本文將這兩個向量相連接，得到一個10 維的向量，利用核大小為1×1 的一維卷積層，膨脹值為5，通過學習二維權值w得到一個加權的5 維相似向量。此外，在一維卷積層之前還添加一個批處理歸一化層，以平衡I2C 分支和KL 分支集聯后產生的相似冗余。最后，使用非參數最近鄰分類器得到最終的分類結果。同時，交叉熵損失也被用來學習整個網絡。

圖5 自適應融合模塊結構Fig.5 Structure of adaptive fusion module

2.2.4 自蒸餾模塊

在深度學習網絡中，絕大多數預測任務使用Softmax 層給大量標簽分配概率分布。然而，這種處理方式存在一個問題：與正確標簽相比，模型為所有的錯誤標簽分配了很小的概率，而實際上對于不同的錯誤標簽，其被分配的概率可能存在很大的差異。由于宏觀上這些概率都很小，這一部分知識在訓練過程中很容易被淹沒，在知識蒸餾的過程中浪費許多先驗概率。為充分利用這種類別之間的相似性，文獻［23］提出利用參數T來改變概率分布，使映射曲線變得更加平緩。概率分布如式（6）所示：

對于每個輸入類別x，模型產生對應logit向量z（x），通過提高參數T使得Softmax 層的映射曲線更加平緩，因而實例的概率映射將更集中。因此，通過縮放教師網絡的Softmax 輸出PT(X)和學生網絡的PS(X)，使用損失函數LKD對學生網絡進行訓練，如式（7）所示：

其中：H為交叉熵損失；α為超參數。本文根據目標卷積神經網絡的深度和原始結構，分出一個淺層神經網絡作為學生網絡，在訓練期間深層網絡被視為教師網絡。與傳統的自蒸餾方法不同，本文將注意力機制融入到自蒸餾學習中，并構建一個從深層到淺層的反饋連接，使網絡能夠從圖像的多分辨率角度進行表征學習，從而加強網絡的整體特征表達能力。MRSDN 通過共享不同層次的注意力權重，并將不同層次網絡提取到的注意力特征圖送入分類器中，分別得到高維與低維預測的概率分布，然后根據預測的概率分布，通過深層網絡對淺層神經網絡進行蒸餾。相比Distill on the Go 模型［12］使用的兩個權重獨立的相同模型作為偽孿生網絡，本文方法有助于連續層次之間的交互學習，能夠更快地在全局特征中提取圖像的通用特征，將教師網絡較強的特征提取能力嵌入到學生網絡中，極大地提升了學生網絡的性能。

3 實驗與結果分析

本文在常用的數據集Mini-ImageNet 和Tiered-ImageNet 上對設計的網絡框架進行對比，以驗證小樣本分類問題的性能，通過消融實驗驗證模型中相關模塊的有效性。本文項目代碼地址為https：//github.com/MRSDN/Project，相關數據集地址為https：//lyy.mpi-inf.mpg.de/mtl/download。

3.1 數據集

小樣本分類任務中兩個經典的數據集分別為Mini-ImageNet 和Tiered-ImageNet。Mini-ImageNet是ImageNet 的子集，包含100 個類，每個類別包含600 張圖像。本文把樣本集分為64、16 和20 個類，分別用于訓練、驗證和測試。Tiered-ImageNet 總共有608 個類別，每個類別有1 281 張圖像。在該數據集上，本文對其拆分為351、97 和160 個類別，分別用于小樣本學習的訓練、驗證和測試。對于Mini-ImageNet 和Tiered-ImageNet 數據集，所有圖像的分辨率都調整為84×84 像素。

3.2 基線模型

本文將MRSDN 與近年來前沿的小樣本圖像分類模型進行比較，基線模型主要有：1）MAML 模型［11］，能夠將先驗知識公式化為跨任務的通用初始化，以快速適應新的任務，而強制共享初始化可能會導致任務間產生沖突，沖突程度在不同任務以及神經網絡的各個層之間存在不同的差異；2）L2F 模型［24］，是一種動態控制強制共享初始化的方式，以降低強制初始化對給定任務和神經網絡各層先驗知識的影響；3）MetaOptNet-RR 模型［25］，使用線性預測器作為MAML 中的基礎學習器來提高泛化能力；4）MatchingNet 模型［26］，是一種通用的網絡架構，利用訓練樣本嵌入空間中的注意力機制來預測測試樣本的類別；5）RMN-RPN 模型［27］，是一個基于度量學習和注意力機制的小樣本學習的新框架，能夠更好地度量圖像的相似性；6）ProtoNet 模型［28］，通過神經網絡得到樣例的向量化表示，然后計算向量化表示之間的相似度或者距離來判斷樣例是否為同一類別，與MatchingNet 相同，在度量特征向量的距離上都使用了固定的度量方式；7）IMP模型［29］，與ProtoNet 表示每個類的原型方法不同，利用無限混合原型自適應地表示簡單和復雜的數據分布；8）ECMF 模型［30］，是一種學習嵌入的方法，利用嵌入式類模型的方式代替ProtoNet 中類原型的學習；9）RelationNet 模型［31］，不僅在樣本的嵌入階段進行學習，而且在距離度量方式上也發生了改變；10）CovaMNet 模型［32］，通過計算查詢樣本與每個類別的分布一致性，構建協方差度量，并將其作為關系測度；11）ATLNet 模型［33］，是一種自適應任務感知局部表示網絡，在整個任務中自適應地選擇重要的局部塊；12）DN4 模型［34］，采用基于局部描述符的圖像到類的度量，尋找與輸入圖像最接近的類別；13）ADM 模型［35］，相比于DN4 的非對稱度量，更適用于基于度量的小樣本學習。

本文通過多組實驗對這些網絡模型的相關代碼進行重現，在訓練小樣本學習過程中存在每組數據隨機獲取的特性，實驗結果的誤差在標準范圍內，驗證了本文基準網絡模型的準確性。

3.3 實驗設置

本文所有的實驗均在Ubuntu18 的環境下測試，根據深度學習的特點，模型的性能在很大程度上取決于網絡結構的設計和參數的初始化。本文選擇Conv64 作為特征提取器，在訓練和測試階段按照標準的元學習方法，即在訓練和測試的每一個任務中數據嚴格按照N-wayK-shot 形式。本文均采用5-way 1-shot 和5-way 5-shot 的形式來得到模型的準確率。每次新任務都隨機抽取5 個類別，每個類別的訓練數據只有1 個樣本，即組成一個5-way 1-shot任務，在每個類別上只有5 個樣本的情況下訓練本文模型。在訓練過程中，本文選用Adam 作為優化器，網絡學習率設置為0.001，每訓練10 000 次學習率減半。由于Tiered-ImageNet 數據集規模較大并且類別復雜，因此每訓練25 000個任務后，即訓練250 次后，學習率減少1/2。在測試過程中，從測試數據集中隨機抽取600 個批次的分類結果的平均準確率作為評價標準，以衡量模型的精度。本文提出的MRSDN 網絡是以端到端的形式進行訓練，不需要在測試階段進行微調。

3.4 結果分析

本文在Mini-ImageNet 和Tiered-ImageNet 數據集上對MRSDN 網絡和基線網絡進行對比。實驗結果表明，與其他的先進網絡相比，本文所提網絡在分類任務上的準確率有較大的提升，說明本文模型能夠有效地用于小樣本的分類任務。

3.4.1 在Mini-ImageNet 數據集上的結果分析

為了評估模型的性能，本文在Mini-ImageNet數據集上將MRSDN 網絡與其他的小樣本分類網絡進行對比。在Mini-ImageNet數據集上，不同網絡的分類精度如表1 所示。本文網絡在5-way 1-shot、5-way 5-shot 任務上都具有較優的表現。

表1 在Mini-ImageNet 數據集上不同網絡對5-way任務的分類精度對比Table 1 Classification accuracy of 5-way tasks by different networks on Mini-ImageNet dataset

從表1 可以看出，本文提出的MRSDN 與其他的小樣本分類網絡相比，在Mini-ImageNet數據集上的精度得到顯著提升。與ATLNet網絡相比，本文網絡在5-way 1-shot和5-way 5-shot任務上的準確率分別提高2.04 和1.13 個百分點。通過分析可知，ATLNet 雖然可以自適應地識別和加權不同的關鍵局部部分的重要性，但是未同時考慮局部與全局關系的不對稱性。MRSDN 考慮到非對稱度量更適合于基于度量的小樣本學習，設計一種融合策略將局部關系和全局關系自適應融合，并通過多分辨率模塊和自適應特征融合模塊獲得標簽得分，不僅能融合多個分辨率的預測分數，還能平衡不同分辨率之間的預測結果，從而得到更高的分類精度。Mini-ImageNet 是一個多種類的數據集，因此在該數據集上的實驗結果從側面驗證了本文模型具有較優的魯棒性。

3.4.2 在Tiered-ImageNet 數據集上的結果分析

相比Mini-ImageNet 數據集，Tiered-ImageNet 數據集不僅具有較大的數據量并且每個類別包含數量不等的多個圖像樣本。為驗證模型的泛化能力，本文在Tiered-ImageNet 數據集上采取5-way 1-shot、5-way 5-shot 兩種實驗方式進行對比，實驗結果如表2所示。

表2 在Tiered-ImageNet 數據集上不同網絡對5-way任務的分類精度對比Table 2 Classification accuracy of 5-way tasks by different networks on Tiered-ImageNet dataset

從表2 可以看出，與其他小樣本分類網絡相比，基于多分辨率自蒸餾網絡的MRSDN 在Tiered-ImageNet數據集的5-way 1-shot、5-way 5-shot 任務上具有較優的分類精度。在5-way 1-shot 和5-way 5-shot 任務上，與ADM 網絡相比，本文網絡的準確率分別提高3.55 和2.78 個百分點。ADM 網絡采用一種任務感知訓練策略，以增強度量的效果，而本文所提的MRSDN 網絡能夠從不同分辨率角度提取圖像更細致的特征信息，在此基礎上，利用自蒸餾的方法有效地優化模型的訓練策略，以緩解網絡在訓練過程中存在的過擬合問題，以提高模型的精度。MRSDN 在不同數據集上具有較強的圖像表征能力和較優的泛化性能。

3.5 消融實驗

為分析每個模塊對網絡模型產生的影響，在Mini-ImageNet數據集上本文使用控制變量法進行消融實驗。本文消融實驗結果如表3 所示。表中MRM 表示多分辨率模塊，GAM 表示全局注意力模塊，SDM 表示自蒸餾模塊，ADM 表示自適應融合模塊。

表3 消融實驗結果Table 3 Ablation experiment results

當模型消去多分辨率模塊，僅存在單分支圖像輸入時，本文考慮到反向傳播對模型訓練過程產生的影響，去除作用相似的自蒸餾模塊。實驗結果表明，多分辨率模塊能夠從不同的分辨率角度提取特征，減少圖像的空間冗余信息，有利于更好地表達圖像的細節信息，使模型的分類精度得到顯著提高。若不考慮全局特征的交互，會導致模型對于圖像的抗噪聲能力降低，模型的分類精度較低。因此，本文在5-way 1-shot、5-way 5-shot 任務上引入自蒸餾學習方法，同時使用多分辨率模塊和全局注意力模塊提高網絡的性能，從而極大地抑制網絡的過擬合現象。

4 結束語

本文提出一種用于小樣本圖像分類的多分辨率自蒸餾網絡（MRSDN）。從多分辨率角度，利用淺層子網絡處理圖像的粗粒度特征，同時，通過高分辨率網絡學習更加精細的特征。從空間和通道特性角度，使用自適應融合模塊將全局與局部關系相融合，有針對性地提取圖像之間的空間和通道信息，提高網絡提取圖像特征的能力，通過自蒸餾學習的方法實現模型內高效的知識遷移。在Mini-ImageNet 和Tiered-ImageNet 兩個數據集上的實驗結果表明，MRSDN 具有較優的小樣本圖像分類性能。后續將考慮構建多組不同分辨率表示的學生網絡，以提取圖像的關鍵特征，并改變網絡中共享權重的模塊數量，進一步提升小樣本圖像分類的準確率。