基于殘差網絡和小樣本學習的魚圖像識別

袁培森 宋 進 徐煥良

(南京農業大學人工智能學院， 南京 210095)

0 引言

魚在全球各水域分布廣泛，對人類的生產、生活影響極為重要。對魚類圖像數據的識別研究可對魚種群的觀測及其棲息地生態環境的治理起到重要作用，在環境保護、學術研究以及經濟生產方面，均有著重大意義[1]。

近年來，得益于海量數據標注和計算能力的提升，利用深度神經網絡進行圖像識別，在各領域的研究取得了重大的進展和突破[2]。然而，基于魚圖像的魚種類識別進展緩慢。由于水底環境光線較弱，魚圖像采集難度大，獲得的魚圖像標注數據集數量較少[3]，無法滿足深度神經網絡訓練所需的大數據集要求。因此，基于小樣本學習(Few-shot learning)的方法[4]僅通過少量樣本學習，可以用于魚圖像標注少情況下的識別研究。

最早的小樣本學習基于貝葉斯框架[5]對視覺對象進行學習。由于此方法采用傳統學習技術，自動學習能力較弱。研究者提出了語義遷移的方式解決小樣本識別問題，MENSINK等[6]通過各類別的語義，使用度量學習方法來讓模型能夠在類別變換時保持穩定。ROHRBACH等[7]采用直推式學習，通過構建已知類別空間分布的方式，對未知類別的表示進行預測。這些方法能夠讓網絡模型自動進行學習，但由于需要人為添加語義描述，使用的便捷性仍然有限。SANTORO等[8]首次提出了采用外部存儲的記憶增強方法，其通過存儲部分輸入數據的方式，讓網絡模型將不同時刻的輸入建立聯系，以學習識別的共性過程。SNELL等[9]提出的原型網絡方法，通過學習將輸入數據映射到嵌入空間，建立類別的均值中心，以便在面對新的數據時通過距離度量判斷其所屬類別。SUNG等[10]所提出的關系網絡在原型網絡的基礎上，將距離度量方式也作為網絡學習的內容，以便通過最佳的距離度量方式進行類別判斷。CHOI等[11]通過讓網絡學習不同的調節器，使其能夠學會不同領域內、差距較大類的小樣本識別能力。TSENG等[12]在訓練階段利用仿射變換增強圖像的特征，模擬不同領域下的特征分布，從而讓模型的跨域能力進一步增強。ZHANG等[13]提出了一種自適應的網絡模型AdarGCN，以便在樣本量不足的情況下，在網絡上爬取數據后進行有效地降噪處理，完成樣本量更為稀少的小樣本圖像識別任務。

目前，小樣本學習已經被廣泛地應用于標注數據稀少的圖像識別、目標檢測和自然語言處理等領域[14-15]，陳英義等[16]構建了FTVGG16卷積神經網絡提高復雜應用場景魚類目標的識別精度，本文主要針對魚圖像標注稀少情況下的識別質量問題。

為提升小樣本情況下的魚圖像準確識別率，本文基于度量學習的小樣本學習方法，采用殘差塊結構作為魚圖像樣本深層特征提取器，并將其映射至嵌入空間，形成各類別的均值中心，計算樣本與均值中心的距離，實現魚圖像識別。利用小樣本學習和殘差網絡在mini-ImageNet數據集上進行訓練，得到識別魚的初步模型。為準確識別細粒度魚圖像，將前一階段得到的網絡模型利用遷移學習技術[17]，在Fish100數據集上進行重新訓練，最終得到小樣本魚圖像識別模型。為驗證本文方法的可行性，運用5類常用的小樣本學習方法在Fish100數據集和ImageNet數據集上進行對比分析。

1 試驗材料

選用mini-ImageNet、Fish100作為試驗數據集， 數據集ImageNet用于測試。

1.1 mini-ImageNet

mini-ImageNet[18]作為小樣本圖像識別中常用數據集，選用ImageNet數據集中的100個類別，包含魚、鳥等類。文中利用mini-ImageNet數據集對小樣本學習模型進行預訓練，數據集劃分如表1所示。

表1 mini-ImageNet數據集劃分Tab.1 Partition of mini-ImageNet dataset

mini-ImageNet數據集中的示例如圖1所示。

圖1 mini-ImageNet部分圖像示例Fig.1 Samples of mini-ImageNet’s images

1.2 Fish100

Fish100[19-20]數據集是深度學習圖像標注數據集Image CLEF中Marine animal species的一個子集，包含100種魚，共計6 358幅圖像。本文所采用的Fish100數據集劃分詳情如表2所示。圖2為Fish100數據集中部分圖像示例。

1.3 ImageNet

ImageNet[21]是一個面向機器視覺的大型可視化數據集，擁有共計超過1 400萬幅圖像，是深度學習領域最為常用的數據集之一，其中包含多種魚圖像數據。

表2 Fish100數據集劃分Tab.2 Division of Fish100 dataset

圖2 Fish100圖像示例Fig.2 Sample of Fish100’s images

ImageNet數據集除存在與Fish100相同的特點，即類內差異性大、類間相似性高之外，還存在一些背景干擾因素等情況，增加了識別難度。為了檢驗本文方法的識別能力，本文選用ImageNet數據集中的20種魚進行測試，具體如表3所示。

表3 ImageNet數據集Tab.3 ImageNet dataset

圖3為ImageNet數據集中部分圖像示例。

圖3 ImageNet圖像示例Fig.3 Sample of ImageNet’s images

2 試驗方法

2.1 數據預處理

預處理操作分為裁剪、格式轉換、圖像增強等，對于卷積神經網絡(Convolutional neural networks, CNN)而言，輸入圖像必須被調整為統一尺寸。本文圖像預處理步驟為：①將所有圖像轉換為3通道的RGB圖像。②將所有圖像的尺寸統一調整為224像素×224像素。③將調整后的圖像以中心為原點，進行隨機裁剪。④對所有圖像進行正則化，降低網絡模型過擬合的可能性。

2.2 網絡模型

本文的小樣本學習采用基于度量的小樣本學習模型，其在面對輸入樣本時，首先會通過網絡模型將其映射至嵌入空間，在此過程中，會通過殘差塊結構進行特征提取，得到特征向量；隨后，通過求平均值的方式，得出類別的均值中心。最后通過度量來進行類別判斷。

本文模型共包含4個基本單元，即塊(Block)，每個塊內均包含1個殘差塊(內含4個卷積層)、1個Batchnorm層、激活層和1個最大池化層，其整體結構如圖4所示。

圖4 本文網絡模型整體結構Fig.4 Overall structure of network model

傳統的CNN網絡直接通過訓練，學習輸入x與輸出H(x)之間的關系，即x→H(x)，其中x為輸入數據，H(x)為經過網絡層的輸出。而殘差塊則致力于使用圖4所示的有參網絡層，來學習輸入、輸出之間的殘差，其中殘差塊結構[22-23]如圖5所示。其計算公式為

F(x,Wi)=W2σ(W1x)

(1)

式中W1、W2——有參卷積層的權重

σ——ReLU函數

F——殘差映射函數

Wi——第i層卷積層的權重矩陣

圖5 殘差塊結構圖Fig.5 Structure of residual block

則輸入x與輸出H(x)之間的關系就變為x→F(x,Wi)+x。

由于輸入與殘差之間的關系較其與輸出之間的關系更易表示，因此具有該結構的網絡模型，具有更強的圖像特征提取能力。

模型中各殘差塊中卷積層的卷積核數目(Num output)如表4所示。

表4 網絡模型各卷積層的卷積核數目Tab.4 Number output of each convolution layers of network model

模型的其它參數如表5所示。

2.3 識別過程

在每次元任務中，采集N(K+Q)個數據，其中N為類別數量，K為支撐集樣本數量，Q為驗證集樣本數量。采集完成并進行預處理之后，將支撐集中的樣本作為輸入圖像輸入網絡模型，在每一個塊內通過殘差塊進行特征提取。當輸入圖像通過每個卷積層時，其通道數c、寬度w和高度h都會根據網絡參數而變化。

表5 網絡模型參數Tab.5 Parameters of network model

c=o

(2)

w=(w0+2p-k)/s+1

(3)

h=(h0+2p-k)/s+1

(4)

式中o——卷積核數量

p——邊緣填充尺寸

k——卷積核尺寸

s——步長

w0——輸入圖像寬度

h0——輸入圖像高度

隨后，通過BatchNorm層對數據進行歸一化處理，公式為

(5)

式中E(·)——均值函數

Var(·)——方差函數

y——歸一化值

之后通過激活層，使用ReLU函數，通過引入非線性因素的方式，增強神經網絡對模型的表達能力。

ReLU(x)=max(0,x)

(6)

隨后通過最大池化層，對鄰域特征點取最大值的方式，對提取到的特征向量進行過濾，降低特征提取的誤差。圖6為最大池化的示意圖，特征矩陣中4個鄰域內分別有4個特征點，每個鄰域中的最大特征點分別為7、9、9、8，即通過最大池化層后，每個鄰域內只有最大的這4個特征點被保留。

圖6 最大池化示意圖Fig.6 Illustration of max pooling

池化層的運算方法和卷積層基本相同，只是不再改變圖像的通道數。再依次通過網絡模型的4個塊后，輸入數據將從原來的D維變為N維，即被映射至N維的嵌入空間。映射完成后，通過將映射完成的各類別所有樣本數據取均值，形成各類別的均值中心。

(7)

式中Sk——類別k在支撐集中樣本的特征向量

fφ——嵌入函數

ck——類別k的均值中心

xi、yi——支撐集中第i個樣本及該樣本所屬類別

在確定每個類的均值中心后，將驗證集數據樣本通過嵌入函數映射到嵌入空間，由于訓練當中驗證集的數據已經標記了類別，將通過其與各類別均值中心的歐氏距離得出其屬于其自身類別的概率Pφ為

(8)

式中d——歐氏距離函數

ck′——類別k′的均值中心

通過在訓練過程中重復上述類別判斷過程，網絡模型將不斷地進行優化，這使得同類別樣本在映射到嵌入空間后，處于更為相近的位置，由此所得出的均值中心，也將更能代表類別的真實位置。

測試過程如圖7所示。驗證集的樣本未標記類別，嵌入函數在通過支撐集中的樣本構建類別均值中心后，將驗證集中的樣本映射到嵌入空間，通過將其與各均值中心進行距離度量，給出其屬于各類別的概率，概率最高者即為該樣本的預測類別[24]。

圖7 類別判斷過程示意圖Fig.7 Category recognition process of samples

2.4 遷移學習

遷移學習技術已廣泛應用于深層網絡模型設計和參數訓練，本文的遷移學習過程如圖8所示。

圖8 遷移學習過程Fig.8 Transfer learning process

采用小樣本學習中常用的數據集mini-ImageNet對模型進行預訓練，預訓練過程與訓練和測試過程保持一致，同樣被分解為多個元任務，每個元任務中抽取包含N個類別的共計N(K+Q)個樣本，讓網絡模型學習如何將這些樣本通過距離度量的方式判斷類別。在預訓練過程中，使用特定的優化器，對網絡各層參數，即卷積層的權重W以及Batchnorm層的γ和β進行調整。

將預訓練后的模型使用魚圖像數據集進行訓練，并微調網絡最后一個塊中的各層。由于本文所設計的模型不通過全連接層輸出類別，因此無需進行全連接層的調整。

3 結果與分析

3.1 試驗環境

試驗平臺為Windows 10，64位操作系統，CPU為i5-8300H，2.30 GHz，GPU為NVIDA Geforce GTX 1080ti，5 GB，內存為16.0 GB。

3.2 試驗參數與評價標準

本文中的預訓練及訓練階段的試驗參數設置如表6所示。優化器選用Adam[25]。

表6 試驗參數設置Tab.6 Parameters setting of experiment

每次采樣抽取5個類別，即way為5；每個類別中15個樣本作為支撐集，即shot為15；15個樣本作為測試集，即query為15，每次采樣共抽取5×(15+15)幅圖像。每次元任務共進行20次采樣，最大迭代次數為1 000次。

本文采用精度、召回率以及F1值來衡量模型識別效果，其中精度衡量模型識別的準確性，召回率衡量模型的查全能力，F1值衡量模型的綜合性能。

3.3 模型訓練損失值對比

將本文模型與MAML[26]、Meta-baseline[27]、Meta-learning LSTM[28]、Prototypical network[9]以及Relation network[10]等5種常用小樣本學習模型在訓練階段的損失值進行對比，結果如圖9所示。

圖9 不同模型訓練損失值Fig.9 Training loss of different models

從圖9可以看出，本文模型不僅初始損失值較低，且波動較小，損失值始終低于其它各模型，最終收斂值也最小，為0.06左右。Relation network以及Prototypical network兩種基于度量的小樣本學習方法的表現雖不如本文模型，但總體也較好，整體均呈明顯的下降趨勢，雖然波動較本文方法更大，但最終收斂到的損失值較為理想，分別為0.10和0.12左右。Meta-learning LSTM的表現較前述3種模型差，在收斂速度以及損失值方面，都不如前者，最終損失值約為0.34。Meta-baseline和MAML這兩種方法的損失值較高，且處在波動狀態，最終的損失值也較其它模型高，分別為0.71和0.97左右。

3.4 參數對結果的影響

測試各模型在way、shot改變情況下的識別能力。分別設置way為5、shot為5，way為3、shot為5，way為5、shot為3，way為3、shot為3，各模型在3組參數設置下，在兩數據集上的測試精度、召回率和F1值分別如圖10～12所示。

圖10為不同參數設置下各模型精度結果。由圖10可知，各模型在兩數據集上的識別精度在不同參數設置下均有明顯的區別，其中way為3、shot為5時精度最高；way為5、shot為5時次之；隨后是way為3、shot為3；最后是way為5、shot為3。但在不同參數設置下，各模型的識別精度仍保持了相對的差異，且在Fish100上的識別精度普遍高于ImageNet。

圖10 不同參數設置下各模型精度結果Fig.10 Model accuracy results under different parameter settings

圖11為不同參數設置下各模型召回率結果。由圖11可知，各模型在兩數據集上的召回率在不同參數設置下均有明顯的區別，其中way為3、shot為5時的召回率最高；way為5、shot為5次之；隨后依次為way為3、shot為3和way為5、shot為3。在不同參數設置下，各模型的召回率之間也保持了相對差異，且在Fish100上的召回率高于ImageNet。

圖12為不同參數設置下各模型F1值測試結果。由圖12可知，各模型在兩數據集上的F1值遵循與精度和召回率一樣的規律，F1值由高到低的參數設置依次為way為3、shot為5，way為5、shot為5，way為3、shot為3以及way為5、shot為3。模型、數據集之間的差異也同精度和召回率。

3.5 way和shot對結果的影響

為進一步確認不同參數設置對模型識別效果的影響，使用本文模型保持way為5，分別設置shot為1～6，在2個數據集上分別進行測試，測試結果如圖13所示。

圖11 不同參數設置下各模型召回率結果Fig.11 Recall rate results of various models under different parameter settings

圖12 不同參數設置下各模型F1值測試結果Fig.12 F1 results of each model under different parameter settings

圖13 不同shot值下本文模型測試結果Fig.13 Test results of proposed model under different shot values

圖14 不同way值下本文模型測試結果Fig.14 Test results of proposed model under different way values

由圖13可知，在way相同的情況下，模型識別的精度、召回率和F1值隨著shot的上升而上升，且在shot值越小時上升幅度越大。可見在way相同的情況下，shot值與識別效果之間成正比關系。

保持shot為5，分別設置way為2～6，使用本文模型在兩個數據集上分別進行識別測試，結果如圖14所示。

由圖14可知，在shot相同的情況下，模型的識別精度、召回率和F1值隨著way值的上升而平緩下降。可見在shot相同的情況下，way值與識別效果之間成反比關系。

3.6 模型識別結果對比

將本文模型與MAML、Meta-baseline、Meta-learning LSTM、Prototypical network以及Relation network等5種小樣本學習模型的試驗結果進行對比。選擇最優參數way為3、shot為5對模型效果進行比較。表7為各模型在Fish100數據集上的測試結果。

表7 Fish100數據集上 way為3、shot為5測試結果Tab.7 Result on Fish100 dataset while way was 3 and shot was 5 %

由表7可以看出，在Fish100數據集上本文模型在精度、召回率以及F1值上，均顯著優于其它模型，其中精度較其它模型中識別效果最佳的Relation network高7.31個百分點，較Prototypical network高9.34個百分點，較Meta-learning LSTM高14.53個百分點，較MAML高32.04個百分點。本文提出利用殘差塊結構改進小樣本學習網絡，有效提取魚圖像深層特征，提高了魚圖像識別精度，使得其表現優于其他模型。

各模型在ImageNet數據集的識別結果如表8所示。由表8可以看出，各模型在ImageNet魚圖像識別任務中的結果，較Fish100數據集均有一定的降低，本文模型的識別精度下降了3.74個百分點，Relation network、Prototypical network、Meta-learning LSTM、Meta-baseline以及MAML則分別下降了3.14、3.00、4.78、2.28、6.43個百分點。其原因是受ImageNet數據集中復雜背景環境因素影響，模型識別效果均有所降低。即使如此，相比于其它5種小樣本學習模型，本文模型識別效果仍然最佳，識別精度為91.03%，召回率為90.78%，F1值為90.90%。綜上，本文模型對魚圖像識別具有較好的效果，可為后期小樣本魚圖像識別在實際環境中的應用提供技術支撐和參考。

表8 ImageNet數據集上way為3、shot為5測試結果Tab.8 Result on ImageNet dataset while way was 3 and shot was 5 %

4 結論

(1)本文模型在Fish100、ImageNet數據集上均優于其他小樣本學習方法，特別在Fish100數據集上，試驗效果最佳，其中精度、召回率以及F1值分別為94.77%、94.35%和94.56%。

(2)在不同參數下，各模型在Fish100數據集上的識別效果均優于ImageNet，表明ImageNet數據集識別難度高于Fish100數據集。

(3)在小樣本學習中，way、shot的取值會影響模型識別結果，其中way的取值與識別結果成反比，而shot則與識別結果成正比，且shot的影響權重大于way。