一種圖像分類中基于元學習的漸進式原型網絡技術研究

杜剛　胡佳磊　姜曉媛　周小林　 張碩

摘? 要： 分析了一種基于元學習的漸進式原形網絡，只需要少量的圖像樣本，就可以完成模型的訓練工作，并能快速識別新任務，具有極強的泛化能力.采用的漸進式訓練策略，提升了模型的訓練效率，降低了訓練時間.

關鍵詞： 漸進式原型網絡; 深度學習; 元學習; 圖像分類

中圖分類號： TP 311??? 文獻標志碼： A??? 文章編號： 1000-5137（2022）02-0217-04

DU Gang， HU Jialei， JIANG Xiaoyuan， ZHOU Xiaolin， ZHANG Shuo

（School of Information Science and Technology， Fudan University， Shanghai 200433， China）

In this paper a progressive prototype network based on meta-learning was analyzed. With the proposed network only a few image samples were required to complete model training and new tasks could be quickly identified with outstanding generalization ability. The model training efficiency was improved and the training time was reduced dramatically by using the constructed progressive training strategy.

progressive prototype network; deep learning; meta-learning; image classification

0? 引言

近些年，以深度學習為代表的機器學習算法在計算機視覺領域開始嶄露頭角并取得成功.然而，以深度學習為代表的人工智能技術仍然面臨著諸如數據缺乏、模型泛化性能有限等局限與瓶頸.由于深度學習模型大多采用的是監督學習的模式，其在訓練模型時需要大量的標注數據，在圖像識別中，一些復雜的網絡模型可能需要上百萬張帶有標簽類別的圖片.雖然隨著大數據技術的發展，出現了一些諸如ImageNet的大型公開數據集，但是仍然缺乏例如醫療影像、稀有語言翻譯、個人定制化教育、推薦系統等領域大規模的標注數據.此外，即使能夠獲得數據，高昂的人工標記樣本成本同樣制約了深度學習技術的應用.除此之外，深度學習模型的泛化能力仍然有限，當接到一個新的任務需求時，通常還是需要重新訓練一個與之對應的新模型.

基于現有深度學習系統與人類在視覺識別能力上的差距，小樣本學習應運而生，其旨在通過少量的標注樣本，便能快速學習.其中，元學習逐漸成為小樣本學習研究領域中主流的解決方案之一.

在此背景下，本文作者研究了一種基于元學習的漸進式原型網絡圖像分類模型.相對于傳統的訓練方案，隨著迭代次數的不斷增大，該模型的訓練樣本數有規律地漸進增長，模型的訓練效率得到較大幅度的提升.該模型只需要少量的樣本和時間進行訓練，能快速準確地識別新任務，具有較強的泛化能力.

1? 基于元學習的漸進式原型網絡原理與實現

漸進式原型網絡結構

設計由4個卷積模塊堆疊而成的卷積神經網絡作為特征提取模塊，每個卷積模塊由積層、批量歸一化操作、ReLU激活函數以及最大池化層順序構成.

漸進式原型網絡，在對樣本進行特征提取后，計算支持集中每個類別的原型特征表征.每個類別原型是支持集中該類別下所有樣本特征的平均值，具體計算公式如下：

連續漸進式原型網絡算法實現

數據增強

由圖1，2可知，相較于原始訓練模型，雖然漸進式原型網絡在訓練準確率上略有下降，但是測試準確率并未降低，且穩定在93%附近.圖3顯示：該網絡完成訓練過程所需要的時間更少.綜合以上對比實驗結果可知：相對于原始訓練模型，使用基于元學習的漸進式增長模型在小樣本分類任務上的訓練效率有較大提升，同時模型的泛化性能下降的程度也在可以接受的范圍內.

3? 結 論

采用漸進式原型網絡對Omniglot數據集進行漸進式增長訓練，測試了元任務數量漸進增長情況下的模型性能變化，并在同等條件下與原始訓練流程的模型進行了對比.實驗結果表明：使用漸進式訓練方法模型相較于原始模型，在小樣本分類任務上的訓練效率有所提升，同時只付出了訓練準確率小幅度下降的代價.

參考文獻：

[1]? LECUN Y， BENGIO Y， HINTON G. Deep [J]. Nature，2015，521（7553）：436-444.

[2]? WANG Y， YAO Q. Few?shot learning： survey [J/OL]. （2020-03-29） [2021-12-20]. https：// arxiv.org/abs/1904.05046v1.

[3]? VANSCHOREN J. Meta?learning： survey [J/OL]. （2018-10-08） [2022-01-08]. https：// arxiv.org/abs/1810.03548.

[4]? SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [J/OL]. （2015-04-10） [2021-01-12]. https：// arxiv.org/abs/1409.1556v1.

[5]? HOCHREITER S， YOUNGER A S， CONWELL P R. Learning to learn using gradient descent [C]// International Conference on Artificial Neural Networks. Berlin： Springer，2001：87-94.

（責任編輯：包震宇，顧浩然）