基于元學習和數據增強優化小樣本模型泛化性能研究

摘 要：針對小樣本模型泛化性能不足的問題，引入元學習機制構建強泛化性的數據分析模型。使用BP神經網絡建立數據分析模型，并使用模型無關元學習算法MAML對模型進行優化。結果顯示，相比于傳統模型（如支持向量機和高斯過程方法），文中所建立模型的泛化性能更好；針對MAML訓練數據形式，引入數據增強方法增加訓練數據數量，文中所建立模型的均方根誤差、平均絕對百分比誤差和決定系數分別為0.05、0.066和0.85，均優于其他預測模型。

關鍵詞：元學習；優化；小樣本模型；泛化性；模型無關元學習算法

中圖分類號：TP183 文獻標識碼：A 文章編號：2096-4706（2024）08-0093-04

DOI：10.19850/j.cnki.2096-4706.2024.08.021

0 引 言

伴隨人工智能技術的發展，機器學習數據分析在各行各業得到深入應用，如機械故障診斷[1]、結構健康監測[2]以及化工勘探研發[3]等。

然而在這些領域使用機器學習進行數據分析存在相同的問題：在樣本較少的情況下，模型訓練能表現出較高的準確率，但模型用作測試時準確率較低。這類問題可以簡述為以機器學習方法建立的小樣本模型的泛化性能不足。針對泛化性能不足的問題，可以從兩個方向來解決：數據層面和模型層面。

從數據層面考慮，可采用數據增強的方法提升訓練樣本數量。條件生成對抗網絡（CTGAN）[4]在生成對抗網絡的基礎上加入變分高斯混合模型學習數據特征分布，增強模型對數據特點的學習能力。結合有監督學習和無監督學習的小樣本深度學習模型[3]能有效捕捉數據的結構特點，并結合數據增強方法改進表現。合成樣本過采樣技術可用于特征融合和權重結果實現。在實際應用中，監督學習方法[5]通常更容易實現、調整和優化，但過度使用則會導致模型更容易出現過擬合情況。條件生成對抗網絡[6]能快速學習數據的分布，生成足夠數量的虛擬樣本，但生成樣本的標簽沒有很好的判斷標準，很容易加入雜質樣本，影響模型泛化性能。兩種方法各有優點和缺點，因此，本文使用監督學習和CTGAN互相搭配進行數據增強彌補單個方法的缺陷。

從模型層面考慮，可采用神經網絡和優化算法進一步提升小樣本模型的泛化性能表現。區別傳統機器學習手動提取特征進行學習，神經網絡通過神經元自動發現特征并進行學習的效率更高。此外，神經網絡通過激活函數和多層神經元相連接，通過不同層的激活函數組合，可以更好地模擬非線性函數和復雜數據分布。在小樣本模型優化算法中，元學習領域提出了模型無關元學習算法（Model-Agnostic Meta-Learning， MAML）[7]，區別于傳統的隨機梯度下降（SGD）容易導致小樣本模型出現過擬合情況，模型無關元學習算法優化數據的學習方式，通過算法內的雙重優化提升小樣本模型的泛化性能表現。

綜上所述，本文以FRP加固混凝土柱為研究對象，提出基于數據增強和元學習機制優化小樣本數據模型方法。通過數據增強和模型無關元學習算法改善小樣本模型的泛化性能，以期在小樣本數據限制下實現對小樣本模型泛化性能的提升，為小樣本數據的建模預測提供新思路。

1 數據來源

FRP加固混凝土柱數據來源于已有的玻璃纖維增強塑料加固混凝土柱研究[8，9]，實驗收集了3個數據集，共81組數據。每個數據集采用的柱高度均為500 mm，柱截面直徑均為200 mm，試驗均采用控制變量法研究了鋼比、混凝土強度和玻璃纖維增強塑料厚度對混凝土柱承載力的影響。其中，鋼比為混凝土柱中心垂直嵌入的鋼筋截面面積占管柱截面面積比例，3個數據集分別采用水平截面不同形狀的鋼筋，分別為L型鋼筋、C型鋼筋和I型鋼筋。

根據已有文獻研究，將鋼比、混凝土強度和徑厚比作為輸入變量，混凝土柱承載力作為輸出變量進行建模，使用模型無關元學習算法進行優化處理。在元學習算法優化處理過程中，在單獨一種形狀的鋼筋數據中，選擇3組數據作為測試數據，余下24組數據作為訓練數據。總的訓練數據共72組，測試數據共9組。

2 BP神經網絡基本原理及參數選擇

BP神經網絡是一種常見的反向傳播神經網絡，可以用于分類、回歸和函數逼近等任務。它由一個輸入層、若干個隱藏層和一個輸出層組成，在訓練過程中通過反向傳播算法來調整網絡權值，使得網絡的輸出結果與標準答案之間的誤差最小化。

根據實驗測得，BP神經網絡的隱藏層神經元個數為5～20個，迭代次數為50～150次，學習率為0.001～0.010，BP神經網絡的隱藏層輸出激活使用Sigmoid函數，并使用L2損失函數防止網絡過擬合。

3 模型無關元學習算法MAML

在元學習中，數據集劃分為元訓練集和元測試集。在元訓練集中采樣少樣本量數據組成一個任務，MAML訓練前需要采樣若干個任務。一個任務中包含支持集和查詢集，支持集用于MAML內循環優化，查詢集用于MAML外循環優化。區別于傳統學習，元學習的目標是在小樣本上快速有效。針對訓練的對象不是整個訓練數據，元學習訓練的是訓練數據中的小樣本量的任務。

MAML訓練過程包括內循環優化和外循環優化，可用式（1）和式（2）表示：

（1）

（2）

模型無關元學習算法MAML主要思想是通過采樣若干個不完全相同的任務進行訓練調整模型初始化參數，進一步得到一個解決當前任務且依賴過去任務的訓練和優化的模型。MAML參數更新如圖1所示。

結合式（1）（2）和圖1，MAML算法優化的目標是，尋找到一組對不同任務最敏感的初始參數。最敏感初始參數在MAML算法中的體現為使用少量梯度下降就可以完成模型的收斂。具體表現在外循環更新模型參數θ時，使用的是內循環中適應任務支持集的參數" 計算任務查詢集上損失進行梯度下降更新。區別于直接使用模型參數θ計算損失，得到的是在所有任務上的損失最小，并沒有考慮到少量梯度下降過程。

由于本文數據樣本量小，屬于典型的小樣本建模。結合數據特點，FRP加固混凝土柱數據按照鋼筋的形狀可分為3類任務，按照鋼比可細化分為9類任務，相比于使用傳統算法需要建立多個模型，MAML算法適用于多任務訓練學習，因此FRP加固混凝土數據可以使用MAML算法進行優化學習。

4 基于CTGAN和弱監督學習的數據自增強方法

由于MAML算法優化訓練的數據單位是任務，有針對性的任務數據增強對模型性能的提升是有效的。考慮集成學習對模型過擬合效果的改良，使用弱監督學習方法擬合FRP加固混凝土柱數據，并根據擬合效果分配模型權重，使用到的監督學習模型包括支持向量機、高斯過程回歸。經實驗驗證，支持向量機和高斯模型的核函數參數均使用徑向基核函數，所得虛擬樣本效果最佳。基于CTGAN和弱監督學習的數據自增強方法流程圖如圖2所示。

具體過程如下所述：

1）數據準備：收集實驗使用的復合結構數據共72組，按照混凝土柱內內置的增強材料形狀劃分為3類，每類按照特征值正交方式選取24組樣本作為訓練樣本，每類余下3組樣本作為測試樣本。

2）監督學習：使用兩類機器學習模型（支持向量機、高斯模型）對訓練數據建模，并根據訓練數據預測誤差占比配置兩類模型的權重構成組合模型，使用組合預測模型計算測試樣本的預測誤差，并記錄此時的模型誤差。

3）虛擬樣本生成：使用CTGAN網絡學習訓練數據的特征分布，并按照任務的需求對特定特征值進行增強，將增強特征值輸入組合預測模型得到虛擬樣本標簽。

4）樣本合并訓練：虛擬樣本加入訓練樣本，組成新的訓練樣本訓練，將新模型應用于測試樣本計算測試樣本誤差，并記錄此時的模型誤差。

5）比較誤差：若監督學習記錄誤差大于樣本合并訓練記錄誤差，則將監督學習記錄的誤差更新為樣本合并訓練記錄的誤差，并保存樣本合并訓練中的新的訓練樣本；否則刪除虛擬樣本生成的樣本，重新執行虛擬樣本生成。

重復迭代上述過程直至循環滿足設置的迭代次數，退出循環，輸出虛擬樣本和原訓練數據疊加的最終訓練數據。

5 模型結果和分析

基于元學習機制優化小樣本模型使用Scikit-Learn [10]中的Numpy庫、Matplotlib庫、Pandas庫以及深度學習框架TensorFlow實現。第一組實驗比較MAML算法、支持向量機算法與高斯過程回歸算法對FRP加固混凝土柱數據的建模表現。在第一組實驗完成后，使用TensorFlow中的模型保存函數保存訓練完成的模型參數，方便下一組實驗直接使用。第二組實驗加入數據增強方法，比較數據增強前后3種算法的模型泛化性能變化。

FRP加固混凝土柱數據是多輸入單輸出數據集，為了避免輸入特征量綱不統一對模型性能造成影響，對數據做歸一化處理，使用Scikit-Learn中的輸入特征處理Preprocessing庫進行歸一化處理。由于使用的FRP加固混凝土數據特征分布稀疏，Preprocessing庫故使用MaxAbsCaler函數進行歸一化處理。

使用3個不同的指標評估模型的性能：均方根誤差（RMSE）、平均絕對百分比誤差（MAPE）、決定系數（R2）。RMSE和MAPE解釋了模型的準確性。R2分數使用模型測量了給定數據樣本的解釋變化。所有評估指標都使用Scikit-Learn來實現。

第一次實驗使用鋼比、混凝土強度、徑厚比作為輸入變量建立FRP加固混凝土柱承載力預測模型，與支持向量機模型和高斯過程回歸模型進行對比，驗證MAML算法在小樣本模型上的優化效果，模型預測結果如表1所示。

如表1所示，本文模型在少量數據的訓練下，使用元學習機制優化小樣本模型泛化性能，RMSE和MAPE有所下降，復合柱承載力預測的準確度提高。相比于使用SVM和GPR建模分析，使用MAML算法優化的模型在均方根誤差上分別降低了13.3%和25%，在平均百分比誤差上分別降低了22.9%和32.1%。表明使用MAML算法在多任務上的優化效果要優于使用傳統小樣本建模算法SVM和GPR。

第二次實驗加入數據增強算法，比較使用數據增強算法后，3種模型的性能表現，結果如圖3和表2所示。

如表2所示，在加入數據增強算法后，基于3種方法的模型泛化性能均得到提升，其中加入數據增強算法后MAML算法優化的模型性能最佳，相比于未加入數據增強算法前，模型的均方根誤差下降30.6%，平均百分比誤差下降27.5%。

6 結 論

由于小樣本模型泛化性能不足，且小樣本模型預測準確度要求嚴格。因此本文提出了基于元學習機制的小樣本預測模型，相比于使用支持向量機和高斯過程回歸等優秀的小樣本模型，本文提出的模型泛化性能高于另外兩種模型。在加入數據增強算法后，本文提出的模型的泛化性能仍為最佳。然而不足的是，本文所提模型的泛化性能和模型結構優化仍是可以進一步提升的。下一步課題研究的方向將針對單類別小樣本進行模型結構的探索和模型泛化性能的優化。

參考文獻：

[1] 李陽濤，吳學勇，王彪.基于機器學習的軸承故障診斷研究 [J].機械管理開發，2023，38（2）：53-54+57.

[2] 鐘玉琪，張紅，張舸，等.基于組合荷載響應特征融合的橋梁結構智能損傷識別方法 [J].實驗力學，2023，38（2）：151-164.

[3] ZHU L Q，ZHANG C，ZHANG C M，et al. Forming a New Small Sample Deep Learning Model to Predict Total Organic Carbon Content by Combining Unsupervised Learning with Semisupervised Learning [J/OL].Applied Soft Computing，2019，83：105596[2023-09-10].https：//doi.org/10.1016/j.asoc.2019.105596.

[4] ZHAN W H，CHEN B W，WU X L，et al. Wood Identification of Cyclobalanopsis （Endl.） Oerst Based on Microscopic Features and CTGAN-Enhanced Explainable Machine Learning Models [J/OL].Frontiers in Plant Science，2023，14：1-19[2023-09-12].https：//doi.org/10.3389/fpls.2023.1203836.

[5] 李萌，武海軍，董恒，等.基于機器學習的混凝土侵徹深度預測模型 [J].兵工學報，2023，44（12）：3771-3782.

[6] 劉言林.基于條件生成對抗網絡的小樣本機器學習數據處理算法研究 [J].寧夏師范學院學報，2021，42（10）：66-73.

[7] 李凡長，劉洋，吳鵬翔，等.元學習研究綜述 [J].計算機學報，2021，44（2）：422-446.

[8] HE K，CHEN Y，XIE W T. Test on axial compression performance of nano-silica concrete-filled angle steel reinforced GFRP tubular column [J].Nanotechnology Reviews，2019，8（1）：523-538.

[9] HE K，CHEN Y. Experimental evaluation of built-in channel steel concrete-filled GFRP tubular stub columns under axial compression [J].Composite Structures.2019，219：51-68.

[10] PEDREGOSA F，VAROQUAUX G，Gramfort A，et al. Scikit-learn： Machine Learning in Python [J].The Journal of Machine Learning Research，2011，12：2825-2830.

作者簡介：鄧天翊（1999—），男，漢族，湖北荊州人，碩士在讀，研究方向：機器學習；張耕培（1984—），男，漢族，湖北荊州人，講師，博士，研究方向：機器學習和深度學習。

收稿日期：2023-10-10

Research on Small-sample Model Generalization Performance Optimization

Based on Meta-Learning and Data Enhancement

DENG Tianyi， ZHANG Gengpei

（School of Electronic Information and Electrical Engineering， Yangtze University， Jingzhou 434023， China）

Abstract： To address the issue of insufficient generalization performance in small sample models， a Meta-Learning mechanism is introduced to construct a data analysis model with strong generalization. A BP neural network is used to establish a data analysis model， and Model-Agnostic Meta-Learning Algorithm （MAML） is used to optimize the model. The results show that compared to traditional models such as Support Vector Machine and Gaussian process methods， the model established in this paper has better generalization performance. Regarding the training data format of MAML， a data augmentation method is introduced to increase the amount of training data. The root mean square error， average absolute percentage error， and deciding coefficient of the model established in the paper are 0.05， 0.066， and 0.85， respectively， which are superior to other prediction models.

Keywords： Meta-Learning; optimization; small sample model; generalization; MAML