序列數據的數據增強方法綜述

葛軼洲，許 翔，楊鎖榮，周 青，申富饒

1.通信信息控制和安全技術重點實驗室，浙江 嘉興 314033

2.中國電子科技集團公司 第三十六研究所，浙江 嘉興 314033

3.計算機軟件新技術國家重點實驗室（南京大學），南京 210023

深度學習在計算機視覺、自然語言處理等多個機器學習的子領域上均取得了耀眼的成績，這歸功于越來越龐大復雜的神經網絡模型。以圖像分類任務為例，解決這類問題的網絡層數由2012 年的8 層增加到如今的101 層，甚至有人嘗試過1 202 層的卷積神經網絡（convolutional neural network，CNN）[1]。神經網絡層數的增加，意味著待學習參數數量的增加。為了學習更多的參數，就需要更多的訓練數據。當前效果最好的自然語言處理模型GPT-3，其參數量達到了1 700 億，為此需要45 TB 的數據進行訓練[2]。盡管GPT-3 的情況較為極端，但想要將最先進的模型應用到一個現實任務時，經常面臨數據不足的問題，數據增強技術應運而生。

“數據增強”一詞還沒有一個統一的定義，數據增強可以認為是基于少量樣本構造出更多樣本以擴充數據量的方法。以數據增強技術應用最廣泛的計算機視覺任務為例，通過對一張圖片進行旋轉（rotations）、翻轉（flipping）、裁剪（cropping）等操作，就可以把一張圖片“增強”成至少四張圖片。若對數據集中的所有圖片都進行類似的操作，該數據集可以增加到原來的四倍。

數據增強一般被認為是在訓練數據集上實施的操作，在訓練前進行。可以選擇先對數據集整體進行操作，再把增強后的數據集送入整個機器學習流程的后續部分，這種方法被稱為線下增強（offline augmentation）。這種方法會顯式地增加數據集的大小，只適用于數據較少的情況。更為常用的是線上增強（online augmentation），對即將送入到模型的每一批（batch）數據執行轉換，不必顯式地占用磁盤空間?，F有的機器學習框架實現的圖片增強方法大多為線上增強方法，并基于GPU 進行加速[3]。本文介紹的針對序列數據的增強大多采用線下增強方法。本文將先介紹針對序列數據的數據增強的基礎方法，再介紹基于深度學習的數據增強方法。

1 序列數據增強的基礎方法

不同于圖像數據，序列數據的樣本間具有時序關系，因此對序列數據進行增強時要特別關注新生成樣本間的時序關系。序列數據的類型很多，如連續取值的時間序列數據、離散取值的文本數據、音頻數據等。盡管數據類型不同，但應用的數據增強方法背后有共通的設計思路，例如翻轉、拉伸或添加噪聲等。

本章主要介紹在各類序列數據上通用的基于人們的直觀經驗設計的數據增強基礎方法。圖1[4]（a）展示了一個原始的時間序列，本章將基于此展示部分方法的效果。

Fig.1 Data augmentation methods applied on time series圖1 在時間序列上應用的一些數據增強方法

1.1 幾何變換

幾何變換（geometric transformations）是最簡單和常用的數據增強方法，如變換取值維度的翻轉、縮放（scaling）或變換時間維度的窗口規整（window warping）[4]等，分別如圖1（b）～（d）所示。圖中藍色虛線是原始序列，紅色實線是變換序列（下同）。類似“翻轉”方法也可以應用在時間維度上，被稱作時間鏡像操作[5]。窗口規整、下采樣（down sampling）[6]等操作會改變序列長度，可能需要引入額外操作來保持整體長度不變。

應用不同幾何變換會產生不同的結果。例如，對于異常檢測任務，縮放操作可能會將異常值縮放到正常范圍內，窗口規整就不會；窗口規整或下采樣操作可能會丟失異常點；翻轉操作不適合預測任務，因為操作徹底改變了原序列的趨勢。總而言之，幾何變換方法相對簡單、直觀，易于結合具體任務分析不同操作的合理性，但每次只對一個序列進行操作，沒有考慮數據集整體的分布特點。

1.2 窗口裁剪

對序列數據進行裁剪，被稱為窗口裁剪（window cropping）或窗口切片（window slicing）[4]，通過一個滑動窗口在序列上不斷滑動取樣，生成多個長度更短的新序列。可將新序列拉長到與原序列長度相同，如圖1（e）所示；或在采樣過程中引入隨機性，只保留部分新序列。將這種方法應用在異常檢測任務時要小心異常點是否被裁去。

對于自然語言文本，類似的做法是隨機刪除（random deletion）[7]。針對文本數據的很多數據增強方法會改變文本長度，但自然語言模型對于文本長度并不敏感，長度的變化不影響數據進入后續的訓練流程。

1.3 添加噪聲

在訓練數據中添加噪聲被認為是防止機器學習模型過擬合的有效手段。對于數值型序列數據，可以對每一個取值隨機地添加一定的噪聲來生成新的序列[4,8]，且不影響序列的整體性質和標簽信息，如圖1（f）所示。最常被用來添加的噪聲是高斯噪聲（Gaussian noise）。

除時間域外，頻率域也可實現類似操作。時間域上的序列經過傅里葉變換后可以得到其在頻率域的振幅譜（amplitude spectrum）和相位譜（phase spectrum）。在振幅譜上隨機選擇區間，用基于原始振幅的統計參數重新生成一段信號替換，如圖2[9]（b）所示；在相位譜上隨機選擇區間并添加白噪聲（white noise），如圖2（c）所示。在時間域對比用這種方法的前后效果如圖2（a）所示。這種方法不改變序列的整體性質。

Fig.2 Data augmentation on frequency domain圖2 在頻率域進行數據增強

噪音也可添加到音頻上模擬嘈雜的環境[10]，常用信噪比（signal to noise ratio，SNR）量化。

也可向自然語言文本添加噪音，如用一個雙向語言模型來生成新詞，以替換原始文本中某個單詞[11]?；谡Z言模型產生的單詞可以保證文本中的語法、語義等信息不被破壞。一個簡化版本是用同義詞替換的方法替代上述的語言模型[7]，將過程簡化為查表，降低計算量。相關方法還有隨機交換（random swap）和同義詞的隨機插入（random insertion）。這兩種方法連同前述的隨機刪除和同義詞替換方法，被統一命名為EDA（easy data augmentation）方法[7]，已被證明在文本分類上有效，但相對本文后續方法而言EDA的數據生成過程較為機械。

1.4 在頻率域變換

時頻變換是常見的信號分析思路，同樣可用于數據增強。在頻率域添加噪聲是方法之一。

有研究者首先對傳感器信號應用短時傅里葉變換（short Fourier transform，STFT）得到具有時序關系的譜特征，再在譜特征上應用兩種數據增強方法[12]。一是對每一個屬性做局部平均，將局部平均序列拼接在原始序列的后面；二是打亂時序順序（shuffling），以增加數據的方差。這種方法會使得數據尺寸發生變化。由于STFT 變換得到的譜特征仍然具有時序關系，這種數據增強方法也被認為是在時間-頻率域上進行的。

賦值調整傅里葉變換（amplitude adjusted Fourier transform，AAFT）[13]及由其衍生的IAAFT（improved amplitude adjusted Fourier transform）[14]可實現只在頻率域進行數據增強。Lee 等人將這些方法應用在信號分類上，可以令原本只有約45%～60%的準確率提高到80%以上[15]。這類方法很好地保留了時域和頻域特征，但不適合短周期信號。

對于音頻數據，SpecAugment[16]是一種在時間-頻率域上做數據增強的方法，在信號的對數梅爾頻譜（log Mel spectrogram）上操作。圖3[16]（a）展示了一段信號的對數梅爾頻譜，頻譜圖的橫軸是時間軸，縱軸是頻率大小。在時間軸上，可以進行時間規整（time warping）或時間掩蔽（time masking），分別如圖3（b）和圖3（c）。時間規整是在序列中隨機選擇一個時間點，拉伸該點之前（之后）的信號，壓縮該點之后（之前）的信號，保證序列的長度不發生改變；時間掩蔽是在整個序列中用指定值填充一隨機片段。在頻率軸也可以進行類似的掩蔽操作，形成圖3（d）的效果，被稱為頻率掩蔽（frequency masking）。實驗證明該方法在語音識別任務上可以顯著降低字錯誤率（word error rate，WER）。上述方法都是針對單個序列做數據增強，生成的效率更高，但只利用序列本身的性質，沒有考慮數據集整體的分布。

Fig.3 Data augmentation on log Mel spectrogram圖3 對信號的對數梅爾頻譜圖進行數據增強

1.5 基于分解或混合的方法

研究時間序列的一種常見思路是用STL（seasonal and trend decomposition using Loess）[17]方法將序列分解為基礎項、趨勢項、季節項和殘差項，前三者是確定性部分，包含了原序列的絕大部分信息。為了在新序列中保持這部分信息，Kegel 等人基于相似矩陣（similarity matrix）和最近鄰搜索等方法為不同成分分配權重，組合新的時間序列[18]。隨機的殘差項則利用其分布特征和自相關特征重新建模生成。

Bergmeir 等人的方法更為簡單。對時間序列信號進行分解后得到除趨勢項和季節項以外的剩余項（reminder）。對剩余項進行有放回的重復采樣（bootstrap），可以得到新的剩余項序列，再和前兩者混合成新的時間序列[19]。這種方法很好地保留了原始時間序列所具有的性質。在M3 數據集[20]上的實驗證明這種方法在月頻數據上對預測精度的提升最為突出，但在長度較短的序列數據上表現一般。

二者相比，第一種方法以數據集為單位產生新的序列，第二種方法以序列為單位產生新的序列。第一種方法更能利用數據集整體的分布特征來進行數據增強，避免出現使用第二種方法可能會發生的對不典型的序列進行增強的情況。

混響（reverberation）可以看作是在音頻數據上一種基于混合的數據增強方法。混響一詞本身描述的是在如音樂廳、禮堂等地發生的室內聲波經過多次反射和吸收而產生的一種聲音現象，在計算機上可以通過混合多個不同強度且具有一定時間差的聲音序列來模擬混響效果，用于數據增強[21]。相比于SpecAugment，混響以數據集為單位生成新的數據，但是并沒有學習和利用數據之間的內在關系。彌補這一缺點的是后續的基于深度學習的模型。

1.6 異常標簽擴展

異常標簽擴展（label expansion）是一種僅針對異常檢測任務的數據增強方法。出于類別平衡的目的，人們想要增加數量較少的異常標簽的數量。Gao等人利用了異常的模糊性和持續性，將與已經標注為異常的數據點在時間上和屬性取值上都接近的點也標注成異常點，來達到增加異常數據點的目的。圖4[9]對比了原始序列數據和異常標簽擴展后的數據。這種方法操作方便，在雅虎數據集[22]上的實驗證明了該方法的有效性。

Fig.4 Abnormal label expansion圖4 異常標簽擴展

2 基于深度學習的序列數據增強方法

使用數據增強方法是為避免模型在較小的原始數據集上發生過擬合。如果像中小學的教輔材料那樣對難題進行重點突破，可以構造出模型學不好的數據，讓模型顯式地在這些數據上也進行學習，就有可能提高模型的“答題能力”，從而取得更好的精度或準確度?；谏蓪咕W絡（generative adversarial network，GAN）的一系列方法即出于此目的，生成人類無法分辨但可以讓模型判斷錯誤的數據。

生成對抗網絡最先應用在計算機視覺領域，應用在序列數據上的方法可以看作是這些方法的擴展。因此，本章會介紹一些應用在圖像數據上的研究成果，幫助讀者更好地理解這類基于深度學習的數據增強方法。

2.1 生成式對抗網絡

生成式對抗網絡直接生成能“以假亂真”的與訓練數據非常接近的新數據。Goodfellow 等人在2014年提出的GAN[23]是后續深度卷積GAN（deep convolutional generative adversarial network，DCGAN）[24]、CycleGAN[25]等各類衍生結構的基礎。GAN 由生成器（generator）和判別器（discriminator）組成，如圖5[26]所示。判別器判斷樣本是原始數據集的還是模型生成的，而生成器盡可能地最大化判別器判斷錯誤的概率，整個模型的優化是一個二元極大極小博弈（minimax two-player game）。如今深度神經網絡已經成為了生成器和判別器的默認選擇，整個GAN 的優化都通過反向傳播來實現。

Fig.5 Generative adversarial network圖5 生成式對抗網絡

生成器把一個簡單的分布映射到一個和真實數據集相近的復雜分布，這一簡單的分布可以視作一種隱分布。如果同時得到把復雜分布映射回一種隱分布的方法，這種方法就可以被用來做特征表示，雙向GAN（bidirectional GAN，BiGAN）[27]就是出于此目的而被發明的一種無監督方法。其學習到的特征表示不僅可以用作后續監督學習模型的輸入，從數據增強的角度，GAN 也可以在這個特征空間生成新的數據，而不一定在原始的輸入空間生成。有人認為GAN是最值得期待能用于數據增強的生成式建模方法[28]。

2.2 基于CNN 的GAN

DCGAN[24]利用了CNN 的特征提取能力，條件GAN（conditional GAN，CGAN）[29]則同時在生成器和判別器引入額外的條件輸入，讓模型生成指定標簽的數據。也有人設計不同的損失函數應用在GAN 結構上，具體實現有CycleGAN[25]、StarGAN 及其變體[30]等。

后續會介紹將RNN（recurrent neural network）和GAN 結合起來應用在序列數據上的方法。盡管RNN及其變種被認為是處理序列數據的默認選擇，但實驗證明CNN在處理序列數據方面的能力并不亞于RNN，還擁有可以并行化等優點，用基于CNN 的GAN 來生成序列數據自然而然地成為了一個選擇?；贑GAN的時間條件GAN（time-conditional GAN，T-CGAN）[31]是在GAN 上使用一維卷積的工作之一，將時間戳作為條件輸入使模型可以處理時間間隔不規則的情形。同樣使用了一維卷積的ehrGAN[32]被用于增強電子健康記錄數據，半監督學習的引入讓生成樣本和原始樣本的類別更有可能一致。也有人嘗試將RNN 和CNN結合起來用在生成對抗網絡：BiLSTM-CNN GAN[33]將RNN 用于生成器，將CNN 用于判別器。RNN 生成時間序列可以充分利用時序依賴性，基于前一時刻的值決定下一時刻的值；用CNN 做判別器可以在不影響準確度的基礎上通過并行化加快判別速度。

對于音頻數據，有人參考在頻率域進行數據增強的方法，將頻譜圖看作圖片，用DCGAN 生成新的頻譜圖，如SpecGAN[34]。將DCGAN 擴展到一維的情況，直接對音頻信號應用一維CNN 得到WaveGAN。在不同的評價標準下，SpecGAN 和WaveGAN 二者各有優劣[6]。SpecGAN 更能充分利用數據間的內在關系，WaveGAN 簡化了增強流程，生成的數據和原始數據更加相似。不過二者都只能生成1 s 左右的短音頻，離實際應用仍有差距。

字詞天生的離散特性為GAN 應用在自然語言處理任務上增加了難度。前述方法往往只針對實值的、具有連續特征的數據。生成字詞的最后一步是選擇最大可能性的單詞，這一argmax 操作是不可導的。若直接利用現有的語言生成模型作為生成器，整個模型無法反向傳播判別器計算的損失。一種方法是引入自編碼器（auto-encoder），利用GAN 生成其中的連續的編碼表示[35]。不過性能優良的自編碼器需要大量的真實語料做訓練，與進行數據增強的目的相悖。

2.3 基于RNN 的GAN

類比于DCGAN 和CGAN，有研究者將RNN 引入GAN 設計出循環GAN（recurrent GAN，RGAN）和循環條件GAN（recurrent conditional GAN，RCGAN）[36]，生成實值的多維時間序列數據，如圖6[36]所示。RGAN在每一時間點都根據不同的隨機數種子生成一個隨機值，交給生成器生成一段時間序列；判別器在每一時間點都給出一個關于當前時間序列是否為真實序列的判斷，最后通過投票機制得到判別結果。RCGAN在此基礎上引入條件輸入。在醫學領域的二分類問題上，盡管使用RGAN 生成的數據進行訓練并沒有直接使用真實數據訓練的效果好，但是考慮到醫學領域的很多數據難以獲得等現實問題，這種方法仍然具有其應用價值。

Fig.6 RGAN and RCGAN圖6 RGAN 和RCGAN

時間序列GAN（time-series GAN，TimeGAN）[37]則在基于RNN 的GAN 的基礎上引入可學習的嵌入空間（embedding space），用監督學習和對抗學習共同訓練。用有監督的損失函數指導模型學習，可以讓模型學習到每一時間點的條件分布，而不是只讓模型判斷每一個序列的真假；嵌入網絡用來降低對抗學習空間的維度。在股票、能源等多個數據集上的實驗表明TimeGAN 顯著優于RCGAN 等模型，其中TimeGAN 的有監督的損失函數、嵌入網絡和共同訓練這三點都發揮了非常重要的作用。

在實際應用中，一個數據集可能包含從多種分布產生的時間序列。可以將數據分成多個子集，對每一個子集應用一個GAN 來生成符合具有這一部分子集特點的數據，最后將所有GAN 生成的數據匯總起來。這種使用多個GAN 的方法的有效性在多種數據集上被驗證[38-39]，但會引入較大計算量。

基于RNN 的GAN 在音頻數據上的應用多集中在音樂生成任務上。音樂被視為是離散的符號序列，同樣會面對與用GAN 生成自然語言文本類似的不可導問題。為了解決這一問題，在生成器和判別器都使用了RNN 的C-RNN-GAN[40]將每一時刻的音樂特征化為了連續值，SeqGAN[41]則引入了強化學習的策略梯度方法，但只在生成器使用RNN。用于人聲和伴奏分離任務的G-RNN-GAN[42]將判別器簡化成了多層感知機。簡單的結構有助于提高模型效率，但是該方法的作者并沒有證明使用多層感知機的充分性，判別器的性能提升空間仍有待探索。DCRGAN（deep convolutional recurrent generative adversarial network）[43]是將RNN 結構的生成器用于語音增強任務的一例，而判別器使用CNN。相比于CNN，RNN 在音頻數據上的應用很少且多只在生成器上應用，判別器使用CNN 等可以并行化的結構有助于提高判別效率。

增強自然語言文本同樣存在不可導問題。前述的引入自編碼器的思路也可以在編碼空間使用RNN生成和判別[44]，但相應的缺陷依然存在。有人提出了更為簡單的方法，用可導的Gumbel-Softmax 函數替代原來的argmax 操作[45]。這種方法有對現有模型的修改小，“即插即用”的優點，但只被證明在簡單符號序列上有效。整體而言，用GAN 做語料生成的技術并不成熟，距離工業應用有一定差距。

3 總結與討論

3.1 總結

本文以應用在不同序列數據上的增強方法背后的共同點為線索，介紹了在時間序列、音頻、自然語言等多種序列數據上進行數據增強的方法，分別如表1～表3 所示。這些方法更多地適用于分類問題，而應用在其他任務上的數據增強方法還有待更多的研究。

Table 1 Comparison of augmentation methods for time series表1 時間序列數據的增強方法比較

Table 2 Comparison of augmentation methods for audio data表2 音頻數據的增強方法比較

Table 3 Comparison of augmentation methods for text data表3 文本數據的增強方法比較

3.2 在測試集上應用數據增強方法

數據增強方法一般被應用在訓練數據集上，實際也可以應用在測試數據集上，實現類似于集成學習的方法。這樣的方法被稱為測試時間的數據增強（test-time augmentation），用以和常見的訓練時間的數據增強（train-time augmentation）相區別。

例如在時間序列分類任務中，對一個原始序列應用窗口切片方法得到多個序列，分別預測這些序列的標簽，再投票決定原始序列的標簽輸出[4]。在通用的UCI 數據集上的實驗表明了該方法的有效性。類似的方法也被應用在醫學領域[46-47]，減少了以高置信度輸出錯誤答案的情況。這類方法可以幫助模型輸出更好的不確定性估計，但是會顯著增加測試時間。

3.3 標簽上應用數據增強方法

不同于常見的對輸入數據變換的增強方法，DisturbLabel[48]是對標簽進行修改，在訓練過程中的每一輪引入小部分標簽被故意改錯的數據。盡管這種做法是反直覺的，但這種方法被證明在心電圖數據[47]和調制信號[49]等多個序列數據的分類任務中有效。在信噪比較高時DisturbLabel 的效果最好。不過整體而言這種方法應用在序列數據上的情況較少，有待后續研究探索更多在序列數據上的應用。

3.4 用數據增強方法緩解數據不平衡問題

如果在使用數據增強方法時指定生成那些原始數據量較少的類的樣本，數據增強方法可以用來緩解數據不平衡的問題。前述的異常標簽擴展方法就是為了增加樣本數量較少的異常數據而設計的。CycleGAN 被用來生成情緒分類（emotion classification）數據中出現次數較少的情緒標簽，使得分類任務的精度提升5%～10%[50]；GAN 的一個變種對抗自編碼器（adversarial autoencoder，AAE）[51]被應用在異常檢測任務中生成不頻繁但是正常的數據點，幫助異常檢測算法更好地判斷哪些是真正的異常點[52]。這同時也證明了數據增強技術可以應用在無監督任務中并取得不錯的效果。在這些例子中，GAN 一類的方法可以看成是一種聰明的過采樣的方法。

3.5 數據增強可能導致數據標簽發生改變

在做數據增強時需要特別留心的一點，是使用增強方法后新得到的數據的訓練目標（如分類標簽）是否和原始數據一致。比如在異常檢測任務中應用裁剪方法可能會將異常點裁剪出序列，此時序列的標簽應是一個正常序列。不改變訓練目標的數據增強方法被稱為“標簽保持的變換”（label-preserving transformation）[28]。而當使用的方法不滿足這一條件時，可能需要人工重新標注新生成的數據，這時需要平衡數據增強的效果和人工標注的成本。

3.6 數據增強方法的好壞沒有統一標準

本篇文章所提及的數據增強方法大多適用于分類任務，對于其他任務的研究則相對匱乏。數據增強方法的好壞不能一概而論，具體應使用的方法取決于具體任務。例如，盡管CGAN 是基于GAN 衍生出來的，且實驗證明在許多任務上CGAN 是優于GAN 的，但Sheng 等人針對兒童語音識別任務的研究[53]發現，平均來看GAN 反而優于CGAN[4]。有研究者基于具體任務研究不同數據增強方法的優劣，或設計多種評價標準來評價方法的好壞，具體可以參考文獻[54]。

使用數據增強算法本身往往伴隨著內存、訓練時間等資源開銷的增加，使用數據增強方法時應平衡任務效果的提升和引入的資源開銷。另外，本文提及的各類數據增強方法可以組合使用，進而提升數據增強的效果，這已被多個研究證明[55-56]。即使是同一個增強方法也可以在同一批數據上重復使用。圖7[12]展示了一個對序列數據進行數據增強的流程例，其中局部平均這一方法被重復使用了兩次。

Fig.7 Flow chart of data augmentation on sequence data圖7 對序列數據進行數據增強的流程圖

3.7 醫學數據是數據增強常見的應用領域

不難發現，無論是序列數據，還是圖片數據，數據增強研究和應用最為廣泛的往往是醫療領域的數據[15,32-33,36,38,56-57]。一些疾病的診斷依賴于專業醫生在體征信號中根據時序關系的異常來發現，但由于保護患者隱私、商業競爭等原因，醫學數據往往是匱乏的。GAN 等方法不是簡單地對現有的數據進行復制，因此基于GAN 來生成相關的人造的醫療數據不僅可以起到增加訓練數據的作用，共享相關的生成數據也不會侵犯個人隱私。這也是GAN 被廣泛應用在醫療數據上的一個原因。

3.8 將強化學習應用于數據增強

隨著強化學習的興起，出現了基于強化學習進行數據增強的工作。強化學習模型通過與環境的不斷交互，可以自己挑選出最優的數據增強方法[58]或組合出最優的數據增強流程[59]。

回顧增強文本數據或音樂數據時出現的不可導問題，強化學習解決不可導問題的方法給這一問題的解決提供了思路，如Hu 等人的方法[60]、TextGAIL（text generative adversarial imitation learning）[61]、CTGAN（conditional text generative adversarial network）[62]等。不過強化學習方法本身的魯棒性差、調參困難等問題尚未得到解決，應用到數據增強時這些問題依然存在，相關方法還有很大的探索空間。

4 展望

基于深度學習的數據增強是當今機器學習領域研究最為火熱的子領域之一，還有非常多的問題供研究者們探索，如結合元學習（meta-learning）和數據增強[63]，結合神經網絡結構在特征空間進行數據增強，用強化學習方法來增強數據等。在討論部分簡單介紹了在測試階段或對標簽信息進行數據增強的方法，這方面的更多研究成果也值得期待。

有人可能認為數據增強技術更像是一個應用問題，依賴于深度學習技術的發展而無法給深度學習的理論研究帶來幫助。事實上一些數據增強方法對于效果提升的幫助的原因還不清楚，了解其背后作用的機理不僅有助于人們更好地使用、設計數據增強方法，也可能幫助人們更深入地理解CNN 等神經網絡結構，提高神經網絡的可解釋性。