圖像數據增強技術研究綜述

朱曉慧，錢麗萍，傅 偉

（北京建筑大學電氣與信息工程學院，北京 100044）

0 引言

基于數據驅動的人工智能時代已出現一個明顯趨勢——那些具有豐富、廉價數據的領域更容易孕育出AI 技術。但目前眾多領域現有數據集大都存在規模較小、分布不均衡且采集、標注困難等突出問題，可以說數據的匱乏或昂貴往往是阻礙人工智能發展的直接原因。為解決這一問題，數據增強技術應運而生。數據增強的主要挑戰是如何將現存的小規模數據集經由變化或學習，使數據擁有“自我繁殖”的能力，從而產生足量、合理且均衡的擴增數據。因此，國內外專家學者對其進行了大量研究，如今數據增強技術在醫學影像、視頻影音及自然語言處理等領域都有著廣闊的應用前景。

目前，國內針對數據增強技術進行全面綜述的文獻較少。文獻［1］對基于深度神經網絡的少樣本學習方法進行全面總結，將數據增強作為其中一類方法進行介紹，但缺乏重點性和全面性；文獻［2］對基于生成對抗網絡的數據增強方法進行綜述，但只介紹了數據增強中的生成對抗網絡技術，同樣不夠全面。本文則對不同種類的數據增強技術進行全面調研，重點分析所采用的典型策略。根據數據增強方式的不同，將現有數據增強技術分為有監督和無監督兩大類，對這兩個類別的研究分別進行討論，并將每個類別作進一步細分，對各個子類別進行具體介紹，最后闡述各種數據增強技術在圖像領域的應用。

1 數據增強及其典型分類

1.1 數據增強

數據增強也稱為數據擴增，是一種擴充數據規模的有效方法。該技術的發展主要具有以下3 方面重要意義：

（1）豐富數據集本身。將不斷發展的數據增強技術應用于各種數據集上，很好地解決了目前數據集存在的規模小、質量差、不均衡且難以獲取等問題，從數量和性能方面豐富了數據集本身，這是數據增強對數據集起到的最直接的作用。

（2）提升相應分類檢測系統性能。通過數據增強獲得大量結構合理、種類多樣的數據，很好地滿足了深度學習模型對數據集數量和質量的高要求，減少了網絡過擬合現象，從而得到泛化性能好的網絡模型，對相應分類器、檢測器等準確率的提升具有一定促進作用。

（3）拓展延伸價值。數據增強技術不斷發展，現已廣泛應用于眾多領域。在數據至上的時代，從數據角度推動多個行業發展，這是數據增強技術帶來的附加延伸價值，具有深遠的意義。

1.2 典型分類

現有數據增強技術按照不同標準可劃分為不同種類。其中較為典型的分類包括：根據數據集處理階段分類、根據數據增強方式分類以及根據數據增強應用領域分類，具體如圖1 所示。

Fig.1 Typical classification of data enhancement methods圖1 數據增強方法典型分類

2 有監督數據增強

2.1 單樣本數據增強

2.1.1 幾何變換類

幾何變換類主要從圖像數據形態出發進行數據增強，包括翻轉、旋轉、裁剪、縮放變形以及仿射等操作。

（1）翻轉（Flip）。包括水平翻轉和垂直翻轉，將圖像的左右（或上下）部分以圖像垂直（或水平）中軸線為中心進行鏡像對換，顯然該操作可以簡單地增加樣本數量。

（2）旋轉（Rotation）。旋轉操作是對翻轉的進一步提升，一般以圖像中心為旋轉中心進行隨機旋轉（有正負角度約束），以此獲得更多形態的圖像數據。

（3）裁剪（Crop）。隨機定義感興趣區域，截取該區域圖像并調整為原始圖像尺寸。該操作相當于增加隨機擾動，可獲取大批量的新數據。隨機裁剪幾乎是所有深度學習框架訓練都會采用的數據增強方法，在LeNet、AlexNet 及VGG 等經典深度學習網絡訓練中均有所涉及。

（4）縮放變形（Zoom）。按照設定的比例縮小或放大圖像數據，但該操作會改變圖像大小，存在失真問題，但全卷積網絡對于尺度沒有嚴格要求。

（5）仿射。仿射類操作包括視覺變換操作和分段仿射操作，前者通過對圖像應用隨機的四點透視變換加以實現，后者則通過移動圖像中點網格上的點及點周圍區域加以實現。

上述方法都屬于幾何變換類數據增強方法，以此擴增數據最為簡單、常用。但過多地使用這些變換方法會導致擴增的數據樣本較為單一，且會產生大量無實際應用價值的數據樣本，因此研究者們又從其他角度出發提出很多變換方法。

2.1.2 顏色變換類

上述幾何變換類操作沒有改變圖像本身內容，只是選擇圖像的一部分或對像素進行了重布置，因此在增強樣本的多樣性方面存在欠缺。若通過改變圖像本身的內容實現增強，則屬于顏色變換類數據增強，常見操作包括噪聲、模糊、顏色變換、隨機擦除以及超像素法等。

（1）噪聲。基于噪聲的數據增強是指在原始圖片基礎上隨機疊加一些噪聲，主要包括高斯噪聲、CoarseDropout、SimplexNoiseAlpha 以及FrequencyNoiseAlpha 等。其中，添加高斯噪聲是最簡單、常用的方法，其通過對圖像添加符合高斯分布的噪聲來實現；CoarseDropout 方法則相對復雜，其通過在位置隨機且面積大小可選定的矩形區域上丟失部分信息實現轉換；SimplexNoiseAlpha 方法是在產生連續單一噪聲的掩模后，將掩模與源圖像進行混合；Frequency?NoiseAlpha 方法是在頻域中用隨機指數對噪聲映射進行加權后，再向空間域進行轉換。

（2）模糊。該操作通過減少各像素點值的差異實現像素的平滑化，主要包括簡單、常見的高斯模糊，以及根據扭曲場平滑度與強度逐一移動局部像素點實現模糊效果的ElasticTransformation 方法。

（3）顏色變換。顏色變換是指通過多種方法實現圖像視覺角度可見的明顯改變，包括向HSV 空間每個像素添加或減少V 值來改變色調飽和度的HSV 對比度轉換法、將圖片從RGB 顏色空間轉換到另一顏色空間增加或減少顏色參數后再返回RGB 顏色空間的RGB 顏色擾動法、按給定概率值將部分或全部通道像素值從v 設置為255-v 的轉換法，以及將圖像從RGB 轉換為灰度空間再借由某一通道與原圖混合的GrayScale 法。

（4）隨機擦除。顧名思義，該方法就是對圖片上隨機選取的一塊區域進行圖像信息擦除操作。

（5）超像素法。從像素角度出發，在最大分辨率處生成圖像的若干超像素并調整到原始大小，再將原始圖像中所有超像素區域按一定比例替換為超像素，其他區域不變。

上述為顏色變換類的數據增強方法，該方法一定程度上增加了數據樣本的多樣性與變化性。文獻［3］采用顏色變換方法對從千島湖海參養殖場采集的數據進行數據增強，提高了模型識別的準確率；文獻［4］使用色彩增強方法對CompCars 數據集進行增強處理；文獻［5］利用增強模型對道路圖像進行顏色空間轉換，得到突出車道線的高對比度增強圖像。顏色變換類數據增強方法在各領域研究中應用較為廣泛，也取得了比較突出的成果。

2.2 多樣本數據增強

2.2.1 SMOTE

SMOTE 通過人工合成新樣本處理樣本不平衡問題，該方法基于插值，可以有針對性地為小樣本類合成新樣本。其作為多樣本數據增強方法的一種得到了有效應用，并在不斷優化完善的過程中涌現出大量改進方法。針對SMOTE 在合成少數類新樣本時存在的不足，文獻［6］提出一種改進的SMOTE 算法GA-SMOTE，將遺傳算法與SMOTE 相結合，通過選擇算子對少數類樣本進行有區別的選擇，并使用交叉、變異算子控制合成樣本質量。該改進方法不僅能出色地實現新樣本的整體合成，還能有效提高分類器性能。文獻［7］介紹SMOTE 算法在處理不平衡數據集過程中，存在采樣有效性不足、模糊正負類邊界、影響原始數據分布等缺陷。之后以此為基礎，提出KM-SMOTE 和RM-SMOTE 兩種優化策略。文獻［8］在SMOTE 算法及其改進版本BSMOTE 兩個具有代表性方法的基礎上，提出DBSMOTE 算法進行新的少數類樣本生成。該方法以邊界樣本及其最鄰近多數類樣本的中點作為新樣本合成來源，在拓寬少數類分類邊界的同時，降低了生成噪聲數據的可能性。

1.1.1 試驗材料 2017年5月9日在浙江省杭州市臨安區浙江農林大學平山試驗基地種植徐薯22．每個小區面積3.6 m2,扦插60株,3次重復．8月5日開始采收,測定小區內的甘薯葉和葉柄,間隔10 d再進行一次采收,至8月25日,共采收3次;采收的甘薯葉片葉柄在45 ℃烘干至恒質量,粉碎,過90目篩，低溫保存待測．

2.2.2 SamplePairing

SamplePairing 方法主要用于數據增強，其核心原理簡單，即隨機從原訓練集中抽取兩張不同類別的圖片，將其分別經過如翻轉、移動等基礎數據增強操作后，采用像素取平均值的方式疊加合成新數據樣本，并選擇原數據樣本標簽中的一種作為新數據標簽。SamplePairing 是一種高效的數據增強手段，滿足奧卡姆剃刀原理，經其處理后的訓練集規模可由N 擴增為N*N。但該方法因可能引入不同標簽樣本而導致訓練誤差明顯增加，且可解釋性不強、缺少理論支撐，故對其的應用研究相對較少。

2.2.3 Mixup

Mixup 是基于鄰域風險最小化原則的數據增強方法，其使用線性插值得到新樣本數據，是對SamplePairing 的進一步延伸，也是一種對圖像進行混類增強的算法，可將不同類別的圖像混合以擴增訓練數據。目前采用Mixup 方法進行數據增強的研究已有很多，如文獻［9］從對抗訓練角度解釋了Mixup 工作機制，既證明了其有效性，又提出在其基礎上改進的方案系列；文獻［10］通過對Mixup 的深入分析，確定其“manifold intrusion”的局限性，并針對此問題提出一種新穎的自適應版本Mixup，對原方法進行了一定改進；文獻［11］也對Mixup 方法進行了介紹與應用，由其訓練的模型都具有很好的泛化能力。大量實驗結果表明，Mix?up 可以改進深度學習模型在ImageNet 數據集、CIFAR 數據集、語音數據集和表格數據集中的泛化誤差，減少模型對已損壞標簽的記憶，增強模型對對抗樣本的魯棒性和穩定性。盡管有著較好的改進效果，但Mixup 在偏差與方差平衡方面尚未有較好的解釋。

3 無監督數據增強

傳統數據增強方法大多是有監督形式，但這類方法完全由使用者定義，不是所有任務都適合。故為了獲得更好的訓練模型，無監督方式引起了人們關注，目前主要從生成新數據和學習增強策略兩個方向進行探究。

3.1 生成新數據

通過模型學習數據分布，隨機生成與訓練數據集分布一致的數據是無監督數據增強方法的重要組成部分。為了實現這種方式，生成對抗網絡（Generative Adversarial Networks，GAN）因具有強大的學習與生成能力受到了部分專家學者關注［12］。生成對抗網絡思想的誕生是受到博弈論中二人零和博弈的啟發，通過兩個參與者的對抗互相提升，其中包含兩個模型：生成模型G 和判別模型D。具體網絡模型結構如圖2 所示。

Fig.2 Generative adversarial network model圖2 生成對抗網絡模型

GAN 模型相比于FVBNs 模型能夠并行生成樣本，而不需要逐維產生；相比于玻爾茲曼機、非線性ICA 等生成模型對生成器的限制較少，能夠收斂到納什平衡，從而生成高質量的數據樣本。正因具有這些優點，GAN 在數據增強領域已得到廣泛應用。如文獻［13］提出使用生成對抗網絡進行數據增強以解決不平衡數據問題，其生成的圖像樣本具有較好的多樣性；文獻［14］將生成對抗網絡應用于生物領域癌癥數據樣本的生成，實現訓練集樣本規模的擴增，相比傳統方法提高了識別準確率。生成對抗網絡的應用使數據增強領域迎來了突破性發展。

3.2 學習增強策略

作為無監督數據增強的另一類研究方向，學習增強策略不需要人工干預，而是通過模型自主學習出適合當前任務的數據增強方法，其中以近年來提出的AutoAugment 和PBA（Population Based Augmentation）方法最具代表性與創新性。

4 圖像領域應用及性能分析

4.1 醫學圖像

由于醫學數據本身的隱私性、復雜性以及添加專家標注的困難性，探究恰當、有效的數據增強方法是十分必要的。目前數據增強技術已被應用于肝臟組織CT、腦部MRI及胸部X 射線等醫學圖像增強。

文獻［18］利用DCGAN 成功生成肝臟病變組織CT 圖像，并與經典數據增強方法進行比較，實驗結果表明，利用GAN 生成的圖像對數據集進行增強能夠將分類準確率提升7%；文獻［19］在肺結節病變組織生成過程中，使用DC?GAN 生成真實性較高的結節圖像；同樣，文獻［20］針對肺結節病變問題，也提出使用DCGAN 進行數據增強，該方法不僅克服了隨機剪裁、圖像縮放等操作造成的圖像尺寸與病變位置變化的問題，而且還能生成質量高、形狀多樣的肺結節圖像，且該方法生成速度更快、成本更低。針對腦部MRI 圖像樣本數量少的問題，文獻［21］通過具有跳躍連接結構的自編碼器對腦部MRI 圖像進行降噪處理，并采用DCGAN 生成圖像，在病理特征和圖像質量兩方面都與真實圖像具有較高相似度；文獻［22］采用左右翻轉和旋轉方法對MRI 圖像進行增強，然后將增強后的數據樣本用于醫學圖像分割領域，極大地提高了分割精度。另外，文獻［23］運用改進的GAN 方法擴充胸部X 射線數據集，并通過圖靈測試驗證其有效性；文獻［24］運用GAN 增強胸部X 射線圖像數據集，并將其應用于卷積神經網絡訓練，可實現對心血管異常的分類，相較于傳統數據增強方法，用GAN 進行數據增強能實現更高的分類準確率。數據增強在醫學領域的具體應用遠不止這些，但由此足以看出數據增強在該領域運用的廣泛性和必要性。

醫學圖像數據增強匯總分析如表1 所示，可看出目前生成對抗網絡數據增強在醫學領域應用較多，且效果很好。

4.2 人臉表情圖像

人臉表情識別方法使得計算機能夠感知人類情感，如今在計算機視覺、模式識別、心理學及認知科學等領域都得到了廣泛應用。然而，現有的人臉表情數據庫規模較小且數據量不均衡。為解決該問題，文獻［25］采用添加噪聲、裁剪等傳統方法合成新樣本，為識別系統的訓練提供大量數據；文獻［26］比較了分別采用調整大小、裁剪、添加噪聲及調整對比度等單一方法取得的效果，還分析了結合使用這些技術實現的性能提升；文獻［27］的模型中也引入圖像隨機翻轉、旋轉和裁剪等數據增強方法以克服小數據問題。

傳統針對圖像識別任務的數據增強方法，如進行幾何或像素顏色變換存在圖像相似度過高的問題，無法增加圖像特征的多樣性。因此，文獻［28］提出一種基于約束性循環一致生成對抗網絡（CCycleGAN）的方法，從本質上擴展人臉表情數據集；文獻［29］提出的StarGAN 模型架構有效解決了現有方法在處理兩個以上域時擴展性和魯棒性有限的問題，實現了僅依靠單個模型對多個域中圖像轉換生成的目標。基于此，文獻［30］提出一種靜態圖像數據增強方法，通過修改StarGAN 模型的重構誤差構造新目標函數，利用生成器生成同一個人的不同面部表情，以更好地實現多種人臉表情圖像風格之間的轉換。人臉表情圖像數據增強匯總分析如表2 所示。

Table 1 Summary analysis of medical image data enhancement表1 醫學圖像數據增強匯總分析

Table 2 Summary analysis of facial expression image data enhancement表2 人臉表情圖像數據增強匯總分析

4.3 行人監控安防圖像

在自動駕駛、智能監控、行人分析和智能機器人等領域，行人檢測技術是其中的關鍵環節。目前基于深度學習的行人檢測方法都需要在大量有標注數據的情況下進行訓練才能取得理想效果。如文獻［31］使用隨機顏色失真、隨機擴展、隨機裁剪、隨機插值調整圖片大小、水平翻轉等傳統方法增加訓練量，以提高行人檢測模型的準確率。然而行人樣本圖像的生成不僅需要行人圖像自身足夠真實，還要能夠與背景環境自然融合，鑒于這兩點要求，若直接采用普通生成式模型將難以滿足實際需求；文獻［32］提出一種新穎的自動化生成帶標注行人數據的方法——PSGAN，其是第一個把生成對抗網絡用于行人或物體檢測類任務的數據增強模型，可提高檢測準確率；文獻［33］提出基于生成對抗網絡的鐵路周界行人樣本生成算法，生成圖像與原圖像基本相似，有較好的泛化性能且能更好地兼顧環境；文獻［34］為解決行人數據集規模小的問題，也提出基于GAN 的數據增強方案。行人樣本圖像數據增強匯總分析如表3 所示。

Table 3 Summary analysis of pedestrian sample image data enhancement表3 行人樣本圖像數據增強匯總分析

4.4 討論

無論是醫學還是行人安防等領域圖像，數據增強方法本質上都是相似的：傳統直觀的方法是對不同信號進行裁剪、拼接、交換、旋轉、拉伸等，基于深度學習模型的方法主要是生成與原數據相似的數據。有監督增強方法大多應用于各領域的分類檢測任務，而無監督增強方法既在分類檢測任務中有所應用，也在獨立數據樣本生成任務中有所涉及。但無論在哪個領域，只要選取適合的數據增強方法，均能起到一定的效果。

5 結語

本文綜述了數據增強技術采用的主要方法及其應用研究，具體從有監督和無監督兩方面進行介紹，并介紹了數據增強技術在圖像領域的應用。數據增強技術作為快速解決數據不平衡或數據缺失問題的一種強有力的工具，展現出極大的價值和潛力。數據增強方法作為緩解圖像數據集不足等問題的有效措施已得到較廣泛的應用，對具體方法的選擇與已有數據及任務目標息息相關。在后續研究中，如何通過分析已有數據及要完成任務，選擇更合適或運用更恰當的數據增強方法成為研究者們需要進一步探究的問題。