CycleGAN、ACGAN在人工智能醫療器械數據增廣中的應用

郝鵬飛，李瑤，柴蕊，裴曉娟，于哲，李慶雨，陳曦，張克

1.山東省醫療器械和藥品包裝檢驗研究院 醫用電器質量評價中心，山東 濟南 250101；2.道普信息技術有限公司，山東 濟南 250101

引言

隨著圖形處理器等硬件技術的發展及各類人工智能算法的突破，人工智能產品成為最熱門的賽道之一。人工智能算法作為功能引擎，為各個行業提供生產動力輸出。在醫學+人工智能領域，現有案例證明，利用人工智能可對常見高發慢性疾病進行風險評估，大大減輕醫生工作負擔，提升就醫效率[1-3]。

醫學領域大批量人工智能產品面世，給醫療器械檢測機構帶來了前所未有的壓力。其中，產品優劣程度對病情、病變檢測等診斷結果起著決定性的導向作用，因此，如何測試人工智能算法成為醫療行業中亟待解決的主要問題。眾所周知，人工智能算法分訓練集和測試集，測試集為算法指標評估重要的輸入[4]?，F今，對檢測機構來說，由于承檢量大，產品種類多，很難建立全域測試數據集，因此只能依賴送檢機構針對人工智能產品提供的測試數據集，但醫療器械檢測機構很難判斷此數據集是測試集還是訓練集，因此無法保證算法模型質量。

基于以上考慮，結合國內外數據處理加工算法，本文提出一種包含循環生成對抗網絡（Cycle-Consistent Generative Adversarial Networks，CycleGAN）、輔助分類生成對抗網絡（Auxiliary Classification Generative Adversarial Network，ACGAN）進行數據增廣的方法集合。由于肺部影像診斷是臨床影像學中的一個重要分支，肺部影像學的自動化分析也是人工智能醫療設備的熱點研究方向之一，且肺部影像中的結構和形態比較規律，更容易進行算法研究、評估和比較，因此本文選擇肺部圖像作為研究對象。本文旨在對送檢數據集進行變換或生成特定領域數據，以保障模型對數據的不可見性，提高模型評估的置信度。

1 傳統數據添加擾動方法

傳統數據添加擾動方法可分為圖像旋轉與翻轉、圖像加噪、圖像疊加濾波[5]。該類方法為基于一張原始圖像進行規律性變換，且不同方法變換的方式不同，在整個變化過程中不會過多地影響圖像的整體結構和圖像質量。傳統數據添加擾動方法如圖1所示，圖像均采用肺炎圖像里的一小塊區域，每種方法從左到右設置閾值為由低到高。

圖1 傳統數據添加擾動方法

圖像旋轉與翻轉是圖像像素進行空間幾何變換的結果，是最初等的變換，也是數據增廣的常用方法。圖像旋轉是讓圖像以某一點為中心旋轉指定的角度。為了保障圖像的完整度，基于醫學領域圖像旋轉以中心點作為基點，以90°作為旋轉角度最小變換量。經過旋轉或翻轉的圖像，其圖像內容不會發生變化，但是原坐標系需要通過角度等復雜計算，才可得到目標坐標空間。

圖像中的噪聲不是來自原始場景內容的偽影。一般來說，噪聲是隨機過程中產生的測量值的統計變化[6]。在成像中，噪音以涵蓋畫面的粒子結構為偽影出現在畫面中。噪聲在圖像中可有不同的形式和外觀，也可根據需求設置噪聲大小，具體效果如圖1a～c所示。為了增加圖像噪聲作為檢測模型的輸入，本文對人工智能模型進行多層次噪聲檢測，以更好地測試模型的魯棒性。

圖像可以看作由多塊子圖像組成，各塊內像素相似且過渡緩慢，塊與塊相鄰部分稱作邊緣。現今圖像濾波常用于圖像塊內平滑降噪、去細節并最大程度保留圖像邊緣[7]。圖像濾波因具備去除噪音、去除圖像細節、保持圖像邊緣的能力而被廣泛使用。具體效果如圖1d～f所示。醫學領域中的影像也常用濾波技術進行去噪處理[8-9]，本文提到的濾波區別于常用用途，旨在對醫學影像進行濾波變換，在不改變圖像整體結構和元素的前提下對圖像進行加工。

傳統數據添加擾動方法是在不改變圖像整體結構的前提下，對醫學圖像數據進行加工，處理后的數據為模型的測試集。通過傳統數據添加擾動，使用不同方法、不同閾值對數據進行變換，將得到的測試集分別應用于模型測試，可以更精準地評估模型的魯棒性。

2 CycleGAN生成干擾圖像

傳統數據添加擾動方法都是基于某種規律對圖像進行變換，隨著人工智能技術的不斷發展，CycleGAN 應運而生。CycleGAN 突破了原始生成模型的枷鎖，以一種新的模態展現在人們面前，取得了令人滿意的效果。

2.1 CycleGAN的優勢

CycleGAN 是生成對抗網絡（Generative Adversarial Networks，GAN）的一種類型，由2 個生成器和2 個判別器組成，可學習兩個域之間的映射且無須進行數據配對。生成器學習將圖像從一個域映射到另一個域，判別器學習區分真實和假的圖像。CycleGAN 的關鍵方法是循環一致性損失，確保生成的圖像可映射回原始域。CycleGAN 已應用于各種領域，包括圖像風格轉移、圖像到圖像的翻譯和醫學影像領域。在醫學影像中，CycleGAN 已用于圖像配準、圖像合成和圖像分割。例如，Zhu 等[10]使用CycleGAN 將磁共振成像圖像合成電子CT 圖像進行放射治療規劃，生成的CT 圖像在圖像質量和準確性方面與真實CT 圖像相當。

本文使用CycleGAN[11]作為生成擾動圖像方法的原因有：① CycleGAN 的通用性更強，不依賴于具體的任務；② 生成器輸入的不是隨機噪聲，而是圖像，由于本文的目的是在原始圖像基礎上添加擾動，因此CycleGAN 生成器輸入原始圖像較傳統GAN 生成器輸入隨機噪聲，可更好地保留原圖特征；③ CycleGAN 的訓練集只需準備原始圖像和帶有擾動的圖像即可，數據之間無須進行對應關系的映射[12]。

2.2 數據準備

CycleGAN 需要2 個集合的數據即原始數據（A）和目標數據（B），訓練集與測試集比例設置為5 ∶1。構造數據集的具體過程為：以肺炎圖像為例，首先挑選出1800 張肺炎圖像作為基礎數據（本文肺炎圖像均來源于Kaggle 網站[13]），再隨機選出1500 張和300 張圖像作為訓練集和測試集中的集合A，然后使用傳統添加擾動的6 種噪聲和濾波變換方法對1800 張圖像進行變換，每種方法設置3 個閾值，具體數值如表1所示。

表1 圖像變換對應表（張）

表1 中以行列進行排列組合，可分成18 個類即18 個100 張集合。以隨機的策略在17 個類別中選取17 張，在最后一個類別中選取11 張，湊夠測試集B 集合的300 張圖像。剩下的1500 張圖像作為訓練集的B集合使用。該方法一方面可避免數據出現偏態分布，導致模型訓練效果不佳，另一方面可使模型對該18 個類別數據進行學習，融合多種變換方式，從而在原圖像基礎上生成不規則的擾動信息，并對其進行圖像加工。

2.3 CycleGAN的原理

CycleGAN 包含2 個生成器和2 個判別器，見圖2，如果從一個圖像轉換到另一個圖像后再返回，可得到最初始的圖像。以肺炎圖像為例（圖2），a為原始肺炎圖像，經過生成器G 生成添加擾動肺炎圖像，再經過生成器F 生成圖像。與其他對抗網絡不同，CycleGAN增加了循環一致性損失的目的是使得向a靠攏，反之亦然。

圖2 CycleGAN計算原理圖

指標最優模型的推理結果如圖3所示。作為肺炎圖像數據，圖像中整體的結構和元素沒有發生太大變化，圖像中均有不同程度噪聲和濾波的擾動信息，實現了基于原始圖像添加不規則擾動的目的。

圖3 推理效果展示

3 ACGAN生成特定領域數據

對醫學領域而言，領域性強、標注成本高導致醫學數據稀缺且數據集體系不規范[14]。對于醫療器械檢測機構，特別是檢測人工智能相關產品的機構，數據作為最基礎的檢測元素必不可少，確保該類數據不是產品模型訓練集中的數據同樣重要，且數據量越大越好。

現今人工智能技術飛速發展，GAN 作為神經網絡發展的產物，成為近幾年深度學習中較為活躍的領域。GAN 主要利用博弈的方法優化生成器，在完成訓練后復用生成器生成數據[15]。本文經過多種GAN 嘗試擬完成生成醫學特點領域數據的目標，解決數據不足等問題。

3.1 ACGAN的優勢

雖然醫學領域每天都會產生大量數據，但數據標注和脫敏復雜等仍是導致醫學領域應用于人工智能模型開發數據不足的根本原因。作為科研人員或人工智能軟件開發者，可使用公開數據集進行模型訓練和評估，但作為醫療器械檢測機構，使用公開數據集只能作為一種檢測手段，說服力較低。因此，本文致力于探究一種在醫學特定領域可以生成標簽數據的GAN。

2014年條件生成對抗網絡（Conditional Generative Adversarial Networks，cGAN）進入了大眾的視野[16]，隨后眾多知名算法橫空出世，例如：信息最大化GAN[17]、深度卷積GAN、半監督GAN（Semi-Supervised Generative Adversarial Networks，sGAN）等。本文應用ACGAN算法生成肺炎領域帶標簽數據，在介紹ACGAN之前，首先要了解cGAN和sGAN。

cGAN[18]與其他GAN 的不同之處在于其使用“條件”輸入指導圖像的生成，生成器網絡可因此接收到額外的信息，例如標簽或特定圖像，有助于其生成更具體、更逼真的圖像。例如，如果條件輸入是一個標簽，表明生成的圖像應該是一只貓，生成器網絡將嘗試生成一張看起來盡可能逼真的貓圖像。

sGAN[19]利用判別器或分類器一端重建標簽信息，從而提升GAN 的生成效果。研究發現，當模型處理額外信息時，反而會讓模型本來的生成任務完成得更好。優化后的分類器可有效提升圖像的綜合質量。

ACGAN[20]將以上2 種思想結合建立輔助分類GAN，使用“輔助分類器”指導圖像的生成。輔助分類器是一個單獨的神經網絡，經過訓練可預測生成圖像的類別。附加信息有助于生成器網絡生成更逼真的圖像，使圖像更符合預期的類別。ACGAN 由1 個生成器和1 個判別器組成，類似于CycleGAN。ACGAN 還包括1 個分類網絡以學習預測生成圖像的屬性。生成器被訓練生成與所需屬性匹配的圖像，而判別器被訓練區分真實和假的圖像并預測其屬性。目前。ACGAN 已應用于各種領域，包括圖像合成、圖像到圖像的翻譯和醫學影像領域等。在醫學影像中，ACGAN 已用于圖像分類、圖像分割和疾病診斷。

3.2 ACGAN的原理

ACGAN 由1 個生成器和1 個判別器組成，生成器由若干個反卷積層和先行層組成，而判別器包含了若干卷積層和線性層。判別器通過Sigmod 函數判斷圖像真假，通過softmax 函數判斷圖像類別。

ACGAN 結構圖如圖4所示，類別信息與隨機噪聲進行橫向拼接作為生成器的輸入并進入網絡進行計算，類別信息以獨熱編碼的方法表示。以肺炎數據集為例，分3 個類別，分別為正常、細菌感染、病毒感染，在網絡中以向量[1,0,0]、[0,1,0]、[0,0,1]表示。生成器生成圖像分別和真實圖像及類別信息進行對比后輸入到判別器中，ACGAN 在原有GAN 損失的基礎上，增加了類別信息損失計算。生成器一旦訓練完畢，在推理時只需將類別信息編碼輸入到生成器中，即可生成帶標簽的數據。

圖4 ACGAN結構圖

3.3 ACGAN的應用

本文使用5856 張肺炎圖像作為ACGAN 的訓練集，3 個類別的數量分別為：正常1583 張、病毒2780 張、細菌1493 張。經過多次調參實驗，最終獲得了效果較好的生成器，生成器的生成效果如圖5所示。雖然距離真實圖像還有差距，主要原因是數據量不足、網絡結構不適配等，但相信隨著科技的發展，未來會有更多算法來支撐醫學領域數據的生成工作。

圖5 ACGAN生成器生成效果展示

4 應用方法

將CycleGAN 和ACGAN 組合用于人工智能醫療設備中的數據增廣，基本方法是使用CycleGAN 從現有醫學影像中生成新的醫學影像，再使用ACGAN 生成具有特定屬性的醫學影像。

實現步驟為：① 數據預處理：通過調整大小并歸一化像素值來預處理醫學影像；② CycleGAN 訓練：在預處理的醫學影像上訓練CycleGAN 模型，生成器學習將圖像從一個域映射到另一個域，判別器學習區分真實和假的圖像；③ CycleGAN 測試：使用訓練好的CycleGAN 模型從預處理的醫學影像中生成新的醫學影像，再將生成的圖像保存以供進一步處理；④ ACGAN訓練：在生成的醫學影像上訓練ACGAN 模型，生成器學習生成具有特定屬性的醫學影像，判別器學習區分真實和假的圖像并預測其屬性；⑤ ACGAN 測試：使用訓練好的ACGAN 模型生成具有特定屬性的醫學影像，生成的圖像可用于訓練機器學習模型，例如圖像分類和疾病診斷。

5 討論與總結

本文開展了基于醫療器械人工智能圖像領域數據增廣的方法研究，提出了CycleGAN 和ACGAN 結合用于數據增廣的方法。CycleGAN 和ACGAN 作為GAN 的變形，不僅適用于肺部圖像的增廣和添加擾動，還可用來處理各種類型的圖像數據，但需要針對具體的應用場景和數據集進行調參和優化以達到最佳效果。本文提出的方法解決了現有明確診斷結論的醫學圖像數據不足的問題，對送檢數據集進行變換或生成特定領域數據，保障了模型對數據的不可見性，大大提高了模型評估的置信度。

本研究還存在一些不足之處：① 對于送檢機構自行提供的數據集，在篩選原始數據質量時可能存在偏倚現象；② 醫學影像具體的操作任務及數據集的質量是影響數據增廣質量的關鍵因素，不當的數據增廣也可能造成負面影響；③ 基于GAN 的增廣方式往往需要大量的數據，而基礎訓練數據難以獲得；④ 本研究只提出了3 種數據增廣方式，對數據增廣后的實際應用和效果對比的研究還不夠深入，導致數據增廣后的數據尚不具備權威性，不能作為檢驗的依據，僅可用來提高模型的泛化能力，增加數據集的多樣性及減少數據集采集成本。

綜上所述，本文提出了一種測試方法以解決醫療器械檢測機構測試集不足的問題。下一步有必要針對生成對抗算法展開深入研究，對醫學不同領域數據集進行透徹分析，力求生成更實用的醫學領域數據，以幫助人工智能醫療器械檢測機構對產品進行可信檢測。