基于生成對抗網絡的無監督動態對比增強磁共振分解方法

彌佳，周宇佳，馮前進

南方醫科大學生物醫學工程學院/廣東省醫學圖像重點實驗室，廣東廣州510515

前言

動態對比增強磁共振（Dynamic Contrast-Enhanced Magnetic Resonance Imaging,DCE-MRI）通過快速成像序列連續采集造影劑注射前、中、后的圖像，監測血管與血管外細胞外空間（Extravascular Extracellular Space, EES）之間的造影劑交換［1］，可對早期肝癌實現有效的檢查［2-3］。藥代動力學的定量和半定量分析是DCE-MRI診斷和疾病鑒別的主要評價手段，其通過分析一個感興趣區域（Region of Interest,ROI）內的時間信號強度曲線（Time Intensity Curve,TIC），可以得到血液動力學特征和對應的藥代動力學參數值，反映腫瘤分級、血管生成和細胞增殖情況，從而幫助規劃治療和預測預后［4-5］。

為監測造影劑流入流出情況，圖像采集時間需要持續幾分鐘或者更長。患者的自主和非自主運動不可避免［6］，由此引發的不同時間點上的體素或ROI的位置偏差，會嚴重影響后續定量分析的準確性。圖像配準是解決上述運動問題的最直接方法，然而造影劑的注入為圖像引入了新的信息，不同時間點之間的灰度變化同時與運動和造影劑有關，傳統基于灰度的配準方法可能會導致配準后增強區域的體積產生錯誤的膨脹或收縮［7-8］。去增強方法認為運動和造影劑造成的灰度變化的本質屬性不同，基于此區分兩者，分解數據，如基于Principal Component Analysis（PCA）［9］、Independent Component Analysis

（ICA）［10］、Robust PCA（RPCA）的方法。但是這些方法的分解能力往往取決于運動的性質。Hamy 等［11］提出的基于RPCA 的方法假設DCE-MRI中的灰度變化可以被分解為兩類：涉及到絕大部分視野的平滑、緩慢的變化（即運動相關的）和局部的、快速的變化（即造影劑造成的），因此一個時間序列可以被分解為一個低秩成分和一個稀疏成分，使用前者來校正運動造成的各時間點之間的未對齊。但實際上，分解模型并不能完全將兩者分解，因為上述假設存在一定的局限性，比如腸蠕動就僅僅出現在一個短暫的時間內且只涉及到局部的灰度變化。且RPCA 并不能完全分離運動和造影劑造成的灰度變化，因此該方法使用迭代的策略，通過調整權衡參數，在每一次迭代中控制低秩矩陣中包含的運動成分。

近年，深度學習的興起為圖像分解問題提供了新的思路。但現有的方法要應用于DCE-MRI 的分解，仍存在困難之處。監督學習的方法需要成對的真實數據，直接合成訓練數據的方式被發現在泛化能力上表現較差［12］，精確還原圖像的形成過程又是一個復雜的問題。而現有的基于生成對抗網絡（Generative Adversarial Networks, GAN）［13］的無監督圖像分解方法大部分是對自然圖像提出的，往往假設已知兩個成分各自所屬的分布。在分解過程中使用兩個GAN，兩個判別器分別對分解出的兩種成分的真實性進行評價［14-15］。Liao 等［16］提出ADN 來解決CT 圖像中金屬偽影的分解，不需要上述假設。ADN將圖像分解為偽影成分和語義成分。偽影成分將重新與任意一張不含偽影的圖像融合，得到新的含偽影圖像。ADN 中的兩個判別器分別作用于含/不含金屬偽影的圖像，降低了對訓練數據的要求。

本研究從圖像到圖像生成的角度，提出一種基于GAN的無監督圖像分解方法，以實現DCE-MRI中造影劑造成的灰度變化的分解。該方法假設DCEMRI 中包含增強成分和解剖成分，前者是造影劑造成的灰度變化，后者則是圖像中的其他內容，兩者可分別獨立構成一張圖像。排除造影劑的影響后，使用解剖成分即可對運動進行校正。雙路生成對抗網絡能分別提取解剖成分的信息和增強成分的信息，對兩者進行分解。GAN 對抗學習的策略，使得其在不需要成對數據的情況下，仍然能學習到不同數據分布之間的映射，實現源分布到目標分布的生成。在DCE-MRI的分解中，兩種成分的信息量是不等的，因此基于各成分復雜度的先驗設計生成器，以確保兩種信息的有效分解。同時，用兩個輸出重建原圖，作為一種反饋來約束生成。本方法不需要考慮患者各種運動的不同性質，也不需要成對數據的監督。筆者首先在手寫體數據集（Mixed National Institute of Standards and Technology database,MNIST）驗證了方法的有效性，之后則在臨床的DCE-MRI 數據上實現了造影劑造成的灰度變化的分解。實驗結果表明該方法能有效分解圖像中的增強成分。

1 方法

1.1 框架

假設DCE-MRI 中包含兩種成分，一種是造影劑造成的灰度變化（增強成分），另一種是由圖像中其他信息構成的成分（解剖成分），運動造成的灰度變化包含在后者中。對圖像進行分解后，即可排除造影劑的影響，利用后者完成對運動的校正。

具體地說，增強圖像y∈Iy包含兩種成分，分別是增強成分contrast（c）和解剖成分anatomy（a）。解剖成分和增強成分的信息在原圖中耦合，而獨立的生成過程可以對其進行解耦。如圖1所示，兩個生成器（G1,G0）分別作為兩條信息提取通路，用于提取輸入圖像中的解剖成分信息和增強成分信息。生成器的設計是基于所生成成分的復雜度考慮的，在該成分的信息量一定的情況下，如果生成器在編解碼過程中存在冗余，編碼中就可能包含另一個成分的信息；而如果編碼被壓縮到不足以表達所有信息，生成的內容就可能不夠完整，信息有所損失。編碼尺寸恰好能夠容納所需的信息時，就能更準確地保留所需的信息而去除冗余。在DCE-MRI 分解問題中，增強成分的編碼尺寸應該小于解剖成分。

判別器D用于評價生成結果的真實性。G1和G0兩者的輸出可以重建輸入圖像，作為對生成過程的約束。

則可以重建原圖為：

G1使用了Ronneberger 等［17］提出的U-Net 網絡結構。U-net包含收縮路徑和擴張路徑，網絡的收縮路徑提取圖像淺層的、局部的信息，擴張路徑還原特征圖分辨率，包含的是圖像深層的、抽象的特征。跳躍連接將每一級同分辨率的兩種信息融合，結合各層級的結果來優化輸出。這樣，減少了信息在逐個層級之間的損失，能做到準確定位，得到更精細的結果。收縮路徑中，每兩個連續的3×3卷積后連接一個步長為2的池化，使用線性整流函數激活。將通道數擴大至512，特征圖尺寸為輸入的1/16，即20×20。來自收縮路徑的特征圖與擴張路徑中對應的特征圖拼接，經過兩個連續的3×3 卷積后，雙線性插值上采樣到兩倍的尺寸。擴張路徑中特征圖通道數不斷減小，最終用1×1的卷積實現輸出。

G0與G1相似但沒有跳躍連接，對稱的下采樣與上采樣過程，最后用1×1的卷積實現輸出。上采樣之前的過程將特征圖壓縮至10×10，通道數為4。

D是一個基于patch 的判別器［18］，將輸入圖像分成patch按照相同的方式獨立處理。不同于傳統判別器僅輸出一個值，輸出的是以patch 的判斷結果作為元素的矩陣。矩陣的每個元素實際上對應的是一個較大的感受野，適用于對輸出分辨率要求較高的GAN。D通過連續的卷積層縮小特征圖的尺寸，輸出大小為20×20。

1.2 損失函數

網絡的參數更新可以分成兩個部分。

首先，更新G1和D構成的GAN 的參數。在這個任務中，我們給判別器的標準是真實的無增強圖像。G1負責產生對應于輸入的無增強圖像，D評定G1的輸出與真實的無增強圖像的接近程度。兩者互相對抗以提高生成結果的質量。此外，網絡應該學習區分增強圖像和無增強圖像，在輸入無增強圖像的時候，網絡的生成結果應該與原圖完全一致。因此，G1的損失?G1包含兩項，分別是對抗損失項?adv和誤差驗證項?val，均使用均方誤差來進行衡量。兩者之間通過系數λ進行平衡。

判別器D的損失函數：

第二部分考慮對輸入的重建。兩個生成器能夠有效地實現單個成分的輸出時，兩者輸出之和就可以重建輸入。基于這個假設，我們通過重構誤差?recon來要求兩者輸出之和盡可能與輸入相似，這一項同時對G0和G1作用。而G0在輸入無增強圖像時，輸出應該是空白圖像，以此作為誤差驗證項?val。

2 實驗

2.1 實驗環境

所有實驗均在12 G 的TITAN X（Pascal）上完成，使用深度學習框架PyTorch 1.3.1實現。

2.2 MNIST數據集分解

本文基于MNIST 數據集（http://yann.lecun.com/exdb/mnist/）對提出的方法有效性進行驗證。隨機取其中的“0”、“1”、“2”、“6”、“8”各1張，按照像素求和，生成混合圖像作為網絡的輸入，用G1分解出其中的“0”，G0分解出其余的“1”、“2”、“6”、“8”，并使用GAN、CycleGAN 和ADN 進行對比。訓練集共包含1 600 張圖像，批大小設置為32，epoch 為500，學習率為5e-6，訓練用時約30 min。

合成的數據可以利用Ground Truth 進行量化分析。使用均方誤差（Mean-Square Error, MSE）、峰值信噪比（Peak Signal to Noise Ratio,PSNR）、結構相似性（Structural Similarity Index, SSIM）作為度量。對于MSE，值越小說明誤差越小，PSNR和SSIM 則是越大越好。

表1 和圖2 展示了各種方法在MNIST 數據集分解任務上的對比。可以看到，本文的方法可以實現有效的分解。GAN 可以生成難辨真假的“0”，但是其與Ground Truth 的誤差較大。CycleGAN 和ADN 相對于GAN，則維持了與輸入更好的一致性。但是對于CycleGAN 來說，正向的生成（根據多個數字疊加的圖像分解出其中包含的“0”）是信息減少的過程，而反向的生成則是信息增加的過程。由于CycleGAN 對稱的結構，待轉換的兩個域復雜度的不對稱會影響其表現［20］。而本文方法由于有重構損失作為約束，分解結果能同時考慮與期望數據分布和輸入數據的一致性。G1的生成結果是從輸入中分解出來的，而不是僅僅靠判別器的指導生成的。上述這些基于GAN 的方法，由于有判別器將輸出與真實數據分布進行對比，都將輸入中的離群數據進行了修改（如圖2 中紅色框所示）。注意到，由于ADN 對數據的操作是在其編碼上（如偽影與不含偽影的圖像融合），而不是直接對圖像進行，因此其生成的圖像具有較高完整性。

表1 不同方法MNIST分解結果量化對比Tab.1 Quantitative comparison of decomposition results among different methods on MNIST dataset

本文的方法在MNIST 的分解中，在3 個度量指標上都達到了最優，略優于CycleGAN和ADN。

此外，保持G1的編碼尺寸不變，修改G0壓縮特征圖的尺寸，對比分解效果，如表2和圖3所示。

圖2 不同方法MNIST分解結果對比Fig.2 Comparison of decomposition results among different methods on MNIST dataset

表2 不同尺寸編碼下MNIST分解結果量化指標對比Tab.2 Quantitative comparison of decomposition results under different code sizes on MNIST dataset

圖3 不同尺寸編碼下MNIST分解結果對比（編碼尺寸=1×size）Fig.3 Comparison of decomposition results under different code sizes on MNIST dataset(code size=1×size)

從表2的量化對比結果中可以看到，最優的分解結果出現在G0編碼尺寸較大的分解中，但并非最大的編碼尺寸。說明存在一個與信息量相適應的編碼尺寸能較好地保留所需信息且去除冗余。圖3 中的結果也說明了這一點，當G0的編碼尺寸過小時，G0的生成結果比較模糊，細節有所損失，而這些損失的信息則被G1所提取。隨著G0編碼尺寸的增大，能容納更多的信息，其生成結果的細節也逐漸增多，能更好地還原Ground Truth。

2.3 DCE-MRI分解

實驗使用的數據是1.5T 的T1加權梯度回波序列下采集的20名患者的3D肝部橫斷面圖像，TR=11 ms，TE=3 ms，翻轉角=15°，每個患者根據腫瘤大小獲得22～26 個切片。圖像大小為320×320，切片像素間距為1.093 75 mm×1.093 75 mm，切片厚度為8.3 mm，切片間隙為4.15 mm。以注入造影劑的時間點作為起點，之后采集的圖像為增強圖像，之前的則為無增強圖像。此外，每個患者還采集了一組靜態的3D 肝部橫斷面圖像，翻轉角=5°，也作為無增強圖像。

以增強圖像作為生成器的輸入，無增強的圖像作為判別器的輸入。兩種輸入取自不同病人，盡可能確保數據之間的獨立性。初始學習率設置為5e-5，λ=1.25，批大小為6，訓練epoch=200，耗時約15 h。圖4 為部分數據的分解結果。可以看到，圖像中由于造影劑造成的高對比度被去除，腫瘤顯影不再明顯，僅有深色陰影（如圖中紅色框所示）。同時，分解出的成分與原圖也保持著良好的一致性。而增強成分則是細節較少，更為平滑的圖像。

圖4 DCE-MRI分解Fig.4 DCE-MRI image decomposition

圖5 對比了分解結果和同位置無增強圖像。可見本文的方法能較好地分解增強成分與解剖成分，還原出的無增強圖像很接近實際。當然也存在一些誤差，可能是由于有些信息無法僅從增強圖像中推理出來，所以與實際存在差異（如圖中黃色框所示）。

圖5 DCE-MRI分解結果與無增強圖像對比Fig.5 Comparison of DCE-MRI image decomposition results with no-enhancement images

圖6 為對于無增強圖像的處理結果。G1的輸出很好地還原了輸入的原圖，而G0的輸出則是幾乎空白的圖像。

與MNIST 數據集上的實驗類似，保持G1編碼尺寸不變，改變G0的編碼尺寸，對分解結果進行對比（圖7）。當增強成分對應的編碼尺寸較大時，輸入圖像中亮度較低的部分，在輸出中反而亮度比周圍組織高。隨著編碼尺寸減小，這種現象有所改善（如圖中白色虛線框所示）。且可以清楚地看到，較小的編碼尺寸使得輸出中保留了更多真實的細節，而這些細節在較大編碼尺寸的輸出中是不存在的（如圖中白色箭頭所示）。

3 討論

DCE-MRI作為一種可以監測血管與EES之間的造影劑交換的成像技術，可對早期肝癌實現有效的檢查。但是由于采集過程中患者不可避免的運動，定量分析參數的準確性會受到各時間點圖像之間的未對齊影響。為減少造影劑造成的灰度變化對傳統基于灰度的配準方法的影響，本研究提出了一種基于GAN的無監督DCE-MRI分解方法，實現了對造影劑造成的灰度變化的有效分解。

同時，本方法也有一些問題需要解決。分解得到的增強成分圖像中仍然保留了一定的解剖信息，如腹部外圍的肌肉。這些組織的高亮并不是造影劑造成的，但是網絡在區分兩者時遇到了困難，一并作為造影劑進行了分解。此外，重新將生成的兩幅圖像疊加在一起與原圖比較，會發現損失了一定的細節。這會對后續的工作產生一定影響。

不同于其他DCE-MRI 的分解方法，本研究利用深度學習，從圖像到圖像生成的角度解決問題。假設增強圖像中包含解剖成分和增強成分兩種信息，而這兩種成分可以獨立構成圖像。則問題可以重新解釋為根據輸入的增強圖像生成解剖圖像和造影劑圖像，以實現兩種信息的分解。生成的過程是對圖像編碼再解碼的過程，在對數據進行壓縮、抽象的過程中，分離、提取所需的信息。本研究基于分解成分的復雜度設計生成器，以更好地提取所需信息。兩種成分的信息也因此在兩個獨立的編解碼過程中被分解開來。從臨床數據上的分解結果來看，本文的方法可以實現有效的分解。

本文的方法不需要考慮具體的患者運動性質（如運動涉及的區域大小、運動是周期的還是隨機的），其分解能力不取決于運動的性質。此外，本方法也有希望在更多應用中得到推廣，如金屬植入物在CT 圖像中造成的金屬偽影的去除、MRI 預處理時的偏移場校正等。對于其他問題，本文所假設的兩種成分重建原圖的方法可能不再成立，應考慮重新設計重建方式。該方法是一個端對端的方法，適合沒有可用監督數據的問題。

本文僅是提出了一種新的解決無監督圖像分解問題的思路，在擴展應用范圍和提升表現上還有很多工作需要實現。

4 結論

為排除DCE-MRI中造影劑對圖像定量分析的影響，本文提出一種基于GAN的無監督DCE-MRI圖像分解方法。該方法利用GAN 在無監督條件下，實現源分布到目標分布的映射的能力，來引導有效的分解。基于對各成分復雜度的先驗設計生成器，通過雙路生成對抗網絡，同時但獨立地提取解剖成分的信息和增強成分的信息。同時，引入圖像重構損失作為反饋信號來約束生成。我們利用該方法實現了DCE-MRI中造影劑造成的灰度變化的分解。該方法無需對數據進行復雜的解釋分析，且對于混合圖像的物理機制未做任何假設。在未來的工作中可以進一步改善表現、拓展應用。