基于W型網絡的乳腺動態對比度增強磁共振圖像合成

摘 要： 動態對比增強核磁共振成像已被廣泛應用于乳腺癌等惡性腫瘤的臨床診斷，但是對造影劑過敏患者將無法進行該項檢查，提出一種融合邊界及區域信息的增強圖像生成網絡用于生成乳腺虛擬動態增強MRI圖像。該網絡由一條下采樣路徑和兩條對稱的上采樣路徑組成，使用跳躍連接將下采樣路徑的低維特征圖直接傳遞到上采樣路徑上，同時在兩條上采樣路徑間也實現邊界與區域特征圖的傳遞。實驗結果表明，該方法能夠安全、高效及低費用地實現乳腺虛擬動態增強MRI圖像合成。

關鍵詞： 釓造影劑； 圖像合成； 乳腺動態對比增強核磁共振成像； 邊界及區域信息

中圖分類號： TP391.41"" 文獻標志碼： A

文章編號： 1001-3695（2022）01-056-0312-04

doi：10.19734/j.issn.1001-3695.2021.05.0194

Dynamic contrast-enhanced magnetic resonance imaging synthesis of breast using W-net

Guo Wei1，2， He Cong1， Gong Zhaoxuan1，2， Zhang Guodong1，2

（1.School of Computer Science， Shenyang Aerospace University， Shenyang 110136， China； 2.Key Laboratory of Intelligent Computing in Medical Image of Ministry of Education， Shenyang 110819， China）

Abstract： Dynamic contrast-enhanced magnetic resonance imaging has been used widely in the clinical diagnosis of breast cancer and other malignant tumors.However，patients who are allergic to the contrast agents will not be able to take the exam.This paper proposed an enhanced image generation network which fused the boundary and region information to generate virtual dynamic enhanced MRI images of breast.The net consisted of a down-sampling path and two symmetric up-sampling paths.It concatenated the output from the down-sampling path with the corresponding ones from the up-sampling paths by skip connection，and concatenated the outputs from two up-sampling paths with each other.The results show that the proposed method can synthesize breast virtual DCE-MRI images safely，efficiently and cheaply.

Key words： gadolinium-based contrast agents； image synthesis； breast dynamic contrast-enhanced magnetic resonance imaging； boundary and region information

0 引言

乳腺癌是當今嚴重危害女性生命健康的惡性腫瘤之一。根據世界衛生組織的統計，每年有近百萬的女性死于乳腺癌［1］。研究表明，乳腺癌早期診斷及治療是能夠有效提高患者的生存質量及生存時間的關鍵［2］。在臨床診斷中，常規核磁共振（magnetic resonance imaging，MRI）檢查不僅能通過圖像發現腫瘤的存在，還能觀察病灶的大小、形態及密度等物理特征。由于腫瘤組織內部的代謝變化可能遠遠早于其形態變化，所以常規MRI對腫瘤的診斷可能與實際情況存在差異。而注射造影劑后的DCE-MRI通過連續快速的序列成像獲得注入造影劑前、中、后各時期組織的連續動態增強圖像，能夠反映病灶組織的生理代謝變化。但是，DCE-MRI檢查也面臨著風險高、耗時長和檢查費用高等問題。釓造影劑（gadolinium-based contrast agents，GBCA）作為一種常用造影劑可能會引起患者的過敏反應，而GBCA含有的金屬化合物的潛在毒性會在人體內殘留，可能引起無法有效治療的腎源性纖維化等疾病［3］；并且，注射造影劑及多次掃描將極大增加檢查的時間，使得檢查耗時成倍增加；此外，造影劑價格昂貴，患者不得不為造影劑支付額外的費用［4］。

卷積神經網絡（convolutional neural networks，CNN）已經在圖像處理領域取得了令人矚目的成績。它可以利用原始圖像自動生成特征圖，并利用提取的特征圖取得較好的分類和識別效果。He等人［5］提出的PReLU-Nets在TLSVRC的圖像分類數據集上取得的成績首次超過了人眼識別，隨后出現的網絡在此基礎上不斷地刷新著分類準確性的記錄［6］。基于CNN的U-Net［7］自2015年提出已成為圖像分割領域乃至圖像分析領域的主流模型。

CNN也被廣泛應用于圖像重建領域，并取得了令人滿意的成果。Schlemper等人［8］將CNN與數據一致性模塊級聯構成深層網絡結構實現動態心臟MRI圖像的重建；El-Rewaidy等人［9］使用復值CNN快速重建高度欠采樣的MRI數據，其性能優于實值網絡，且比壓縮感知更快地實現重建；Qu等人［10］提出了一種融合空間和小波域互補信息的WATNet用于3T圖像合成對應的7T加權圖像，實驗結果表明該方法優于現有合成方法；Wang等人［11］使用基于復數卷積的殘差網絡并行重建MRI，該網絡由CNN單元和數據擬合單元多次級聯組成。在每個CNN單元中引入復值卷積，并且利用MRI圖像中實部與虛部之間的聯系學習跨通道的圖像相關性。

跨模態的圖像生成也是近幾年醫學圖像處理研究熱點［12～15］。根據常規MRI及注射10%正常劑量造影劑的增強MRI圖像，Gong等人［16］使用CNN合成全劑量增強MRI，生成結果達到臨床應用標準；Xu等人［17］提出了一種像素級的圖強化學習方法來合成增強肝臟腫瘤圖像，將深度強化學習與圖卷積結合，并使用雙層互補獎勵機制來合成增強圖像；Kleesiek等人［18］根據腦部多種MRI圖像，利用U-Net模型生成對比度增強MRI圖像。雖然CNN在圖像合成領域取得許多令人滿意的成果，但是目前還沒有學者研究具有多時相的DCE-MRI圖像合成。本文提出利用融合目標及其邊界信息的W型圖像生成網絡，實現乳腺DCE-MRI圖像的高質量合成。

1 方法

1.1 預處理

實驗數據為哈爾濱某醫院提供的包含30位病人約5 400組乳腺MRI二維數據。一組數據包括一張未注射GBCA的乳腺MRI圖像和注射常規劑量GBCA后五個時相（1～5時相）的五張MRI圖像。圖像的大小均為784×784，去掉部分黑色背景區域將其剪裁為600×600，再利用線性插值變換將其大小變為512×512。將注射造影劑后1～5時相的MRI圖像減去對應0時相MRI圖像得到差值圖像，網絡將預測生成差值圖像。在本文中，使用歸一化的圖像來訓練網絡及生成圖像，0時相圖像歸一化成［0，1］。為了保證歸一化后差值圖中黑色背景部分像素值始終為0，差值圖像中小于0和大于0的部分的像素值分別歸一化為［-1，0］和［0，1］。在網絡生成測試圖像后，反歸一化獲得的插值圖像，再加上對應0時相的MRI圖像獲得增強后的乳腺MRI圖像。

1.2 網絡模型

U-Net具有良好的圖像表達及定位性能，其在圖像處理領域取得了令人矚目的成果。但是，傳統U-Net在合成圖像時僅利用目標的區域信息而忽略有用的邊界信息。因此，本文提出基于目標邊界及區域信息的W型圖像生成網絡，用來預測生成乳腺DCE-MRI圖像。W型網絡由一條下采樣路徑和兩條相同結構的上采樣路徑組成，如圖1所示。下采樣路徑同時提取目標區域及邊界的淺層特征，兩條上采樣分別提取區域和邊界的高層特征。其中，下采樣路徑上提取的特征與邊界上采樣上對應尺度的特征跳躍連接，兩條上采樣路徑上相應尺度的特征也進行跳躍鏈接，進而實現相同尺度的特征融合。

圖1中，白框和藍色框分別表示多通道特征圖和復制特征圖（見電子版），每個框上方數字表示通道數，左下角數字表示特征圖尺寸，不同形狀和顏色的箭頭表示不同操作。整個網絡共有三條路徑組成，每條路徑有四個模塊，每個模塊包括兩個3×3卷積層和一個2×2最大池化/上采樣操作，并利用跳躍連接實現相同尺度特征的融合。兩個上采樣路徑的最后一層均采用1×1卷積將32通道的特征圖轉換為1通道特征圖，然后利用sigmoid與tanh函數預測生成差值圖像及相應的邊界圖像。

通過計算網絡兩輸出與真實差值圖像及其邊界圖像的差異來計算損失函數。在計算損失函數過程中融合目標及邊界信息，以期望獲得更好的預測結果，然后將預測生成的差值圖像反歸一化后與0時相圖像疊加作為最終的圖像預測結果。訓練過程中，邊界圖像的金標準由Canny算子提取［19］。

1.5 算法實現

實驗所用CPU處理器為Intel E52620V4×2，主頻為2.1 GHz，睿頻為3.0 GHz，GPU為NVIDIA GeForce GTX TITAN XP，顯存為12 GB。實驗程序使用Python語言調用Keras編寫。本文使用Kaiming高斯初始化網絡卷積權重，使用Adam優化器求解最小損失函數。設置網絡訓練的epoch為50，batch大小為4，學習率為0.000 6，初始動量為0。

本文使用6-fold交叉驗證方法來評價算法性能。將數據近似平均分成六份，每次選擇五份數據訓練，一份進行測試。訓練及測試過程重復六次，直至所有數據都被測試完為止。訓練過程中訓練集和驗證集比例為9：1，并且每次訓練隨機打亂訓練集順序。為了保證實驗對比的嚴謹性，實驗中不同方法除網絡結構不同外，其余參數全都一致。

2 實驗結果及分析

2.1 數據集

圖2為0～5時相乳腺MRI圖像，0時相為注射造影劑前的MRI掃描圖像，之后每隔90 s掃描成像一次，共掃描五次，生成1～5時相的乳腺MRI圖像。成像使用的造影劑為釓噴酸葡胺，造影劑濃度為0.1 mmol/kg。采用靜脈注射方式注入造影劑，注射速率為2 ml/s，之后再以同等速度注射50 ml的生理鹽水。生成乳腺DCE-MRI。圖像大小為784像素×784像素，圖像在X與Y軸方向的分辨率均為0.45 mm。

2.2 預測結果的主觀評價

圖3為根據注射造影劑前的0時相圖像以及使用U-Net和本文提出的W型網絡預測生成相應的1、2、3、4、5時相圖像。訓練U-Net及W型網絡的超參數相同。由圖3可以看出，與U-Net相比，W型網絡預測的差值圖像及相應增強圖像的質量均更佳。

2.3 預測結果的客觀評價

表1為使用U-Net和W型網絡生成乳腺DCE -MRI圖像的PSNR、SSIM以及NMSE的均值和標準差。從表1可以看出，W型網絡的PSNR均值比U-Net的均值高大約0.3，并且其SSIM均值比U-Net的值高，NMSE均值比U-Net的值低。W型網絡的PSNR、SSIM及NMSE的標準差普遍小于相應U-Net的標準值。與U-Net相比，W型網絡生成DCE-MRI圖像的質量更加穩定。

圖4～6分別為不同方法合成乳腺DCE-MRI圖像的PSNR、SSIM以及NMSE均值的折線對比圖。圖中橫坐標表示1～5時相，縱坐標為指標值。對于大多數時相而言，圖4、5中W型網絡PSNR和SSIM值高于其他方法，圖6中W型網絡NMSE值低于其他方法的NMSE值。實驗結果表明，W型網絡合成DCE-MRI綜合效果優于其他方法，能夠獲得更加準確真實的合成結果。

3 討論分析

對于網絡而言，邊界信息能夠有效幫助網絡提取感興趣區域，提取的感興趣區域加以約束邊界信息，最后使得網絡生成的圖像更貼近真實的增強圖像。因此，本文提出的W型圖像生成網絡能夠很好地融合邊界信息與目標區域信息，并且結果優于只使用目標區域的網絡。

實驗中邊界信息由Canny算子提取，不同的算子處理得到的邊界信息不同，最終也會影響網絡的性能。并且，由算子提取的邊界信息與人工標記的邊界信息相比略有差異，使用其得到的實驗結果也將比利用人工標記的邊界信息結果略差。

4 結束語

本文提出了一種基于目標邊界及區域信息的W型圖像生成網絡，預測乳腺DCE-MRI圖像，實現替代造影劑注射生成動態增強MRI圖像的操作。實驗結果表明，本文提出方法在客觀指標及主觀觀察評價兩方面均取得不錯的結果。因此，有理由相信，本文提出方法在DCE-MRI圖像生成方面有臨床應用價值。

參考文獻：

［1］Khokhar A.Breast cancer literacy amongst office going women of Delhi［J］.Clinics in Oncology，2018，3：article No.1430.

［2］Cheng Hengda，Shan Juan，Ju Wen，et al.Automated breast cancer detection and classification using ultrasound images：a survey［J］.Pattern Recognition，2010，43（1）：299-317.

［3］Wertman R，Altun E，Martin D R，et al.Risk of nephrogenic systemic fibrosis：evaluation of gadolinium chelate contrast agents at four American universities［J］.International Journal of Medical Radiology，2008，248（3）：799-806.

［4］Von Herbay A，Vogt C，Hussinger D.Late-phase pulse-inversion sonography using the contrast agent Levovist：differentiation between benign and malignant focal lesions of the liver［J］.American Journal of Roentgenology，2002，179（5）：1273-1279.

［5］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Delving deep into rectifiers：surpassing human-level performance on ImageNet classification［C］//Proc of IEEE International Conference on Computer Vision.Washington DC：IEEE Computer Society，2015：1026-1034.

［6］Ioffe S，Szegedy C.Batch normalization：accelerating deep network training by reducing internal covariate shift［EB/OL］. （2015-02-13）.https：//arxiv.org/pdf/1502.03167v2.pdf.

［7］Ronneberger O，Fischer P，Brox T.U-Net：convolutional networks for biomedical image segmentation［C］//Proc of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham：Springer，2015：234-241.

［8］Schlemper J，Caballero J，Hajnal J V，et al.A deep cascade of convolutional neural networks for dynamic MR image reconstruction［J］.IEEE Trans on Medical Imaging，2018，37（2）：491-503.

［9］El-Rewaidy H，Neisius U，Mancio J，et al.Deep complex convolutional network for fast reconstruction of 3D late gadolinium enhancement cardiac MRI［J］.NMR in Biomedicine，2020，33（7）：e4312.

［10］Qu Liangqiong，Zhang Yongqin，Wang Shuai，et al.Synthesized 7T MRI from 3T MRI via deep learning in spatial and wavelet domains［J］.Medical Image Analysis，2020，62（5）：101663.

［11］Wang Shanshan，Su Zhenghang，Ying L，et al.Accelerating magnetic resonance imaging via deep learning［C］//Proc of the 13th IEEE International Symposium on Biomedical Imaging.Piscataway，NJ：IEEE Press，2016：514-517.

［12］Zhao Jianfeng，Li Dengwang，Kassam Z，et al.Tripartite-GAN：synthesizing liver contrast-enhanced MRI to improve tumor detection［J］.Medical Image Analysis，2020，63（7）：101667.

［13］陳佳，駱爽，何儒漢，等.基于生成對抗網絡的MR圖像合成研究［J］.計算機應用研究，2021，38（5）：1563-1566，1571. （Chen Jia，Luo Shuang，He Ruhan，et al.Research on MR image synthesis based on generative adversarial network［J］.Application Research of Computers，2021，38（5）：1563-1566.）

［14］Xu Chenchu，Xu Lei，Ohorodnyk P，et al.Contrast agent-free synthesis and segmentation of ischemic heart disease images using progressive sequential causal GANs［J］.Medical Image Analysis，2020，62（5）：101668.

［15］肖晨晨，陳樂庚，王書強.融合殘差和對抗網絡的跨模態PET圖像合成方法［J/OL］.計算機工程與應用. （2021-02-23）［2021-07-02］.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210223.1336.014.html. （Xiao Chenchen，Chen Legeng，Wang Shuqiang.Cross-modality PET synthesis method based on residual and adversarial networks［J/OL］.Computer Engineering and Applications.（2021-02-23）［2021-07-02］.https：//kns.cnki.net/kcms/detail/11.2127.TP.20210223.1336.014.html.）

［16］Gong Enhao，Pauly J M，Wintermark M，et al.Deep learning enables reduced gadolinium dose for contrast-enhanced brain MRI［J］.Journal of Magnetic Resonance Imaging，2018，48（2）：330-340.

［17］Xu Chenchu，Zhang Dong，Chong J，et al.Synthesis of gadolinium-enhanced liver tumors on nonenhanced liver MR images using pixel-level graph reinforcement learning［J］.Medical Image Analysis，2021，69（4）：101976.

［18］Kleesiek J，Morshuis J N，Isensee F，et al.Can virtual contrast enhancement in brain MRI replace gadolinium？ A feasibility study［J］.Investigative Radiology，2019，54（10）：653-660.

［19］He Tao，Hu Junjie，Song Ying，et al.Multi-task learning for the segmentation of organs at risk with label dependence［J］.Medical Image Analysis，2020，61（4）：101666.

［20］Milletari F，Navab N，Ahmadi S A.V-Net：fully convolutional neural networks for volumetric medical image segmentation［C］//Proc of the 4th International Conference on 3D Vision.Washington DC：IEEE Computer Society，2016：565-571.

［21］Wang Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13（4）：600-612.

［22］Yu Biting，Zhou Luping，Wang Lei，et al.Ea-GANs：edge-aware generative adversarial networks for cross-modality MR image synthesis［J］.IEEE Trans on Medical Imaging，2019，38（7）：1750-1762.

［23］Zhou Zongwei，Siddiquee M M R，Tajbakhsh N，et al.U-Net+：a nested U-Net architecture for medical image segmentation［C］//Proc of the 4th International Workshop on Multimodal Learning for Clinical Decision Support.Cham：Springer，2018：3-11.

［24］Sun Jindong，Peng Yanjun，Li Dapeng，et al.Segmentation of the multimodal brain tumor image used the multi-pathway architecture method based on 3D FCN［J］.Neurocomputing，2021，423（1）：34-45.

［25］Badrinarayanan V，Kendall A，Cipolla R.et al.SegNet：a deep convolutional encoder-decoder architecture for image segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.