基于模塊化神經網絡的低劑量CT圖像去噪

趙桂宸，陳 平

(中北大學 信息與通信工程學院 信息探測與處理山西省重點實驗室，山西 太原 201800)

0 引 言

計算機斷層掃描技術(CT)被廣泛應用于醫(yī)療、 生物學、 機場安防等領域，但過高的輻射劑量可能會給人體造成傷害[1]. 而低劑量CT的應用就大大減少了患者在照射時接受的輻射劑量，但是低劑量CT的成像質量與常規(guī)劑量CT相比有明顯的下降，導致在診療過程中出現(xiàn)誤診漏診的概率增加，為此就需要利用現(xiàn)代技術來改善低劑量CT的圖像質量.

為了解決低劑量CT圖像去噪的問題，近年來，研究者們提出了各種低劑量CT圖像的去噪算法. 現(xiàn)有的方法主要是分為投影域去噪[2]、 迭代重建[3，4]和圖像后處理[5，6]，由于投影域去噪需要的投影數(shù)據(jù)作為CT掃描的中間結果，一般的用戶難以直接獲取，并且不同廠商還會有不同格式的投影數(shù)據(jù)，所以，圖像后處理的方法就成為了當下的研究熱點，本文就是在圖像域中進行圖像去噪.

圖像域中低劑量CT去噪是一種特殊應用場景下的圖像處理算法，所以學者們在對低劑量CT圖像噪聲的特殊性進行分析的基礎上，結合圖像處理算法的通用性，通過優(yōu)化算法，形成了很多具有良好去噪效果的后處理算法. 傳統(tǒng)上在圖像域去噪一般有小波變換[7]、 TV算法[8]、 字典學習[9]、 深度學習[10，11]等方法. 文獻[12]通過對常規(guī)劑量CT圖像進行訓練得到學習字典，然后使用學習到的字典對低劑量CT圖像進行去噪； 文獻[13]提出了一種基于雙字典和偽影字典關系的低劑量CT去噪算法，得到了很好的效果.

近些年來，隨著深度學習技術的不斷發(fā)展，在圖像處理中深度學習的技術應用也越發(fā)的廣泛、 深入[14]. 卷積神經網絡是目前應用最為廣泛的深度學習模型. 卷積神經網絡的基礎是神經元，通過數(shù)量眾多的神經元進行卷積操作可以有效地學習特征尤其是細節(jié)特征，并建立從含噪聲圖像到清晰圖像的映射. 正因如此，相較于傳統(tǒng)的圖像域去噪方法，深度學習的方法具有顯著的優(yōu)勢. 文獻[15]提出了一種具有殘差編解碼器結構的卷積神經網絡RED-CNN，應用較為成熟的深度學習技術，提高了低劑量CT圖像的去噪水平； 文獻[16]提出了一種模塊化網絡的去噪方法，利用生成對抗網絡擴充數(shù)據(jù)集，經實驗驗證，網絡顯著改善了低劑量CT圖像的質量.

上述方法在低劑量CT圖像去噪上都取得了較好的結果，但是這些方法存在著對于對應圖像過于依賴的問題，在配對圖像不足時效果會有衰減. 而在實際情況中，對同一患者進行CT診療的時候往往只能在低劑量CT和常規(guī)劑量CT之間選擇一個，這就導致了很難獲得大量的兩兩對應的圖像. CT圖像噪聲的分布是相對復雜的，并且除了噪點外還有可能伴隨著偽影，而上述方法中的卷積均為線性卷積的形式，因此線性卷積在處理過程中必須要增加網絡深度，這就帶來了網絡訓練中梯度爆炸等問題. 文獻[17]提出了新的二次神經元模型，并應用于低劑量CT去噪，與一次卷積相比提供了更好的擬合能力，取得了一定的效果. 因此，本文從弱監(jiān)督的角度出發(fā)，提出了一種適應于數(shù)據(jù)不足情況下的低劑量CT去噪方法. 該方法應用模塊化子網絡，并且引入了二次神經元，利用跨層連接，實現(xiàn)了對低劑量CT圖像噪聲的降低. 經過實驗對比，取得了比現(xiàn)有結果更好的效果.

1 基本原理

1.1 模塊化網絡

深度學習的方法在LDCT圖像去噪方面取得了良好的效果，目前大多數(shù)端到端的深度學習方法是通過定義一個最小化的損失函數(shù)來實現(xiàn)LDCT圖像去噪的，這其中既有直接學習LDCT圖像到NDCT圖像的映射，也有通過學習LDCT與NDCT之間的殘差來實現(xiàn)圖像去噪. 傳統(tǒng)上的去噪網絡一般是用一個較大型的網絡來實現(xiàn)去噪的，這就對網絡的設計提出了較高的要求. Shan等[16]將模塊化網絡首先應用于低劑量CT圖像去噪領域. 模塊化網絡利用多個具有相同結構的子網絡串聯(lián)，來實現(xiàn)對低劑量CT圖像的去噪. 由于每一級的子網絡都可以看做是傳統(tǒng)網絡中的一層，運用傳統(tǒng)網絡中跨層連接的思想，在子網絡間也應用跨層連接，使得網絡可以在學習深層細節(jié)特征的同時不過多地損失淺層信息，從而達到良好的去噪效果. 這使得每一級的子網絡都可以在一定程度上提高圖像質量. 單一的大型網絡在以往的研究中也取得了良好的效果，但是在參數(shù)優(yōu)化等方面存在著效率不高、 優(yōu)化困難等問題. 而多個小網絡串聯(lián)的形式可以在一定程度上解決這一問題，為網絡設計提供更多的變化和思路. 每一級的子網絡采用了傳統(tǒng)的編碼、 解碼的結構，運用了線性神經元. 如圖1 所示，每一個方塊都是一個子網絡，運用跨層連接的形式將子網絡串聯(lián)起來，使得每一級子網絡都擁有一定的去噪能力，并且在這個過程當中，圖像的質量是一個不斷提高的過程.

圖1 模塊化網絡結構

1.2 二次神經元

神經元作為神經網絡的重要組成部分，當前的神經網絡中的神經元結構大多為一次型. 神經元的數(shù)學模型是向量輸入到一個線性函數(shù)中產生輸出

(1)

式中：xi為第i個輸入向量；ωi為第i個輸入向量對應的權重；f(x)通過激活函數(shù)，構成了一個完整的神經元. 由式(1)易知，單個傳統(tǒng)神經元可以分離成兩組線性可分的輸入. 相比之下，在面對線性不可分的輸入組時，單個傳統(tǒng)神經元容易出現(xiàn)分類錯誤. 例如，單個傳統(tǒng)的神經元對于模擬異或門的功能就顯得比較困難. 雖然在實際應用中可以通過增加網絡深度來改善這一問題，但是這同樣也帶來了運算量的大幅度增加和收斂困難的問題.

受到文獻[18]的啟發(fā)，本文引入了一種新型的二次神經元，其結構如圖2 所示.

圖2 二次神經元結構示意圖Fig.2 Schematic diagram of secondary neuron structure

在二次神經元中，輸入向量在輸入之后被轉化為2個內積和1個范數(shù)項進行求和，之后再通過一個非線性激活函數(shù)，整個過程構成了一個完整的二次神經元. 輸出函數(shù)表示為

(2)

式中：xi為第i個輸入向量；ωiα，ωiβ為第i個輸入向量對應的兩個不同權重；ωiγ為范數(shù)項的權重.

本文選取的激活函數(shù)為線性整流函數(shù). 由于二次神經元是非線性地加入到傳統(tǒng)神經元中，所以二次神經元在表示能力上比現(xiàn)有的傳統(tǒng)線性神經元具有顯著的優(yōu)勢.

1.3 改進后的網絡

在沒有填充的情況下，卷積操作會引起圖像大小的變化，因此本文選擇填充為零的卷積模式. 二次卷積可以提取細節(jié)特征，但也會丟失全局信息. 因此，本文增加了跨層連接，有效地保留全局信息. 從卷積核的大小來看，較大的卷積核可以改善卷積的接受域，但會增加一定的計算量. 由于采用的是模塊化網絡，所以在子網之間增加了跨層連接. 因此，選擇3×3的卷積核. 反卷積運算可以看作是卷積運算的逆運算，可以對圖像進行上采樣. 由于二次卷積具有收斂速度快的特點，本文在子網中只使用了3層卷積層和3層反卷積層. 訓練基于二次卷積的模塊化網絡的總體思路與傳統(tǒng)的網絡是完全一致的. 換句話說，傳統(tǒng)神經網絡的損失函數(shù)是可以用于二次神經網絡的. 如式(3)所示，二次卷積的損失函數(shù)是基于鏈式求導規(guī)則來優(yōu)化參數(shù)進而最小化其損失函數(shù)的. 改進后的網絡結構如圖3 所示.

圖3 改進后的網絡Fig.3 The improved network

(3)

2 分析與討論

為了驗證網絡的效果，本文使用配置為Intel Core i7-9770H處理器、 windows10操作系統(tǒng)，利用NVIDIA GeForce RTX 2080的GPU進行計算加速，利用基于tensorflow架構網絡結構及python程序進行測試.

2.1 數(shù)據(jù)集

數(shù)據(jù)集1來自于2016年梅奧醫(yī)學中心進行的低劑量CT大挑戰(zhàn)，本文選取了其中4位患者的不同部位圖像作為訓練集，其中剔除掉大部分的常規(guī)劑量CT圖像，以保證數(shù)據(jù)集當中的數(shù)據(jù)不能一一對應. 之后選擇其他4位患者的低劑量CT圖像作為測試集進行測試.

數(shù)據(jù)集2是Mayo中心在TCIA中開源的數(shù)據(jù)集. 數(shù)據(jù)集中分為3個不同的系列，本文所采用的是N系列的圖像，選取了其中500張低劑量CT圖像和不與低劑量CT圖像對應的50張常規(guī)劑量CT圖像作為訓練集，之后選擇不同患者的低劑量CT圖像用做測試.

2.2 訓練網絡

每個數(shù)據(jù)集訓練一個模型. 將數(shù)據(jù)集選出的圖像制作成h5文件，相較于單張圖像輸入網絡，可以縮短讀取圖像的時間. 每個圖像尺寸為 512像素×512像素. 網絡應用WGAN[19]隊數(shù)據(jù)進行擴充，訓練時將圖像全部輸入網絡. 網絡的損失函數(shù)共有3個，分別是對抗性損失、 均方誤差和邊緣非相干性測量. 其中，對抗性損失是用來優(yōu)化生成對抗網絡的生成成分的，使生成器生成由鑒別器判斷的與NDCT圖像難以區(qū)分的樣本圖像. 這里對抗性損失是在帶有梯度懲罰的Wasserstein生成對抗網絡框架內定義的[20]，形式如式(4)

LWGAN=-E{D[sN(YLD)]}，

(4)

式中： 網絡D表示鑒別器，用來區(qū)分真實數(shù)據(jù)與生成器生成的數(shù)據(jù)；sN表示第N個子網絡；YLD表示低劑量CT圖像. 均方誤差是為了測量輸出圖像和NDCT圖像的差異而采用的，降低了輸入圖像的噪聲，形式上的定義為

(5)

式中：YND表示常規(guī)劑量CT圖像. 邊緣不相干檢測是為了測量真實圖像與估計圖像間的濾波差值而采用的，形式如式(6)

(6)

式中：SF代表著圖像中各點梯度向量對應的Sobel濾波，是利用一個小的濾波器對圖像進行卷積. 網絡最終的目標函數(shù)為3個函數(shù)的加權之和，形式如式(7)

L=LWGAN+λMLMSE+λeLe，

(7)

2.3 實驗結果

利用數(shù)據(jù)集1中4位不同患者的低劑量CT圖像進行測試. 圖4 是與目前常用的幾種方法做對比的效果，從主觀上可以看出，本文所提出的方法明顯優(yōu)于經典BM3D算法； 較之目前較為先進的REDCNN算法和QAE算法，本文的方法顯著降低了圖像的噪聲； 與MAPNN算法相比，本文的方法在大多數(shù)圖像上都有更少的噪聲. 客觀上，本文采用目前圖像評價體系中常用的峰值信噪比(Peak signal-to-noise ratio，PSNR)和結構相似性(Structural SIMilarity，SSIM)兩個指標，對4張圖像進行測試，結果詳見表 1. 可以看出，本文所提出的網絡在客觀指標的測試當中大幅度優(yōu)于BM3D； 在與REDCNN和QAE的對比中也顯示出了顯著的優(yōu)勢； 在大多數(shù)圖像上對比MAPNN也有一些優(yōu)勢. 4張測試圖像的結果均優(yōu)于以往的方法，其中PSNR指標高出REDCNN和QAE約0.45 dB左右，SSIM指標提高大約0.01.

表 1 測試圖的客觀評價指標Tab.1 Objective evaluation indexes of test chart

圖4 去噪效果對比Fig.4 Comparison of denoising effects

數(shù)據(jù)集2中4個不同患者4張低劑量CT圖像作為測試圖像. 與目前較為常用且較為先進的方法做對比，如圖5 所示. 從圖像整體上看，本文所采用的方法相較于其他方法，噪點數(shù)量明顯較小. 從放大的局部區(qū)域看，本文的方法在對噪聲抑制較好的同時，也較為清晰地保留了組織邊緣信息，沒有出現(xiàn)邊緣信息的丟失或邊緣的擴散. 如表 2 所示，在定量分析中，本文的方法展現(xiàn)出了較為良好的效果，PSNR和SSIM的數(shù)值較之以往的方法均有了不同程度的提高，顯示出了較為明顯的性能優(yōu)勢.

表 2 測試圖的客觀評價指標Tab.2 Objective evaluation indexes of test chart

圖5 去噪效果對比Fig.5 Comparison of denoising effects

2.4 網絡分析

子網絡數(shù)量對于網絡的訓練時間和訓練效果都有很大的影響，本文分別測試了不同子網絡數(shù)量對于網絡整體性能的影響. 如圖6 所示，經過實驗分析，網絡去噪效果在子網絡數(shù)小于5個時，效果的進步速度非?？欤瑥牡?個子網絡開始，網絡的去噪性能雖然有小幅度的改善，但是計算量顯著增加，訓練時間顯著延長. 因此綜合考慮網絡訓練時間和去噪性能，選擇采用5個子網絡用來實現(xiàn)低劑量CT圖像去噪.

圖6 不同子網數(shù)對去噪效果的影響

用一組不同的參數(shù)在數(shù)據(jù)集1上進行訓練，用來分析超參數(shù)對網絡的影響. 批大小為128，epoch為100，學習率設置為5.0×10-5. 經過實驗驗證，訓練時間由之前的10 h 18 min，增加到了12 h 43 min，最終取得了與第一組參數(shù)基本相同的結果.

在第2個數(shù)據(jù)集中選擇40張圖像，將測試圖像用數(shù)據(jù)集1中訓練出的模型進行測試，以驗證網絡的穩(wěn)定性. 最終得出的數(shù)據(jù)見表 3.

表 3 測試圖像在兩個模型上的效果對比Tab.3 Test the effect of the image on the two models

3 結 論

在現(xiàn)實條件中，研究人員往往很難獲得大量高質量的一一對應的低劑量CT圖像和常規(guī)劑量CT圖像. 本文提出了一種在缺乏對應圖像條件下的弱監(jiān)督網絡架構. 一個公開的數(shù)據(jù)集被用來評價本文所提出的網絡. 不同的實驗結果表明，本文所描述的網絡顯著改善了低劑量CT圖像的質量.

本文所提出的方法更多的是基于實驗而不是基于嚴謹?shù)臄?shù)學推導. 由于投影數(shù)據(jù)本身含有大量噪聲，因此，下一步將研究將網絡架構移植到投影域進行去噪，以期更好的去噪效果.

在本研究中，還有一些問題需要解決. 由于本文所采用的的數(shù)據(jù)集是模擬的低劑量CT噪聲，因此在實際中的效果可能有所偏差，另外一些噪聲與人體組織或是病變較為相似，網絡有時不能很好地識別并去除. 這也是下一步研究的重點.