基于空洞U-Net神經網絡的PET圖像重建算法

杜倩倩，強 彥，李 碩，楊曉棠

(1.太原理工大學 信息與計算機學院，山西 晉中 030600；2.加拿大西安大略大學，醫學影像和醫學生物物理學系， 加拿大安大略 倫敦 N6A 3K7；3.山西省腫瘤醫院 放射科，太原 030000)

正電子發射斷層成像技術(positron emission tomography，PET)技術是核醫學領域比較先進的臨床檢查影像技術，是目前唯一可在活體上顯示生物分子代謝、受體及神經介質活動的新型影像技術。它在腫瘤學、心血管疾病學、神經系統疾病研究以及新藥開發研究等領域中顯示出卓越的性能。PET成像的過程是通過注射或服用放射性藥物，采集正電子湮滅產生的光子數目得到投影數據[1]。但數據采集持續時間長，探測器環記錄的海量數據也為后續數據存儲和圖像重建帶來困難，且對人體有一定損害，并且受探測器效率影響，檢測到的投影數據受噪聲干擾大，導致最終PET圖像成像質量較低。

迄今為止，多種PET重建方法相繼被提出。常見的重建策略有濾波反投影FBP(Filter Back Projection)方法、最大似然期望最大化MLEM(Maximum Likelihood Expectation Maximization)方法。FBP算法在斷層成像中有著廣泛的應用，具有形式簡單、計算效率高和成像速度快等優點[2]，但是卻無法有效地抑制噪聲，重建圖像的分辨率和噪聲特性非常差。MLEM算法由于能夠在圖像重建的過程中引入各種物理成像條件以及統計模型，具有全局收斂性、非負性和計數保持的特點[3]，圖像重建質量變好，空間分辨率得到提高，得到了廣泛的研究與應用，成為PET圖像重建的經典算法之一。然而該算法收斂速度慢，通常需要更多的計算時間，另外由于PET重建逆問題的本質, 往往會產生不穩定現象，即隨著迭代次數的增加，圖像反而逐步退化[4-5]。

近年來，隨著深度學習技術的不斷成熟，在語音、文本、視頻等方面深度學習方法得到廣泛的應用[6-7]，基于卷積神經網絡(convolutional neural network,CNN)的方法也在醫學/生物成像問題中[8]提供了令人興奮的解決方案。CNN由于通用逼近規則的靈活性能夠在任務中學習復雜的非線性關系。GONG et al[9]提出了一種基于CNN的優化轉移迭代PET圖像重建方法，將CNN嵌入到圖像表示的迭代重建框架中。由于基于MSE損失的網絡框架經常會導致模糊的輸出結果，QI et al[10]提出了一種由CNN搭建而成的網絡框架(Dnns)，使用感知損失作為目標函數以代替MSE損失。然而，基于卷積神經網絡的方法在PET圖像重建中存在兩個問題：一是為了有效去除圖像中的偽影信息，通常需要大尺度的視覺感受野來獲得充分的上下文語義信息，這通常需要擴大卷積核的尺寸，而卷積核大小的增加不可避免地增加參數量，降低內存利用率；另一個是基于MSE的損失函數經常導致輸出的結果模糊，影響醫生的診斷[10]。

通過不需要參數的逆拉登變換進行反投影，將測量的不確定性轉移到圖像空間中，造成PET圖像中含有徑向條紋偽影和高噪聲，在保持原始分辨率的同時很難去除。本文在這項工作中，首先使用逆拉登變換將光子計數數據向后投影到圖像空間，在此基礎上重建PET圖像；并且基于上述卷積神經網絡存在的缺點，提出了一種嵌套空洞卷積[11]殘差塊的Unet網絡與感知損失相結合運用于PET圖像重建中，記作D-Unet，網絡框架如圖1所示，以改善重建圖像質量。實驗結果表明，相對于其他重建算法，本文的算法在改善重建圖像質量方面獲得了滿意的效果。

圖1 D-Unet網絡框架結構圖Fig.1 Architecture of the proposed dilated U-Net (D-Unet) for 2D

1 相關工作

1.1 PET數據模型

(1)

其中，Nv代表重建圖像中的像素數目，Nm代表響應線的數目(Lines of response，LOR)，r代表光子采集過程中的散射效應和隨機符合事件，在本文的方法中，設為0.A∈RNmNv表示檢測概率矩陣，圖像重建的過程可以看作成像過程的‘逆’過程，就是基于投影數據y，求解生物組織內放射性濃度分布x的過程。如公式(1)所示，由于病態算子A，散射和隨機符合事件的存在，求解x的問題通常是不適定的。

1.2 U-Net網絡

2015年，Olaf R提出了基于CNN的U-Net網絡[13]，最初主要應用于醫學圖像分割，其后在其它的領域得到了廣泛的應用(例如，圖像去霧、去噪、去模糊、超分辨率等方向)。U-Net網絡的主體結構是編碼器-解碼器結構。在編碼階段，使用卷積層逐步提取特征并通過池化層逐步降低特征圖分辨率，逐漸還原展現環境信息，到達瓶頸層后，再通過解碼過程結合編碼階段各層信息逐步恢復特征細節和空間位置信息，還原圖像精度。值得注意的是，U-Net處理從兩個主要來源引入了某種程度的模糊。第一個是卷積的數學性質。其次，當特征圖通過網絡時，通常是池化，然后是反卷積。研究學者發現，空洞卷積通過擴大的感受野，從而處理多尺度的上下文信息，是一種消除模糊效果的有效方法[14]。對于PET圖像重建，輸入的含有條紋偽影的PET圖像和輸出的去除條紋偽影后的圖像之間存在一些共同特征，圖像的邊緣是相似的，U-Net網絡相較于普通的編碼-解碼網絡有所不同，其具有跳躍連接結構，編碼階段提取的特征可繞過瓶頸層到達解碼階段，因此能幫助解碼器更好地修復目標地細節。

2 方法描述

2.1 RnD塊

RnD塊是D-Unet網絡的主要部分?？斩淳矸e被看作是在卷積核中每個像素之間插入“孔”(數值為0)，對于一個擴張率為k×k的空洞卷積核，相應的空洞卷積核的感受野為kr×kr，其中kr=k+(k-1)×(k-1).PET圖像去噪重建的過程中使用空洞卷積，在保持相同分辨率的情況下保持更廣泛的局部信息，圖2描述了RnD塊的詳細結構，圖的左側為RnD塊的主要組成部分，右側代表空洞卷積的處理過程，RnD 模塊分別以擴張率為1，2，4將三個卷積層依次疊加，最終得到的感受野的大小為15×15，是普通情況下疊加三個標準卷積層的兩倍。為了避免稀疏空洞卷積帶來的細節損失，在RnD塊中加入了一個短距離的跳躍連接[15]，同時有助于恢復圖像細節。RnD模塊的公式表示如下：

xi+1=F(r3,F(r2,F(r1,xi)))+xi.

(2)

式中：F表卷積函數，ri代表空洞卷積的擴張率，這里分別對應1,2,4.

圖2 RnD的模式(左)和不同的空洞卷積對應的接受域(右)Fig.2 Schema of the RnD blocks (left) and corresponding receptive field (right) for each dilated convolution

2.2 網絡架構

本文所提出的空洞U-Net(Dilated U-Net，D-Unet)重建網絡模型的體系結構如圖1所示，粉紅色陰影所表示部分代表RnD塊，網絡輸入的帶有噪聲和條紋偽影的FBP PET圖像，主要是實現像素到像素之間的輸出。它由47層組成，包括9個RnD塊(圖2中紅色陰影所表示部分)，4個反卷積層，30個卷積層，4個池化層，和其他的批量歸一化(Batch Normalization，BN)，修正線性單元(Rectified linear unit，ReLU).對于PET重建，輸入的是反投影光子數據得到的含有徑向條紋偽影和高噪聲的圖像，輸出的是重建的PET圖像，n指的是特征圖的數量，d指的是空洞卷積的擴張率，k指的是卷積核的大小。在編碼階段，一開始的卷積層用來提取PET圖像的抽象特征，其次特征圖進入所設計的RnD塊，通過引入空洞卷積，有效的感受野增加，同時在不增加參數量的情況下，用和普通卷積相同數量的參數聚合多尺度上下文信息。在解碼階段，為了實現像素到像素之間的輸出，在編碼階段對輸入的圖像進行池化操作后，需要對提取到的特征映射再進行反卷積，以便恢復到原始圖像的尺寸。為了更好地保存原始圖像的信息，本文還采用了跨層連接的策略，將輸入到網絡中的圖像與反卷積后相同維度的圖像進行融合。

在以往的工作中，多采用真值圖像和輸出結果之間的MSE作為損失函數，通常定義為：

(3)

其中，xsim代表含有徑向條紋偽影和高噪聲的PET圖像。然而，該損失函數是定義單個圖像像素之間的差異，完全基于該損失函數的優化可能導致模糊的網絡輸出，具體表現為PET圖像上缺乏連貫的網絡細節[16]，進而對醫生的診斷產生負面的影響。因此，為了提高PET圖像重建的結果質量，在MSE損失函數的基礎上額外增加了感知損失，該損失函數是由預訓練的深度卷積神經網絡(visual geometry group at oxford university，VGG16 networks)所定義，感知損失函數定義如下

(4)

其中，φ表示特征提取操作符，是基于預訓練的網絡的輸出，通過比較特征圖而不是像素強度，可以使網絡在保持圖像細節的同時更有效地去除噪聲。由此，總損失函數可以表示為，

ltotal=αlmse+βlperceptual.

(5)

基于ltotal損失函數的D-Unet 一旦訓練好，我們可以應用它到任何新的輸入(即含有徑向條紋偽影和高噪聲的PET圖像)，并且可以得到良好的去偽影重建效果。采用VGG16網絡的第一個池化層之前的輸出作為提取的特征，以相同的空間大小作為輸入，共提取64幅特征圖。這個過程如圖3所示。利用通用圖像訓練出來的VGG16網絡由于網絡層的增加通常能夠得到更低水平的特征，從而獲取較好的表現結果。假設醫學PET圖像也有如此表現，我們嘗試從更深的網絡層中提取特征，但性能不如只選取第一個池化層提取的特征結果，其原因值得進一步研究。

圖3 基于VGG網絡的特征圖生成過程示意圖Fig.3 Schematic of the feature map generation process based on the VGG network

總的來說，如圖4所示，所提出的用于PET圖像重建的 D-Unet模型包括3個步驟：1) 根據PET成像原理，由目標域(GT圖像)生成仿真數據集，并將其分為訓練集和測試集，并保證來自同一目標域的測試集性能達到最新水平；2) D-Unet中分別輸入含有噪聲和徑向條紋偽影的PET圖像xsim，并與真值/標簽PET圖像xgt計算MSE損失和VGG感知損失。根據公式(5)，使用Adam方法優化并更新D-Unet中的權重參數，不斷迭代；3) 當D-Unet模型得到充分的訓練時，將來自源域的xsim用D-Unet進行重構，得到與真實PET圖像xgt極度相似的PET圖像，該網絡詳細訓練過程詳見圖5.

圖4 本文方法縮略圖Fig.4 Proposed overall architecture

圖5 D-Unet網絡訓練過程Fig.5 Training process of D-Unet

3 實驗

3.1 質量評價參數

為了定量、客觀地評價重建圖像質量，需對重建結果進行定量描述。采用一些常見的質量評價參數定量分析圖像的重建質量，分別是偏差、方差、峰值信噪比，定義如下：

1) 偏差(Bias).

(6)

2) 方差(Variance，Var).

(7)

式中：Ns代表同一噪聲水平情況下隨機泊松噪聲的實現次數，這里Ns=10，方差給出了重建圖像之間的對應像素的離散程度，方差越小表示重建圖像質量越好。

3) 峰值信噪比(Peak Signal To Noise Ratio,PSNR).

(8)

峰值信噪比是基于圖像對應像素點間的誤差，即基于誤差敏感的圖像質量評價，峰值信噪比越高表示圖像失真越小，重建圖像質量越好。

3.2 數據集

許多深度學習實驗的主要瓶頸是可用數據集的有限大小和標記數據的缺乏。通過綜合生成標記數據來繞過這個問題。真值數據是從阿爾茨海默病神經成像計劃(ADNI)數據庫中大腦掃描的軸向切片中提取出來的。關于ADNI PET數據獲取協議的詳細信息可以在UCLA神經成像實驗室(LONI)的網站上找到(http://www.loni.ucla.edu/ADNI/Data/ADNI Data.shtml).具體來說，一個真值圖像通過拉登變換產生沒有噪聲干擾的正弦圖數據(投影數據)，對真值圖像的投影數據加入泊松噪聲。利用斜坡濾波和線性插值的逆拉登變換，將正弦圖反投影到圖像空間中，生成含有噪聲和條紋偽影的輸入圖像。泊松噪聲(示蹤劑劑量)水平可以通過設置從探測器收集的光子總數來調整。在本研究中，訓練數據光子總數計數值為3×106.模擬10次隨機泊松噪聲實現，并分別進行了重構比較。每0.718°在平行光束幾何圖形中收集投影，每張PET圖像切片共使用252個視圖角度。訓練數據為8 000張128×128的切片，測試數據為100張128×128的切片。其次，為了驗證D-Unet的魯棒性,本研究準備了四個不同噪聲水平的測試數據，分別為1×105，1×106，3×106和1×107，代表不同的光子總數控制噪聲水平的PET數據。

3.3 訓練細節

本工作中的VGG網絡[17]是在ImageNet[18]上預訓練的。所有卷積核權重初始化均采用何凱明初始化方式[19]。D-Unet使用Adam優化器[20]進行訓練并且相應超參數設置為β1=0.9，ε1=108，β2=0.999，該超參數的設置是參考論文的推薦值[20]，并且實驗證明該超參數設置能夠加快訓練速度， 同時在訓練過程中更容易跳出極值解，避免陷入局部最優解。批量大小設為20，網絡在迭代2 000次左右時驗證集上感知損失不再明顯下降，因此選擇第2 000次保存的權值作為最終的模型參數。其固定學習率為0.000 1，并逐漸降低為0.另外，我們設置α=0.1，β=1，根據之前的研究[21]和實踐，發現設置這些權重是足夠的，這樣不同損失項的大小就可以平衡到相似的比例中。本文的實驗環境是基于內存為16 GB的Intel Xeon E5-2680服務器，顯卡為Nvidia Tesla K80c，應用的深度學習框架為tensorflow 1.14，采用的編程語言為python3.6.

3.4 不同噪聲水平的重建效果

圖6(a)-(c)顯示了所提出的方法在不同的噪聲水平下的重建結果，可以清楚地看到，D-Unet去除了大部分的條紋偽影，并且保留了底層PET圖像詳細的細節結構。當光子計數量為1×107時，重建出的PET圖像與GT圖像非常相似。然而，對于光子計數量為1×105時，大部分徑向條紋偽影和高噪聲被有效抑制，但是邊緣細節有明顯的損失。這是因為探測到的光子數較低，并且在投影空間中有明顯的信息丟失。

3.5 幾種重建算法的比較

為了驗證本文所提方法的有效性，將D-Unet方法與傳統的FBP，MLEM，基于深度學習的PET重建方法(Dnns)，以及僅含有MSE-loss的D-Unet方法5種算法進行比較分析。其中，MLEM選取第38次迭代的重建結果，對于Dnns，對訓練過程執行了500個epoch，以使得重建結果達到最優效果。不同噪聲水平下的重建結果如圖6所示。

圖7給出了總光子數量為3×106，不同對比試驗方法得到的重建結果，可以看出，D-Unet的重建效果要優于其他圖像重建算法。傳統的MLEM重建效果差，重建的圖像具有很明顯的噪聲；使用基于深度學習的Dnns方法，噪聲已經得到一定程度的抑制，但圖像仍有偽影的存在；使用損失函數為MSE的D-Unet方法，去噪性能得到進一步的改善，但可以看出本文算法重建圖像所含的噪聲最少，重建圖像和真實圖像最接近；邊緣保持方面，傳統的MLEM方法破壞了物體的邊緣結構，邊緣線出現鋸齒形狀，但是本文方法能較好地保持圖像的邊緣。

為了更好地了解重建圖像的質量，畫出上面5種算法重建圖像沿不同方向的輪廓線，以及他們和真實輪廓線上像素值的的絕對差，這些輪廓線穿過了邊界以及不同區域，因此圖像重建算法可以用輪廓線的比較來衡量，結果見圖8，從圖8(a)和(b)，可以發現，D-Unet方法能夠有效地恢復圖像像素值，MLEM和Dnns在0 °和45 °方向的輪廓線有明顯的漂移，和沒有應用感知損失的方法相比，運用感知損失的方法能夠使重建的圖像的輪廓線更接近于真實圖像的輪廓線。這一結論同樣也可以從(c)和(d)中得出，D-Unet重建圖像和真實圖像輪廓線上像素值的絕對差普遍比其它算法的要低，而且它的輪廓線上的像素值變化趨勢和GT圖像像素值變化趨勢非常接近，這也說明了D-Unet算法在邊界保持和像素值恢復上具有優勢。

圖7 真值圖像及各算法重建結果圖像(光子計數量為3×106) Fig.7 GT PET image and reconstructed PET image using different methods (photon counts is 3×106)

圖9給出了D-Unet在結合不同損失函數的情況下對應的網絡訓練過程曲線圖，從圖中可以看出引入了感知損失的模型在訓練步數為750次附近時損失值就已經達到比較低的水平，并且保持較小幅度的浮動，相似的實驗結果在圖7(e)和(f)也有體現，這也證明了感知損失在優化訓練網絡，提高重建像素精度方面發揮了重要作用。

表1列出了針對100張測試PET圖像數據，5種算法的PSNR，Bias，Variance質量參數的均值標準差(Mean±SDs)的對比情況，對于PSNR，可以發現傳統方法MLEM表現出較差的性能(28.75±3.39 VS 33.46±4.08)，原因是MLEM在圖像重建的過程中直接采用投影數據進行建模，而投影數據中含有大量的噪聲，重構過程中無法對噪聲進行有效地抑制。對于基于深度學習的方法，Dnns的PSNR數值明顯低于D-Unet(mse)方法(28.51±3.12 VS 29.13±3.22)，這也表明了嵌套結合空洞卷積的Rnd塊的U-Net網絡通過最大程度的獲得感受野，從而有效地進行PET圖像去躁。當U-Net網絡結合感知損失作用于FBP PET圖像時，Bias數值明顯小于僅使用mse損失函數的U-Net網絡(0.03±0.01 VS 0.07±0.01)，Variance 數值也表現出一樣的趨勢(0.12±0.04 VS 0.11±0.02)，可見本算法的性能優于其他的圖像重建算法。這得益于該方法使用U-Net在對PET圖像進行編碼與解碼降噪的過程中，結合空洞卷積擴大感受野與感知損失函數良好的細節和邊緣保持能力，實現了優勢互補。表2統計了不同對比方法分別訓練和重建一張PET圖像所需時間，從表中可以看出，本文所提出的方法在網絡離線訓練完成后，由于方法耗時較少，該方法在PET掃描儀上的實時重建效果明顯優于其它方法。

圖8 重建圖像在不同方向的輪廓線以及輪廓線上像素值的絕對差Fig.8 Contour lines of the reconstructed image in different directions and the absolute difference of pixel values on the contour lines

圖9 訓練過程曲線圖Fig.9 Curve of training process

表1 各重建算法的質量評價參數(Mean±SDs)Table 1 Quality evaluation parameters of each recons- truction algorithm (Mean±SDs)

表2 算法的運行時間Table 2 Running time of the algorithm

4 結束語

本文提出了一種新的基于空洞卷積的U-Net網絡，與感知損失函數相結合，并將其應用于PET圖像重建中，通過與其它重建算法進行比較的實驗表明，無論從主觀的視覺效果還是從客觀的質量評價參數看，本文提出的方法能很好地抑制噪聲，提高成像質量，有利于實際的應用。算法的有效性與可行性得到了驗證。該算法除了可以應用于PET、醫學CT等醫學成像領域之外，在工業CT、無損檢測方面也有良好的應用前景。