基于雙域迭代殘差網絡的雙能CT圖像材料分解研究

摘" 要： 針對在圖像域將深度學習與迭代重建算法結合的深度迭代殘差網絡分解得到的材料圖像受到噪聲和偽影的影響，提出將迭代殘差網絡擴展到雙域，即基于雙域迭代殘差網絡的雙能CT圖像材料分解方法。該方法集成了兩個并行交互的子網絡CNN，同時在圖像域和投影域進行材料分解操作，通過CNN直接向該網絡提供投影數據，在不同域之間進行信息傳遞和融合，使用CNN豐富雙域模型的數據保真度。實驗結果表明，雙域迭代殘差網絡相比于只在圖像域進行材料分解能夠更好地抑制噪聲和偽影，提高圖像質量和分解精度，做到細節保護。

關鍵詞： 雙能CT； 圖像域； 投影域； 雙域迭代殘差網絡； 材料分解； 噪聲抑制

中圖分類號： TN911.73?34； TP391""""""""""""""""" 文獻標識碼： A"""""""""""""""""" 文章編號： 1004?373X（2024）09?0078?04

0" 引" 言

雙能計算機斷層掃描（DECT）技術在醫學影像領域有廣泛的應用[1]。它可以通過分解CT圖像中不同材料的組成，為臨床早期病變的檢測和病理分析提供依據。在這個領域中，研究人員主要集中在圖像域和投影域兩個方向上進行研究。

在圖像域方面，采用深度學習技術[2?4]直接處理CT圖像進行材料分解，文獻[5]首次引入了用于稀疏視圖CT圖像恢復的U?Net，直接進行濾波反投影（FBP），減輕欠采樣引起的偽影。文獻[6]提出用密集塊替換U?Net中的卷積層，以加速訓練并增強表達能力。同時，文獻[7?8]將所提出的深度卷積小框架擴展到低劑量和稀疏視圖CT成像。文獻[9]介紹了著名的SRCNN模型，用于低劑量CT，并進一步優化了網絡使用自動編碼器和殘差連接的架構。文獻[10]提出生成對抗網絡（GAN）框架用于低劑量CT中的降噪。文獻[11?12]結合傳統的懲罰加權最小二乘估計（PWLS），提出稀疏變換（DECT?ST）和學習變換混合集（DECT?MULTRA）的正則化方法。這些方法可以較好地處理低劑量CT圖像中的噪聲，并取得了良好的效果。

在投影域方面，直接對正弦圖操作可能會引入嚴重的偽影，將深度學習技術結合到迭代重建框架中能夠較好地解決這個問題。通過對正弦圖進行處理，實現材料分解。一方面，用一個經過訓練的神經網絡代替傳統的正則化項，文獻[13?14]分別使用[k]稀疏自動編碼器和RLNet作為約束，由于這些方法只是將基于網絡的正則化項加入到迭代框架中，因此仍然存在計算量大和參數調整繁瑣的問題；另一方面，將優化算法展開為可訓練的網絡，Chen等人引入先驗模型[15]作為正則化項，并應用簡單梯度下降法[16]形成迭代。文獻[15]提出用卷積神經網絡（CNN）代替投影梯度下降；文獻[17]提出在數據和圖像域中約束重建問題，并將基于交替方向乘法器（ADMM）的優化方法展開為網絡。這些方法可以有效地利用數據域中的先驗信息，并提高速度。

總的來說，雙能CT在醫學影像領域有廣泛的應用。然而，現有的方法大多是在單一域進行分解，無法充分利用不同域之間的潛在相互作用。為了解決這個問題，本文提出了雙域迭代殘差網絡（DIR?Net），DIR?Net通過在圖像域和投影域之間進行信息傳遞和融合，交互學習和調整能夠更好地捕捉圖像中的細節信息，并有效抑制噪聲和偽影。該方法不僅可以在較短時間內完成分解，還可以提高材料分解的精度。

1" 雙能CT圖像域材料分解模型

圖像重建問題被視為求解線性系統：[y≈Ax]，[x=（x1，x2，…，xJ）]表示患者圖像的離散衰減系數的向量，[A]是[I×J]的質量衰減系數矩陣，[y=（y1，y2，…，yI）]表示在校準和對數變換后測得的數據。

在圖像域材料分解問題中，將不同能量下的重建圖像組成一個堆疊的雙通道圖像向量，將不同能量下的重建圖像組成[y=（yTH，yTL）∈R2Nt]，[yH]和[yL]分別是高能量和低能量下的衰減圖像，[Nt]是圖像的像素總數。[x=（xTH，xTL）∈R2Nt]，表示未知的材料密度圖像，圖像重建的目的是從系統矩陣[A]和測量數據[y]中恢復未知的[x]，材料分解的目的是將重建后圖像中的不同材料組分分離開來，方便后續檢測。

直接矩陣反演得到的基材料圖像有較強的噪聲和偽影，圖像質量顯著下降，而有正則化的迭代重建算法能夠很好地克服這些問題。

[minx∈R2Ntλ2y-Ax22+R（x）] （1）

式中：[λ2y-Ax22]為數據保真項，解決了重建的[x]和測量數據[y]之間的一致性，[λ]參數控制數據保真項和正則化之間的平衡；[R（x）]用于正則項。

對使用深度學習的正則化項的算法運用梯度下降算法進行計算，用CNN代替正則化項，能夠在訓練階段自適應調節正則化參數，同時實現圖像分解和噪聲抑制，得到的函數如下：

[xt+1=xt-λtAT（y-Axt）+fI?CNN（xt，Θt1）] （2）

式中：[λt]是迭代相關參數，在每次迭代中可能不同；[fI?CNN（?）]代表卷積模塊；[Θ1]表示學習的網絡參數；[λtAT（y-Axt）]對應于數據保真項，整個塊之間用shortcut連接，類似于殘差塊。

2" 雙能CT圖像雙域迭代殘差網絡

式（2）中基于CNN的濾波只適用于圖像域的中間結果，在投影域沒有額外的操作。近年來，一些研究表明，同時在數據域和圖像域處理數據可以有效地提高材料分解性能。然而，現有的雙域CT圖像材料分解方法是按順序處理投影和圖像數據的，這可能會忽略兩個域之間的相互作用。本文為了融合圖像域和投影域的相互作用，基于迭代殘差網絡提出了一種并行交互雙域CT圖像材料分解網絡，稱為雙域迭代殘差網絡。

2.1" 雙域迭代殘差網路架構

在提出的雙域迭代殘差網絡中，重點在[λtAT（y-Axt）]這一項中，將中間結果[xt]投影到投影域，計算與測量數據的殘差；然后，將殘差反投影到圖像域，并與CNN濾波結果一起加權，形成一個迭代塊的最終輸出。

針對稀疏采樣問題，由于采樣率低，利用來自中間圖像的有限信息估計殘差，這可能會導致更多的數據誤差。為了克服迭代殘差網絡的這一不足，引入了全采樣投影矩陣[Af]的先驗知識和基于CNN的正弦圖修復。

將[λtAT（y-Axt）]替換為[λtATfAfxt-fS?CNNAfxt，Θt2y]，[fS?CNN（?）]表示投影數據的卷積模塊，[Θ2]表示[fS?CNN（?）]的學習網絡參數。則：

[xt+1=xt-λtATfAfxt-fS?CNNAfxt，Θt2y-fI?CNNxt，Θt1]

（3）

通過固定的迭代次數[Nt]展開式（3），得到雙域迭代殘差網絡的網絡架構，如圖1所示。

與圖像域子網絡相同，投影域也采用三層CNN結構，一個迭代塊由三個并行子模塊組成，包括殘差連接、圖像域子網絡和投影域子網絡。

2.2" 網絡訓練

雙域迭代殘差網絡以監督學習的方式訓練網絡，網絡訓練中以直接求逆的結果作為初始基圖像[x0]，迭代次數為200次。使用神經網絡工具箱MatConvNet進行訓練。算法編程環境為：Ubuntu 18.04，處理器為2顆Intel[?] xeon[?] Silver 4216 CPU@2.10 GHz，內存256 GB，顯卡為Tesla v100。影響分解質量的參數為卷積核的數量[{n1，n2，n3}]、卷積核的大小[{s1，s2，s3}]和總迭代次數[Nt]。設置得到合適的網絡配置為[n1=n2=48]，[n3=2]，[s1=s2=s3=]3×3，[Nt=13]。

3" 實" 驗

3.1" 實驗數據

為了測試雙域迭代網絡相比在單一圖像域的迭代殘差網絡的優勢，與其使用相同的數據，用Duke大學提供的基于人體制作的4D XCAT仿真數據來獲得雙能CT圖像。將獲得的雙能CT圖像用于仿真實驗的訓練和測試。仿真數據如圖2所示。

首先對XCAT體模進行掃描重建，在投影中加入泊松噪聲，采用濾波反投影重建算法（FBP）對140 kVp和 80 kVp下的投影數據進行重建，重建圖像大小為512 × 512。從XCAT模體中隨機選取80張切片，其中60張作為訓練集，20張作為測試集。

3.2" 實驗結果

為了直觀地說明基于雙域迭代殘差網絡的雙能CT材料分解方法的去噪性能，選取不同于訓練數據的切片對實驗結果進行比較。針對 XCAT體模的測試，選用迭代殘差網絡（IR?Net）算法做對比實驗。

圖3顯示了IR?Net和DIR?Net的分解結果。

從圖3中可以看出：IR?Net方法分解得到的基材料雖然在視覺上圖像質量已經很清晰，但仍然含有噪聲和偽影，組織邊緣比較模糊；而DIR?Net方法很好地解決了雙能CT圖像分解結果出現噪聲和偽影等問題，通過在不同域之間進行信息傳遞和融合，無論是水圖像還是骨圖像都已無明顯的噪聲和偽影。相比于IR?Net方法，本文提出的算法更加能夠抑制大量噪聲，且圖像清晰、邊緣完整，在視覺上具有最佳的分解效果。

4" 結" 論

本文針對在單一圖像域進行雙能CT圖像材料分解無法利用不同域之間的潛在相互作用，導致分解結果相對精度較低的問題，提出基于雙域迭代網絡的雙能CT材料分解算法。該算法集成了兩個并行交互的子網絡CNN，同時在圖像域和投影域進行圖像材料分解操作，通過CNN直接向該網絡提供投影數據，不用數百次迭代，所有正則化項和平衡參數可以在訓練階段自適應地學習。在展開的網絡中，正則化項和平衡參數成為神經網絡的迭代相關參數，這些參數可以隨著每次迭代而變化。通過在不同域之間進行信息傳遞和融合，能夠更好地捕捉圖像中的細節信息，有效抑制了噪聲和偽影，提高了分解精度。

使用XCAT模體仿真數據進行的實驗表明，本文方法可以在較短時間內完成分解，在噪聲抑制、提高材料分解精度方面相對于迭代殘差網絡圖像材料分解更具有優勢。

注：本文通訊作者為陳平。

參考文獻

[1] JOHNSON THORSTEN R C， BRENHARD K， MARTIN S， et al. Material differentiation by dual energy CT： Initial experience [J]. European radiology， 2007， 17（6）： 1510?1517.

[2] WANG G. A perspective on deep imaging [J]. IEEE access， 2016， 4： 8914?8924.

[3] WANG G， YE J C， MUELLER K. Image reconstruction is a new frontier of machine learning [J]. IEEE transactions on medical imaging， 2018， 37（6）： 1289?1296.

[4] WANG G， ZHANG Y， YE X J， et al. Machine learning for tomographic imaging [M]. Bristol， England： IOP Publishing Ltd.， 2020.

[5] JIN K H， MCCANN M T， FROUSTEY E， et al. Deep convolutional neural network for inverse problems in imaging [J]. IEEE transactions on image processing： A publication of the IEEE Signal Processing Society， 2017， 26（9）： 4509?4522.

[6] ZHANG Z C， LIANG X K， DONG X， et al. A sparse?view CT reconstruction method based on combination of DenseNet and deconvolution [J]. IEEE transactions on medical imaging， 2018， 37（6）： 1407?1417.

[7] KANG E， CHANG W， YOO J J， et al. Deep convolutional framelet denosing for low?dose CT via wavelet residual network [J]. IEEE transactions on medical imaging， 2018， 37（6）： 1358?1369.

[8] HAN Y， YE J C. Framing U?Net via deep convolutional framelets： Application to sparse?view CT [J]. IEEE transactions on medical imaging， 2018， 37（6）： 1418?1429.

[9] CHEN H， ZHANG Y， ZHANG W H， et al. Low?dose CT via convolutional neural network [J]. Biomedical optics express， 2017， 8（2）： 679?694.

[10] WOLTERINK J M， LEINER T， VIERGEVER M A. Generative adversarial networks for noise reduction in low?dose CT [J]. IEEE transactions on medical imaging， 2017， 36（12）： 2536?2545.

[11] LI Z P， RAVISHANKAR S， YONG L， et al. Image?domain material decomposition using data?driven sparsity models for dual?energy CT [C]// 2018 IEEE 15th International Symposium on Biomedical Imaging （ISBI 2018）. New York： IEEE， 2018： 52?56.

[12] LI Z P， RAVISHANKAR S， YONG L， et al. DECT?MULTRA： Dual?energy CT image decomposition with learned mixed material models and efficient clustering [J]. IEEE transactions on medical imaging， 2020， 39（4）： 1223?1234.

[13] WU D F， KIM K， EL FAKHRI G. Iterative low?dose CT reconstruction with priors trained by artificial neural network [J]. IEEE transactions on medical imaging， 2017， 36（12）： 2479?2486.

[14] WANG Y B， LIAO Y T， ZHANG Y K， et al. Iterative quality enhancement via residual?artifact learning networks for low?dose CT [J]. Physics in medicine biology， 2018， 63（21）： 215004.

[15] ROTH S， BLACK M J. Fields of experts [J]. International journal of computer vision， 2009， 82： 205?229.

[16] CHEN H， ZHANG Y， CHEN Y J， et al. LEARN： Learned experts′ assessment?based reconstruction network for sparse?data CT [J]. IEEE transactions on medical imaging， 2018， 37（6）： 1333?1347.

[17] GUPTA H， JIN K H， NGUYEN H Q， et al. CNN?based projected gradient descent for consistent CT image reconstruction [J]. IEEE transactions on medical imaging， 2018， 37（6）： 1440?1453.

[18] HE J， YANG Y， WANG Y B， et al. Optimizing a parameterized plug?and?play ADMM for iterative low?dose CT reconstruction [J]. IEEE transactions on medical imaging， 2019， 38（2）： 371?382.

Research on dual?energy CT image material decomposition based on dual?domain iterative residual networks

ZHI Dongxiao1， 2， CHEN Ping1， 2

（1. School of Information and Communication Engineering， North University of China， Taiyuan 030051， China;

2. Shanxi Key Laboratory of Signal Capturing and Processing， North University of China， Taiyuan 030051， China）

Abstract： In the image domain， the material image obtained by decomposing the deep iterative residual network which combines deep learning and iterative reconstruction algorithm is affected by noise and artifacts. To address this issue， the iterative residual network is extended to the dual?domain， which is a dual?energy CT image material decomposition method based on the dual?domain iterative residual network. This method integrates two parallel and interactive sub?networks CNN， and performs material decomposition operations in the image domain and the projection domain at the same time. The projection data is directly provided to the CNN， and the information is transmitted and fused between different domains. The CNN is used to enrich the data fidelity of the dual?domain model. Experimental results show that the dual?domain iterative residual network can better suppress noise and artifacts， improve image quality and decomposition accuracy， and sufficiently protect details than that perform image material decomposition only in the image domain.

Keywords： dual?energy CT; image domain; projection domain; dual?domain iterative residual network; material decomposition; noise suppression

DOI：10.16652/j.issn.1004?373x.2024.09.014

引用格式：智東曉，陳平.基于雙域迭代殘差網絡的雙能CT圖像材料分解研究[J].現代電子技術，2024，47（9）：78?81.

收稿日期：2024?01?12"""""""""" 修回日期：2024?01?31

智東曉，等：基于雙域迭代殘差網絡的雙能CT圖像材料分解研究

作者簡介：智東曉（1998—），女，山西忻州人，碩士，主要研究方向為雙能CT圖像材料分解。

陳" 平（1983—），男，教授，主要研究領域為X射線成像、光電檢測等。

智東曉，等：基于雙域迭代殘差網絡的雙能CT圖像材料分解研究