生成對抗網絡加速超分辨率超聲定位顯微成像方法研究*

隋怡暉 郭星奕 郁鈞瑾 Alexander A.Solovev 他得安1) 許凱亮1)?

1)(復旦大學工程與應用技術研究院,上海 200433)

2)(復旦大學信息科學與工程學院,生物醫(yī)學工程中心,上海 200438)

3)(復旦大學材料科學系,上海 200438)

超快超聲定位顯微成像(uULM),突破了傳統(tǒng)超聲衍射極限,可實現分辨率遠小于發(fā)射波長的在體深層微血管精準成像.通過對微血管中數以萬計的運動微泡進行中心點定位和軌跡追蹤,uULM 技術可重建微血管圖像.通常一張uULM 圖像需要數十秒甚至數百秒的連續(xù)長程圖像采集,這在一定程度上限制了其更廣泛的臨床應用.針對這一挑戰(zhàn),本研究在闡明了超聲衍射極限、超分辨率定位理論方法的基礎上,給出了基于傅里葉環(huán)相關的分辨率測定原理和實現方法,并結合傳統(tǒng)uULM 重建技術,發(fā)展了一種基于生成對抗網絡的深度學習超分辨超聲成像方法,以縮減uULM 對圖像采集時長的依賴,提高成像速度和成像分辨率.針對大鼠腦的在體數據分析結果表明,基于生成對抗網絡的超聲定位顯微技術微血管分辨達到10 μm,在保持較高超聲成像空間分辨率和圖像飽和度的同時,數據采集時間縮減一半,從而顯著降低了uULM 對圖像數據采集時長的依賴.相關深度學習模型連接軌跡的計算復雜度較小,且避免了人工調參以及軌跡篩選,為加速超分辨率uULM 微血流成像和提升uULM 成像分辨率提供了一種有效的工具.相關思路與方法對促進超分辨率uULM 成像技術發(fā)展具有一定的借鑒意義.

1 引言

微血管系統(tǒng)分布于各種組織和器官中,起到維持人體內各器官生理功能正常運行的作用[1].微血管結構或功能改變將損害正常器官功能或導致疾病發(fā)生,在包括腫瘤、卒中、阿爾茲海默、心血管病、心腦血管病和糖尿病等重大疾病的發(fā)生、發(fā)展過程中起到了至關重要的作用[2].因此,發(fā)展“精準而快速”的微血管及血流成像方法,實現相關疾病中微血管病變的早期診斷具有重要臨床意義.

目前,臨床在體微血管成像的金標準技術主要為X 射線計算機斷層掃描造影技術(computed tomography angiography,CTA)和磁共振造影技術(magnetic resonance angiography,MRA).在造影劑的輔助下,CTA[3]和MRA[4]均能夠穿透深層組織將血管分辨率降低到幾十微米,獲得三維血管影像,但掃描時間較長,在人體臨床應用中仍有較大挑戰(zhàn).近紅外二區(qū)熒光成像[5]和光聲顯微成像[6]有高空間分辨率和高時間分辨率的優(yōu)點.但缺乏足夠的組織穿透力,無法實現深層腦微血管成像.

超聲具有非侵入性、無輻射的優(yōu)點,作為一種不可或缺的臨床影像模態(tài),已被廣泛用于人體各器官成像[7]和經顱骨的腦組織成像[8].近年來,先進的超快超聲成像技術可實時呈現腦、腎臟、肝臟和脊髓中微小血管的高質量圖像[9,10].亦可對腦微血流量變化量成像,進而利用神經血管耦合機制,實現腦功能成像[11].然而,受限于衍射極限,傳統(tǒng)超聲成像的空間分辨率仍限于發(fā)射聲波波長的一半.提高成像頻率可獲得更短的發(fā)射波長,雖然能提升成像空間分辨率,但也會顯著降低穿透深度[12].當前,超快超聲成像技術仍無法滿足深層微血管的精準成像需求.

近年來,學術界所發(fā)展的超快超聲定位顯微技術(ultrafast ultrasound localization microscopy,uULM)通過定位和追蹤微泡在微血管中的運動軌跡,有效地突破了衍射極限,將分辨率提升了十倍左右.利用微泡的高對比度,uULM 可在保證穿透深度的前提下實現高時空分辨率的超聲微血流成像[13,14].2015年,Errico等[15]應用該技術實現了大鼠腦部的微血流成像,分辨率約10 μm.2017年,Lin等[16]利用ULM 技術識別大鼠腫瘤血管生成的微血管的形態(tài)特征,并實現了血管的彎曲度定量分析.2021年,Xu等[17]提出魯棒主成分分析方法用于低信噪比條件下的微泡檢出,進而提升了大鼠腦ULM 成像質量.2022年,Yu等[18]采用ULM 技術對大鼠脊髓微血流進行成像,最終獲得大鼠脊髓微血管超分辨率圖像,可清晰地看到脊髓上下兩個界面的動脈血管以及內部的微血流分布.與此同時,ULM 技術也不斷地向臨床轉化.2021年,Demené等[19]的研究表明,ULM 可以對人腦血管進行經顱成像,并在功能上表征人腦的血流動力學特征.同年,Huang等[20]利用高幀率的臨床超聲探頭,采用ULM 技術,獲得了人體肝臟、腎和腫瘤的超分辨率血流圖像.

uULM 成像通常需要通過對微泡定位與追蹤來實現,相關算法直接影響了其成像性能.目前主流的定位算法多基于高斯擬合法或質心法的單個微泡中心定位算法[21].相關方法要求每幀圖像中微泡數量較少,微泡間不產生混疊,便于定位,從而有利于識別單個微泡的中心位置,這客觀上要求使用較低的微泡濃度.然而,為獲得較為準確的uULM 成像結果,需要積累數百萬計的血管內游動的微泡事件,這客觀上導致了較長的數據采集時間.此外,在uULM 重建微泡運動的軌跡連接步驟中,部分誤判為微泡的噪聲會導致錯誤的連接軌跡[21].通常采用軌跡長度閾值將錯誤軌跡濾除,這也帶來了有用軌跡丟失的風險,從而降低了圖像的重建飽和度.

近年來,深度學習在醫(yī)學成像領域展現了巨大的潛力,也被廣泛應用于uULM 成像,以緩解數據采集時間長的問題[22].Youn等[23]訓練卷積神經網絡從射頻數據中檢測和定位高密度多點目標,可在較短的時間內檢測更多微泡,以縮短數據采集時間.Sloun等[24]使用卷積神經網絡對高密度微泡進行中心定位,證明了深度學習可在具有挑戰(zhàn)性的微泡密度下實現超分辨率成像.Liu等[25]提出了一種改進的亞像素卷積神經網絡,通過加入殘差網絡,進一步提高了網絡訓練效率.

目前的研究仍多聚焦于超聲圖像中高濃度微泡的多目標定位問題,在微泡定位跟蹤與微血管重建方面仍有所欠缺,特別是相關微泡軌跡篩選與平滑操作仍受到較多人為因素影響.本研究中提出了一種基于生成對抗網絡(generative adversarial network,GAN)的深度學習超快超聲定位顯微技術(GAN-uULM),并將U-Net 作為生成器網絡.針對微泡的軌跡連接問題,采用GAN-uULM 實現定位后的微泡軌跡重建,從而高效獲得微血管圖像.該網絡通過在體uULM 數據集訓練,并在大鼠大腦的在體數據中進行驗證.最后,通過對比標準uULM 重建算法結果,對GAN-uULM 處理得到的大鼠腦微血管圖像的血管飽和度和空間分辨率進行了定量分析.

2 基本原理

2.1 衍射極限與超分辨率定位理論

成像區(qū)域內的一個理想物點,在超聲成像系統(tǒng)的成像下表現為斑點狀,稱為成像系統(tǒng)的點擴散函數(point spread function,PSF).可構建一個高斯PSF 物理模型如下式所示

其中z表示理想物點在軸向,即超聲傳播方向上的位置;x表示理想物點在橫向方向上的位置;波長λ=c/f,c為聲速;f為超聲頻率,σz和σx分別是軸向和橫向PSF的方差.超聲圖像可以認為是所掃描物體的反射函數r(x,z)與系統(tǒng)的點擴散函數PSF(x,z)卷積后累加噪聲n(x,z)的結果,如(2)式所示[23,26]

點擴散函數造成了超聲圖像的模糊,限制了細小血管的檢測及分離[27].

由于點擴散函數的影響和衍射的限制,超聲成像的分辨率理論上受限在半波長左右,這被稱為“衍射極限”.若多個散射體間的距離小于該極限,它們的s便會重疊在一起,變得難以區(qū)分,如圖1(b)所示.提高超聲頻率可以提高分辨率,但是同時也會增加信號衰減,減少穿透深度.

常用超聲微泡尺寸在2—10 μm 之間,遠小于超聲波長(本文實驗中所用超聲頻率為15.625 MHz,波長約為100 μm),且微泡在時間和空間上是彼此分離的.因此微泡成像時同樣表現為點擴散函數,通過算法計算點擴散函數的中心點,即可定位微泡,如圖1(c)所示.通過累積成千上萬個亞波長的微泡定位點,便可以獲得分辨率遠小于發(fā)射波長的超分辨率超聲圖像.對于微血管成像,該方法用超快超聲動態(tài)檢測微血管內“游走”的超聲微泡,基于微泡點擴散函數擬合獲得微泡中心點坐標定位,從而數十倍地提升顯微成像精度;累積數以萬計的超聲微泡運動軌跡,即可獲得微血管系統(tǒng)的超分辨率圖像.

圖1 超聲成像分辨率及微泡的B-mode 圖像(a)兩微泡間距恰好為半波長;(b)兩微泡間距在半波長內;(c)實驗測量的微泡點擴散函數及其中心定位(由紅點標記)Fig.1.The resolution of ultrasound imaging and a B-mode image of microbubbles:(a)The two sources are exactly half a wavelength apart;(b)the two sources are within a half-wavelength distance;(c)microbubbles appearing as point spread function and their localizations.

2.2 基于傅里葉環(huán)相關的分辨率測定原理

基于傅里葉環(huán)相關(Fourier ring correlation,FRC)的方法給uULM 分辨率測定提供了標準方案.該參數被用于對比標準uULM和GAN-uULM方法的分辨率[28].其原理為,將軌跡數據隨機分成兩子圖像Im1和Im2,計算兩個頻譜FI和F2沿等空間頻率環(huán)r的歸一化相關性,從而獲得分辨率評價.

其中F為傅里葉變換符號,FIm2(r)?是FIm2(r)的共軛函數.

圖像分辨率為FRC 中低于閾值曲線的空間頻率的倒數.通常可使用2σ和1/2 bit 閾值曲線,分別對應于高于兩倍等效噪聲水平的相關和填充半位所需的信息.分辨率被確定為與FRC 曲線的交點,若存在兩個以上交點,則選擇與較低分辨率相對應的交點.

2.3 基于超快超聲成像的微泡提取原理與方法

不同于傳統(tǒng)聚焦超聲成像系統(tǒng)實行逐行聚焦線性掃描成像方式,基于平面波發(fā)射的超快超聲成像單次發(fā)射即可覆蓋整個成像區(qū)域,從而極大地提升了成像速度[29].成像幀頻可由傳統(tǒng)超聲的百赫茲發(fā)展到千赫茲甚至上萬赫茲[30].通過波束合成和多角度平面波復合相干疊加,可有效補償因聲束非聚焦所致的圖像信噪比和分辨率的損失,從而提高成像質量[31].近年來,基于超快超聲成像技術的超快Doppler 成像,為高時空分辨率的小血管血流動力學成像提供了一種有效的解決方案.超快超聲采集的回波信號,主要由組織信號、微泡信號和噪聲信號組成.由于組織運動和血流運動在時空一致性方面存在顯著差異,基于時空奇異值分解(singular value decomposition,SVD)的濾波方法可實現有效的雜波抑制[32].時空SVD 濾波實現的基礎主要源自于組織信號、微泡信號和噪聲信號三者的強度差異和靜動變化.簡言之,具有高時空相關性的靜態(tài)組織信號對應了較大特征值的特征向量,而噪聲則對應了較小特征值的特征向量,其余特征值和特征向量則可用于重建動態(tài)微泡圖像.

?是大小為(Nx×Nz,Nt)的對角矩陣,對角系數表示奇異值大小,*代表共軛轉置,U和V分別對應于S的空間和時間奇異向量矩陣.奇異值矩陣 ?中的系數按降序排列,具有更高強度和更高空間相干性的組織信號集中在低階奇異向量,低強度的噪聲信號集中在高階奇異向量.可以使用帶通濾波矩陣If去除低階和高階奇異值,濾除組織信號成分.濾波后的信號Sf為

If為對角矩陣,前m個對角元素對應了組織信號成分、后n個對角元素可視為噪聲信號成分;若將前m個和后n個對角元素均設為零,其余的對角系數為1,則可獲得微泡信號成分.閾值選取會影響成像結果的對比度和信噪比,在本研究中,閾值選擇的標準是奇異值曲線的拐點[33].此外,為了保證基于奇異值分解的雜波濾波結果的最佳,多次選取拐點附近的不同閾值,將SVD 濾波方法所對應的參數調整到最佳值.

2.4 超聲定位顯微原理

uULM的主要流程如圖2 所示,注射超聲造影劑后,使用超快超聲成像技術連續(xù)采集數百秒復合平面波數據.對采集到的射頻數據進行波束合成及同相/正交(in-phase/quadrature,I/Q)解調后,使用奇異值分解雜波濾波器去除組織和噪聲[33,34],從而得到微泡信號.隨后,采用基于相位相關[35]的運動校正方法實現微泡的位置校準.分別使用徑向對稱(radial symmetry,RS)[36]和Kuhn-Munkres 算法[36]實現微泡的定位與追蹤,并疊加微泡的運動軌跡.累積數百秒數據中所有超聲微泡中心的軌跡,經由圖像重建可得到超分辨率超聲微血流圖像.

對于圖2 中的步驟(c),利用步驟(b)分離得到的組織信號,采用基于相位相關的運動校正方法實現微泡的位置校準,可以減少呼吸心跳產生的微小運動對成像質量的影響[35].對于兩幀需要校正的組織信號圖像I1(x,z)和I2(x,z)=I1(x+?x,z+?z),其互相關表達式為

圖2 uULM 常規(guī)流程(a)超快超聲數據在體采集;(b)雜波濾除;(c)運動校準;(d)微泡定位;(e)微泡追蹤;(f)超分辨率圖像重建Fig.2.uULM conventional process:(a)In vivo acquisition of ultrafast ultrasound data;(b)clutter filtering;(c)motion correction;(d)microbubble localization;(e)microbubble tracking;(f)super-resolution image reconstruction.

其中F(I2)*是F(I2)的共軛函數,?x,?z為兩幀之間的位移,通過位移即可實現對微泡位置的校正.

將每個數據塊的參考幀與第一個數據塊的參考幀相關,得到數據塊之間的位移,可以實現各個數據塊之間的運動校正.

高油玉米施肥，一般施氮素300～380kg/hm2、五氧化二磷 125～160kg/hm2、氧化鉀 75～118kg/hm2。具體施肥方法以一次底肥2次追肥為好，底肥一般施有機肥15～30t/hm2、五氧化二磷 120～150kg/hm2、氧化鉀 75～118kg/hm2、氮素120～150 kg/hm2、硫酸鋅 15～30kg/hm2。追肥一般在苗期施氮素30～45 kg/hm2，促進弱苗生長;拔節(jié)后6d重施穗肥，施氮素150～180kg/hm2。在施肥過程中，注意氮、磷、鉀合理配施，這對提高粒重、胚重，尤其對提高籽粒含油量有顯著作用。磷是提高籽粒含油率的主導因素，基肥要重視磷的施入。

在波束形成后的IQ 圖像中,可借助局部極大值識別單個微泡.隨后,使用徑向對稱定位算法實現對微泡中心的精準定位[36](圖2(d)).RS 算法利用強度梯度來尋找微泡的中心.由于以其最大值為中心的對稱強度剖面上的每一點的強度梯度總是指向該最大值,將微泡中心至等勢線的距離最小化的方法便可以用來定位微泡.

對定位后的圖像使用基于Kuhn-Munkres 算法的追蹤算法獲得微泡的軌跡[36](圖2(e)).對于每個微泡,該算法計算出其與后續(xù)幀中所有微泡的距離.然后,通過最小化總平方距離找到微泡的最佳配對.之后對軌跡進行篩選,去除過短或不合理的軌跡,對其余軌跡進行插值,以恢復軌跡中微泡在兩幀之間缺失的數據點,從而重建出連續(xù)的微血管信號.

2.5 GAN-uULM 模型

生成對抗網絡(generative adversarial network,GAN)[37]在圖像生成領域得到了廣泛的研究和應用.它由生成器G 與鑒別器D 兩個模型組成,兩個模型交替訓練以相互競爭.鑒別器的目標是對真實圖像和生成的“假”圖像進行分類,而生成器的目標是欺騙鑒別器,使生成的圖像與真實圖像無法區(qū)分.與其他方法模糊且分辨率低的結果相比,GAN可以生成清晰可信的圖像,滿足超分辨率成像的需求.圖3 展示了GAN-uULM 模型的總體框架.

2.5.1 基于U-Net 實現的GAN 網絡

如圖3 所示,生成器G 采用一個U-Net 模型,包括一個編碼器和一個解碼器.U-Net 網絡是一種特殊類型的卷積神經網絡,已被證明能有效學習圖像的多尺度表示和精確的像素級映射[38].編碼器網絡中的每個編碼器層組由一組卷積層、批標準化(batch normalization,BN)和修正線性單元(rectified-linear unit,ReLU)組成,之后是池化操作.編碼器層組重復四次,以實現高效的數據壓縮.在編碼器網絡輸出之后,U-Net 網絡應用具有相同數量的解碼器層組成的解碼器網絡,通過上采樣恢復高分辨率特征圖.解碼器網絡是編碼器的反向過程,由上采樣層、卷積層、BN和ReLU 函數組成.跳躍連接用于將編碼器的輸出特征映射連接到解碼器中每個對稱塊的輸入特征映射.通過跳躍連接,解碼器可以了解更多關于輸入的相關信息.

圖3 GAN-uULM 方法整體框架Fig.3.Overall architecture of the GAN-uULM method.

輸入的微泡圖像采用3×3的卷積核進行卷積,并使用dropout[39]優(yōu)化運算,避免過擬合.池化操作中,過濾器尺寸均為2×2,進行最大池化.在上采樣中對圖像采用2× 2的卷積核進行反卷積操作.為測量GAN-uULM 輸出和微泡軌跡圖像之間的差異,使用L1 范數與多尺度結構相似性指數(MS-SSIM)[40]的加權平均值作為損失函數.MSSSIM 容易導致亮度的改變和顏色的偏差,但能保留圖像的邊緣和細節(jié)信息,而L1 損失函數能較好地保持亮度和顏色信息:

其中S為輸入的微泡定位圖像;T為相應的微泡軌跡圖像;A為網絡的實際輸出;E表示期望;pdata(S,T)是訓練數據集中微泡定位圖像S和微泡軌跡T的聯(lián)合概率密度;M S?SSIM(A,T)是A和T之間的多尺度結構相似性指數;Gσ是高斯平滑核;*表示卷積;|A ?T|是絕對差分圖像(即|A(i,j)?T(i,j)|);ρ∈[0,1]是一個標量權重,用于平衡MSSSIM和L1 范數的相對貢獻[41].

2.5.2 鑒別器網絡

2.5.3 網絡整體架構

在生成對抗網絡的生成器與鑒別器構建中,用U-Net 作為生成器,生成微泡軌跡圖像,然后將微泡軌跡標簽圖像與生成器微泡軌跡圖像輸入鑒別網絡內進行鑒別,并根據前述方法進行鑒別器模型優(yōu)化.生成器輸出在鑒別器中判別為真實值,則可證明生成器網絡的有效性.鑒別器網絡中提取了生成器微泡軌跡圖像與微泡軌跡標簽圖像的特征,根據特征圖像計算二者差別,有助于整體模型梯度優(yōu)化.模型總損失函數LSUM(G)由超分辨率重建誤差LSR(G)和生成性對抗網絡損失函數LGAN(G,D)兩部分組成:

其中權重λ是超參數,對于本文實驗,其默認值為0.02.

網絡采用了隨機旋轉、裁剪、平移和彈性變形等數據增強方式,并在輸入圖像中添加高斯噪聲,以模擬錯誤檢測和非特定標記,從而降低過擬合風險.因此,在不過度擬合的情況下,只需要少量微泡軌跡圖像即可成功訓練.本文使用隨機梯度下降和Adam 對生成器網絡進行端到端的訓練,批量大小為1,迭代次數為200000.采用來自Nvidia的Tesla P100 圖形處理單元進行網絡訓練和測試.在圖形處理單元上,GAN-uULM 需要數小時到數天的時間完成訓練,但從之前訓練過的GANuULM 開始,可以在更短的時間內完成再訓練,具體時長由批量大小和迭代次數控制.在本研究中,通過法國Langvein 實驗室提供的公開超聲數據生成了100 對微泡定位圖像和相應的標簽,并將其用作訓練集[42].經過訓練后,GAN-uULM 網絡可以將微泡定位圖像數據作為輸入,并在不到一秒鐘的時間內輸出重建的微泡軌跡圖像.

3 實驗設計

采用128 陣元的線陣探頭L22-14v,相鄰陣元間距0.1 mm,發(fā)射信號中心頻率為15.625 MHz.采用5 個不同角度的平面波(–5°,–2°,0°,+2°,+5°),脈沖重復頻率為31250 Hz,合成幀率為1000 Hz.Vincent等[42]研究表明重建大鼠腦微血管并獲得可靠的成像質量通常需要240 s的采集時長,對應240 個數據塊.因此,實驗共采集292 個數據塊,每個數據塊記錄600 幀.

所有動物實驗均經復旦大學動物研究倫理委員會批準(批件號:202202020Z).如圖4 所示搭建超快超分辨率超聲成像平臺,該平臺由超聲探頭、腦立體定位儀、位移平臺、麻醉機等部件組成,可實現基于超快超聲Doppler的三維腦血管成像(空間分辨率約100 μm)和基于超聲定位顯微的大鼠腦微血管成像(空間分辨率<20 μm).實驗在400 g成年雄性Sprague-Dawley 大鼠上進行,實驗前對大鼠進行開顱手術,下腹腔注射濃度8%的水合氯醛溶液實現麻醉后,將大鼠頭部置于腦立體定位儀,使用顱鉆打開約10 mm× 10 mm的顱窗,以適應超聲換能器陣列的尺寸.為了防止大腦皮層腫脹或過熱,手術過程中用生理鹽水冷卻顱骨創(chuàng)面.手術及實驗全程均在動物麻醉狀態(tài)下進行.

圖4 小動物用超快超分辨率超聲腦成像實驗平臺Fig.4.Ultrafast super-resolution ultrasound brain imaging experimental platform for small animals.

為重建大鼠大腦的血管顯微結構,將超聲微泡粉末(SonoVue,Bracco,Milan,Italy)溶解于5 mL生理鹽水中,產生濃度為2× 108個微泡/毫升的造影劑溶液[16].將該造影劑溶液通過頸靜脈注射,以60 μL/min的恒定速率注射180 μL,注射30 s 后對大鼠大腦冠狀面進行超快超聲圖像采集.微泡注射劑量參考0.8 mL/kg的標準,由于持續(xù)灌注的方式,注射造影劑后,血管網絡中微泡的濃度不會隨時間而變化[43].由于微泡濃度和注射方式與訓練集數據采取的方式一致[42],故訓練集和實驗所得的測試集數據微泡濃度沒有差別.

4 實驗結果

4.1 超分辨率超聲微血流成像結果

圖5為使用標準uULM 方法(圖5(a))和GANuULM 方法(圖5(b))所得到的大鼠大腦uULM重建結果.這兩種方法都以高對比度和亞波長級分辨率解析了冠狀面大鼠腦微血管.相比于標準uULM方法,GAN-uULM的血管造影提供了更高的對比度,并分辨出標準uULM 方法無法檢測到以及顯示斷續(xù)的小血管(詳見圖5 中放大的區(qū)域).

圖6(a)和(b)分別給出了圖5 中標準uULM和GAN-uULM的局部血管造影特寫圖,可以觀察到GAN-uULM 在200 μm和700 μm 處分別多分辨出一條血管.這說明相比標準的uULM 方法,GAN-uULM 能夠分辨更多的血管,尤其是顯示斷續(xù)的小血管.如圖6(c)所示,從血管橫向強度分布來看,GAN-uULM 方法比標準uULM 方法提供了更好的分辨率.

圖5 大鼠腦超分辨率定位顯微(a)使用標準uULM 方法的血管造影;(b)使用GAN-uULM 方法的血管造影Fig.5.Ultrasound Localization Microscopy in a rat brain:(a)Angiogram reconstruction using the standard uULM method;(b)angiogram reconstruction using the GAN-uULM method.

圖6 全血管造影的局部特寫及其沿白色虛線的強度分布圖.使用標準uULM(a)和GAN-uULM(b)分別對體內數據集進行uULM 血管造影得到的局部放大圖;(c)綠色和藍色曲線表示沿水平虛線的強度分布圖Fig.6.Zoomed-in regions of interest from the whole angiogram and their intensity profiles along the white dashed line.Magnified regions from uULM Angiograms for an in-vivo dataset using the standard uULM method(a)and the GAN-uULM(b);(c)the intensity profiles along a given horizontal dashed line overlaid in green and blue.

4.2 GAN-uULM 成像參數分析

4.2.1 血管飽和度

血管飽和度被量化為有血管造影部分和總面積(即有血管造影部分與無血管造影部分面積)的比值.uULM 重建圖像的血管飽和度參數會隨著用于重建的數據量增加而增加,因而血管飽和度隨重建圖像幀的變化曲線可反映uULM 達到穩(wěn)定重建所需要的平均采集時間.高效的重建算法將提供較為陡峭的血管飽和度曲線.圖7 對比了標準uULM重建算法和GAN-uULM 重建方法的血管飽和度隨圖像采集時長的變化曲線,以分析重建中所使用的數據采集持續(xù)時間對恢復血管網絡血管造影的影響.如圖7 所示,當使用GAN-uULM 方法時,約一半的采集時長,即可得到與標準uULM 重建算法相同水平的圖像飽和度.同時,在數據采集時間為292 s(全部采集時長)時,標準uULM 方法的網絡填充率僅為33%,GAN-uULM 方法的網絡填充率為46%,進一步驗證了GAN-uULM 能夠顯著提升圖像的飽和度.具體地,兩種方法使用不同數據采集時長對應的uULM 圖像如圖8 所示.對于GAN-uULM,即使采集時間壓縮到40 s,依然可以生成與數據采集時間為292 s的標準uULM重建算法所獲結果相似的血流圖像,保證了血流的連續(xù)性與豐富性.當采集時間為80 s(圖8(c)和圖8(d)),可較為清晰的觀察到GAN-uULM 對遠場血流有更好的重建能力.

圖7 血管飽和度與累積采集時長的關系曲線Fig.7.The relationship curves between vascular saturation and cumulative acquisition time.

圖8 不同采集時長對應的超分辨率血流圖像(a),(b)uULM和GAN-uULM 在采集時長為40 s 時的血流圖像;(c),(d)uULM和GAN-uULM 在采集時長為80 s 時的血流圖像Fig.8.Super-resolution blood flow images with different cumulative acquisition times:(a),(b)The results of uULM and GANuULM with acquisition time of 40 s;(c),(d)the results of uULM and GAN-uULM with acquisition time of 80 s.

4.2.2 成像分辨率

對292 s 連續(xù)采集的超聲圖像分別采用標準uULM和GAN-uULM 方法重建超分辨率血流圖像,圖9 給出了這兩張圖像基于FRC 曲線的分辨率測量結果;圖9(a)和圖9(b)將軌跡數據隨機分成兩份,重建出兩個子圖像.然后將兩個子圖像作二維傅里葉變換,計算這兩個頻譜沿等空間頻率環(huán)的歸一相關性,如圖9(c)和圖9(d)所示.所得FRC 曲線與1/2 bit(黃色)閾值曲線的兩個交點被用于測定圖像分辨率,如圖9(e)所示.在本數據中,標準uULM 所獲分辨率結果略優(yōu)于GAN-uULM方法分辨率,總體相當,分別為7.8 μm和8.9 μm.

圖9 基于FRC 曲線的分辨率測量(a),(b)將重建結果隨機拆分的兩個子圖像;(c),(d)2D FFT 得到頻譜圖;(e)FRC 曲線,FRC 曲線與1/2 bit(黃色)閾值曲線的兩個交點被用于測定圖像分辨率;(f)分辨率與累積采集時長的關系曲線Fig.9.Resolution measurements based on FRC curves:(a),(b)Two sub-images obtained by randomly splitting the reconstruction results;(c),(d)the frequency spectrograms obtained by 2D FFT;(e)the FRC curves,the two intersections of the FRC curves with the 1/2 bit(yellow)threshold curve are used to determine the image resolution;(f)the relationship curves between resolution and cumulative acquisition time.

圖9(f)進一步探討了采集時長與重建分辨率的關系.采用GAN-uULM 方法,圖像分辨率的數值總體上較為平衡,隨著采集時間的增加會略有改善,即由最初的12.5 μm 下降至8.9 μm;與之相反地,采用標準uULM 方法,圖像分辨率的數值卻會隨著采集時間的增加而“變差”,上升至7.8 μm.該矛盾現象的可能解釋為:在少量圖像幀輸入情況下,標準uULM 方法的圖像飽和度較低,微泡數量較少使得血管軌跡相對稀疏,因而基于FRC 曲線的分辨率值估計結果偏低.隨著飽和度的提升,由微泡軌跡重建得到的血管更加接近真實血管,分辨率數值緩慢上升并逐漸向真實值靠近.這也進一步表明,基于傳統(tǒng)的uULM 方法重建結果,若結果未收斂,易于給出虛假的高分辨率結果.

5 討論

超快超聲成像可實時呈現高質量的血流圖像,但受到衍射極限的限制,當超聲波在兩個物體之間傳播時,只有當它們之間的距離超過半個波長時才能被區(qū)分開.而微循環(huán)系統(tǒng)中最小的毛細血管直徑小于10 μm;因此,由于分辨率的限制,傳統(tǒng)超快超聲成像尚無法精細觀察數十微米級的血管網絡結構細節(jié).

uULM 突破了傳統(tǒng)超聲分辨率局限,通過累積成千上萬個亞波長的微泡定位點,可獲得分辨率遠小于發(fā)射波長的超分辨率超聲圖像,從而實現微血管成像.然而,現有的微泡軌跡連接方法,存在數據處理時間長、參數調整繁雜等問題.在Kuhn-Munkres 追蹤算法中,需要根據實驗數據的特點人為設定微泡間最大連接距離、軌跡內允許微泡連續(xù)消失幀數等參數.在軌跡連接后,還需設定軌跡長度篩選閾值,將錯誤軌跡濾除.相關調參操作繁瑣且依賴于使用者的經驗,且易引入人工誤差.為克服以上局限,本文提出了一種GAN-uULM 網絡用于從定位后的微泡數據中恢復密集的血管圖像.網絡輸入信號為微泡中心定位結果,而相應用于血管重建的微泡軌跡圖像被定義為網絡期望輸出.通過該模型學習軌跡圖像和微泡分布之間的映射,直接由微泡定位結果生成微泡運動軌跡,并最終實現uULM 成像.該模型利用了生物圖像結構冗余的特性,允許在不犧牲空間分辨率的情況下減少總幀數和采集時間,實現高效的超分辨率微血管成像.

GAN-uULM 建立在U-net和GAN的基礎上,其中,U-net是一種特殊類型的卷積神經網絡,能夠有效地學習圖像的多尺度表示和精確的像素級映射,在該模型中作為GAN的生成器網絡.GAN由輸出合成圖像的生成器網絡和輸出輸入圖像為真實圖像或合成圖像的概率的鑒別器網絡組成,這兩個網絡同時進行訓練以相互競爭,優(yōu)化成像結果.在體實驗結果表明,GAN-uULM 比標準uULM方法具有更好的軌跡連接能力.經過訓練的模型可以從不完整的微泡軌跡預測血管的存在(圖6),進而將采集時間縮短一倍(圖7),同時還具有數據處理速度快,數據采集時間短,軌跡連接精度高的特征.此外,在軌跡連接過程中,GAN-uULM 可有效減小計算復雜度,避免參數精細調節(jié),減小對人工干預的依賴性.

通過血管飽和度(圖7)和圖像分辨率(圖9(f))隨采集時長變化關系曲線,本研究對比分析標準uULM 重建方法和GAN-uULM 重建方法的性能.值得注意的,如圖7 所示,當數據累積時長較小時,標準uULM 方法的重建圖像飽和度較低,在40 s的采集時長時僅為11.8%,遠低于GAN-uULM 方法所獲得的20.4%的血管飽和度值.與之對應地,當數據累積時長較小時,標準uULM 方法血管軌跡稀疏,采用FRC 曲線進行分辨率分析時,會獲得顯著偏低甚至錯誤的分辨率結果;隨著飽和度增加,標準uULM 方法的分辨率估計結果緩慢上升并逐漸接近真實值.然而,本文提出的GAN-uULM方法可在較少的數據累積時長條件下,獲得較高的血管飽和度和較為穩(wěn)定的分辨率結果,其最終收斂結果與標準uULM 方法相當.大鼠腦血管結果表明,GAN-uULM 可以分辨直徑小至10 μm的微小血管(圖9(e)).

在uULM 成像過程中,大血管內流動的微泡數量多,因此可以在較短的時間內完成大血管重建.隨著大血管重建不斷清晰,成像飽和度快速上升,隨后的微小血管重建速度較慢,需要相對長的數據采集時間才能較好地完成重建[42].因此,需要在成像飽和度與采集時長之間加以權衡,雖然可通過損失微血管細節(jié)從而減少數據采集時長,但是這必然伴隨著成像質量的下降和細節(jié)信息的缺失.此外,提高造影劑濃度,可使得單位時間內微泡數量增加,促使飽和度曲線收斂加快,進而縮短成像時長.但高濃度微泡會導致彼此靠近的微泡產生信號干擾,給算法帶來挑戰(zhàn),因此高濃度微泡下的GAN-uULM的成像效果有待進一步深入.

6 結論

本文提出了一種基于生成對抗網絡的深度學習超分辨超聲成像方法,用于從定位后的運動微泡數據中恢復密集的血管網絡.實驗結果表明,與標準uULM 方法相比,GAN-uULM 避免了相對煩瑣的逐幀微泡軌跡連接過程,可在保持超分辨率血管造影精度的同時,縮減重建所需圖像數量,從而顯著提升成像效率.相關技術可在數十秒的時間內對組織微血流進行超分辨率成像,較好地緩解了高空間分辨率和高時間分辨率之間的矛盾.本文所提出的GAN-uULM 方法,在避免微泡軌跡閾值優(yōu)化篩選的同時,可顯著降低uULM 對數據采集時長需求,相關方法在超分辨超聲微血流成像方面具有一定應用潛力.