基于并行注意力機制和深度神經網絡的高質量遠聚焦波超聲圖像重建*

李垣濤，謝忠文，彭虎

(合肥工業大學 生物醫學工程系，合肥 230009)

1 引 言

超聲成像因其成本低、便攜、成像快，且無電離輻射，在臨床中應用廣泛。超聲成像廣泛采用聚焦線掃描的發射方式。聚焦波通過對換能器陣列中的每個陣元施以不同的延時，來實現聲波的聚焦，對目標區域連續發射等間距的超聲波束(即掃描線)，并借助接收到的反向散射回波數據，來重建掃描區域的圖像。因此，掃描時間隨發射的掃描線數量和聲波傳輸時間而線性增加。

在心臟超聲應用中，高時間分辨率對于檢查心臟在一個完整心動周期中的實時情況至關重要[1]。Zahnd等[2]證明了頸動脈壁的運動情況可以作為診斷冠狀動脈疾病的有效指標，如果時間分辨率足夠高，則可以更精確地觀察到此運動。為能在以上場景下提高超聲成像的時間分辨率和成像幀率，Wei等[3]提出了一種基于非衍射波的高幀率超聲成像系統，對于臨床上廣泛使用的超聲聚焦線掃描來說，需要嘗試降低掃描時間。總的掃描時間隨發射的掃描線數量和聲波傳輸時間而線性增加，聲波的傳輸時間取決于聲速以及所需的成像深度，這些因素往往由實際環境決定，無法做到人工優化。因此，比較直觀的做法是減少發射次數，用更少的掃描線來重建超聲圖像以提高成像幀率。但在這樣降采樣后的數據上使用傳統的波束成形技術會導致圖像的橫向分辨率顯著降低，使圖像質量明顯下滑[4]。

針對上述問題，本研究提出了基于深度學習的圖像重建方法來取代傳統的波束成形技術。近年來，基于神經網絡的深度學習算法在分類[5]、圖像分割[6]、圖像去噪[7]和語音識別[8]問題上取得了許多成果。在超聲領域，許多學者也試著將深度學習方法引入到超聲圖像的重建。Allman等[9]提出一種深度學習方法來識別和去除超聲通道數據中的反射偽像；Luchies等[10]在頻域用一個全連接的網絡來抑制超聲信道數據中的離軸散射，將深度學習方法應用于超聲圖像重建。Nair等[11]提出的方法可以不經過波束成形，直接由原始通道數據分割出病變區域。Luijten等[12]使用神經網絡學習自適應加權系數，來取代傳統的最小方差(minimum variance，MV)波束成形算法，大大降低了成像算法時間復雜度。Gasse等[13]和Zhang等[14]分別使用卷積神經網絡(CNN)和生成對抗網絡(GAN)能由少量平面波重建出75次平面波發射才能得到的高質量圖像。Lu等[15]使用一種特殊的空洞卷積核，以一種無監督的方式實現了低分辨率超聲圖像到高分辨率圖像的重建。Goudarzi等[16]研究了從單聚焦圖像到多聚焦圖像的重建，為在保證圖像質量的情況下提高成像幀率提供了新思路。Yoon等[17]對原始射頻(radio-frequency，RF)數據做降采樣處理，以神經網絡為基礎，設計了一種方案對降采樣的數據進行插值，減輕了硬件處理的負擔，為便攜式超聲系統的應用提供了一種可行方案。Khan等[18]對延時對齊后的RF接收通道數據做降采樣，由神經網絡處理數據得到逼近于全采樣的圖像質量。事實上，由于每個接收通道都包含了生成一副超聲圖像的完備信息，由降采樣的接收通道數據來恢復出原圖像僅通過相對簡單的CNN架構即可實現；并且對接收通道做降采樣也僅僅減輕了硬件處理大數據量的壓力，而無法有效地減少掃描時間，提高成像幀率。如果能從發射通道對數據做降采樣，就能實現降低數據量的同時提高成像幀率，但是，該方法輸入數據的信息將十分稀疏，依據文獻[18]中的MatConvNet已無法很好地從中習得原圖像的映射，因此，需要更有效的方法來解決該問題。

在前人研究的基礎上，本研究使用Unet輔以并行注意力機制(Dual Attention Module)[19]來更有效地整合全局的圖像信息，以提高重建圖像的質量。網絡經訓練后，可成功由降采樣后的發射通道數據恢復出高質量的超聲圖像。

2 遠聚焦波成像原理

本研究重建數據來源于遠聚焦像素(far-focused pixel-based，FPB)成像算法。Kim等[20]提出將聚焦點設在成像區域外，每次聚焦發射對一個區域進行成像而非一條掃描線，通過將多次發射得到的多個區域圖像復合，得到質量更優的圖像，這種將焦點設在遠端的成像方式稱為FPB成像[21]。其具體成像過程見圖1。

圖1 遠聚焦波成像原理圖

(1)

式中c代表超聲波在人體組織中的傳播速度，xm表示第m個陣元的橫向坐標。因此，sm,n(p)在第n次發射成像區域的θn范圍內的值可計算為：

(2)

聚焦點深度Zf通常定義為：

(3)

式中Δx為陣列中相鄰陣元間的距離。由此可得出成像區域內點P(x,p,zp)在第n次發射事件下對應的輸出值為：

(4)

其中M為激活的陣列陣元數。用向量S(p)來存儲每次FPB成像后對應像素點的回波信號值，即S(p)=[S1(p),S2(p),……,Sn(p)]。疊加復合后的FPB輸出為：

(5)

3 深度學習重建圖像方案

3.1 數據集與網絡重建流程

為充分驗證本研究網絡的普適性和泛化能力，使用了多種場景下的數據。首先，采用仿真軟件Field Ⅱ[22]設置相關參數以及成像目標，獲得回波數據。另外，還使用超聲系統對模擬人體模型以及人體頸動脈進行探測并得到其回波數據，仿真和硬件設備參數配置見表1。

表1 超聲成像系統參數

網絡所用的數據集來自于三個不同的目標，獲取了深度-發射次數-寬度的三維數據體以及相應數據體對應的超聲圖像，數據體大小統一規范為512-128-256，即深度(depth)為512，發射次數(TE)為128，寬度(width)為256。

網絡重建圖像的過程見圖2，本研究使用圖1中回波數據延時后所得的三維數據體的一個TE-width(128-256)切面作為網絡處理的一次輸入重建過程，每次僅重建切面所對應的一行圖像(1-256)。而一幅圖像對應一個三維數據體，即通過網絡重建出一整幅圖，需要沿深度(depth)方向重復此過程，將每次重建的結果沿深度方向堆疊起來，則完成一張圖片的重建。

圖2 網絡處理數據示意圖

3.2 網絡結構

本研究提出的網絡結構主體采用在醫學圖像領域內泛用性很好的U-net架構[23]，并加入了注意力機制模塊和跳躍連接層來提升網絡性能。其中，注意力機制模塊使用通道注意力和位置注意力并行的策略(DAM)[19]，更適應于本研究中輸入矩陣信息相對稀疏的情況。通道注意力可通過卷積層提取重要的特征信息；而位置注意力可把握矩陣的全局信息，以防止在信息稀疏的場景下，出現卷積核感受野內無有效信息，而致使網絡學習效率降低。同時網絡中添加了跳躍連接層來解決因網絡深度增加而導致的梯度消失問題[24]。

網絡整體結構見圖3。首先以256×128的width-TE切面作為輸入，通過一個封裝好的DoubleConv2d結構(見圖4)提取出多層特征后，由池化層做降采樣，再由DAM進一步整合信息，使提取出的特征得到更充分地表征。在充分降采樣后，由逆卷積做升采樣操作，并通過跳躍連接層將相同維度下的特征信息連接在一起，以保證淺層特征信息在深層網絡仍可被關注到，從而保證輸出圖像的質量。升采樣至原圖大小的維度后，再使用DAM提升關鍵特征的權重，最后由一個二維卷積層和一個一維卷積層將多通道信息整合，恢復出切面所對應的超聲圖像。

圖3 網絡整體結構

圖4 雙層卷積封裝結構圖

3.3 網絡超參數設置及訓練環境

通過均方誤差(MSE)損失函數優化網絡權重參數。使用Adam優化器訓練網絡，初始學習率設置為5e-5，每50個epoch學習率衰減為原來的一半，隨著訓練的加深逐步衰減至3e-6。網絡權重初始化使用滿足高斯隨機分布的Xavier方法[25]。網絡使用Pytorch深度學習框架搭建，部署在顯存為11 GB的GTX2080ti顯卡上進行訓練。

3.4 并行注意力機制模塊

由于一般卷積神經網絡在學習稀疏信息上比較乏力，本研究嘗試將圖5的注意力機制模塊加在Unet上來解決該問題，成功通過該模塊在局部特征之間建立起豐富的全局聯系，使其能更好地從稀疏矩陣上學習到全局的信息。

圖5 注意力機制模塊

3.4.1位置注意力機制模塊 由圖5上半部分可知，輸入特征A∈RC×H×W先將其送入卷積層分別得到特征圖B和C，再將B和C重構到RC×N的特征空間上(N=H×W)之后，用C和B的轉置矩陣做矩陣乘法運算，并應用softmax層來計算空間注意力特征圖S∈RN×N:

(6)

sji衡量的是第i個元素對第j個元素施加的影響。兩個位置的特征越相似，它們之間的相關性就越高，sji的值就越大。

同時，A也被用來得到特征圖D∈RC×H×W并重構到RC×N的特征空間上。接著在D和S的轉置矩陣間執行矩陣乘法，并將結果重塑為RC×N×W。最后，將其乘以比例系數α，并對特征A進行逐元素求和運算，得出最終輸出E∈RC×H×W，如下所示：

(7)

其中α的初始化值為0，在訓練過程中漸漸增加權重。由式(7)可知，每個位置上最終的特征值E是所有位置上的特征值和原始特征值的加權總和，因此，它具有全局視野，并能根據空間注意力特征圖選擇性地組合全局信息。相似的語義特征得到了相近的權重，從而提升了網絡對稀疏信息的泛化擴展能力。

3.4.2通道注意力機制模塊 通道注意力模塊的結構見圖5下半部分。與位置注意力模塊不同的是，這里直接由原始特征A計算通道注意力特征圖X∈RC×C。要將X重構到RC×N,然后在A和A的轉置之間做矩陣乘法運算。最終用softmax層計算得到通道注意力特征圖X:

(8)

xji衡量第i個通道對第j個通道的影響。此外，在X和A的轉置之間執行矩陣乘法，并將其結果重構為RC×H×W。然后，將結果乘以比例系數β并用A進行逐元素求和運算，以獲得最終輸出E

(9)

其中β同樣從0開始學習權重。式(9)表明每個通道的最終特征是所有通道的特征與原始特征的加權總和，通過對各個通道的特征加權，提升了特征表征能力。

3.5 評價指標

使用組織對比度(CR)，信噪對比度(CNR)，峰值信噪比(PSNR)和結構相似度(SSIM)[26]等指標來評估重建圖像的質量。對比度通過無回聲區和背景區的信號功率比計算：

(10)

μB,μaS,σB,σaS分別是背景區和無回聲區信號幅值的均值和方差。峰值信噪比(PSNR)作為網絡重建質量的評估指標，其值越大表示圖像重構的質量越高。PSNR的計算公式如下:

(11)

(12)

4 實驗

4.1 組織仿真實驗

設定組織中有三個直徑為3 mm的無回聲囊腫，分別位于16、24、32 mm深度處。分別采用DAS，MatConvNet，DAUnet對發射16次得到的RF數據進行圖像重建，圖像動態顯示范圍為50 dB，成像結果見圖6，圖6(a)為使用16次遠聚焦掃描采集到的數據進行DAS后的結果，圖6(b)—(c)為分別使用MatConvNet和DAUnet對16次遠聚焦掃描采集到的數據進行圖像重建的結果，圖6(d)為128次遠聚焦掃描采集到的數據徑DAS成像后的結果，同時也作為訓練所用的真實參照。結果顯示，DAS算法在降采樣后圖像質量出現明顯下降，而MatConvNet、DAUnet在此場景下均能很好地重建出圖像。

圖6 組織仿真實驗結果

為精確評估重建圖像的質量，計算圖像的相關指標，見表2。由表2可知，MatConvNet重建的圖像相較于DAS雖然有很大提升，四項指標上分別提升了1.10、0.28、5.74 dB和2%；但在各指標上距DAUnet還仍有差距，在指標CR、CNR和SSIM上分別比DAUnet低0.10、0.05 dB和2%。而DAUnet幾乎完全重建出了目標圖像的質量，尤其是在評估網絡學習效果的指標PSNR上，相較于MatConvNet提高14.78 dB。DAUnet重建出的圖像相較于DAS用16次發射得到的數據構建出的圖像在CR、CNR、PSNR上分別提高1.18、0.33、10.52 dB，SSIM值則比DAS高4%。

表2 仿真重建指標分析

4.2 物理體模實驗

由于對物理體模的實際采集聲場環境比仿真環境更為復雜，兩個網絡的重建效果都有所減退。由圖7中可知，MatConvNet重建出的圖像質量很差，甚至無法恢復出DAS圖像的質量，而DAUnet有出色的重建效果，在現實復雜場景下MatConvNet對圖像細節的學習恢復能力要遠遜于DAUnet。由表3算得的具體指標來看，MatConvNet在CR和PSNR指標上分別比DAS高了0.49 dB和3.64 dB；但在CNR和SSIM上甚至不如傳統的DAS成像。而DAUnet在CR、CNR、PSNR和SSIM上分別比DAS提高0.95、0.05、10.44 dB和10%，對DAS結果在四項指標上以35%，0.02%，35%，10%的提升；并且相較于MatConvNet，在四項指標上也分別提高0.46，0.15，6.8 dB和16%。

圖7 物理體模實驗結果

表3 物理體模指標分析對比

4.3 體內數據實驗

該部分自采數據取自人體頸動脈，MatConvNet在實際場景中的效果見圖8，雖然大體上重建出了更優于DAS的圖像，表4中的CR、CNR、PSNR和SSIM指標上相較于DAS也分別有1.71、0.93、4.43 dB和16%的明顯提升，但圖像細節信息十分模糊，無法辨析，而超聲圖像的斑點模式被認為在臨床觀察上有特殊價值，MatConvNet在細節學習方面的不足，儼然無法被接受。而DAUnet不僅很好地重建出高質量的圖像，且在各項指標上都達到了目標圖像的標準，相較于DAS各指標分別提升了1.71，0.97，12.98 dB和23%；與MatConvNet相比，其CNR、PSNR和SSIM指標均有所提升。

表4 體內數據指標分析對比

圖8 體內數據實驗結果圖

在組織仿真、體模實驗以及人體頸動脈的實驗結果中，DAUnet都成功地通過16次發射事件構建的數據體重建出了128次發射才能達到的圖像質量。在經過充分訓練的情況下，特定場景中，通過該重建方法可使成像幀率提高8倍，并且不會犧牲圖像質量。

5 結論

本研究針對降采樣后的稀疏RF數據場景，設計了一種基于深度學習的超聲RF數據圖像重建方案，通過在Unet上增加并行注意力機制模塊，成功重建出高質量的超聲圖像。與MatConvNet對比發現，具有注意力機制模塊輔助的DAUnet在細節恢復能力上效果突出。此外，本研究提出的DAUnet可以通過輸入16次超聲聚焦波發射得到的稀疏RF數據，重建出DAS算法在128次發射時才能得到的同質量超聲圖像。通過該方法可顯著提高超聲成像幀率，可為深度學習算法在醫學成像領域內的應用提供了一個可行的思路。