基于雙樹復小波變換和頻域U-Net的多光譜圖像融合算法

李建飛，陳春曉，王亮

(南京航空航天大學生物醫學工程系，南京 211106)

1 引 言

多光譜成像技術是一種結合了光譜學和成像學的新興技術，是基于目標物體對不同波長電磁波譜的輻射或者吸收特性不同，利用多光譜相機捕獲物體在多個譜帶下的成像信息，以實現對目標物體進行鑒別分析的技術[1]。在臨床研究方面，多光譜熒光手術引導技術能夠輔助醫生對腫瘤位置進行精準定位[2]，彩色圖像能夠反映目標組織的解剖學信息，腫瘤熒光圖像可顯示腫瘤大小等形態信息，但空間分辨率較低，無法準確表征腫瘤與周圍組織的絕對位置，因此基于圖像融合技術處理上述兩種圖像可同時顯示腫瘤輪廓和位置，為腫瘤的臨床診斷和研究提供準確參考。多光譜圖像融合已廣泛應用于醫學影像處理[3-4]、目標識別[5]、遙感探測[6]等領域。

目前多光譜圖像融合技術中使用較廣泛的是基于多尺度分析的融合方法。Vanmali等[7]提出了基于拉普拉斯-高斯金字塔的可見光圖像與近紅外圖像融合算法進行圖像去霧化；Mao等[8]提出的多方向聯合平均的拉普拉斯金字塔方法能夠有效反映融合圖像的邊緣信息和對比度差；Gomathi等[9]利用非下采樣輪廓波變換(non-down sampling contourlet transform，NSCT)和靜態小波變換(stationary wavelet transform，SWT)分解圖像，提取有效信息進行融合。

隨著近年來深度學習的飛速發展，神經網絡也被應用于圖像融合領域并取得了一定進展，Hermessi等[10]利用卷積神經網絡融合小波域中的CT和MRI圖像，證實了神經網絡在多模態圖像融合中的潛力；藺素珍等[11]提出了基于深度堆疊卷積神經網絡的圖像融合方法，克服了傳統多尺度變換融合圖像需要根據先驗知識選取濾波器的缺點，提升了融合效果以及運行速度。

在彩色圖像和基于熒光示蹤劑標記的近紅外熒光圖像融合過程中，由于熒光圖像存在背景及環境光等多種干擾源，導致融合圖像的目標區域對比度不高。為進一步提高融合圖像的質量和準確度，本研究提出了基于雙樹復小波變換[12](DTCWT)和頻域U-Net的圖像融合方法，通過腫瘤裸鼠實驗及多種客觀評價指標驗證了其有效性。

2 方法

2.1 雙樹復小波變換

離散小波變換(discrete wavelet transform，DWT)首先將輸入分解為高頻和低頻分量，再通過二抽取得到分解后的小波系數。但DWT缺乏平移不變性，輸入信號的微小改變會導致小波系數完全不同，且子圖像突出水平和垂直方向信息的同時，弱化了其他方向的信息。針對上述問題，人們提出了具有平移不變性、方向選擇性和有限冗余性的雙樹復小波變換(DTCWT)。

DTCWT采用具有二叉樹結構的雙路DWT實現，一路用于生成變換的實部，另一路生成虛部，兩路DWT之間存在一個采樣周期的延遲，從而將采樣間隔擴大一倍以消除信號的混疊效應。設輸入信號序列為f(t)，實部樹的尺度函數為sr(t)，小波函數為hr(n)，則實部變換的小波系數Wjr(k)和尺度系數Cjr(k)可由下式求得：

(1)

(2)

其中j取0,1,2…L，L表示分解層數。同理可求得虛部樹的小波系數Wji(k)和尺度系數Cji(k)。根據信號解析式組合后完整的小波系數Wj(k)和尺度函數Cj(k)為：

Wj(k)=Wjr(k)+iWji(k)

(3)

Cj(k)=Cjr(k)+iCji(k)

(4)

上述系數即為DTCWT的分解結果，得到分解系數后，可根據式(5)、式(6)實現分解系數的重構。

(5)

(6)

其中λi為尺度選擇系數，取值范圍為0或1，最終得到的重構信號f*(t)為：

(7)

2.2 頻域U-Net網絡

隨著近年來深度學習的快速發展，神經網絡在圖像處理領域，如圖像融合[10]、圖像分割[13]、圖像壓縮[14]等方面取得了一定進展。Long等[15]提出了可用于圖像分割的全卷積網絡，該網絡可處理任意大小的圖像，但上采樣和反卷積導致輸出結果過于平滑。針對上述問題，Ronneberger等[16]提出了U-Net網絡。U-Net網絡采用了對稱結構，卷積池化降低圖像尺寸提取特征的過程可看作編碼器，反卷積提高圖像大小重構信息的過程作為解碼器。該網絡在提升圖像尺寸的同時，加入編碼過程中對應的特征信息，利用多層跳躍連接的方式聯合高層語義特征和低層特征信息，可極大提升圖像分割精度和運算效率。

目前U-Net主要應用于對空間域圖像進行分割，并取得了較好的分割效果。在彩色圖像和基于熒光示蹤劑標記的近紅外熒光圖像的融合過程中，采用DTCWT可從頻域對源圖像信息進行增強和融合。結合上述兩種方法的優點，本研究提出了利用U-Net對DTCWT分解后的低頻系數進行分割的方法，見圖1。該U-Net主體部分與文獻[17]中結構類似，但訓練網絡所使用的數據是近紅外熒光圖像進行DTCWT分解得到的低頻系數子帶。

圖1 基于DTCWT低頻系數的U-NetFig.1 The framework of U-Net based on DTCWT coefficients

2.3 基于DTCWT和頻域U-Net的圖像融合算法

2.3.1整體框架 本研究提出的圖像融合算法框架見圖2,該算法具體實現步驟如下：

(1)首先對源圖像中彩色圖像進行通道分離得到RGB三個通道，由于紅色通道R在臨床研究中易受血液或組織等影響，而人類視覺系統對藍色變化不敏感，因此，選擇綠色通道G作為彩色圖像的融合通道。將G通道圖像進行DTCWT分解得到高頻子帶GH、低頻子帶GL。再對熒光圖像進行DTCWT分解得到其對應的子帶H和L。

(2)將熒光圖像的低頻子帶L輸入訓練好的頻域分割網絡U-Net中，網絡根據訓練結果進行自適應分割得到顯示腫瘤位置分布的二值化ROI圖像。

(3)將步驟(2)中獲取的ROI圖像與熒光圖像的子帶L、H分別進行點乘操作，去除熒光圖像中非腫瘤區域的干擾，得到只包含腫瘤等目標區域信息的圖像NL、NH。

(4)根據不同子帶融合規則，分別融合低頻子帶NL、GL和高頻子帶NH、GH，得到融合后的低頻部分FL和高頻部分FG。

(5)對FL和FG進行雙樹復小波逆變換IDTCWT，重構得到融合綠色通道圖像G。

(6)將R、B通道與融合G通道合并得到最終融合圖像。

2.3.2融合規則 在融合過程中，針對DTCWT分解得到的不同頻率子帶設計的融合規則如下：

(1)低頻部分采用加權相加的融合規則，公式如下：

FL=GL+k×NL

(8)

其中k為比例系數，具體數值通過實驗確定。

(2)高頻部分采用絕對值取大的融合規則，選取高頻子帶絕對值較大值作為融合圖像高頻分量，公式如下：

FH=max(|GH|,|NH|)

(9)

圖2 基于DTCWT和U-Net的融合算法Fig.2 The fusion algorithm based on DTCWT and U-Net

3 實驗結果與討論

3.1 實驗設計

為了驗證算法中各環節的必要性和有效性，本研究選取圖像域直接融合、離散小波變換DWT、非抽樣小波變換(undecimated wavelet transform，UWT)和NSCT作為對照組算法驗證DTCWT的分解和重構效果，選取大津閾值[18]算法(OSTU)作為對照組比較頻域U-Net的分割效果。為了更好地比較算法結構的差異對融合效果的影響，各種算法均采用相同的融合規則。

本實驗硬件環境如下：操作系統為Win10專業版，內存64 G，CPU Intel i9-9900 k，顯卡型號Nvdia Geforce GTX 2080Ti，U-Net網絡基于Python平臺的TensorFlow工具搭建及訓練，其他算法內容均基于Matlab R2012b實現。

3.2 實驗數據

實驗數據包括訓練網絡使用的訓練數據以及驗證算法使用的測試數據。訓練數據集的獲取過程如下：選擇十只正常體型的健康小鼠處死并去毛，在小鼠體內不同部位埋入浸泡過ICG溶液的不同大小豬肉粒模擬體內腫瘤，利用小動物光學成像系統(AOIS，南京航空航天大學)采集彩色光圖像和熒光圖像。采集熒光圖像時，激發光波長為747 nm，發射光波長為832 nm。實驗共獲得40組大小為1 024×1 024的彩色圖像和熒光圖像。由經驗豐富的研究人員根據熒光圖像勾畫其中表示腫瘤等目標區域的二值化ROI，得到熒光圖像及其對應ROI的圖像對。由于獲取的圖像較少，難以滿足神經網絡對大量數據集的需求，因此采用數據增強工具Augmentor[19]進行數據擴充，得到3 200組大小為512×512的數據，構建訓練數據集。

測試數據是三組腫瘤裸鼠的多光譜圖像，通過尾靜脈向腫瘤裸鼠體內注射ICG溶液，并利用小動物光學成像系統獲取彩色圖像和近紅外熒光圖像，用于驗證本研究算法的有效性。

3.3 評價指標

本研究選取空間頻率(SF)[20]、結構相似性(SSIM)[21]、互信息(MI)[22]和邊緣保持度[23](QABF)對圖像的融合結果進行評價。其中QABF評價融合效果時相較于其他指標更準確，上述評價指標均為正相關指標，即指標值越大則融合結果越好。

3.4 實驗結果

3.4.1頻域U-Net參數 通過多次訓練對網絡參數進行測試和調整，最終確定參數如下：批處理量為20，學習率為0.001，總迭代次數為40。

3.4.2融合參數 利用測試數據確定本研究算法中低頻子帶融合規則比例系數k的取值范圍，k取不同數值時得到的融合圖像的QABF曲線見圖3。由圖可知，QABF指標隨k增大呈現先增大到達飽和點后反而減小的趨勢，在0.8處評價指標達到峰值，因此設置k值為0.8。

圖3 不同比例因子k下融合指標變化曲線Fig.3 The results of QABF with different k

3.4.3融合結果 選取一組腫瘤裸鼠的彩色圖像、熒光圖像和各算法融合結果，見圖4。

從圖4中腫瘤裸鼠融合結果可以看出，直接融合與簡單采用DWT、SWT、NSCT和DTCWT方法將腫瘤熒光圖像與彩色圖像綠色通道進行融合得到的結果顯示效果相似且整體偏綠，熒光圖像中亮度區域在融合圖像中均會表現出綠色，包括裸鼠腹部、四肢、背景等非腫瘤區域；利用OSTU算法對空域圖像和對熒光低頻子帶進行分割后再得到的融合結果相較于直接融合有改善，但綠色區域相比于熒光圖像中表現的腫瘤區域更大，擴大了融合圖像中腫瘤的范圍，準確度不高；利用圖像域U-Net分割后直接融合的綠色亮度偏低，基于頻域U-Net進行子帶分割后各多尺度方法融合得到的結果顯示效果基本相同，相較于OSTU綠色區域與熒光圖像中腫瘤區域更吻合，且邊界輪廓更加清晰，顯示效果優于直接融合以及OSTU。

3.4.4評價指標結果 利用客觀評價指標SF、SSIM、MI和QABF對融合結果進行評價的結果見表1。表1中數據表明，在使用相同融合規則的前提下，本研究算法融合結果的空間頻率略低于DWT+U-Net的融合算法，其他指標如結構相似性、互信息以及邊緣保持度均高于其他對照組算法。

3.5 討論

實驗結果表明，直接融合與利用多尺度分解方法如DWT、UWT、NSCT等將熒光圖像與彩色圖像融合后結果整體呈綠色，包括背景等非腫瘤區域且腫瘤ROI區域顏色不突出，對比度不高；多尺度分解和大津閾值結合的算法融合結果整體顏色比較正常，但顯示的高亮區域明顯大于腫瘤熒光圖像中反映的ROI，因此閾值法對腫瘤區域的分割效果不佳，引入了周圍非腫瘤區域干擾，導致融合圖像中腫瘤區域比實際腫瘤區域輪廓大，影響研究人員對腫瘤位置的判斷。本研究提出的方法能夠保留和增強原始圖像信息并準確分割腫瘤等目標區域，提高其在融合圖像中的顯示效果和對比度。

圖4 腫瘤鼠彩色圖像與熒光圖像融合結果Fig.4 The fusion results of color image and fluorescent image of mouse

表1 各算法融合結果評價指標比較Table 1 The results of SF, SSIM, MI and QABF of different methods

4 結論

本研究提出的算法首先對源圖像中彩色圖像和熒光圖像采用DTCWT分解。針對分解得到的低頻參數利用頻域U-Net進行分割，從而獲取腫瘤分布。然后，采用不同規則對分割后的頻域系數進行融合，最終通過DTCWT逆變換重構融合圖像。實驗結果表明，本研究方法分割得到的腫瘤ROI區域更準確，可有效降低熒光圖像中噪聲及環境等干擾源影響，具有更高的視覺效果，同時多種客觀評價指標的結果均高于傳統融合算法。因此本算法更適用于需要進行熒光標記的研究，在腫瘤檢測與定位、血流灌注、藥代動力學監測等方面具有較大的臨床應用價值。