基于MDLatLRR 的CT 和MRI 圖像融合增強方法

摘要：以往所提出的醫學圖像融合算法均對源圖像提取相同分解層次的特征，忽略了源圖像的特有特征。針對這一問題，提出一種根據不同模態醫學圖像提取其特有特征的融合方法。首先，使用改進的多級潛在低秩表示分解方法，在提取CT 和MRI 基礎信息和細節信息的基礎上，根據成像特點的不同，進一步提取CT 圖像的骨骼輪廓信息和MRI 圖像的軟組織細節信息。然后，提出一種局部信息熵加權的區域能量函數方法融合細節信息，利用結構顯著性度量和改進拉普拉斯能量和方法共同融合基礎信息。最后，提出圖像引導增強算法，以特有特征為引導對融合后的基礎層和細節層進行增強。經實驗證明，相比近幾年具有代表性的融合方法，所提出的方法不僅在AG，EPI，VIF，SD 客觀評價指標中分別平均提高了9.45%，11.75%，14.79%，10.51%，而且在主觀評價中也取得更好的效果，實現了CT 和MRI 圖像精準融合。

關鍵詞：圖像融合；多級潛在低秩表示分解；圖像增強；改進的拉普拉斯能量和

中圖分類號：R 445.6 文獻標志碼：A

在醫學成像領域，成像原理的不同會輸出反映組織不同特征的多模態醫學圖像，如：計算機斷層掃描成像（computed tomography， CT）主要檢測人體的致密性結構， 磁共振成像（ magneticresonance imaging， MRI）主要檢測人體的軟組織信息。由于單一模態的醫學圖像不能反映人體組織的全部信息，因此在臨床醫學診斷中需要醫生根據臨床經驗對多模態圖像分別觀察，這樣的診斷方式對醫生的臨床經驗具有很高的依賴性。為了便于臨床診斷，研究者提出了各種多模態醫學圖像融合方法，將兩幅或多幅不同模態的醫學圖像融合成一幅具有更多特征信息的圖像。現今常用的多模態醫學圖像融合方法可大致分為兩類：基于傳統方法的醫學圖像融合和基于深度學習的醫學圖像融合[1]。

基于傳統方法的醫學圖像融合中最常見的是多尺度變換方法，其融合過程主要包括圖像分解、特征融合和圖像重建3 個步驟。根據圖像分解的不同，可以將多尺度變換方法分為金字塔變換、小波變換、非下采樣剪切波變換和非下采樣輪廓波變換等。隨著醫學圖像融合算法的發展，研究者基于多尺度變換提出很多新的融合方法，如：Li 等[2] 提出一種新的基于拉普拉斯金字塔重分解的多模態醫學圖像融合框架，可以減少融合圖像受顏色失真和噪聲的影響。金字塔分解只提供光譜信息，不提供方向信息，而小波變換可以很好地提取圖像中的方向信息，如：樊文定等[3]提出基于小波變換與深度殘差融合的圖像增強算法。為了提取源圖像中更全面的信息，提出非下采樣剪切波變換和非下采樣輪廓波變換， 如：Zhu 等[4] 提出一種基于相位一致性和局部拉普拉斯能量的多模態醫學圖像融合算法，Gai 等[5] 提出一種新的非下采樣剪切波變換域融合方法。除了以上提到的多尺度變換方法外，還有基于學習的特征提取方法用于醫學圖像融合，如：康家銀等[6]提出基于NSST 和稀疏表示的PET 和MRI 圖像融合算法；Li 等[7] 在潛在低秩表示（ latent low-rankrepresentation， LatLRR）的基礎上提出多級潛在低秩表示分解（ multi-level decomposition based LatLRR，MDLatLRR），以提取更深層次的特征。

基于深度學習的醫學圖像融合算法主要基于卷積神經網絡（convolutional neural networks， CNN）和生成對抗神經網絡（generative adversarial networks，GAN）。Yu 等[8] 提出一種基于卷積神經網絡的醫學圖像融合方法，但是其融合部分仍然需要手動設計融合規則。為了避免手動設計融合規則，進一步提出全卷積的醫學圖像融合網絡，如：Xu 等[9]提出EMFusion 網絡，對源圖像執行表面約束和深層約束，可以保留源圖像的唯一信息。肖兒良等[10]提出遷移學習與GAN 結合的醫學圖像融合模型，得到高質量融合圖像。雖然基于深度學習的醫學圖像融合算法避免了設計融合規則，但是需要大量的數據用于訓練網絡模型，并且對硬件性能要求較高，計算量大。

上述圖像融合方法雖然能夠融合多模態醫學圖像，但是對不同模態圖像使用相同層次的特征提取，忽略了不同模態圖像特有的特征。為此，提出一種基于MDLatLRR 的CT 和MRI 圖像融合增強方法，該方法的主要貢獻如下：

a. 對MDLatLRR 分解方法進行改進以充分提取CT 圖像中的骨骼結構信息和MRI 圖像中的軟組織細節信息。

b. 提出局部信息熵加權的區域能量函數方法對提取到的細節信息進行融合，以局部信息熵作為加權值，能夠保留源圖像中更加豐富的細節信息。

c. 使用結構顯著性和基于八鄰域的拉普拉斯能量和的方法共同融合基礎信息，不僅能夠有效地對邊緣及輪廓信息進行融合，還能彌補基礎信息融合時所忽視的能量和亮度信息。

d. 提出圖像引導增強算法，以進一步提取到的深層特征為引導，對融合后的基礎部分和細節部分進行增強，可以突出顯示CT 圖像所特有的邊緣輪廓信息和MRI 圖像特有的細節信息。

1 基礎理論

1.1 潛在低秩表示

低秩表示（low-rank representation， LRR）是一種有效的子空間分割方法，該方法將輸入數據作為字典，在字典所有向量作為基的線性組合中尋找最低秩表示，以捕獲數據的全局結構[11]。然而當輸入數據不足或嚴重損壞時，就會影響LRR 的效果， 所以Li 等[7] 在LRR 的基礎上進一步提出LatLRR，LatLRR 將觀測數據和隱藏數據串聯作為字典，可以解決數據采樣不足的問題[12]。LatLRR將輸入數據分解為一個包含主要信息的低秩部分XZ，一個包含顯著特征的低秩部分 LX和一個包含噪聲的稀疏部分E，具體描述如式（1）所示。

式中：λ是大于0的平衡系數；‖·‖是表示矩陣奇異值之和的核范數；‖·‖1表示L1范數；X是輸入 的數據矩陣；Z是低秩系數矩陣；L是投影矩陣； E是稀疏噪聲矩陣。

1.2 多級潛在低秩表示分解

LatLRR學習了投影矩陣L后，對源圖像分解 得到包含顯著特征的低秩部分，源圖像與低秩部 分作差得到細節部分，這種基于LatLRR的分解方 法稱為DLatLRR。為了提取更深層次的特征， Li等[7]提出多級潛在低秩表示分解方法，該方法 對DLatLRR分解得到的細節部分再次進行多次 DLatLRR分解。如圖1所示，根據步長s將源圖 像/劃分為大小為16×16的圖像塊，將每個圖像塊 轉換為列向量然后組成一個新的矩陣P（/），經 MDLatLRR分解得到基礎信息和細節信息的過程 如式（2）所示

Vbi = L× P（Di-1），Bi = R（Vbi）

Di = Di-1 - Bi （2）

式中：B和D是分解得到的基礎信息層和細節信息 層；Vbi是經DLatLRR分解得到的包含顯著特征的 低秩部分；L表示LatLRR學習的投影矩陣；P（）表 示矩陣轉換操作；R（）表示從基礎部分重建基礎圖 像操作，對于滑動窗口技術中的重疊像素，采用 平均策略來恢復基礎圖像。

2 融合方法

本文提出的CT 和MRI 圖像融合框架如圖2所示，輸入CT 和MRI 圖像，利用改進的圖像分解方法對CT 和MRI 圖像進行分解，對分解得到的細節信息和基礎信息進行融合，以進一步提取的CT 和MRI 圖像特有特征為引導對融合后的細節層和基礎層進行增強，最后重建得到融合圖像，具體融合過程如下。

2.1 改進的圖像分解方法

基于MDLatLRR 分解方法對圖3（a） 所示的CT 和MRI 圖像進行四級分解，得到的分解結果如圖4 所示。對于CT 和MRI 圖像來說， 第四級DLatLRR 分解得到的基礎部分包含的結構邊緣信息已非常微弱，且細節部分包含的細節信息也很模糊。因此，本文將基于DLatLRR 的分解過程控制在三級以內，首先對CT 和MRI 圖像進行兩級DLatLRR 分解以提取基層特征包括基礎部分（B1／2）和細節部分（ D1／2）然后進一步提取特有特征作為下文引導增強算法的引導圖像。

根據CT 和MRI 圖像成像特點，CT 圖像主要反映人體骨骼等致密性結構，所以其包含更多的結構輪廓信息，而MRI 圖像主要反映人體軟組織信息，所以其包含更多細節信息[13]。對于CT 和MRI 圖像這種特有的特征也可以通過圖3 所示的3 對CT 和MRI 圖像觀察到。為此，本文根據CT和MRI 圖像的這種特性，對CT 圖像利用DLatLRR方法僅提取其基礎信息（BCT3）（DMR3），對MRI 圖像利用DLatLRR 方法僅提取其細節信息。

2.2 細節信息融合

傳統方法對于細節信息的融合通常采用加權區域能量函數（ weight local energy， WLE） [14] 方法，然而傳統的WLE 方法對區域內像素設置固定的權值，會影響信息較豐富區域的融合效果。局部信息熵（local entropy， LEN）[15] 可以反映圖像局部區域的信息豐富程度，以局部信息熵作為加權區域能量函數的權值更能反映區域內信息的重要程度。因此，本文提出一種局部信息熵加權的區域能量函數（ local information entropy-weighted localenergy， WLE_LEN）對細節信息進行融合，細節信息融合的具體步驟如下：

從哈佛大學腦部數據集中選取14 對嚴格配準的CT 和MRI 圖像作為實驗數據，從中隨機選取3 對進行展示，如圖3 所示，每個圖像的分辨率大小均為256×256。在DLatLRR 分解中，使用滑動窗口技術將源圖像分割為圖像塊，步幅設置為1，窗口大小為16×16。參考MDLatLRR[7] 中參數設置，從中隨機選取2000 個圖像塊來學習投影矩陣L，其中平滑塊和細節塊的數量各為1 000。在圖像引導增強算法中，參考[19] 中參數設置，將控制增強范圍的參數b1 和b2 設置為0.1。基礎層包含更多的結構信息，對結構信息進行增強便于人眼的觀察，細節層包含更多的組織細節信息，若設置太高的增強強度會導致亮度過高而丟失細節信息。因此，將基礎層的增強強度參數c1 設置為1.5，細節層的增強強度參數c2 設置為0.8。本文局部計算窗口半徑r 均為1，滑動窗口步長為1，所有實驗均基于MATLAB2021b 平臺進行編程，并在Intel（R） Core（TM） i5-8250U CPU @ 1.60GHz 桌面上運行，內存為8.00GB。

3.2 實驗結果

根據所提出的算法對14 對CT 和MRI 圖像進行融合實驗，得到的融合結果如圖5 所示。將實驗結果與近幾年來具有代表性的醫學圖像融合方法進行對比，如：IFCNN[20]，NSCT-PC[4]，NSSTCNP[21] 和JBF-LGE[22]。由于本文是在二級DLatLRR的基礎上進行醫學圖像融合算法的改進，所以在對比試驗中加入MDLatLRR2[7] 方法。考慮到圖像顯示空間有限，對圖3 所示的3 對CT 和MRI 圖像融合的對比結果進行展示，為了便于讀者的觀察，將差異較為明顯的區域使用紅色框出并放大顯示，結果如圖6～8 所示。

為了對融合圖像進行更全面的定量評估，本文使用5 種常用的醫學圖像客觀評價指標，具體包括平均梯度（average gradient，AG）[23]，互信息（ mutual information， MI） [24]， 邊緣保持（ edgepreservation index， EPI） [22]， 視覺信息保真度（ visual information fidelity， VIF） [25]， 標準差（standard deviation，SD）[26]。其中，AG 反映融合圖像的清晰度和紋理變化，MI 反映源圖像與融合圖像間的相關性，EPI 反映融合圖像中包含源圖像邊緣信息的多少，VIF 反映與人類視覺系統相近的圖像質量，SD 反映圖像像素值與均值的離散程度以反映圖像質量的好壞。根據這5 種客觀評價指標對圖3 所示3 對CT 和MRI 圖像融合的對比結果進行定量評估，將每種客觀評價指標的最優值加粗顯示，如表1～3 所示。為了證明所提出方法的泛化性， 基于5 種評價指標AG， MI， EPI，VIF 和SD，對14 對圖像的對比試驗結果進行定量評估并取其平均值，得到結果如表4 所示。

3.3 結果分析

為了更加客觀公正地對融合結果進行評價，本文從主觀評價和定量評估兩個方面對融合圖像進行分析[27]。

主觀評價是根據人眼視覺感知對融合圖像進行主觀評估[28]，是評估融合圖像質量的一個重要方面。圖6～8 顯示了不同融合方法的主觀效果，這些方法都可以融合源圖像，但是部分融合效果有一定的欠缺。從圖6 可以看出， NSCT-PC，NSST-CNP 和MDLatLRR2 方法在紅框標記區域對細節信息的保留效果較差，對比度低；從圖7 紅框標記區域可以看出， NSCT-PC， BJBF-LGE 和MDLatLRR2 方法所得融合結果的邊緣結構較為模糊，尤其BJBF-LGE 方法，邊緣信息完全丟失；從圖8 中紅框標記區域可以看出， IFCNN 和MDLatLRR2 方法所得融合結果亮度較低，不利于人眼觀察，NSCT-PC 和BJBF-LGE 方法紋理細節信息丟失。相比其他方法，本文所提出的融合方法不論是在細節信息和邊緣信息的保留方面，還是在亮度信息的保留方面，均取得較好的表現。

在定量評估方面， 5 種評價指標AG， MI，EPI，VIF 和SD 的值越高，圖像的融合效果就越好。從表1～3 可以看出，本文所提出的方法在評價指標AG 上取得最優值，說明所提出的融合方法保留更多的紋理細節信息；在評價指標EPI 上取得最優值，說明所提出的融合方法保留更多的結構輪廓信息；在評價指標VIF 和SD 上取得最優值，說明融合圖像視覺質量較高。然而，對于圖3（b） 和（c） CT 和MRI 圖像融合結果，本文所提出的方法在評價指標MI 上略低于NSCT-PC 方法，說明NSCT-PC 方法所得融合結果在互信息方面略優于本文所提出的方法，但是在主觀評價中其細節和邊緣保留效果較差。為了說明所提出方法的有效性及適用性，對14 對源圖像定量評估的結果計算其平均值，結果如表4 所示，本文方法在評價指標AG，EPI，VIF 和SD 上取得最優值，并且相比其他方法分別平均提高了9.45%，11.75%，14.79% 和10.51%，評估指標MI 平均降低了1.63%，均符合以上分析，說明所提出的方法對于CT 和MRI 圖像的融合具有通用性。

本文所提出的方法針對CT 和MRI 圖像所特有的邊緣輪廓信息和紋理細節信息進行充分提取，且將充分提取的信息作為引導圖像對融合層進行增強，使融合圖像中的邊緣輪廓和紋理細節信息更為突出，因此所提出的方法不論是在主觀評價還是定量評估方面都表現出優異的結果。從主觀評價來看，所提出的方法得到的融合結果保留更多CT 和MRI 圖像特有的邊緣輪廓和紋理細節信息，更加符合人類視覺感知。從定量評估來看，所提出的方法相比傳統融合方法更具有競爭力。

4 結 論

提出一種基于MDLatLRR 的CT 和MRI 圖像融合增強算法。首先，根據CT 和MRI 圖像的特征進行不同層次的DLatLRR 分解，以提取CT 和MRI 圖像特有特征。針對WLE 對局部區域使用固定的權值影響細節信息融合的問題， 提出WLE_LEN 對細節信息進行融合。然后， 使用SS 和SEML 兩個活動度量共同融合基礎信息，不僅有效地融合結構信息，同時還保留能量信息。最后，以CT 和MRI 圖像特有特征為引導，對融合后的圖像進行增強，使融合圖像的特征更加顯著。所提出方法得到的融合結果包含更多CT 圖像中的結構信息和MRI 圖像中的紋理細節信息，并且根據對比實驗的主觀評價和定量評估結果，相比其他方法，所提出的方法對于保留源圖像的邊緣和細節信息具有很大的提升。未來我們會將該想法用其他模態圖像的融合，根據不同模態圖像所具有的特點來針對性地提取不同層次特征，實現更加精準的圖像融合。

參考文獻：

[1] ZHANG H， XU H， TIAN X， et al. Image fusion meets deep learning： a survey and perspective[J]， Information Fusion， 2021， 76： 323-336.

[2] LI X X， GUO X P， HAN P F， et al. Laplacian redecomposition for multimodal medical image fusion[J]. IEEE Transactions on Instrumentation and Measurement， 2020， 69（9）： 6880-6890.

[3] 樊文定，李彬華，李俊武.基于小波變換與深度殘差融合 的圖像增強算法[J].光電子·激光，2022， 33（7）： 715-722.[4] ZHU Z Q， ZHENG M G， QI G Q， et al. A phase congruency and local laplacian energy based multimodality medical image fusion method in NSCT domain[J]. IEEE Access， 2019， 7： 20811-20824.

[5] GAI D， SHEN X J， CHENG H， et al. Medical image fusion via PCNN based on edge preservation and improved sparse representation in NSST domain[J]. IEEE Access， 2019， 7： 85413-85429.

[6] 康家銀，陸武，張文娟.融合NSST和稀疏表示的 PET和MRI圖像融合[J].小型微型計算機系統，2019， 40（12）： 2506-2511.

[7] LI H， WU X J， KITTLER J. MDLatLRR： a novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing， 2020， 29： 4733-4746.

[8] LIU Y， CHEN X， CHENG J， et al. A medical image fusion method based on convolutional neural networks[C]//Proceedings of 2017 20th International Conference on Information Fusion. Xi'an： IEEE， 2017.

[9] XU H， MA J Y. EMFusion： an unsupervised enhanced medical image fusion network[J]. Information Fusion， 2021， 76： 177-186.

[10]肖兒良，周瑩，簡獻忠.遷移學習與GAN結合的醫學圖 像融合模型[J].小型微型計算機系統，2020， 41（9）： 1972-1978.

[11 ] CHEN J H， YANG J. Robust subspace segmentation via low-rank representation[J]. IEEE Transactions on Cybernetics， 2014， 44（8）： 1432-1445.

[12] LIU G C， YAN S C. Latent Low-Rank Representation for subspace segmentation and feature extraction[C]//Proceedings of 2021 International Conference on Computer Vision. Barcelona： IEEE， 2011： 1615-1622.

[13] 姚徐.基于深度卷積神經網絡的醫學圖像融合算法研究 [D].哈爾濱：哈爾濱理工大學，2021.

[14] YIN M， LIU X N， LIU Y， et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]. IEEE Transactions on Instrumentation and Measurement， 2019， 68（1）： 49-64.

[15] LI Z Y， ZHANG D， XU Y， et al. Modified local entropy-based transition region extraction and thresholding[J]. Applied Soft Computing， 2011， 11（8）： 5630-5638.

[16] ZHOU Z Q， LI S， WANG B. Multi-scale weighted gradient-based fusion for multi-focus images[J]. Information Fusion， 2014， 20： 60-72.

[17] CHEN J Y， ZHANG L， LU L， et al. A novel medical image fusion method based on Rolling Guidance Filtering[J]. Internet of Things， 2021， 14： 100172.

[18] 孫曉龍，王正勇，符耀慶，等.基于改進拉普拉斯能量和 的快速圖像融合J].計算機工程與應用，2015， 51（5）： 193-197.

[19] TONG Y. Visual sensor image enhancement based on nonsub-sampled shearlet transform and phase stretch transformJ]. EURASIP Journal on Wireless Communications and Networking， 2019， 2019（1）： 24.

[20] ZHANG Y， LIU Y， SUN P， et al. IFCNN： a general image fusion framework based on convolutional neural network[J]. Information Fusion， 2020， 54： 99-118.

[21] LI B， PENG H， LUO X H， et al. Medical image fusion method based on coupled neural P systems in nonsubsampled shearlet transform domainJ]. International Journal of Neural Systems， 2021， 31（1）： 2050050.

[22] LI X S， ZHOU F Q， TAN H S， et al. Multimodal medical image fusion based on joint bilateral filter and local gradient energyJ]. Information Sciences， 2021， 569： 302-325.

[23] JIN X， NIE R C， ZHOU D M， et al. Multifocus color image fusion based on NSST and PCNNJ]. Journal of Sensors， 2016， 2016： 8359602.

[24] KONG W W， WANG B H， LEI Y. Technique for infrared and visible image fusion based on non-subsampled shearlet transform and spiking cortical model[J]. Infrared Physics amp; Technology， 2015， 71： 87-98.

[25] XYDEAS C S， PETROVIC V. Objective image fusion performance measureJ]. Electronics Letters， 2000， 36（4）： 308-309.

[26] SHABANZADE F， GHASSEMIAN H. Combination of wavelet and contourlet transforms for PET and MRI image fusion[C]//Proceedings of 2017 Artificial Intelligence and Signal Processing Conference. Shiraz： IEEE， 2017.

[27] 鄧志華，李華鋒.低秩稀疏分解與顯著性度量的醫學圖 像融合 J].光學技術，2018， 44（4）： 461-468.

[28] ZHANG Y， JIN M M， HUANG G. Medical image fusion based on improved multi-scale morphology gradient-weighted local energy and visual saliency map[J]. Biomedical Signal Processing and Control， 2022， 74： 103535.

（編輯：黃娟）

基金項目：上海市自然科學基金資助項目（18ZR1426900）