基于潛在低秩表示的雙模態醫學圖像融合

劉海濤 龍黃梟 劉珊 姜瀚 周濤

摘要：醫學圖像融合是圖像處理科研領域的熱門課題。針對傳統的PET-CT圖像融合方法有效地融合了CT圖像和PET圖像的互補信息，但是在圖像整體細節信息保留能力仍然不足，現提出一種基于潛在低秩表示的雙模態醫學圖像融合方法，首先，將醫學原圖像通過潛在低秩表示方法分解為低秩部分、顯著部分以及噪聲部分。在低秩部分中，采用加權平均融合規則進行融合，以此來保留更多的圖像整體信息，在顯著部分中，使用求和策略進行融合，保留圖像的細節信息。然后，將這兩部分的融合圖像再進行重構，得到最終融合圖像。實驗結果表明，融合圖像無論是從客觀上還是主觀上，都具有良好的醫學觀察效果。

關鍵詞：醫學圖像;圖像融合;潛在的低秩表示;加權平均策略;低秩分解

中圖分類號：TP318? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）35-0005-04

Bimodal Medical Image Fusion Based on Latent Low Rank Representation

LIU Hai-tao1， LONG Huan-xiao1， LIU Shan1， JIANG Han1， ZHOU Tao1，2

（1.School of Computer Science and Engineering， North Minzu University， Yinchuan 750021， China;2. Key Laboratory of the State Ethnic Affairs Commission for Intelligent Processing of Image and Graphics，North Minzu University， Yinchuan 750021， China）

Abstract： Bimodal medical image fusion is a hot topic in the field of image processing. The traditional pet CT image fusion method effectively integrates the complementary information of CT image and PET image， but the overall detail information retention ability of the image is still insufficient. Now， a new Bimodal medical image fusion method based on the latent low rank representation is proposed. Firstly， the medical source images are decomposed into low rank part， significant part and noise part by latent low rank representation. In the low rank part， the weighted average strategy is adopted to preserve more overall information of the image. In the the significant part，the summation strategy is used to preserve detailed information of the image. Then the fusion images of these two parts are reconstructed to obtain the final fusion image. The experimental results show that the fusion image has good medical observation effect both objectively and subjectively.

Key words： medical image; image fusion; latent low-rank representation;weighted average strategy; low rank decomposition

圖像融合是從兩幅或多幅圖像的同一區域提取互補信息，通過融合方法融合到一幅圖像中，有效地克服單一傳感器的局限性和差異性[1]。在醫學影像技術中，由于CT成像是通過掃描橫斷面，得到斷面圖像，可以有效地消除器官和組織平面圖像投影重疊的缺點。CT圖像根據正常器官和病變器官的密度不同來進行識別病灶，其器官組織圖像分辨率極高但對病灶本身的顯示效果不佳。PET圖像是利用放射性核素標記原理，通過該物質在生物體中的移動聚集情況，反映生命體功能活動。但是PET圖像在成像過程中由于受到康普頓效應、散射等衰減因素的影響，采集得到的圖像數據和病狀體的實際情況不符，圖像質量失真，分辨率低。所以將PET圖像和CT圖像進行融合，充分利用多模態醫學圖像的互補信息，得到既能提供詳細的解剖結構，又能提供豐富的生理信息的融合圖像，幫助醫生快速查找確定病灶位置。

在醫學圖像融合領域中，多尺度變換是應用最廣泛的融合方法。例如拉普拉斯金字塔、離散小波變換（Discreate Wavelet Transformation，DWT）[2]、平移不變剪切波變換[3]等。針對DWT算法中的小波分解方法并不能較好地表示圖像中的高維信息，以及基于拉普拉斯金字塔方法融合的結果存在邊緣輪廓的失真。為更好表示這些高維信息，Ridgelet、Cuevelet、Contourlet等多尺度幾何分析工具被提出，這些方法準確地保留原圖像邊緣特征，但是基于Contourlet變換融合方法由于Contourlet具有平移不變性，導致出現偽吉布斯現象，所以融合圖像存在褶皺現象。周婷[4]等人提出基于Surfacelet變換的PET和CT圖像融合方法，該方法充分利用ST（Surfacelet Transformation）的特點，得到的融合圖像邊緣平滑，輪廓信息清晰。ST方法雖然較好地結合CT圖像和PET圖像的優點，但是對于全局信息的抓取能力以及細節信息的表示不足。針對這些問題，張生偉等人[5]提出一種基于稀疏表示的融合算法，該方法有效地保留原圖像的細節信息，但未能消除噪聲影響。Liu等人[6]提出低秩表示方法，有更好的圖像去噪效果。為了提取原圖像的全局和局部結構信息，Liu等人[7]又提出基于改進的LATLRR（Latent low-rank representation ，LATLRR）算法。

針對低秩表示的方法不能很好地提取原圖像中全局結構信息和局部結構信息，以及基于稀疏矩陣的融合算法在噪聲部分處理效果不佳的問題。LATLRR技術運用到PET/CT融合圖像中，LATLRR對系數矩陣具有整體約束性，在約束條件下噪聲部分被去除，并且對局部部分和全局部分的信息捕獲能力都較強。首先將原圖像分解為低秩部分和顯著部分、噪聲部分。然后，采用加權平均策略以及求和策略來分別融合低秩部分圖像和顯著部分圖像，最后得到融合圖像。實驗結果表明，該方法用于PET/CT圖像融合能較好地保留細節信息。

1 潛在低秩表示理論

2010年，Liu等人[6]最初提出低秩表示。為了能夠表示底層子空間以及實現魯棒的分割，2011年，Liu等人[7]改進低秩表示理論，提出潛在的低秩表示理論。潛在的低秩分解操作是將輸入的原圖像分解為低秩部分與顯著部分、噪聲部分，而噪聲部分在低秩的約束條件下被去除，其表達式為公式（1）：

[X=ZX+LX+EX=ZX+LX+E]? ? ? ? ? ?（1）

公式（1）中，[X]為原圖像矩陣;[ZX]、[LX]分別為低秩部分、顯著部分;[E]為稀疏噪聲。隨后進行最優化求解，其表達式為公式（2）

[minZ，L，E||Z||*+||L||*+λ||E||1]? ? ? ? ? ? ? ? ?（2）

[s.t.X=ZX+LX+EminZ，L，E||Z||*+||L||*+λ||E||1]

[s.t.X=ZX+LX+E]

公式（2）中，[||Z||*]表示核范數;[||E||1]為l1范數;[λ]為平衡系數，且[λ>0];[E]表示所有元素值都等于[E]，且與[X]為同維矩陣;[s.t.]為噪聲的約束條件，用不精確增廣拉格朗日乘數[8]求解。

2? 基于潛在低秩表示的融合方法

2.1 融合框架

基于LatLRR的雙模態醫學圖像融合框圖如圖1所示。

2.2 低秩部分融合

為保留更多的全局結構信息，低秩部分使用加權平均融合規則，如公式（3）：

[Flrr（i，j）=a*l1*lrr（i，j）+b*l2*lrr（i，j）]? ? ? ? ? ? ? ?（3）

其中[a]，[b]為權重，為了保證圖像的清晰度，將[a]，[b]設置為0.5，保證圖像的清晰度的同時使圖像呈現出來的病灶明顯，利于醫學診斷。[Flrr（i，j）]為低秩部分融合后的圖像，[（i，j）]表示各個公式系數在圖像中對應的位置。

2.3 顯著部分融合

在實驗過程中嘗試采用加權平均策略，實驗結果對于顯著部分局部信息的保留能力不足。而顯著部分是低秩部分的互補結構信息，為保留更多的局部結構信息采用求和的策略，如公式（4）所示：

[Fs（i，j）=s1*l1*s（i，j）+s2*l2*s（i，j）]? ? ? ? ? ? ? ? （4）

為了在求和策略在保留最多的顯著特征，設置[s1=10]，[s2=10]為系數，[ Fsi，j]為顯著部分的融合圖像。

2.4 圖像重建

為得到既包含全局信息又包含局部信息的目標圖像，將前面分別融合得到的低秩圖像和顯著圖像進行重建。計算公式如公式（5）所示：

[F（i，j）=Flrr（i，j）+Fs（i，j）]? ? ? ? ? ? ? ? ? ? ? ?（5）

3 評價指標

評價標準包括主客觀評價，客觀評價指標為：標準差[9]（Standard Deviation，SD），反映圖像像素值與均值的離散程度，標準差越大，圖像融合質量越好。計算公式如公式（6）所示：

[SD=1N-1i-1N（xi-x）2]? ? ? ? ? ? ? ? （6）

平均梯度（Average Gradient，AG）[10]，反映圖像灰度變化率。計算公式如公式（7）所示：

[G=1M*Ni=1Mj=1N（?f?x）2+（?f?y）22]? ? ? ? ? ? ? ? ? ?（7）

其中，[?f?x]，[?f?y]分別表示圖像水平方向和垂直方向的梯度。[M*N]為圖像像素點總個數。

空間頻率（Spatial Frequency，SF），空間頻率越大，圖像越清晰。計算公式如下所示：

[SF=sqrt（RF2+CF2）]? ? ? ? ? ? ? ? ? ? （8）

[RF=1MNi=1Mj=2NIi，j-Ii，j-12]? ? ? ? ? ? ? ?（9）

[CF=1MNi=2Mj=1NIi，j-Ii-1，j2]? ? ? ? ? ? （10）

其中，[I（i，j）]為圖像在[i，j]位置的像素值。

峰值信噪比（PeakSignaltoNoiseRatio， Psnr）即峰值的信號與噪聲的功率譜之比，一般來說，信噪比越大，說明混在信號里的噪聲越小，聲音回放的音質量越高。計算公式如公式（10）所示：

[MSE=1M*Ni=0M-1j=0N-1||I（i，j）-F（i，j）||2]? ? ? ? ? （11）

[PSNR（I，F）=10log10（2n-1）2MSE（I，F）]? ? ? ? ? ? ? ? ?（12）

圖像綜合清晰度指標G與圖像相似度mi的參數信息都能較好地反映融合圖像質量。

4 實驗結果

為驗證融合方法的有效性，使用14組PET和CT影像進行融合。實驗由3部分組成：第1部分為實驗結果整理;第2部分為實驗融合策略的選擇與驗證;第3部分為對比實驗結果與分析。實驗除了對于實驗最優參數的驗證，還選取四種經典的融合方法作為對比實驗。實驗參數：LATLRR的參數為0.8，低秩部分融合策略的加權值為0.5。

實驗環境：處理器為Intel（R） Core（TM） i7-10510U CPU @ 1.80GHz 8.00GB，MATLAB R2020a.實驗圖像為寧夏三甲醫院提供。

4.1 實驗結果整理

實驗結果的整理是以表格的方式呈現的，其中包含融合圖像共14組。表分為3部分，第一部分是14幅原始CT圖像，第二部分是15幅原始PET圖像，第三部分是融合圖像。實驗結果如表1所示。

4.2 實驗融合策略的方法選擇與驗證

本節實驗對低秩部分的加權平均策略的權重進行更改，尋找最優權重值。權重初始值均為0.5，并且通過主觀觀察和圖像清晰度G指標作為評價標準。每次權重的增幅（減幅）均為0.05，權重之和始終為1。實驗結果如表3所示。

由實驗結果分析可知，CT的權重比值越大，圖像的清晰度越高，但是無法非常清晰地看到pet圖像的病灶。PET的權重比值越大，圖像病灶越清楚，但輪廓圖像清晰度會下降。所以通過主客觀評價，得出權重是CT0.5和PET0.5時，圖像清晰度保持較高水平，并且凸顯融合圖像的病灶和輪廓。

4.3 對比實驗結果與分析

本節將LatLRR方法與基于區域能量，像素級圖像像素取大取小，小波變換融合方法進行對比。通過視覺觀察和評價參數分析實驗結果如表4和表5所示。

由評價參數可知，與其他對比實驗相比，LatLRR方法的融合圖像整體輪廓更加清晰，保留更多局部信息。從表5實驗評價參數可知，LatLRR方法融合圖像psnr較小，圖像噪聲高于其他對比實驗。在空間頻率和圖像清晰度方面，LatLRR方法較好。所以，LatLRR方法無論是融合圖像整體輪廓信息，還是局部細節的保留，均達到較好的效果。

5 結論

論文提出基于LatLRR分解的PET/CT圖像融合，首先利用LATLRR方法將原圖像分解為含有全局結構信息的低秩部分和含局部結構信息的顯著部分;采用加權平均策略對低秩部分融合，采用求和策略對顯著部分融合;并在低秩部分融合過程中選擇不同的權重值進行實驗，尋找最優權重值;最后對低秩部分融合圖像和顯著部分融合圖像進行重建，得到最終融合圖像。實驗結果表明，LATLRR方法保留PET/CT圖像整體細節信息效果較好。

參考文獻：

[1] Ma J Y，Ma Y，Li C.Infrared and visible image fusion methods and applications：a survey[J].Information Fusion，2019，45：153-178.

[2] Ben Hamza A，He Y，Krim H，et al.A multiscale approach to pixel-level image fusion[J].Integrated Computer-Aided Engineering，2005，12（2）：135-146.

[3] Wang L，Li B，Tian L F.EGGDD：an explicit dependency model for multi-modal medical image fusion in shift-invariant shearlet transform domain[J].Information Fusion，2014，19：29-37.

[4] 周婷，李文節. 基于Surfacelet變換的PET與CT圖像融合[EB/OL]. 北京：中國科技論文在線 [2010-12-23].

[5] 張生偉，李偉，趙雪景.一種基于稀疏表示的可見光與紅外圖像融合方法[J].電光與控制，2017，24（6）：47-52.

[6] Liu G， Lin Z， Yu Y. Robust subspace segmentation by low-rank representation[C]. International Conference on International Conference on Machine Learning， 2010：663–70.

[7] Liu G C，Yan S C.Latent Low-Rank Representation for subspace segmentation and feature extraction[C]//2011 International Conference on Computer Vision.November 6-13，2011，Barcelona，Spain.IEEE，2011：1615-1622.

[8] 陳潮起，孟祥超，邵楓，等.一種基于多尺度低秩分解的紅外與可見光圖像融合方法[J].光學學報，2020，40（11）：72-80.

[9] 江澤濤，蔣琦，黃永松，等.基于潛在低秩表示與復合濾波的紅外與弱可見光增強圖像融合方法[J].光子學報，2020，49（4）：0410001.

[10] Liu Y，Chen X，Cheng J，et al.Infrared and visible image fusion with convolutional neural networks[J].International Journal of Wavelets，Multiresolution and Information Processing，2018，16（3）：1850018.

【通聯編輯：唐一東】