基于生理視覺的醫(yī)學(xué)圖像融合質(zhì)量評價方法研究

摘 要：醫(yī)學(xué)圖像融合技術(shù)在提高診斷準(zhǔn)確性方面發(fā)揮著重要作用，目前研究者提出各種融合策略和方法。但如何準(zhǔn)確評價融合圖像的質(zhì)量，仍缺乏統(tǒng)一評價方法。本研究通過分析醫(yī)學(xué)圖像融合評價的基本原理，利用人類生理視覺系統(tǒng)的特性，提出一種基于生理視覺的圖像融合質(zhì)量評價方法，該方法通過利用圖像的清晰度、對比度、色彩保真度和融合自然度等客觀評價指標(biāo)，融合主觀評價，構(gòu)建數(shù)學(xué)模型，全面反映融合圖像的視覺質(zhì)量，所構(gòu)建的模型經(jīng)實驗驗證，較好符合人類生理視覺感知評價。

關(guān)鍵詞：圖像融合；評價方法；視覺感知

醫(yī)學(xué)圖像融合技術(shù)在提高診斷準(zhǔn)確性方面發(fā)揮著不可或缺的作用，它結(jié)合來自不同成像模式的信息（如CT、MRI、PET等），提供更為全面和精確的診斷依據(jù)。盡管現(xiàn)有的融合技術(shù)在某些方面取得了顯著進展，但仍存在諸多挑戰(zhàn)和局限。與自然場景圖像相比，醫(yī)學(xué)圖像中前景和背景區(qū)分明顯，且色彩失真絕大多數(shù)發(fā)生在前景區(qū)域，這將導(dǎo)致獨立指標(biāo)無法準(zhǔn)確對圖像進行評價。

研究表明，人類視覺系統(tǒng)在評估圖像質(zhì)量時具有獨特的優(yōu)勢［1］。本研究提出一種基于人類生理的視覺醫(yī)學(xué)圖像融合質(zhì)量評價方法，該方法選取了多尺度結(jié)構(gòu)（MSSIM）、視覺信息保真度（VIF）和相位一致性（PC）指標(biāo)，結(jié)合了人類視覺系統(tǒng)的特性，通過主觀評價建立主觀評價與指標(biāo)之間的關(guān)系。我們先收集了多種醫(yī)學(xué)圖像數(shù)據(jù)集，使用主流的圖像融合算法生成融合圖像，選用MSSIM、PC、VIF指標(biāo)來量化圖像質(zhì)量，最后邀請專家對融合圖像進行視覺評價。建立一個多維度的評價模型，反映客觀指標(biāo)和主觀指標(biāo)之間的線性關(guān)系。通過實驗驗證，該方法能夠準(zhǔn)確、客觀地評價醫(yī)學(xué)圖像融合的質(zhì)量，并與主觀評價結(jié)果保持一致性。

1 評價方法的概述

圖像質(zhì)量評價方法通常可以分為主觀圖像質(zhì)量評價方法和客觀圖像質(zhì)量評價方法［2］。近年來出現(xiàn)了多種客觀評價指標(biāo)，如SSIM（結(jié)構(gòu)相似性指數(shù)）和PSNR（峰值信噪比）等客觀評價指標(biāo)被廣泛應(yīng)用于圖像融合領(lǐng)域。參考文獻［3］的學(xué)者提出的融合質(zhì)量評價方法，通過綜合考慮多種圖像特性，能夠全面反映融合圖像的質(zhì)量。于天河等人［4］模擬人眼提出了一種基于改進韋伯局部特征的圖像質(zhì)量評價。對于主觀評價，何炳陽等人［5］提出基于SEM的彩色融合圖像質(zhì)量主觀評價方法。總體而言，針對醫(yī)學(xué)圖像方面的主觀評價則研究較少。醫(yī)學(xué)圖像融合質(zhì)量評價方法的發(fā)展不僅只是評價圖像，還可以推動新技術(shù)和新算法的研發(fā)［6］。通過不斷改進和完善質(zhì)量評價方法，為新算法研發(fā)提供方向。例如，基于深度學(xué)習(xí)的評價方法通過引入神經(jīng)網(wǎng)絡(luò)，可以更準(zhǔn)確地捕捉圖像的復(fù)雜特性，提升評價的精度［7］。

近年來，圖像融合技術(shù)在醫(yī)學(xué)領(lǐng)域得到廣泛研究，學(xué)者們提出各種圖像融合算法，但如何加快融合技術(shù)在臨床上的使用，仍面臨困難。圖像融合通過提取多源圖像的有效信息進行綜合，在提取過程中會造成信息丟失，單一指標(biāo)很難全面反映圖像的質(zhì)量。在評估一種客觀策略的表現(xiàn)時，主觀評估起著重要的作用［8］。因此，基于人類生理視覺特點構(gòu)建科學(xué)的綜合評價體系，成為研究醫(yī)學(xué)圖像融合質(zhì)量的一個重要方向。由圖1、圖2［9］可知，融合效果通過單一的客觀評價很難準(zhǔn)確把握圖像的質(zhì)量高低，引入專家評價是一個有效的方法。

因此，本文綜合醫(yī)學(xué)圖像融合評價指標(biāo)，通過指標(biāo)的互補性及人類視覺評價，提出一種基于生理視覺的圖像融合質(zhì)量評價方法（Image Fusion Quality Assessment Based on Physiological Vision，IFQAPV），評價方法將通過客觀指標(biāo)與人類視覺主觀評價進行結(jié)合，建立主觀評價和客觀指標(biāo)的關(guān)系，獲得更符合人類生理視覺特性的評價。

2 IFQAPV算法描述

算法過程：首先，根據(jù)人類視覺特點選擇三個評價指標(biāo)，對主流融合方法融合的圖像進行客觀評價，建立評價矩陣；其次，由專家對這些圖像進行主觀評價，建立客觀評價矩陣和專家評價的線性關(guān)系；最后，對構(gòu)建的模型進行驗證，方案過程如圖3所示。

2.1 客觀評價指標(biāo)的選取

醫(yī)學(xué)圖像中最重要的是圖像的邊緣特征、結(jié)構(gòu)特征以及亮度信息，其對人類生理視覺感知有較大的影響。因此，本文選取了多尺度結(jié)構(gòu)（MSSIM）、視覺信息保真度（VIF）和相位一致性（PC），并假設(shè)這幾個評價指標(biāo)與人類視覺評價成線性關(guān)系。

2.2 客觀評價指標(biāo)實現(xiàn)原理

2.2.1 多尺度結(jié)構(gòu)相似性指數(shù)（MSSIM）

多尺度結(jié)構(gòu)相似性指數(shù)（MSSIM）是一種改進的圖像質(zhì)量評價指標(biāo)，它在結(jié)構(gòu)相似性指數(shù)（SSIM）的基礎(chǔ)上進一步發(fā)展，旨在更好地捕捉圖像的多尺度特性。MSSIM則通過在多個尺度上進行比較，更全面地反映圖像的結(jié)構(gòu)信息和視覺質(zhì)量，以下是計算的詳細步驟。

（1）計算l（x，y），詳見式（1）：

l（x，y）=2μxμy+C1μ2x+μ2y+C1（1）

其中，μx和μy分別表示圖像x和y的平均亮度，C1是一個常數(shù)，用于維持?jǐn)?shù)值穩(wěn)定性。

（2）計算c（x，y），詳見式（2）：

c（x，y）=2σxσy+C2σ2x+σ2y+C2（2）

其中，σx和σy分別表示圖像x和y的標(biāo)準(zhǔn)差，即對比度信息，C2也是一個常數(shù)。

（3）計算s（x，y），詳見式（3）：

c（xy）2σxy+C3σxσy+C3（3）

其中，σxy是圖像x和y的協(xié)方差，C3同樣是一個常數(shù)。

（4）計算SSIM：

SSIM（x，y）=［l（x，y）］α·［c（x，y）］β·［s（x，y）］γ（4）

其中，α、β、γ是用于調(diào)整這三個組件相對重要性的參數(shù)。

（5）計算多尺度SSIM計算：在每個尺度上計算SSIM值，得到一組SSIM值，然后對這些SSIM值進行加權(quán)平均。

MS_SSIM=∏Mi=1［SSIMi（x，y）］αi（5）

其中，SSIMi（x，y）是第i個尺度上的SSIM值，αi是相應(yīng)的權(quán)重，M是尺度數(shù)。

最后，將各尺度的SSIM值進行加權(quán)平均，得到整體的MS_SSIM值。通過這種方式，MSSIM能夠綜合考慮不同尺度上的圖像信息，更全面地評估圖像的結(jié)構(gòu)相似性和視覺質(zhì)量。

2.2.2 相位一致性（PC）

PC是一種基于頻域分析的圖像融合質(zhì)量評價方法，它通過計算圖像中每個像素點處的相位一致性值來評估融合圖像的質(zhì)量。相位一致性值越高，表示融合圖像在該點的局部結(jié)構(gòu)信息越豐富，融合效果越好，評價模型見式（6）。

PC=（x）=∑nW（x）［1-cos（n（x）-φ（x））］（6）

x是像素位置;n表示不同頻率成分；W（x）是權(quán)重函數(shù)，用于強調(diào)某些特征或區(qū)域。

n（x）是第n個頻率成分在位置x的相位；φ（x）是所有頻率成分的平均相位，通過加權(quán)平均計算得到。

2.2.3 視覺信息保真度（VIF）

VIF是一種基于人類視覺系統(tǒng)的信息傳遞模型來評估圖像質(zhì)量的指標(biāo)。VIF衡量了源圖像在經(jīng)過視覺系統(tǒng)處理后，保留了多少信息，并用于衡量源圖像和融合圖像之間的信息保真度。其主要原理是通過模擬視覺系統(tǒng)對圖像信息的處理過程，量化源圖像與融合圖像之間的信息傳遞量，評價模型見式（7）。

VIF=∑x，y［lg（1+d2*g2*（σ2x）/（σ2N+ε））］∑x，y［lg（1+σ2x）/（σ2N+ε））］（7）

其中：d是失真通道的增益，g是HVS模型的參數(shù)，σ2x是原始圖像的方差，σ2x是噪聲方差，ε是一個極小的常數(shù)，用于防止分母為零。

2.3 人類生理視覺評價

通過收集評價專家對融合圖片的效果進行主觀評價，評價等級分為五級，等級越高，圖片質(zhì)量就越好，評價模型見式（8）。

Vi=∑nj=1xjn（8）

V表示評價向量，Vi為第i種融合算法的評價均值，xj表示第j個評價結(jié)果。

2.4 構(gòu)建評價模型

本文假設(shè)三個評價指標(biāo)與人類視覺評價具有線性相關(guān)，對相應(yīng)的指標(biāo)進行標(biāo)準(zhǔn)化處理后，構(gòu)建模型見式（9），進而構(gòu)建人類視覺評價和三個客觀評價指標(biāo)的線性關(guān)系。

VT=M*WT+ε（9）

M為三個指標(biāo)的均值矩陣，W為系數(shù)向量，ε為偏移向量，V為評價向量。

2.5 模型評價

利用建立模型，選用公開數(shù)據(jù)，選取融合算法生成融合圖像，重新獨立進行客觀評價和專家評價，驗證模型結(jié)果與專家評價結(jié)果的匹配度。

3 實驗過程與對比

3.1 客觀評價

為了進行數(shù)據(jù)對比，我們從哈佛全腦圖譜（http：//www.med.harvard.edu/）下載相關(guān)人腦的數(shù)據(jù)集，使用目前比較主流的方法DDcGAN、IFCNN、PMGI、SDNet、U2Fusion、FusionDN、M4FNet對融合的效果使用PC、MSSIM和VIF方法分別進行評價。

隨機抽取融合數(shù)據(jù)，對各融合方法取平均值，其結(jié)果如表1所示。

3.2 主觀評價

邀請專家對融合圖片效果進行視覺評價，對各類方法融合圖像視覺效果從清晰度、對比度、細節(jié)保真度和經(jīng)驗等維度進行獨立評價，最終分為5個等級，分別為特優(yōu)、優(yōu)、良好、良、合格。為保證評價客觀，減少主觀因素的影響，我們采用問卷方式進行，統(tǒng)計后對評價的等次進行賦分，最高5分，最低1分，計算出其均值結(jié)果保留兩位有效數(shù)字，統(tǒng)計結(jié)果如表2所示。

3.3 評價建模

根據(jù)表1和表2建立線性關(guān)系，經(jīng)過計算得出W權(quán)重向量和偏移量。最后得出α=2.43，β=0.65，γ=-1.00，偏移量ε=3.125，根據(jù)回歸計算出了綜合標(biāo)價指標(biāo)。

3.4 模型驗證

實驗驗證，在得出回歸系數(shù)后，從未驗證圖像中抽取部分融合方法的數(shù)據(jù)給專家進行評分，結(jié)果如表4所示。

從評估得分看總體符合，視覺評估與客觀指標(biāo)存在一定差異，如PMGI指標(biāo)評分偏高，但專家評分稍低，主要受到主觀判斷的影響。但總體符合視覺判斷，也證明了該項指標(biāo)在評價醫(yī)學(xué)圖像融合的質(zhì)量上具有一定的指導(dǎo)意義。通過對各融合算法評價指標(biāo)分析，我們發(fā)現(xiàn)評價指標(biāo)與人類視覺評價之間存在線性相關(guān)。進一步表明，客觀量化指標(biāo)與專家主觀評價具有線性相關(guān)，這一方法為研究人員提供了可靠的評估工具。同時，模型也揭示了未來醫(yī)學(xué)圖像融合算法優(yōu)化的潛在方向，即關(guān)注正相關(guān)系數(shù)高的指標(biāo)，在對應(yīng)的指標(biāo)研究上進行突破，對融合圖像質(zhì)量的提升具有重要的意義。

4 結(jié)論

針對醫(yī)學(xué)圖像融合中評價指標(biāo)的單一性問題，本文提出使用PC、MSSIM、VIF進行綜合評估，從模型構(gòu)建和實驗驗證對比，PC、MSSIM指標(biāo)與人類生理視覺評價正相關(guān)，對人類生理視覺評價具有重要的參考意義。從計算的回歸系數(shù)來分析，PC和MSSIM評價指標(biāo)對圖像的質(zhì)量影響較大，VIF評價指標(biāo)受其他兩個指標(biāo)的影響，對圖像質(zhì)量的提升有限，甚至表現(xiàn)為負相關(guān)。在本研究樣本數(shù)據(jù)中，要提高融合圖像在臨床上應(yīng)用的價值，科研人員可在提高PC和MSSIM指標(biāo)方向上突破。

實驗設(shè)計存在的問題和努力的方向：（1）選取的指標(biāo)不夠全面，可能還有更重要的指標(biāo)對最終圖像的質(zhì)量有較大的影響；（2）評價專家人數(shù)有限，評價樣本數(shù)量少，增加了隨機誤差；（3）將圖片的質(zhì)量等級劃分為1～5個等級，在一定程度上，擴大了圖像質(zhì)量的誤差，對模型的結(jié)果有一定的影響。本模型中，VIF指標(biāo)為負相關(guān)，與等級的選取有較大關(guān)系。

參考文獻：

［1］ZHOU W，BOVIK A C，SHEIKH H R，et al.Image quality assessment：From error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600612.

［2］吳世海，鮑義東，陳果，等.基于隨機Gabor特征的半?yún)⒖嫁r(nóng)作物圖像質(zhì)量評價方法［J］.計算機與現(xiàn)代化，2020（5）：7074+95.

［3］CHEN X，ZHANG Y，WANG Y，et al.Personalized medicine through multimodal data fusion［J］.npj Digital Medicine，2021，4（1）：34.

［4］于天河，柳夢瑤.基于人眼視覺系統(tǒng)的圖像質(zhì)量評價方法［J］.北京郵電大學(xué)學(xué)報，2023，46（2）：129136.

［5］何炳陽，廖俊勃，張宇，等.基于SEM的彩色融合圖像質(zhì)量主觀評價方法［J］.光學(xué)精密工程，2023，31（6）：12341240.

［6］TAWFIK A，BASU S，SINGHAL S，et al.A systematic literature review on multimodal medical image fusion［J］.Information Fusion，2023，32：7589.

［7］WANG Z，YAN W，ZHANG Y，et al.Deep learningbased medical image fusion：A review［J］.Journal of Biomedical Informatics，2021，115：103640.

［8］韓光川，李偉生，王國芬，等.多模態(tài)醫(yī)學(xué)圖像融合圖像質(zhì)量評估［J］.重慶郵電大學(xué)學(xué)報（自然科學(xué)版），2024，36（03）：591600.

［9］DING Z S，LI H Y，GUO Y，et al.M4FNet：Multimodal medical image fusion network via multireceptivefield and multiscale feature integration［J］.Computers in Biology and Medicine，2023，159：11.

基金項目：2021年廣西科技師范學(xué)院科研基金項目（青年自科）（GXKS2021QN027）；2022年度廣西高校中青年教師科研基礎(chǔ)能力提升項目（2022KY0853）

作者簡介：曾海平（1982— ），男，瑤族，廣西馬山縣人，本科，工程師，研究方向：醫(yī)學(xué)圖像處理、人工智能。