基于結構顯著性的醫學圖像質量評價

張劍華，張自然，汪曉妍，管　秋

(浙江工業大學 計算機科學與技術學院，浙江 杭州 310014)

基于結構顯著性的醫學圖像質量評價

張劍華，張自然，汪曉妍，管秋

(浙江工業大學 計算機科學與技術學院，浙江 杭州 310014)

摘要：為提高醫學圖像質量預測精度，檢驗和優化醫學圖像處理算法，提出了一種基于結構顯著性的醫學圖像質量評價方法.首先，分別計算參考圖像和失真圖像的相位一致性、梯度相似性，然后計算參考圖像的結構顯著性圖譜，最后結合兩幅圖像的相位一致性信息和梯度幅度信息生成局部質量圖譜，并用結構顯著性圖譜作為視覺權重生成最終的圖像質量分數.經醫學影像質量基準庫測試，客觀評估結果與主觀評估結果的Pearson相關系數達到89%，Spearman相關系數達到86%.實驗結果表明該方法優于傳統評價方法，具有較高的可靠性.結構顯著性模型不僅能反應人眼自適應提取場景結構信息的能力，而且還能分層次地描述不同圖像結構的結構性.對人眼視覺特性的研究與應用有助于提高圖像質量評價方法的可靠性.

關鍵詞：醫學圖像；質量評價；相位一致性；結構顯著性

Medical image quality assessment based on structural saliency

ZHANG Jianhua, ZHANG Ziran, WANG Xiaoyan, GUAN Qiu

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310014, China)

Abstract:Aiming to improve the prediction accuracy of the quality of medical images, test and optimize the image processing algorithms, an approach based on structural saliency is proposed. Firstly, the phase congruency and gradient similarity between the reference image and the distorted image are generated. Secondly, the map of structural saliency for the reference image is computed. Finally, combining the phase congruency and gradient similarity of two images are combined to generate local mass spectrum. The structural saliency map is served as pooling strategy to produce the quality score. Extensive experiments carried on the benchmark database show that Pearson correlation coefficient between the objective scores and subjective scores reaches 89%, and the spearman-coefficient reaches 86%. The research and application of human visual characteristics can improve the accuracy and reliability of objective medical image quality assessment.

Key words:medical image; quality assessment; phase congruency; structural saliency

醫學圖像在疾病診斷及治療中有著重要的臨床意義.醫學圖像成像原理不同于普通圖像，它需要在計算機輔助下通過某種數學方法重建得到[1].影像在信息采集、數學重建、后期處理、存儲及傳輸過程中都會受到噪聲干擾而影響其圖像質量.圖像質量將直接影響到醫療診斷的準確性.醫學圖像質量評價方法主要分為兩類，即主觀評價方法和客觀評價方法.主觀評價方法由專業醫師對圖像給出主觀評價意見，其優點是可信度高，但缺點也很明顯：耗時長，成本高，且不可重復.客觀評價方法則是基于數學模型的自動化評價方法，其優點在于成本低、易實現，且具有可重復性的優點[2].由于醫學影像設備通常會生成大量圖像，所以有必要開發出一個有效的客觀圖像質量評價方法.該圖像質量評價方法將可用于自動監督和調整圖像質量，優化成像系統的算法和參數設置，同時也可作為衡量各種圖像處理算法性能的重要指標.例如，古輝[3]和廖鋒峰[4]通過圖像質量來證明其圖像編碼算法具有優秀的性能，楊建鋒[5]則通過圖像質量來證明其提出的流媒體傳輸控制方案的有效性.

筆者對傳統醫學圖像質量評價方法進行了闡述與分析，針對目前存在的問題，提出了相位一致性、梯度幅度和人眼視覺結構顯著性相結合的綜合性評價指標，從而提升了醫學圖像質量客觀評價方法的可靠性.在該方法中，相位一致性和梯度幅度能有效反映圖像局部細節特征，結合二者可得到圖像局部質量圖譜.結構顯著性則能很好反映人眼視覺對結構信息的敏感性，而且對不同結構信息有不同敏感程度.最終的實驗結果證明該方法的性能明顯優于傳統醫學圖像質量評價方法，對醫學圖像質量的評估有較高的可靠性.

1傳統的醫學圖像質量評價方法

1.1基于統計數據圖像質量評價方法

基于統計數據的圖像質量評價方法主要有均方誤差(Mean square error, MSE)以及峰值信噪比(Peak signal noise ratio, PSNR),這類算法物理意義明確、計算簡單，是目前最常用的圖像質量評價指標，MSE和PSNR分別定義為

(1)

(2)

式中：x和y分別代表參考圖像和與其相對應的失真圖像；圖像尺寸為M×N；L為圖像總灰度級數；MSE為兩幅圖像間的均方誤差.

1.2基于結構信息的圖像質量評價方法

Wang[2]提出了SSIM評價方法，該方法最初應用于自然圖像上，獲得了較好的效果.有研究者將其應用于醫學圖像上也同樣獲得了不錯的效果[6-8].該方法對兩幅圖像間的結構相似性進行評價，從3個圖像特征上進行描述，并給3個特征賦以不同的權重.具體包括亮度比較因子l(x,y)、對比度比較因子c(x,y)和結構比較因子s(x,y),SSIM被定義為

SSIM(x,y)=l(x,y)a·c(x,y)β·s(x,y)γ

(3)

另外，還有很多基于SSIM的改進方法，段影影等提出了醫學圖像質量評價中的梯度權重評價方法GWSSIM和基于梯度方向的評價方法GDSSIM[7,9],都提高了算法的準確性.另外由于人眼對不同區域具有不同的關注度，因此，也可以將圖像分解成若干圖像塊，利用SSIM方法計算出每小塊的評分，然后計算每小塊分數均值得到整體圖像質量分數為

(4)

式中M為圖像所分的塊數.

基于梯度方向的評價方法GDSSIM則是將SSIM中的對比度因子和結構因子替換為梯度大小和梯度方向因子，其具體定義為

GDSSIM(x,y)=α·l(x,y)+β·c(xG,yG)+

γ·s(xD,yD)

α+β+γ=1

(5)

式中：xG和xD分別為參考圖像的梯度大小矩陣和梯度方向矩陣；參數α,β,γ用以調整3個因子的權重；x,y分別為原始參考圖像和失真圖像.

基于梯度加權結構相似性的評價模型GWSSIM利用梯度信息代替了SSIM中的結構比較因子，其具體定義為

(6)

該方法采用Sobel算法對圖像進行梯度的計算，求出參考圖像x和失真圖像y的梯度信息，并計算出權值矩陣.

1.3Q指標評價方法

Q指標評價方法是一個通用的圖像質量評價方法，其表達式為

(7)

式中：

Q的動態范圍為[-1,1]，當y=x時，獲得最佳分數值.通過對每一個圖像塊計算分數值，就可以得到圖像的質量圖譜，最終的圖像質量分數定義為所有每個圖像塊分數Qi的平均值，即

式中M為圖像所分的塊數.

1.4傳統方法存在的問題

基于統計數據的評價方法是單純從數學統計的角度出發，將圖像看成孤立點集合，而忽略局域像素間的相關性.這就決定了該方法在處理結構性失真時不能給出準確的質量評價結果.同時它將信號誤差等同于質量的視覺感知，這也不符合HVS視覺特性.PSNR對于噪聲失真能做出較準確的判斷，但對于其他類型失真也并不適用.

SSIM及其改進方法主要基于人眼視覺系統高度自適應提取場景中的結構信息的特性來進行圖像質量評估.SSIM方法從圖像局部亮度、對比度和結構三方面來度量參考圖像與失真之間的相似性，得到圖像質量圖譜后采用求均值的方法獲得一個整體的質量分數.該類方法性能優于早期方法，但依舊達不到實際應用所需的可靠性.

2基于結構顯著性醫學圖像質量評價

2.1圖像相位一致性

Oppenhei和Lim[10]通過實驗表明在表達圖像特征方面相位信息比幅度信息要重要得多，其作者通過交換兩幅圖像的相位和梯度信息生成了兩幅新圖像，新圖像的基本內容與其所使用的相位信息保持一致.該實驗表明圖像變換到頻域后其相位信息包含了圖像的基本特征.

Morrone和Owens[11]認為圖像的特征出現在傅里葉分量的相位值最大的地方.幾乎所有的特征都伴隨著較高的相位一致性，而且人眼視覺皮層對相位一致性結構有較強的敏感性.另外，Kovesi[12]給出了一種相位致性的計算模型，該模型采用了在計算機視覺和感知領域里應用極為廣泛的log-Gabor小波來進行計算.在2D圖像中，每個像素的相位一致性可以定義為

PC(x,y)=

(8)

Δφ(x,y)=cos[φn(x,y)-φ(x,y)]-

(9)

式中：m和n分別表示方向尺度個數；Aji(x)和Φji(x)分別表示在第i個方向第j個對數尺度上的幅度和局部相位偏差；Ti表示第i個方向上的估計噪聲；Wi表示第i個方向上的權重函數.

2.2梯度幅度

梯度幅度是一種空域上的低水平的圖像特征，該特征雖然簡單但卻非常有效.梯度幅度可用卷積核來計算，常用的梯度算子有Scharr算子，Prewitt算子和Sobel算子.用GM來表示圖像梯度幅度，并定義為

(10)

式中Gx和Gy分別表示圖像f(x)在水平和豎直方向上的偏導數.各梯度算子間差異不大，這里采用Zhang[13]推薦的Scharr算子，其定義為

(11)

(12)

2.3結構顯著性模型

由前兩小節的相位一致性信息與梯度幅度信息可生成圖像的質量圖譜，但對于如何將質量圖譜轉換成一個標量的質量分數則需要科學地分析.人眼視覺具有結構顯著性特性，不同的結構信息對人眼有不同的吸引程度.筆者采用全局邊緣概率的方法[14]來實現該結構顯著性模型，并通過實驗證明該模型非常適用于表達人眼在感知圖像質量時的視覺特性.

該邊緣概率的方法[14]最初應用于邊緣檢測，其主要思想是通過計算亮度、色彩和紋理三個通道的梯度方向信息來得到邊緣概率.對于亮度通道，使用被一條直徑分割成兩半的圓作為窗口，通過調整直徑的方向，計算出兩個半圓所對應的直方圖g和h.用χ2表示直方圖g和h之間的距離，并定義為

(13)

紋理和色彩通道也用同樣的方式進行處理.同時該作者還通過多尺度的方式將局部亮度和紋理信息結合起來，最終全局邊緣概率定義為

γ·sPb(x,y,θ)

(14)

式中：β與γ為權重參數；G為帶方向的梯度信號；sPb為邊界概率.如圖1所示，圖1(a)為參考圖像，圖1(b，c)分別為相位一致性圖和梯度幅度圖，圖1(d)為結構顯著性圖.

圖1　參考圖像及相應的特征圖Fig.1　The reference image and the corresponding feature maps

2.4綜合性評價指標

圖2給出了圖像質量綜合評價指標的算法流程圖，圖2中Ref和Dst分別代表標準參考圖像和失真圖像，通過度量失真圖像與標準參考圖像間的相似程度來決定失真圖像的質量.

圖2　算法流程圖Fig.2　The flow chart of the algorithm

首先，分別計算Ref與Dst對應的相位一致性圖，用PC1和PC2來表示.同樣地，計算出其相應的梯度幅度圖，用G1和G2來表示.PCS為PC1和PC2的相似性圖，用PCS(x)表示相位一致性圖的相似性，PCS可以定義為

(15)

式中：c1是一個小正數常量以避免分母為0的情況；GMS為G1和G2的相似性圖譜.用GMS(x)表示梯度幅度圖的相似性，GMS可以定義為

(16)

式中：G1和G2分別是參考圖和失真圖的梯度幅度圖；c2是一個小正數常量以避免分母為0的情況.通過結合相位一致性圖和梯度圖可以得到局部質量圖，用Q(x)表示為

Q(x)=PCS(x)·GMS(x)

(17)

物體邊界通常占據主要的視覺注意力，結構顯著性模型用于量化人眼對圖像結構信息的敏感度.這里用SSM(x)表示該結構顯著性模型所得的權重圖，用IQS(x)表示最終圖像質量分數，具體定義為

(18)

式中x表示圖像在空域Ω上的每個像素.

3實驗結果及分析

3.1圖像庫及分數指標

目前就我們所知：在醫學圖像質量評價方面，尚未有公開可用的圖像質量評價基準庫，已有的相關研究中普遍采用少量的醫學圖像作為實驗數據，解剖位置單一、影像模態有限.針對這種情況，建立了較為全面的醫學圖像庫，其中涉及到頭部，胸腔，腹部，四肢等部位，模態有常見的CT,MR等.參考圖像共15幅，圖3列出其中4幅，失真模擬包括較常見的4種，即模糊失真、噪聲失真、對比度失真和壓縮失真.同時每種失真類型根據失真程度分為5個等級，共有300幅實驗圖像，經過4位放射科醫師給圖像質量進行主觀評分.由于篇幅限制，醫學圖像質量基準庫的各項統計數據不再給出.

圖3　圖像庫中部分參考圖像Fig.3　Four reference images from the image database

通過計算每幅圖像客觀評分，并同標準庫主觀平均分數(MOS)進行擬合，從而得到實驗結果.這里采用了3種常用的評價標準與傳統評價方法所得結果進行比較，分別為Spearmanrank-ordercorrelationcoefficient(SRC)，Pearsoncorrelationcoefficient(PCC) 與Rootmeansquareerror(RMSE).這些指標用于計算客觀評價分數與圖像庫主觀評價分數經過非線性回歸以后的結果的相關性，相關性越高表示所采用的評價方法越有效，反之亦然.這里采用其他相關文獻中使用最多的非線性回歸函數[15]為

(19)

式中β1～β5為回歸參數.

3.2結果對比與分析

實驗結果統計如表1～5所示.表1～5中最佳及次佳數據加黑顯示，對于PLC和SRC而言，較高的分數意味著較好的相關性，而對于RMSE而言，較低的分數表示較好的相關性.表1～4分別給出了不同評價方法在模糊失真、壓縮失真、對比度失真和噪聲失真4類失真圖像上的性能比較，筆者方法都獲得較好的結果.表5給出了6種方法性能的綜合性比較，筆者方法明顯優于其他傳統方法.

表1　六種評價方法在模糊失真圖像上的性能比較

表2　六種評價方法在壓縮失真圖像上的性能比較

表3　六種評價方法在對比度失真圖像上的性能比較

表4　六種評價方法在噪聲失真圖像上的性能比較

表5　六種評價方法的綜合性能比較

4結論

醫學圖像從功能意義上不同于自然圖像，其主要作用是輔助醫生進行醫療診斷.研究醫學圖像質量評價模型對于優化成像算法、監控調整圖像質量及提供系統參數設置有重要意義.鑒于傳統的圖像質量評價方法大多基于簡單的統計性數據，在對圖像基本特征進行描述的同時還結合了一定的人眼視覺特性.人眼能夠自適應地提取場景中的結構信息，而且不同的結構也會不同程度上吸引人眼視覺注意力.在利用能較好反應圖像基本特征的相位一致性信息的基礎上，又結合了反應人眼重要視覺結構敏感性的結構顯著性模型，從而獲得了明顯優于傳統評價方法的性能，并顯著提升了圖像質量評價方法的可靠性.但不可否認的是目前人類對人眼視覺特性的研究及利用還不夠深入和充分，而且又由于醫療診斷對效率以及準確性有著高標準要求，所以對醫學圖像質量評價方法還需要進行持續深入地研究.

參考文獻：

[1]DAMERA-VENKATA N, KITE T D, GEISLER W S, et al. Image quality assessment based on a degradation model[J]. IEEE Transactions on Image Processing,2000,9(4):636-650.

[2]WANG Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing,2004,13(4):600-612.

[3]古輝,陳強.H.264幀內預測模式選擇改進算法[J].浙江工業大學學報,2014,42(2):204-209.

[4]廖鋒峰，郭行波,劉文捷.基于小波變換的圖像編碼研究[J].浙江工業大學學報,2010,38(2):197-201.

[5]楊建鋒,孟利民.視頻監控系統中實時流媒體傳輸控制方法的設計[J].浙江工業大學學報,2012,40(4):454-457.

[6]郭龍,鄭劍.基于梯度方向信息的醫學圖像質量評價方法研究[J].計算機科學,2012,39(12):278-280.]

[7]段影影,馬建華,陳武凡,等.改進的結構相似醫學圖像質量評價方法[J].計算機工程與應用,2010,46(2):145-149.

[8]RAO T V N, GOVARDHAN A. Assessment of diverse quality metrics for medical images including mammography[J]. International Journal of Computer Applications,2013,83(4):42-47.

[9]段影影,陳武凡,馮前進,等.醫學圖像質量評價中的梯度加權SSIM[J].計算機工程與應用,2011,47(24):205-210.

[10]OPPENHEIM A V, LIM J S. The importance of phase in signals[J]. Proceedings of the IEEE,1981,69(5):529-541.

[11]MORRONE M C, OWENS R A, Feature detection from local energy[J]. Pattern Recognition letters,1987,6(5):303-313.

[12]KOVESI P. Phase congruency: a low-level image invariant[J]. Psychological Research,2000,64(2):136-148.

[13]ZHANG Lin, ZHANG Lei, MOU Xuanqin. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing,2011,20(8):2378-2386.

[14]ARBELAEZ P, MAIRE M, FOWLKES C, et al. Contour detection and hierarchical image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(5):898-916.

[15]褚江,陳強,楊曦晨.全參考圖像質量評價綜述[J].計算機應用研究,2014,31(1):13-22.

(責任編輯：陳石平)

《浙江工業大學學報》入編北京大學中文核心期刊(2014年版)

接北京大學《中文核心期刊要目總覽》編輯部的通知，依據文獻計量學的原理和方法，經研究人員對相關文獻的檢索、統計和分析，以及學科專家評審，《浙江工業大學學報》入編《中文核心期刊要目總覽》2014年版(即第七版)之“綜合性科學技術類”的核心期刊.據內部信息，這次“綜合性科學技術類”的核心期刊入圍前120位，我校《學報》排序95位，比2011年(131位)提升了36位.這是學術期刊社繼2013年《發酵科技通訊》主管主辦單位成功變更我校后，期刊質量提升的又一個標志性的成果.

學術期刊社

文章編號：1006-4303(2015)06-0636-06

中圖分類號：TP391.4

文獻標志碼：A

作者簡介：張劍華(1981—)，男，江西鉛山人，講師，博士，研究方向為醫學圖像處理和機器人視覺，E-mail：zjh@zjut.edu.cn.

基金項目：國家自然科學基金資助項目(61305021,11302195,61103140)；浙江省科技廳公益基金資助項目(2014C31102)

收稿日期：2015-05-19